git.sesse.net Git - ffmpeg/blob - libavformat/aviobuf.c

   1 /*
   2  * buffered I/O
   3  * Copyright (c) 2000,2001 Fabrice Bellard
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "libavutil/bprint.h"
  23 #include "libavutil/crc.h"
  24 #include "libavutil/dict.h"
  25 #include "libavutil/intreadwrite.h"
  26 #include "libavutil/log.h"
  27 #include "libavutil/opt.h"
  28 #include "libavutil/avassert.h"
  29 #include "avformat.h"
  30 #include "avio.h"
  31 #include "avio_internal.h"
  32 #include "internal.h"
  33 #include "url.h"
  34 #include <stdarg.h>
  35
  36 #define IO_BUFFER_SIZE 32768
  37
  38 /**
  39  * Do seeks within this distance ahead of the current buffer by skipping
  40  * data instead of calling the protocol seek function, for seekable
  41  * protocols.
  42  */
  43 #define SHORT_SEEK_THRESHOLD 4096
  44
  45 typedef struct AVIOInternal {
  46     URLContext *h;
  47 } AVIOInternal;
  48
  49 static void *ff_avio_child_next(void *obj, void *prev)
  50 {
  51     AVIOContext *s = obj;
  52     AVIOInternal *internal = s->opaque;
  53     return prev ? NULL : internal->h;
  54 }
  55
  56 static const AVClass *ff_avio_child_class_next(const AVClass *prev)
  57 {
  58     return prev ? NULL : &ffurl_context_class;
  59 }
  60
  61 #define OFFSET(x) offsetof(AVIOContext,x)
  62 #define E AV_OPT_FLAG_ENCODING_PARAM
  63 #define D AV_OPT_FLAG_DECODING_PARAM
  64 static const AVOption ff_avio_options[] = {
  65     {"protocol_whitelist", "List of protocols that are allowed to be used", OFFSET(protocol_whitelist), AV_OPT_TYPE_STRING, { .str = NULL },  CHAR_MIN, CHAR_MAX, D },
  66     { NULL },
  67 };
  68
  69 const AVClass ff_avio_class = {
  70     .class_name = "AVIOContext",
  71     .item_name  = av_default_item_name,
  72     .version    = LIBAVUTIL_VERSION_INT,
  73     .option     = ff_avio_options,
  74     .child_next = ff_avio_child_next,
  75     .child_class_next = ff_avio_child_class_next,
  76 };
  77
  78 static void fill_buffer(AVIOContext *s);
  79 static int url_resetbuf(AVIOContext *s, int flags);
  80
  81 int ffio_init_context(AVIOContext *s,
  82                   unsigned char *buffer,
  83                   int buffer_size,
  84                   int write_flag,
  85                   void *opaque,
  86                   int (*read_packet)(void *opaque, uint8_t *buf, int buf_size),
  87                   int (*write_packet)(void *opaque, uint8_t *buf, int buf_size),
  88                   int64_t (*seek)(void *opaque, int64_t offset, int whence))
  89 {
  90     s->buffer      = buffer;
  91     s->orig_buffer_size =
  92     s->buffer_size = buffer_size;
  93     s->buf_ptr     = buffer;
  94     s->opaque      = opaque;
  95     s->direct      = 0;
  96
  97     url_resetbuf(s, write_flag ? AVIO_FLAG_WRITE : AVIO_FLAG_READ);
  98
  99     s->write_packet    = write_packet;
 100     s->read_packet     = read_packet;
 101     s->seek            = seek;
 102     s->pos             = 0;
 103     s->must_flush      = 0;
 104     s->eof_reached     = 0;
 105     s->error           = 0;
 106     s->seekable        = seek ? AVIO_SEEKABLE_NORMAL : 0;
 107     s->max_packet_size = 0;
 108     s->update_checksum = NULL;
 109     s->short_seek_threshold = SHORT_SEEK_THRESHOLD;
 110
 111     if (!read_packet && !write_flag) {
 112         s->pos     = buffer_size;
 113         s->buf_end = s->buffer + buffer_size;
 114     }
 115     s->read_pause = NULL;
 116     s->read_seek  = NULL;
 117
 118     s->write_data_type       = NULL;
 119     s->ignore_boundary_point = 0;
 120     s->current_type          = AVIO_DATA_MARKER_UNKNOWN;
 121     s->last_time             = AV_NOPTS_VALUE;
 122
 123     return 0;
 124 }
 125
 126 AVIOContext *avio_alloc_context(
 127                   unsigned char *buffer,
 128                   int buffer_size,
 129                   int write_flag,
 130                   void *opaque,
 131                   int (*read_packet)(void *opaque, uint8_t *buf, int buf_size),
 132                   int (*write_packet)(void *opaque, uint8_t *buf, int buf_size),
 133                   int64_t (*seek)(void *opaque, int64_t offset, int whence))
 134 {
 135     AVIOContext *s = av_mallocz(sizeof(AVIOContext));
 136     if (!s)
 137         return NULL;
 138     ffio_init_context(s, buffer, buffer_size, write_flag, opaque,
 139                   read_packet, write_packet, seek);
 140     return s;
 141 }
 142
 143 static void writeout(AVIOContext *s, const uint8_t *data, int len)
 144 {
 145     if (!s->error) {
 146         int ret = 0;
 147         if (s->write_data_type)
 148             ret = s->write_data_type(s->opaque, (uint8_t *)data,
 149                                      len,
 150                                      s->current_type,
 151                                      s->last_time);
 152         else if (s->write_packet)
 153             ret = s->write_packet(s->opaque, (uint8_t *)data, len);
 154         if (ret < 0) {
 155             s->error = ret;
 156         }
 157     }
 158     if (s->current_type == AVIO_DATA_MARKER_SYNC_POINT ||
 159         s->current_type == AVIO_DATA_MARKER_BOUNDARY_POINT) {
 160         s->current_type = AVIO_DATA_MARKER_UNKNOWN;
 161     }
 162     s->last_time = AV_NOPTS_VALUE;
 163     s->writeout_count ++;
 164     s->pos += len;
 165 }
 166
 167 static void flush_buffer(AVIOContext *s)
 168 {
 169     if (s->write_flag && s->buf_ptr > s->buffer) {
 170         writeout(s, s->buffer, s->buf_ptr - s->buffer);
 171         if (s->update_checksum) {
 172             s->checksum     = s->update_checksum(s->checksum, s->checksum_ptr,
 173                                                  s->buf_ptr - s->checksum_ptr);
 174             s->checksum_ptr = s->buffer;
 175         }
 176     }
 177     s->buf_ptr = s->buffer;
 178     if (!s->write_flag)
 179         s->buf_end = s->buffer;
 180 }
 181
 182 void avio_w8(AVIOContext *s, int b)
 183 {
 184     av_assert2(b>=-128 && b<=255);
 185     *s->buf_ptr++ = b;
 186     if (s->buf_ptr >= s->buf_end)
 187         flush_buffer(s);
 188 }
 189
 190 void ffio_fill(AVIOContext *s, int b, int count)
 191 {
 192     while (count > 0) {
 193         int len = FFMIN(s->buf_end - s->buf_ptr, count);
 194         memset(s->buf_ptr, b, len);
 195         s->buf_ptr += len;
 196
 197         if (s->buf_ptr >= s->buf_end)
 198             flush_buffer(s);
 199
 200         count -= len;
 201     }
 202 }
 203
 204 void avio_write(AVIOContext *s, const unsigned char *buf, int size)
 205 {
 206     if (s->direct && !s->update_checksum) {
 207         avio_flush(s);
 208         writeout(s, buf, size);
 209         return;
 210     }
 211     while (size > 0) {
 212         int len = FFMIN(s->buf_end - s->buf_ptr, size);
 213         memcpy(s->buf_ptr, buf, len);
 214         s->buf_ptr += len;
 215
 216         if (s->buf_ptr >= s->buf_end)
 217             flush_buffer(s);
 218
 219         buf += len;
 220         size -= len;
 221     }
 222 }
 223
 224 void avio_flush(AVIOContext *s)
 225 {
 226     flush_buffer(s);
 227     s->must_flush = 0;
 228 }
 229
 230 int64_t avio_seek(AVIOContext *s, int64_t offset, int whence)
 231 {
 232     int64_t offset1;
 233     int64_t pos;
 234     int force = whence & AVSEEK_FORCE;
 235     int buffer_size;
 236     whence &= ~AVSEEK_FORCE;
 237
 238     if(!s)
 239         return AVERROR(EINVAL);
 240
 241     buffer_size = s->buf_end - s->buffer;
 242     // pos is the absolute position that the beginning of s->buffer corresponds to in the file
 243     pos = s->pos - (s->write_flag ? 0 : buffer_size);
 244
 245     if (whence != SEEK_CUR && whence != SEEK_SET)
 246         return AVERROR(EINVAL);
 247
 248     if (whence == SEEK_CUR) {
 249         offset1 = pos + (s->buf_ptr - s->buffer);
 250         if (offset == 0)
 251             return offset1;
 252         offset += offset1;
 253     }
 254     if (offset < 0)
 255         return AVERROR(EINVAL);
 256
 257     offset1 = offset - pos; // "offset1" is the relative offset from the beginning of s->buffer
 258     if (!s->must_flush && (!s->direct || !s->seek) &&
 259         offset1 >= 0 && offset1 <= buffer_size - s->write_flag) {
 260         /* can do the seek inside the buffer */
 261         s->buf_ptr = s->buffer + offset1;
 262     } else if ((!s->seekable ||
 263                offset1 <= buffer_size + s->short_seek_threshold) &&
 264                !s->write_flag && offset1 >= 0 &&
 265                (!s->direct || !s->seek) &&
 266               (whence != SEEK_END || force)) {
 267         while(s->pos < offset && !s->eof_reached)
 268             fill_buffer(s);
 269         if (s->eof_reached)
 270             return AVERROR_EOF;
 271         s->buf_ptr = s->buf_end - (s->pos - offset);
 272     } else if(!s->write_flag && offset1 < 0 && -offset1 < buffer_size>>1 && s->seek && offset > 0) {
 273         int64_t res;
 274
 275         pos -= FFMIN(buffer_size>>1, pos);
 276         if ((res = s->seek(s->opaque, pos, SEEK_SET)) < 0)
 277             return res;
 278         s->buf_end =
 279         s->buf_ptr = s->buffer;
 280         s->pos = pos;
 281         s->eof_reached = 0;
 282         fill_buffer(s);
 283         return avio_seek(s, offset, SEEK_SET | force);
 284     } else {
 285         int64_t res;
 286         if (s->write_flag) {
 287             flush_buffer(s);
 288             s->must_flush = 1;
 289         }
 290         if (!s->seek)
 291             return AVERROR(EPIPE);
 292         if ((res = s->seek(s->opaque, offset, SEEK_SET)) < 0)
 293             return res;
 294         s->seek_count ++;
 295         if (!s->write_flag)
 296             s->buf_end = s->buffer;
 297         s->buf_ptr = s->buffer;
 298         s->pos = offset;
 299     }
 300     s->eof_reached = 0;
 301     return offset;
 302 }
 303
 304 int64_t avio_skip(AVIOContext *s, int64_t offset)
 305 {
 306     return avio_seek(s, offset, SEEK_CUR);
 307 }
 308
 309 int64_t avio_size(AVIOContext *s)
 310 {
 311     int64_t size;
 312
 313     if (!s)
 314         return AVERROR(EINVAL);
 315
 316     if (!s->seek)
 317         return AVERROR(ENOSYS);
 318     size = s->seek(s->opaque, 0, AVSEEK_SIZE);
 319     if (size < 0) {
 320         if ((size = s->seek(s->opaque, -1, SEEK_END)) < 0)
 321             return size;
 322         size++;
 323         s->seek(s->opaque, s->pos, SEEK_SET);
 324     }
 325     return size;
 326 }
 327
 328 int avio_feof(AVIOContext *s)
 329 {
 330     if(!s)
 331         return 0;
 332     if(s->eof_reached){
 333         s->eof_reached=0;
 334         fill_buffer(s);
 335     }
 336     return s->eof_reached;
 337 }
 338
 339 #if FF_API_URL_FEOF
 340 int url_feof(AVIOContext *s)
 341 {
 342     return avio_feof(s);
 343 }
 344 #endif
 345
 346 void avio_wl32(AVIOContext *s, unsigned int val)
 347 {
 348     avio_w8(s, (uint8_t) val       );
 349     avio_w8(s, (uint8_t)(val >> 8 ));
 350     avio_w8(s, (uint8_t)(val >> 16));
 351     avio_w8(s,           val >> 24 );
 352 }
 353
 354 void avio_wb32(AVIOContext *s, unsigned int val)
 355 {
 356     avio_w8(s,           val >> 24 );
 357     avio_w8(s, (uint8_t)(val >> 16));
 358     avio_w8(s, (uint8_t)(val >> 8 ));
 359     avio_w8(s, (uint8_t) val       );
 360 }
 361
 362 int avio_put_str(AVIOContext *s, const char *str)
 363 {
 364     int len = 1;
 365     if (str) {
 366         len += strlen(str);
 367         avio_write(s, (const unsigned char *) str, len);
 368     } else
 369         avio_w8(s, 0);
 370     return len;
 371 }
 372
 373 static inline int put_str16(AVIOContext *s, const char *str, const int be)
 374 {
 375     const uint8_t *q = str;
 376     int ret = 0;
 377     int err = 0;
 378
 379     while (*q) {
 380         uint32_t ch;
 381         uint16_t tmp;
 382
 383         GET_UTF8(ch, *q++, goto invalid;)
 384         PUT_UTF16(ch, tmp, be ? avio_wb16(s, tmp) : avio_wl16(s, tmp);
 385                   ret += 2;)
 386         continue;
 387 invalid:
 388         av_log(s, AV_LOG_ERROR, "Invalid UTF8 sequence in avio_put_str16%s\n", be ? "be" : "le");
 389         err = AVERROR(EINVAL);
 390         if (!*(q-1))
 391             break;
 392     }
 393     if (be)
 394         avio_wb16(s, 0);
 395     else
 396         avio_wl16(s, 0);
 397     if (err)
 398         return err;
 399     ret += 2;
 400     return ret;
 401 }
 402
 403 #define PUT_STR16(type, big_endian)                          \
 404 int avio_put_str16 ## type(AVIOContext *s, const char *str)  \
 405 {                                                            \
 406 return put_str16(s, str, big_endian);                        \
 407 }
 408
 409 PUT_STR16(le, 0)
 410 PUT_STR16(be, 1)
 411
 412 #undef PUT_STR16
 413
 414 int ff_get_v_length(uint64_t val)
 415 {
 416     int i = 1;
 417
 418     while (val >>= 7)
 419         i++;
 420
 421     return i;
 422 }
 423
 424 void ff_put_v(AVIOContext *bc, uint64_t val)
 425 {
 426     int i = ff_get_v_length(val);
 427
 428     while (--i > 0)
 429         avio_w8(bc, 128 | (uint8_t)(val >> (7*i)));
 430
 431     avio_w8(bc, val & 127);
 432 }
 433
 434 void avio_wl64(AVIOContext *s, uint64_t val)
 435 {
 436     avio_wl32(s, (uint32_t)(val & 0xffffffff));
 437     avio_wl32(s, (uint32_t)(val >> 32));
 438 }
 439
 440 void avio_wb64(AVIOContext *s, uint64_t val)
 441 {
 442     avio_wb32(s, (uint32_t)(val >> 32));
 443     avio_wb32(s, (uint32_t)(val & 0xffffffff));
 444 }
 445
 446 void avio_wl16(AVIOContext *s, unsigned int val)
 447 {
 448     avio_w8(s, (uint8_t)val);
 449     avio_w8(s, (int)val >> 8);
 450 }
 451
 452 void avio_wb16(AVIOContext *s, unsigned int val)
 453 {
 454     avio_w8(s, (int)val >> 8);
 455     avio_w8(s, (uint8_t)val);
 456 }
 457
 458 void avio_wl24(AVIOContext *s, unsigned int val)
 459 {
 460     avio_wl16(s, val & 0xffff);
 461     avio_w8(s, (int)val >> 16);
 462 }
 463
 464 void avio_wb24(AVIOContext *s, unsigned int val)
 465 {
 466     avio_wb16(s, (int)val >> 8);
 467     avio_w8(s, (uint8_t)val);
 468 }
 469
 470 void avio_write_marker(AVIOContext *s, int64_t time, enum AVIODataMarkerType type)
 471 {
 472     if (!s->write_data_type)
 473         return;
 474     // If ignoring boundary points, just treat it as unknown
 475     if (type == AVIO_DATA_MARKER_BOUNDARY_POINT && s->ignore_boundary_point)
 476         type = AVIO_DATA_MARKER_UNKNOWN;
 477     // Avoid unnecessary flushes if we are already in non-header/trailer
 478     // data and setting the type to unknown
 479     if (type == AVIO_DATA_MARKER_UNKNOWN &&
 480         (s->current_type != AVIO_DATA_MARKER_HEADER &&
 481          s->current_type != AVIO_DATA_MARKER_TRAILER))
 482         return;
 483
 484     switch (type) {
 485     case AVIO_DATA_MARKER_HEADER:
 486     case AVIO_DATA_MARKER_TRAILER:
 487         // For header/trailer, ignore a new marker of the same type;
 488         // consecutive header/trailer markers can be merged.
 489         if (type == s->current_type)
 490             return;
 491         break;
 492     }
 493
 494     // If we've reached here, we have a new, noteworthy marker.
 495     // Flush the previous data and mark the start of the new data.
 496     avio_flush(s);
 497     s->current_type = type;
 498     s->last_time = time;
 499 }
 500
 501 /* Input stream */
 502
 503 static void fill_buffer(AVIOContext *s)
 504 {
 505     int max_buffer_size = s->max_packet_size ?
 506                           s->max_packet_size : IO_BUFFER_SIZE;
 507     uint8_t *dst        = s->buf_end - s->buffer + max_buffer_size < s->buffer_size ?
 508                           s->buf_end : s->buffer;
 509     int len             = s->buffer_size - (dst - s->buffer);
 510
 511     /* can't fill the buffer without read_packet, just set EOF if appropriate */
 512     if (!s->read_packet && s->buf_ptr >= s->buf_end)
 513         s->eof_reached = 1;
 514
 515     /* no need to do anything if EOF already reached */
 516     if (s->eof_reached)
 517         return;
 518
 519     if (s->update_checksum && dst == s->buffer) {
 520         if (s->buf_end > s->checksum_ptr)
 521             s->checksum = s->update_checksum(s->checksum, s->checksum_ptr,
 522                                              s->buf_end - s->checksum_ptr);
 523         s->checksum_ptr = s->buffer;
 524     }
 525
 526     /* make buffer smaller in case it ended up large after probing */
 527     if (s->read_packet && s->orig_buffer_size && s->buffer_size > s->orig_buffer_size) {
 528         if (dst == s->buffer) {
 529             int ret = ffio_set_buf_size(s, s->orig_buffer_size);
 530             if (ret < 0)
 531                 av_log(s, AV_LOG_WARNING, "Failed to decrease buffer size\n");
 532
 533             s->checksum_ptr = dst = s->buffer;
 534         }
 535         av_assert0(len >= s->orig_buffer_size);
 536         len = s->orig_buffer_size;
 537     }
 538
 539     if (s->read_packet)
 540         len = s->read_packet(s->opaque, dst, len);
 541     else
 542         len = 0;
 543     if (len <= 0) {
 544         /* do not modify buffer if EOF reached so that a seek back can
 545            be done without rereading data */
 546         s->eof_reached = 1;
 547         if (len < 0)
 548             s->error = len;
 549     } else {
 550         s->pos += len;
 551         s->buf_ptr = dst;
 552         s->buf_end = dst + len;
 553         s->bytes_read += len;
 554     }
 555 }
 556
 557 unsigned long ff_crc04C11DB7_update(unsigned long checksum, const uint8_t *buf,
 558                                     unsigned int len)
 559 {
 560     return av_crc(av_crc_get_table(AV_CRC_32_IEEE), checksum, buf, len);
 561 }
 562
 563 unsigned long ff_crcEDB88320_update(unsigned long checksum, const uint8_t *buf,
 564                                     unsigned int len)
 565 {
 566     return av_crc(av_crc_get_table(AV_CRC_32_IEEE_LE), checksum, buf, len);
 567 }
 568
 569 unsigned long ff_crcA001_update(unsigned long checksum, const uint8_t *buf,
 570                                 unsigned int len)
 571 {
 572     return av_crc(av_crc_get_table(AV_CRC_16_ANSI_LE), checksum, buf, len);
 573 }
 574
 575 unsigned long ffio_get_checksum(AVIOContext *s)
 576 {
 577     s->checksum = s->update_checksum(s->checksum, s->checksum_ptr,
 578                                      s->buf_ptr - s->checksum_ptr);
 579     s->update_checksum = NULL;
 580     return s->checksum;
 581 }
 582
 583 void ffio_init_checksum(AVIOContext *s,
 584                    unsigned long (*update_checksum)(unsigned long c, const uint8_t *p, unsigned int len),
 585                    unsigned long checksum)
 586 {
 587     s->update_checksum = update_checksum;
 588     if (s->update_checksum) {
 589         s->checksum     = checksum;
 590         s->checksum_ptr = s->buf_ptr;
 591     }
 592 }
 593
 594 /* XXX: put an inline version */
 595 int avio_r8(AVIOContext *s)
 596 {
 597     if (s->buf_ptr >= s->buf_end)
 598         fill_buffer(s);
 599     if (s->buf_ptr < s->buf_end)
 600         return *s->buf_ptr++;
 601     return 0;
 602 }
 603
 604 int avio_read(AVIOContext *s, unsigned char *buf, int size)
 605 {
 606     int len, size1;
 607
 608     size1 = size;
 609     while (size > 0) {
 610         len = FFMIN(s->buf_end - s->buf_ptr, size);
 611         if (len == 0 || s->write_flag) {
 612             if((s->direct || size > s->buffer_size) && !s->update_checksum) {
 613                 // bypass the buffer and read data directly into buf
 614                 if(s->read_packet)
 615                     len = s->read_packet(s->opaque, buf, size);
 616
 617                 if (len <= 0) {
 618                     /* do not modify buffer if EOF reached so that a seek back can
 619                     be done without rereading data */
 620                     s->eof_reached = 1;
 621                     if(len<0)
 622                         s->error= len;
 623                     break;
 624                 } else {
 625                     s->pos += len;
 626                     s->bytes_read += len;
 627                     size -= len;
 628                     buf += len;
 629                     // reset the buffer
 630                     s->buf_ptr = s->buffer;
 631                     s->buf_end = s->buffer/* + len*/;
 632                 }
 633             } else {
 634                 fill_buffer(s);
 635                 len = s->buf_end - s->buf_ptr;
 636                 if (len == 0)
 637                     break;
 638             }
 639         } else {
 640             memcpy(buf, s->buf_ptr, len);
 641             buf += len;
 642             s->buf_ptr += len;
 643             size -= len;
 644         }
 645     }
 646     if (size1 == size) {
 647         if (s->error)      return s->error;
 648         if (avio_feof(s))  return AVERROR_EOF;
 649     }
 650     return size1 - size;
 651 }
 652
 653 int ffio_read_size(AVIOContext *s, unsigned char *buf, int size)
 654 {
 655     int ret = avio_read(s, buf, size);
 656     if (ret != size)
 657         return AVERROR_INVALIDDATA;
 658     return ret;
 659 }
 660
 661 int ffio_read_indirect(AVIOContext *s, unsigned char *buf, int size, const unsigned char **data)
 662 {
 663     if (s->buf_end - s->buf_ptr >= size && !s->write_flag) {
 664         *data = s->buf_ptr;
 665         s->buf_ptr += size;
 666         return size;
 667     } else {
 668         *data = buf;
 669         return avio_read(s, buf, size);
 670     }
 671 }
 672
 673 int ffio_read_partial(AVIOContext *s, unsigned char *buf, int size)
 674 {
 675     int len;
 676
 677     if (size < 0)
 678         return -1;
 679
 680     if (s->read_packet && s->write_flag) {
 681         len = s->read_packet(s->opaque, buf, size);
 682         if (len > 0)
 683             s->pos += len;
 684         return len;
 685     }
 686
 687     len = s->buf_end - s->buf_ptr;
 688     if (len == 0) {
 689         /* Reset the buf_end pointer to the start of the buffer, to make sure
 690          * the fill_buffer call tries to read as much data as fits into the
 691          * full buffer, instead of just what space is left after buf_end.
 692          * This avoids returning partial packets at the end of the buffer,
 693          * for packet based inputs.
 694          */
 695         s->buf_end = s->buf_ptr = s->buffer;
 696         fill_buffer(s);
 697         len = s->buf_end - s->buf_ptr;
 698     }
 699     if (len > size)
 700         len = size;
 701     memcpy(buf, s->buf_ptr, len);
 702     s->buf_ptr += len;
 703     if (!len) {
 704         if (s->error)      return s->error;
 705         if (avio_feof(s))  return AVERROR_EOF;
 706     }
 707     return len;
 708 }
 709
 710 unsigned int avio_rl16(AVIOContext *s)
 711 {
 712     unsigned int val;
 713     val = avio_r8(s);
 714     val |= avio_r8(s) << 8;
 715     return val;
 716 }
 717
 718 unsigned int avio_rl24(AVIOContext *s)
 719 {
 720     unsigned int val;
 721     val = avio_rl16(s);
 722     val |= avio_r8(s) << 16;
 723     return val;
 724 }
 725
 726 unsigned int avio_rl32(AVIOContext *s)
 727 {
 728     unsigned int val;
 729     val = avio_rl16(s);
 730     val |= avio_rl16(s) << 16;
 731     return val;
 732 }
 733
 734 uint64_t avio_rl64(AVIOContext *s)
 735 {
 736     uint64_t val;
 737     val = (uint64_t)avio_rl32(s);
 738     val |= (uint64_t)avio_rl32(s) << 32;
 739     return val;
 740 }
 741
 742 unsigned int avio_rb16(AVIOContext *s)
 743 {
 744     unsigned int val;
 745     val = avio_r8(s) << 8;
 746     val |= avio_r8(s);
 747     return val;
 748 }
 749
 750 unsigned int avio_rb24(AVIOContext *s)
 751 {
 752     unsigned int val;
 753     val = avio_rb16(s) << 8;
 754     val |= avio_r8(s);
 755     return val;
 756 }
 757 unsigned int avio_rb32(AVIOContext *s)
 758 {
 759     unsigned int val;
 760     val = avio_rb16(s) << 16;
 761     val |= avio_rb16(s);
 762     return val;
 763 }
 764
 765 int ff_get_line(AVIOContext *s, char *buf, int maxlen)
 766 {
 767     int i = 0;
 768     char c;
 769
 770     do {
 771         c = avio_r8(s);
 772         if (c && i < maxlen-1)
 773             buf[i++] = c;
 774     } while (c != '\n' && c != '\r' && c);
 775     if (c == '\r' && avio_r8(s) != '\n' && !avio_feof(s))
 776         avio_skip(s, -1);
 777
 778     buf[i] = 0;
 779     return i;
 780 }
 781
 782 int avio_get_str(AVIOContext *s, int maxlen, char *buf, int buflen)
 783 {
 784     int i;
 785
 786     if (buflen <= 0)
 787         return AVERROR(EINVAL);
 788     // reserve 1 byte for terminating 0
 789     buflen = FFMIN(buflen - 1, maxlen);
 790     for (i = 0; i < buflen; i++)
 791         if (!(buf[i] = avio_r8(s)))
 792             return i + 1;
 793     buf[i] = 0;
 794     for (; i < maxlen; i++)
 795         if (!avio_r8(s))
 796             return i + 1;
 797     return maxlen;
 798 }
 799
 800 #define GET_STR16(type, read) \
 801     int avio_get_str16 ##type(AVIOContext *pb, int maxlen, char *buf, int buflen)\
 802 {\
 803     char* q = buf;\
 804     int ret = 0;\
 805     if (buflen <= 0) \
 806         return AVERROR(EINVAL); \
 807     while (ret + 1 < maxlen) {\
 808         uint8_t tmp;\
 809         uint32_t ch;\
 810         GET_UTF16(ch, (ret += 2) <= maxlen ? read(pb) : 0, break;)\
 811         if (!ch)\
 812             break;\
 813         PUT_UTF8(ch, tmp, if (q - buf < buflen - 1) *q++ = tmp;)\
 814     }\
 815     *q = 0;\
 816     return ret;\
 817 }\
 818
 819 GET_STR16(le, avio_rl16)
 820 GET_STR16(be, avio_rb16)
 821
 822 #undef GET_STR16
 823
 824 uint64_t avio_rb64(AVIOContext *s)
 825 {
 826     uint64_t val;
 827     val = (uint64_t)avio_rb32(s) << 32;
 828     val |= (uint64_t)avio_rb32(s);
 829     return val;
 830 }
 831
 832 uint64_t ffio_read_varlen(AVIOContext *bc){
 833     uint64_t val = 0;
 834     int tmp;
 835
 836     do{
 837         tmp = avio_r8(bc);
 838         val= (val<<7) + (tmp&127);
 839     }while(tmp&128);
 840     return val;
 841 }
 842
 843 static int io_read_packet(void *opaque, uint8_t *buf, int buf_size)
 844 {
 845     AVIOInternal *internal = opaque;
 846     return ffurl_read(internal->h, buf, buf_size);
 847 }
 848
 849 static int io_write_packet(void *opaque, uint8_t *buf, int buf_size)
 850 {
 851     AVIOInternal *internal = opaque;
 852     return ffurl_write(internal->h, buf, buf_size);
 853 }
 854
 855 static int64_t io_seek(void *opaque, int64_t offset, int whence)
 856 {
 857     AVIOInternal *internal = opaque;
 858     return ffurl_seek(internal->h, offset, whence);
 859 }
 860
 861 static int io_read_pause(void *opaque, int pause)
 862 {
 863     AVIOInternal *internal = opaque;
 864     if (!internal->h->prot->url_read_pause)
 865         return AVERROR(ENOSYS);
 866     return internal->h->prot->url_read_pause(internal->h, pause);
 867 }
 868
 869 static int64_t io_read_seek(void *opaque, int stream_index, int64_t timestamp, int flags)
 870 {
 871     AVIOInternal *internal = opaque;
 872     if (!internal->h->prot->url_read_seek)
 873         return AVERROR(ENOSYS);
 874     return internal->h->prot->url_read_seek(internal->h, stream_index, timestamp, flags);
 875 }
 876
 877 int ffio_fdopen(AVIOContext **s, URLContext *h)
 878 {
 879     AVIOInternal *internal = NULL;
 880     uint8_t *buffer = NULL;
 881     int buffer_size, max_packet_size;
 882
 883     max_packet_size = h->max_packet_size;
 884     if (max_packet_size) {
 885         buffer_size = max_packet_size; /* no need to bufferize more than one packet */
 886     } else {
 887         buffer_size = IO_BUFFER_SIZE;
 888     }
 889     buffer = av_malloc(buffer_size);
 890     if (!buffer)
 891         return AVERROR(ENOMEM);
 892
 893     internal = av_mallocz(sizeof(*internal));
 894     if (!internal)
 895         goto fail;
 896
 897     internal->h = h;
 898
 899     *s = avio_alloc_context(buffer, buffer_size, h->flags & AVIO_FLAG_WRITE,
 900                             internal, io_read_packet, io_write_packet, io_seek);
 901     if (!*s)
 902         goto fail;
 903
 904     (*s)->protocol_whitelist = av_strdup(h->protocol_whitelist);
 905     if (!(*s)->protocol_whitelist && h->protocol_whitelist) {
 906         avio_closep(s);
 907         goto fail;
 908     }
 909     (*s)->protocol_blacklist = av_strdup(h->protocol_blacklist);
 910     if (!(*s)->protocol_blacklist && h->protocol_blacklist) {
 911         avio_closep(s);
 912         goto fail;
 913     }
 914     (*s)->direct = h->flags & AVIO_FLAG_DIRECT;
 915
 916     (*s)->seekable = h->is_streamed ? 0 : AVIO_SEEKABLE_NORMAL;
 917     (*s)->max_packet_size = max_packet_size;
 918     if(h->prot) {
 919         (*s)->read_pause = io_read_pause;
 920         (*s)->read_seek  = io_read_seek;
 921     }
 922     (*s)->av_class = &ff_avio_class;
 923     return 0;
 924 fail:
 925     av_freep(&internal);
 926     av_freep(&buffer);
 927     return AVERROR(ENOMEM);
 928 }
 929
 930 int ffio_ensure_seekback(AVIOContext *s, int64_t buf_size)
 931 {
 932     uint8_t *buffer;
 933     int max_buffer_size = s->max_packet_size ?
 934                           s->max_packet_size : IO_BUFFER_SIZE;
 935     int filled = s->buf_end - s->buffer;
 936     ptrdiff_t checksum_ptr_offset = s->checksum_ptr ? s->checksum_ptr - s->buffer : -1;
 937
 938     buf_size += s->buf_ptr - s->buffer + max_buffer_size;
 939
 940     if (buf_size < filled || s->seekable || !s->read_packet)
 941         return 0;
 942     av_assert0(!s->write_flag);
 943
 944     buffer = av_malloc(buf_size);
 945     if (!buffer)
 946         return AVERROR(ENOMEM);
 947
 948     memcpy(buffer, s->buffer, filled);
 949     av_free(s->buffer);
 950     s->buf_ptr = buffer + (s->buf_ptr - s->buffer);
 951     s->buf_end = buffer + (s->buf_end - s->buffer);
 952     s->buffer = buffer;
 953     s->buffer_size = buf_size;
 954     if (checksum_ptr_offset >= 0)
 955         s->checksum_ptr = s->buffer + checksum_ptr_offset;
 956     return 0;
 957 }
 958
 959 int ffio_set_buf_size(AVIOContext *s, int buf_size)
 960 {
 961     uint8_t *buffer;
 962     buffer = av_malloc(buf_size);
 963     if (!buffer)
 964         return AVERROR(ENOMEM);
 965
 966     av_free(s->buffer);
 967     s->buffer = buffer;
 968     s->orig_buffer_size =
 969     s->buffer_size = buf_size;
 970     s->buf_ptr = buffer;
 971     url_resetbuf(s, s->write_flag ? AVIO_FLAG_WRITE : AVIO_FLAG_READ);
 972     return 0;
 973 }
 974
 975 static int url_resetbuf(AVIOContext *s, int flags)
 976 {
 977     av_assert1(flags == AVIO_FLAG_WRITE || flags == AVIO_FLAG_READ);
 978
 979     if (flags & AVIO_FLAG_WRITE) {
 980         s->buf_end = s->buffer + s->buffer_size;
 981         s->write_flag = 1;
 982     } else {
 983         s->buf_end = s->buffer;
 984         s->write_flag = 0;
 985     }
 986     return 0;
 987 }
 988
 989 int ffio_rewind_with_probe_data(AVIOContext *s, unsigned char **bufp, int buf_size)
 990 {
 991     int64_t buffer_start;
 992     int buffer_size;
 993     int overlap, new_size, alloc_size;
 994     uint8_t *buf = *bufp;
 995
 996     if (s->write_flag) {
 997         av_freep(bufp);
 998         return AVERROR(EINVAL);
 999     }
1000
1001     buffer_size = s->buf_end - s->buffer;
1002
1003     /* the buffers must touch or overlap */
1004     if ((buffer_start = s->pos - buffer_size) > buf_size) {
1005         av_freep(bufp);
1006         return AVERROR(EINVAL);
1007     }
1008
1009     overlap = buf_size - buffer_start;
1010     new_size = buf_size + buffer_size - overlap;
1011
1012     alloc_size = FFMAX(s->buffer_size, new_size);
1013     if (alloc_size > buf_size)
1014         if (!(buf = (*bufp) = av_realloc_f(buf, 1, alloc_size)))
1015             return AVERROR(ENOMEM);
1016
1017     if (new_size > buf_size) {
1018         memcpy(buf + buf_size, s->buffer + overlap, buffer_size - overlap);
1019         buf_size = new_size;
1020     }
1021
1022     av_free(s->buffer);
1023     s->buf_ptr = s->buffer = buf;
1024     s->buffer_size = alloc_size;
1025     s->pos = buf_size;
1026     s->buf_end = s->buf_ptr + buf_size;
1027     s->eof_reached = 0;
1028     s->must_flush = 0;
1029
1030     return 0;
1031 }
1032
1033 int avio_open(AVIOContext **s, const char *filename, int flags)
1034 {
1035     return avio_open2(s, filename, flags, NULL, NULL);
1036 }
1037
1038 int ffio_open_whitelist(AVIOContext **s, const char *filename, int flags,
1039                          const AVIOInterruptCB *int_cb, AVDictionary **options,
1040                          const char *whitelist, const char *blacklist
1041                         )
1042 {
1043     URLContext *h;
1044     int err;
1045
1046     err = ffurl_open_whitelist(&h, filename, flags, int_cb, options, whitelist, blacklist, NULL);
1047     if (err < 0)
1048         return err;
1049     err = ffio_fdopen(s, h);
1050     if (err < 0) {
1051         ffurl_close(h);
1052         return err;
1053     }
1054     return 0;
1055 }
1056
1057 int avio_open2(AVIOContext **s, const char *filename, int flags,
1058                const AVIOInterruptCB *int_cb, AVDictionary **options)
1059 {
1060     return ffio_open_whitelist(s, filename, flags, int_cb, options, NULL, NULL);
1061 }
1062
1063 int ffio_open2_wrapper(struct AVFormatContext *s, AVIOContext **pb, const char *url, int flags,
1064                        const AVIOInterruptCB *int_cb, AVDictionary **options)
1065 {
1066     return ffio_open_whitelist(pb, url, flags, int_cb, options, s->protocol_whitelist, s->protocol_blacklist);
1067 }
1068
1069 int avio_close(AVIOContext *s)
1070 {
1071     AVIOInternal *internal;
1072     URLContext *h;
1073
1074     if (!s)
1075         return 0;
1076
1077     avio_flush(s);
1078     internal = s->opaque;
1079     h        = internal->h;
1080
1081     av_freep(&s->opaque);
1082     av_freep(&s->buffer);
1083     if (s->write_flag)
1084         av_log(s, AV_LOG_DEBUG, "Statistics: %d seeks, %d writeouts\n", s->seek_count, s->writeout_count);
1085     else
1086         av_log(s, AV_LOG_DEBUG, "Statistics: %"PRId64" bytes read, %d seeks\n", s->bytes_read, s->seek_count);
1087     av_opt_free(s);
1088     av_free(s);
1089     return ffurl_close(h);
1090 }
1091
1092 int avio_closep(AVIOContext **s)
1093 {
1094     int ret = avio_close(*s);
1095     *s = NULL;
1096     return ret;
1097 }
1098
1099 int avio_printf(AVIOContext *s, const char *fmt, ...)
1100 {
1101     va_list ap;
1102     char buf[4096]; /* update doc entry in avio.h if changed */
1103     int ret;
1104
1105     va_start(ap, fmt);
1106     ret = vsnprintf(buf, sizeof(buf), fmt, ap);
1107     va_end(ap);
1108     avio_write(s, buf, strlen(buf));
1109     return ret;
1110 }
1111
1112 int avio_pause(AVIOContext *s, int pause)
1113 {
1114     if (!s->read_pause)
1115         return AVERROR(ENOSYS);
1116     return s->read_pause(s->opaque, pause);
1117 }
1118
1119 int64_t avio_seek_time(AVIOContext *s, int stream_index,
1120                        int64_t timestamp, int flags)
1121 {
1122     int64_t ret;
1123     if (!s->read_seek)
1124         return AVERROR(ENOSYS);
1125     ret = s->read_seek(s->opaque, stream_index, timestamp, flags);
1126     if (ret >= 0) {
1127         int64_t pos;
1128         s->buf_ptr = s->buf_end; // Flush buffer
1129         pos = s->seek(s->opaque, 0, SEEK_CUR);
1130         if (pos >= 0)
1131             s->pos = pos;
1132         else if (pos != AVERROR(ENOSYS))
1133             ret = pos;
1134     }
1135     return ret;
1136 }
1137
1138 int avio_read_to_bprint(AVIOContext *h, AVBPrint *pb, size_t max_size)
1139 {
1140     int ret;
1141     char buf[1024];
1142     while (max_size) {
1143         ret = avio_read(h, buf, FFMIN(max_size, sizeof(buf)));
1144         if (ret == AVERROR_EOF)
1145             return 0;
1146         if (ret <= 0)
1147             return ret;
1148         av_bprint_append_data(pb, buf, ret);
1149         if (!av_bprint_is_complete(pb))
1150             return AVERROR(ENOMEM);
1151         max_size -= ret;
1152     }
1153     return 0;
1154 }
1155
1156 int avio_accept(AVIOContext *s, AVIOContext **c)
1157 {
1158     int ret;
1159     AVIOInternal *internal = s->opaque;
1160     URLContext *sc = internal->h;
1161     URLContext *cc = NULL;
1162     ret = ffurl_accept(sc, &cc);
1163     if (ret < 0)
1164         return ret;
1165     return ffio_fdopen(c, cc);
1166 }
1167
1168 int avio_handshake(AVIOContext *c)
1169 {
1170     AVIOInternal *internal = c->opaque;
1171     URLContext *cc = internal->h;
1172     return ffurl_handshake(cc);
1173 }
1174
1175 /* output in a dynamic buffer */
1176
1177 typedef struct DynBuffer {
1178     int pos, size, allocated_size;
1179     uint8_t *buffer;
1180     int io_buffer_size;
1181     uint8_t io_buffer[1];
1182 } DynBuffer;
1183
1184 static int dyn_buf_write(void *opaque, uint8_t *buf, int buf_size)
1185 {
1186     DynBuffer *d = opaque;
1187     unsigned new_size, new_allocated_size;
1188
1189     /* reallocate buffer if needed */
1190     new_size = d->pos + buf_size;
1191     new_allocated_size = d->allocated_size;
1192     if (new_size < d->pos || new_size > INT_MAX/2)
1193         return -1;
1194     while (new_size > new_allocated_size) {
1195         if (!new_allocated_size)
1196             new_allocated_size = new_size;
1197         else
1198             new_allocated_size += new_allocated_size / 2 + 1;
1199     }
1200
1201     if (new_allocated_size > d->allocated_size) {
1202         int err;
1203         if ((err = av_reallocp(&d->buffer, new_allocated_size)) < 0) {
1204             d->allocated_size = 0;
1205             d->size = 0;
1206             return err;
1207         }
1208         d->allocated_size = new_allocated_size;
1209     }
1210     memcpy(d->buffer + d->pos, buf, buf_size);
1211     d->pos = new_size;
1212     if (d->pos > d->size)
1213         d->size = d->pos;
1214     return buf_size;
1215 }
1216
1217 static int dyn_packet_buf_write(void *opaque, uint8_t *buf, int buf_size)
1218 {
1219     unsigned char buf1[4];
1220     int ret;
1221
1222     /* packetized write: output the header */
1223     AV_WB32(buf1, buf_size);
1224     ret = dyn_buf_write(opaque, buf1, 4);
1225     if (ret < 0)
1226         return ret;
1227
1228     /* then the data */
1229     return dyn_buf_write(opaque, buf, buf_size);
1230 }
1231
1232 static int64_t dyn_buf_seek(void *opaque, int64_t offset, int whence)
1233 {
1234     DynBuffer *d = opaque;
1235
1236     if (whence == SEEK_CUR)
1237         offset += d->pos;
1238     else if (whence == SEEK_END)
1239         offset += d->size;
1240     if (offset < 0 || offset > 0x7fffffffLL)
1241         return -1;
1242     d->pos = offset;
1243     return 0;
1244 }
1245
1246 static int url_open_dyn_buf_internal(AVIOContext **s, int max_packet_size)
1247 {
1248     DynBuffer *d;
1249     unsigned io_buffer_size = max_packet_size ? max_packet_size : 1024;
1250
1251     if (sizeof(DynBuffer) + io_buffer_size < io_buffer_size)
1252         return -1;
1253     d = av_mallocz(sizeof(DynBuffer) + io_buffer_size);
1254     if (!d)
1255         return AVERROR(ENOMEM);
1256     d->io_buffer_size = io_buffer_size;
1257     *s = avio_alloc_context(d->io_buffer, d->io_buffer_size, 1, d, NULL,
1258                             max_packet_size ? dyn_packet_buf_write : dyn_buf_write,
1259                             max_packet_size ? NULL : dyn_buf_seek);
1260     if(!*s) {
1261         av_free(d);
1262         return AVERROR(ENOMEM);
1263     }
1264     (*s)->max_packet_size = max_packet_size;
1265     return 0;
1266 }
1267
1268 int avio_open_dyn_buf(AVIOContext **s)
1269 {
1270     return url_open_dyn_buf_internal(s, 0);
1271 }
1272
1273 int ffio_open_dyn_packet_buf(AVIOContext **s, int max_packet_size)
1274 {
1275     if (max_packet_size <= 0)
1276         return -1;
1277     return url_open_dyn_buf_internal(s, max_packet_size);
1278 }
1279
1280 int avio_get_dyn_buf(AVIOContext *s, uint8_t **pbuffer)
1281 {
1282     DynBuffer *d;
1283
1284     if (!s) {
1285         *pbuffer = NULL;
1286         return 0;
1287     }
1288
1289     avio_flush(s);
1290
1291     d = s->opaque;
1292     *pbuffer = d->buffer;
1293
1294     return d->size;
1295 }
1296
1297 int avio_close_dyn_buf(AVIOContext *s, uint8_t **pbuffer)
1298 {
1299     DynBuffer *d;
1300     int size;
1301     static const char padbuf[AV_INPUT_BUFFER_PADDING_SIZE] = {0};
1302     int padding = 0;
1303
1304     if (!s) {
1305         *pbuffer = NULL;
1306         return 0;
1307     }
1308
1309     /* don't attempt to pad fixed-size packet buffers */
1310     if (!s->max_packet_size) {
1311         avio_write(s, padbuf, sizeof(padbuf));
1312         padding = AV_INPUT_BUFFER_PADDING_SIZE;
1313     }
1314
1315     avio_flush(s);
1316
1317     d = s->opaque;
1318     *pbuffer = d->buffer;
1319     size = d->size;
1320     av_free(d);
1321     av_free(s);
1322     return size - padding;
1323 }
1324
1325 void ffio_free_dyn_buf(AVIOContext **s)
1326 {
1327     uint8_t *tmp;
1328     if (!*s)
1329         return;
1330     avio_close_dyn_buf(*s, &tmp);
1331     av_free(tmp);
1332     *s = NULL;
1333 }
1334
1335 static int null_buf_write(void *opaque, uint8_t *buf, int buf_size)
1336 {
1337     DynBuffer *d = opaque;
1338
1339     d->pos += buf_size;
1340     if (d->pos > d->size)
1341         d->size = d->pos;
1342     return buf_size;
1343 }
1344
1345 int ffio_open_null_buf(AVIOContext **s)
1346 {
1347     int ret = url_open_dyn_buf_internal(s, 0);
1348     if (ret >= 0) {
1349         AVIOContext *pb = *s;
1350         pb->write_packet = null_buf_write;
1351     }
1352     return ret;
1353 }
1354
1355 int ffio_close_null_buf(AVIOContext *s)
1356 {
1357     DynBuffer *d = s->opaque;
1358     int size;
1359
1360     avio_flush(s);
1361
1362     size = d->size;
1363     av_free(d);
1364     av_free(s);
1365     return size;
1366 }