git.sesse.net Git - ffmpeg/blob - libavformat/aviobuf.c

   1 /*
   2  * buffered I/O
   3  * Copyright (c) 2000,2001 Fabrice Bellard
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "libavutil/bprint.h"
  23 #include "libavutil/crc.h"
  24 #include "libavutil/dict.h"
  25 #include "libavutil/intreadwrite.h"
  26 #include "libavutil/log.h"
  27 #include "libavutil/opt.h"
  28 #include "libavutil/avassert.h"
  29 #include "avformat.h"
  30 #include "avio.h"
  31 #include "avio_internal.h"
  32 #include "internal.h"
  33 #include "url.h"
  34 #include <stdarg.h>
  35
  36 #define IO_BUFFER_SIZE 32768
  37
  38 /**
  39  * Do seeks within this distance ahead of the current buffer by skipping
  40  * data instead of calling the protocol seek function, for seekable
  41  * protocols.
  42  */
  43 #define SHORT_SEEK_THRESHOLD 4096
  44
  45 typedef struct AVIOInternal {
  46     URLContext *h;
  47 } AVIOInternal;
  48
  49 static void *ff_avio_child_next(void *obj, void *prev)
  50 {
  51     AVIOContext *s = obj;
  52     AVIOInternal *internal = s->opaque;
  53     return prev ? NULL : internal->h;
  54 }
  55
  56 static const AVClass *ff_avio_child_class_next(const AVClass *prev)
  57 {
  58     return prev ? NULL : &ffurl_context_class;
  59 }
  60
  61 #define OFFSET(x) offsetof(AVIOContext,x)
  62 #define E AV_OPT_FLAG_ENCODING_PARAM
  63 #define D AV_OPT_FLAG_DECODING_PARAM
  64 static const AVOption ff_avio_options[] = {
  65     {"protocol_whitelist", "List of protocols that are allowed to be used", OFFSET(protocol_whitelist), AV_OPT_TYPE_STRING, { .str = NULL },  CHAR_MIN, CHAR_MAX, D },
  66     { NULL },
  67 };
  68
  69 const AVClass ff_avio_class = {
  70     .class_name = "AVIOContext",
  71     .item_name  = av_default_item_name,
  72     .version    = LIBAVUTIL_VERSION_INT,
  73     .option     = ff_avio_options,
  74     .child_next = ff_avio_child_next,
  75     .child_class_next = ff_avio_child_class_next,
  76 };
  77
  78 static void fill_buffer(AVIOContext *s);
  79 static int url_resetbuf(AVIOContext *s, int flags);
  80
  81 int ffio_init_context(AVIOContext *s,
  82                   unsigned char *buffer,
  83                   int buffer_size,
  84                   int write_flag,
  85                   void *opaque,
  86                   int (*read_packet)(void *opaque, uint8_t *buf, int buf_size),
  87                   int (*write_packet)(void *opaque, uint8_t *buf, int buf_size),
  88                   int64_t (*seek)(void *opaque, int64_t offset, int whence))
  89 {
  90     s->buffer      = buffer;
  91     s->orig_buffer_size =
  92     s->buffer_size = buffer_size;
  93     s->buf_ptr     = buffer;
  94     s->opaque      = opaque;
  95     s->direct      = 0;
  96
  97     url_resetbuf(s, write_flag ? AVIO_FLAG_WRITE : AVIO_FLAG_READ);
  98
  99     s->write_packet    = write_packet;
 100     s->read_packet     = read_packet;
 101     s->seek            = seek;
 102     s->pos             = 0;
 103     s->must_flush      = 0;
 104     s->eof_reached     = 0;
 105     s->error           = 0;
 106     s->seekable        = seek ? AVIO_SEEKABLE_NORMAL : 0;
 107     s->max_packet_size = 0;
 108     s->update_checksum = NULL;
 109     s->short_seek_threshold = SHORT_SEEK_THRESHOLD;
 110
 111     if (!read_packet && !write_flag) {
 112         s->pos     = buffer_size;
 113         s->buf_end = s->buffer + buffer_size;
 114     }
 115     s->read_pause = NULL;
 116     s->read_seek  = NULL;
 117
 118     return 0;
 119 }
 120
 121 AVIOContext *avio_alloc_context(
 122                   unsigned char *buffer,
 123                   int buffer_size,
 124                   int write_flag,
 125                   void *opaque,
 126                   int (*read_packet)(void *opaque, uint8_t *buf, int buf_size),
 127                   int (*write_packet)(void *opaque, uint8_t *buf, int buf_size),
 128                   int64_t (*seek)(void *opaque, int64_t offset, int whence))
 129 {
 130     AVIOContext *s = av_mallocz(sizeof(AVIOContext));
 131     if (!s)
 132         return NULL;
 133     ffio_init_context(s, buffer, buffer_size, write_flag, opaque,
 134                   read_packet, write_packet, seek);
 135     return s;
 136 }
 137
 138 static void writeout(AVIOContext *s, const uint8_t *data, int len)
 139 {
 140     if (s->write_packet && !s->error) {
 141         int ret = s->write_packet(s->opaque, (uint8_t *)data, len);
 142         if (ret < 0) {
 143             s->error = ret;
 144         }
 145     }
 146     s->writeout_count ++;
 147     s->pos += len;
 148 }
 149
 150 static void flush_buffer(AVIOContext *s)
 151 {
 152     if (s->write_flag && s->buf_ptr > s->buffer) {
 153         writeout(s, s->buffer, s->buf_ptr - s->buffer);
 154         if (s->update_checksum) {
 155             s->checksum     = s->update_checksum(s->checksum, s->checksum_ptr,
 156                                                  s->buf_ptr - s->checksum_ptr);
 157             s->checksum_ptr = s->buffer;
 158         }
 159     }
 160     s->buf_ptr = s->buffer;
 161     if (!s->write_flag)
 162         s->buf_end = s->buffer;
 163 }
 164
 165 void avio_w8(AVIOContext *s, int b)
 166 {
 167     av_assert2(b>=-128 && b<=255);
 168     *s->buf_ptr++ = b;
 169     if (s->buf_ptr >= s->buf_end)
 170         flush_buffer(s);
 171 }
 172
 173 void ffio_fill(AVIOContext *s, int b, int count)
 174 {
 175     while (count > 0) {
 176         int len = FFMIN(s->buf_end - s->buf_ptr, count);
 177         memset(s->buf_ptr, b, len);
 178         s->buf_ptr += len;
 179
 180         if (s->buf_ptr >= s->buf_end)
 181             flush_buffer(s);
 182
 183         count -= len;
 184     }
 185 }
 186
 187 void avio_write(AVIOContext *s, const unsigned char *buf, int size)
 188 {
 189     if (s->direct && !s->update_checksum) {
 190         avio_flush(s);
 191         writeout(s, buf, size);
 192         return;
 193     }
 194     while (size > 0) {
 195         int len = FFMIN(s->buf_end - s->buf_ptr, size);
 196         memcpy(s->buf_ptr, buf, len);
 197         s->buf_ptr += len;
 198
 199         if (s->buf_ptr >= s->buf_end)
 200             flush_buffer(s);
 201
 202         buf += len;
 203         size -= len;
 204     }
 205 }
 206
 207 void avio_flush(AVIOContext *s)
 208 {
 209     flush_buffer(s);
 210     s->must_flush = 0;
 211 }
 212
 213 int64_t avio_seek(AVIOContext *s, int64_t offset, int whence)
 214 {
 215     int64_t offset1;
 216     int64_t pos;
 217     int force = whence & AVSEEK_FORCE;
 218     int buffer_size;
 219     whence &= ~AVSEEK_FORCE;
 220
 221     if(!s)
 222         return AVERROR(EINVAL);
 223
 224     buffer_size = s->buf_end - s->buffer;
 225     // pos is the absolute position that the beginning of s->buffer corresponds to in the file
 226     pos = s->pos - (s->write_flag ? 0 : buffer_size);
 227
 228     if (whence != SEEK_CUR && whence != SEEK_SET)
 229         return AVERROR(EINVAL);
 230
 231     if (whence == SEEK_CUR) {
 232         offset1 = pos + (s->buf_ptr - s->buffer);
 233         if (offset == 0)
 234             return offset1;
 235         offset += offset1;
 236     }
 237     if (offset < 0)
 238         return AVERROR(EINVAL);
 239
 240     offset1 = offset - pos; // "offset1" is the relative offset from the beginning of s->buffer
 241     if (!s->must_flush && (!s->direct || !s->seek) &&
 242         offset1 >= 0 && offset1 <= buffer_size - s->write_flag) {
 243         /* can do the seek inside the buffer */
 244         s->buf_ptr = s->buffer + offset1;
 245     } else if ((!s->seekable ||
 246                offset1 <= buffer_size + s->short_seek_threshold) &&
 247                !s->write_flag && offset1 >= 0 &&
 248                (!s->direct || !s->seek) &&
 249               (whence != SEEK_END || force)) {
 250         while(s->pos < offset && !s->eof_reached)
 251             fill_buffer(s);
 252         if (s->eof_reached)
 253             return AVERROR_EOF;
 254         s->buf_ptr = s->buf_end - (s->pos - offset);
 255     } else if(!s->write_flag && offset1 < 0 && -offset1 < buffer_size>>1 && s->seek && offset > 0) {
 256         int64_t res;
 257
 258         pos -= FFMIN(buffer_size>>1, pos);
 259         if ((res = s->seek(s->opaque, pos, SEEK_SET)) < 0)
 260             return res;
 261         s->buf_end =
 262         s->buf_ptr = s->buffer;
 263         s->pos = pos;
 264         s->eof_reached = 0;
 265         fill_buffer(s);
 266         return avio_seek(s, offset, SEEK_SET | force);
 267     } else {
 268         int64_t res;
 269         if (s->write_flag) {
 270             flush_buffer(s);
 271             s->must_flush = 1;
 272         }
 273         if (!s->seek)
 274             return AVERROR(EPIPE);
 275         if ((res = s->seek(s->opaque, offset, SEEK_SET)) < 0)
 276             return res;
 277         s->seek_count ++;
 278         if (!s->write_flag)
 279             s->buf_end = s->buffer;
 280         s->buf_ptr = s->buffer;
 281         s->pos = offset;
 282     }
 283     s->eof_reached = 0;
 284     return offset;
 285 }
 286
 287 int64_t avio_skip(AVIOContext *s, int64_t offset)
 288 {
 289     return avio_seek(s, offset, SEEK_CUR);
 290 }
 291
 292 int64_t avio_size(AVIOContext *s)
 293 {
 294     int64_t size;
 295
 296     if (!s)
 297         return AVERROR(EINVAL);
 298
 299     if (!s->seek)
 300         return AVERROR(ENOSYS);
 301     size = s->seek(s->opaque, 0, AVSEEK_SIZE);
 302     if (size < 0) {
 303         if ((size = s->seek(s->opaque, -1, SEEK_END)) < 0)
 304             return size;
 305         size++;
 306         s->seek(s->opaque, s->pos, SEEK_SET);
 307     }
 308     return size;
 309 }
 310
 311 int avio_feof(AVIOContext *s)
 312 {
 313     if(!s)
 314         return 0;
 315     if(s->eof_reached){
 316         s->eof_reached=0;
 317         fill_buffer(s);
 318     }
 319     return s->eof_reached;
 320 }
 321
 322 #if FF_API_URL_FEOF
 323 int url_feof(AVIOContext *s)
 324 {
 325     return avio_feof(s);
 326 }
 327 #endif
 328
 329 void avio_wl32(AVIOContext *s, unsigned int val)
 330 {
 331     avio_w8(s, (uint8_t) val       );
 332     avio_w8(s, (uint8_t)(val >> 8 ));
 333     avio_w8(s, (uint8_t)(val >> 16));
 334     avio_w8(s,           val >> 24 );
 335 }
 336
 337 void avio_wb32(AVIOContext *s, unsigned int val)
 338 {
 339     avio_w8(s,           val >> 24 );
 340     avio_w8(s, (uint8_t)(val >> 16));
 341     avio_w8(s, (uint8_t)(val >> 8 ));
 342     avio_w8(s, (uint8_t) val       );
 343 }
 344
 345 int avio_put_str(AVIOContext *s, const char *str)
 346 {
 347     int len = 1;
 348     if (str) {
 349         len += strlen(str);
 350         avio_write(s, (const unsigned char *) str, len);
 351     } else
 352         avio_w8(s, 0);
 353     return len;
 354 }
 355
 356 static inline int put_str16(AVIOContext *s, const char *str, const int be)
 357 {
 358     const uint8_t *q = str;
 359     int ret = 0;
 360     int err = 0;
 361
 362     while (*q) {
 363         uint32_t ch;
 364         uint16_t tmp;
 365
 366         GET_UTF8(ch, *q++, goto invalid;)
 367         PUT_UTF16(ch, tmp, be ? avio_wb16(s, tmp) : avio_wl16(s, tmp);
 368                   ret += 2;)
 369         continue;
 370 invalid:
 371         av_log(s, AV_LOG_ERROR, "Invaid UTF8 sequence in avio_put_str16%s\n", be ? "be" : "le");
 372         err = AVERROR(EINVAL);
 373         if (!*(q-1))
 374             break;
 375     }
 376     if (be)
 377         avio_wb16(s, 0);
 378     else
 379         avio_wl16(s, 0);
 380     if (err)
 381         return err;
 382     ret += 2;
 383     return ret;
 384 }
 385
 386 #define PUT_STR16(type, big_endian)                          \
 387 int avio_put_str16 ## type(AVIOContext *s, const char *str)  \
 388 {                                                            \
 389 return put_str16(s, str, big_endian);                        \
 390 }
 391
 392 PUT_STR16(le, 0)
 393 PUT_STR16(be, 1)
 394
 395 #undef PUT_STR16
 396
 397 int ff_get_v_length(uint64_t val)
 398 {
 399     int i = 1;
 400
 401     while (val >>= 7)
 402         i++;
 403
 404     return i;
 405 }
 406
 407 void ff_put_v(AVIOContext *bc, uint64_t val)
 408 {
 409     int i = ff_get_v_length(val);
 410
 411     while (--i > 0)
 412         avio_w8(bc, 128 | (uint8_t)(val >> (7*i)));
 413
 414     avio_w8(bc, val & 127);
 415 }
 416
 417 void avio_wl64(AVIOContext *s, uint64_t val)
 418 {
 419     avio_wl32(s, (uint32_t)(val & 0xffffffff));
 420     avio_wl32(s, (uint32_t)(val >> 32));
 421 }
 422
 423 void avio_wb64(AVIOContext *s, uint64_t val)
 424 {
 425     avio_wb32(s, (uint32_t)(val >> 32));
 426     avio_wb32(s, (uint32_t)(val & 0xffffffff));
 427 }
 428
 429 void avio_wl16(AVIOContext *s, unsigned int val)
 430 {
 431     avio_w8(s, (uint8_t)val);
 432     avio_w8(s, (int)val >> 8);
 433 }
 434
 435 void avio_wb16(AVIOContext *s, unsigned int val)
 436 {
 437     avio_w8(s, (int)val >> 8);
 438     avio_w8(s, (uint8_t)val);
 439 }
 440
 441 void avio_wl24(AVIOContext *s, unsigned int val)
 442 {
 443     avio_wl16(s, val & 0xffff);
 444     avio_w8(s, (int)val >> 16);
 445 }
 446
 447 void avio_wb24(AVIOContext *s, unsigned int val)
 448 {
 449     avio_wb16(s, (int)val >> 8);
 450     avio_w8(s, (uint8_t)val);
 451 }
 452
 453 /* Input stream */
 454
 455 static void fill_buffer(AVIOContext *s)
 456 {
 457     int max_buffer_size = s->max_packet_size ?
 458                           s->max_packet_size : IO_BUFFER_SIZE;
 459     uint8_t *dst        = s->buf_end - s->buffer + max_buffer_size < s->buffer_size ?
 460                           s->buf_end : s->buffer;
 461     int len             = s->buffer_size - (dst - s->buffer);
 462
 463     /* can't fill the buffer without read_packet, just set EOF if appropriate */
 464     if (!s->read_packet && s->buf_ptr >= s->buf_end)
 465         s->eof_reached = 1;
 466
 467     /* no need to do anything if EOF already reached */
 468     if (s->eof_reached)
 469         return;
 470
 471     if (s->update_checksum && dst == s->buffer) {
 472         if (s->buf_end > s->checksum_ptr)
 473             s->checksum = s->update_checksum(s->checksum, s->checksum_ptr,
 474                                              s->buf_end - s->checksum_ptr);
 475         s->checksum_ptr = s->buffer;
 476     }
 477
 478     /* make buffer smaller in case it ended up large after probing */
 479     if (s->read_packet && s->orig_buffer_size && s->buffer_size > s->orig_buffer_size) {
 480         if (dst == s->buffer) {
 481             int ret = ffio_set_buf_size(s, s->orig_buffer_size);
 482             if (ret < 0)
 483                 av_log(s, AV_LOG_WARNING, "Failed to decrease buffer size\n");
 484
 485             s->checksum_ptr = dst = s->buffer;
 486         }
 487         av_assert0(len >= s->orig_buffer_size);
 488         len = s->orig_buffer_size;
 489     }
 490
 491     if (s->read_packet)
 492         len = s->read_packet(s->opaque, dst, len);
 493     else
 494         len = 0;
 495     if (len <= 0) {
 496         /* do not modify buffer if EOF reached so that a seek back can
 497            be done without rereading data */
 498         s->eof_reached = 1;
 499         if (len < 0)
 500             s->error = len;
 501     } else {
 502         s->pos += len;
 503         s->buf_ptr = dst;
 504         s->buf_end = dst + len;
 505         s->bytes_read += len;
 506     }
 507 }
 508
 509 unsigned long ff_crc04C11DB7_update(unsigned long checksum, const uint8_t *buf,
 510                                     unsigned int len)
 511 {
 512     return av_crc(av_crc_get_table(AV_CRC_32_IEEE), checksum, buf, len);
 513 }
 514
 515 unsigned long ff_crcA001_update(unsigned long checksum, const uint8_t *buf,
 516                                 unsigned int len)
 517 {
 518     return av_crc(av_crc_get_table(AV_CRC_16_ANSI_LE), checksum, buf, len);
 519 }
 520
 521 unsigned long ffio_get_checksum(AVIOContext *s)
 522 {
 523     s->checksum = s->update_checksum(s->checksum, s->checksum_ptr,
 524                                      s->buf_ptr - s->checksum_ptr);
 525     s->update_checksum = NULL;
 526     return s->checksum;
 527 }
 528
 529 void ffio_init_checksum(AVIOContext *s,
 530                    unsigned long (*update_checksum)(unsigned long c, const uint8_t *p, unsigned int len),
 531                    unsigned long checksum)
 532 {
 533     s->update_checksum = update_checksum;
 534     if (s->update_checksum) {
 535         s->checksum     = checksum;
 536         s->checksum_ptr = s->buf_ptr;
 537     }
 538 }
 539
 540 /* XXX: put an inline version */
 541 int avio_r8(AVIOContext *s)
 542 {
 543     if (s->buf_ptr >= s->buf_end)
 544         fill_buffer(s);
 545     if (s->buf_ptr < s->buf_end)
 546         return *s->buf_ptr++;
 547     return 0;
 548 }
 549
 550 int avio_read(AVIOContext *s, unsigned char *buf, int size)
 551 {
 552     int len, size1;
 553
 554     size1 = size;
 555     while (size > 0) {
 556         len = FFMIN(s->buf_end - s->buf_ptr, size);
 557         if (len == 0 || s->write_flag) {
 558             if((s->direct || size > s->buffer_size) && !s->update_checksum) {
 559                 // bypass the buffer and read data directly into buf
 560                 if(s->read_packet)
 561                     len = s->read_packet(s->opaque, buf, size);
 562
 563                 if (len <= 0) {
 564                     /* do not modify buffer if EOF reached so that a seek back can
 565                     be done without rereading data */
 566                     s->eof_reached = 1;
 567                     if(len<0)
 568                         s->error= len;
 569                     break;
 570                 } else {
 571                     s->pos += len;
 572                     s->bytes_read += len;
 573                     size -= len;
 574                     buf += len;
 575                     // reset the buffer
 576                     s->buf_ptr = s->buffer;
 577                     s->buf_end = s->buffer/* + len*/;
 578                 }
 579             } else {
 580                 fill_buffer(s);
 581                 len = s->buf_end - s->buf_ptr;
 582                 if (len == 0)
 583                     break;
 584             }
 585         } else {
 586             memcpy(buf, s->buf_ptr, len);
 587             buf += len;
 588             s->buf_ptr += len;
 589             size -= len;
 590         }
 591     }
 592     if (size1 == size) {
 593         if (s->error)      return s->error;
 594         if (avio_feof(s))  return AVERROR_EOF;
 595     }
 596     return size1 - size;
 597 }
 598
 599 int ffio_read_size(AVIOContext *s, unsigned char *buf, int size)
 600 {
 601     int ret = avio_read(s, buf, size);
 602     if (ret != size)
 603         return AVERROR_INVALIDDATA;
 604     return ret;
 605 }
 606
 607 int ffio_read_indirect(AVIOContext *s, unsigned char *buf, int size, const unsigned char **data)
 608 {
 609     if (s->buf_end - s->buf_ptr >= size && !s->write_flag) {
 610         *data = s->buf_ptr;
 611         s->buf_ptr += size;
 612         return size;
 613     } else {
 614         *data = buf;
 615         return avio_read(s, buf, size);
 616     }
 617 }
 618
 619 int ffio_read_partial(AVIOContext *s, unsigned char *buf, int size)
 620 {
 621     int len;
 622
 623     if (size < 0)
 624         return -1;
 625
 626     if (s->read_packet && s->write_flag) {
 627         len = s->read_packet(s->opaque, buf, size);
 628         if (len > 0)
 629             s->pos += len;
 630         return len;
 631     }
 632
 633     len = s->buf_end - s->buf_ptr;
 634     if (len == 0) {
 635         /* Reset the buf_end pointer to the start of the buffer, to make sure
 636          * the fill_buffer call tries to read as much data as fits into the
 637          * full buffer, instead of just what space is left after buf_end.
 638          * This avoids returning partial packets at the end of the buffer,
 639          * for packet based inputs.
 640          */
 641         s->buf_end = s->buf_ptr = s->buffer;
 642         fill_buffer(s);
 643         len = s->buf_end - s->buf_ptr;
 644     }
 645     if (len > size)
 646         len = size;
 647     memcpy(buf, s->buf_ptr, len);
 648     s->buf_ptr += len;
 649     if (!len) {
 650         if (s->error)      return s->error;
 651         if (avio_feof(s))  return AVERROR_EOF;
 652     }
 653     return len;
 654 }
 655
 656 unsigned int avio_rl16(AVIOContext *s)
 657 {
 658     unsigned int val;
 659     val = avio_r8(s);
 660     val |= avio_r8(s) << 8;
 661     return val;
 662 }
 663
 664 unsigned int avio_rl24(AVIOContext *s)
 665 {
 666     unsigned int val;
 667     val = avio_rl16(s);
 668     val |= avio_r8(s) << 16;
 669     return val;
 670 }
 671
 672 unsigned int avio_rl32(AVIOContext *s)
 673 {
 674     unsigned int val;
 675     val = avio_rl16(s);
 676     val |= avio_rl16(s) << 16;
 677     return val;
 678 }
 679
 680 uint64_t avio_rl64(AVIOContext *s)
 681 {
 682     uint64_t val;
 683     val = (uint64_t)avio_rl32(s);
 684     val |= (uint64_t)avio_rl32(s) << 32;
 685     return val;
 686 }
 687
 688 unsigned int avio_rb16(AVIOContext *s)
 689 {
 690     unsigned int val;
 691     val = avio_r8(s) << 8;
 692     val |= avio_r8(s);
 693     return val;
 694 }
 695
 696 unsigned int avio_rb24(AVIOContext *s)
 697 {
 698     unsigned int val;
 699     val = avio_rb16(s) << 8;
 700     val |= avio_r8(s);
 701     return val;
 702 }
 703 unsigned int avio_rb32(AVIOContext *s)
 704 {
 705     unsigned int val;
 706     val = avio_rb16(s) << 16;
 707     val |= avio_rb16(s);
 708     return val;
 709 }
 710
 711 int ff_get_line(AVIOContext *s, char *buf, int maxlen)
 712 {
 713     int i = 0;
 714     char c;
 715
 716     do {
 717         c = avio_r8(s);
 718         if (c && i < maxlen-1)
 719             buf[i++] = c;
 720     } while (c != '\n' && c != '\r' && c);
 721     if (c == '\r' && avio_r8(s) != '\n' && !avio_feof(s))
 722         avio_skip(s, -1);
 723
 724     buf[i] = 0;
 725     return i;
 726 }
 727
 728 int avio_get_str(AVIOContext *s, int maxlen, char *buf, int buflen)
 729 {
 730     int i;
 731
 732     if (buflen <= 0)
 733         return AVERROR(EINVAL);
 734     // reserve 1 byte for terminating 0
 735     buflen = FFMIN(buflen - 1, maxlen);
 736     for (i = 0; i < buflen; i++)
 737         if (!(buf[i] = avio_r8(s)))
 738             return i + 1;
 739     buf[i] = 0;
 740     for (; i < maxlen; i++)
 741         if (!avio_r8(s))
 742             return i + 1;
 743     return maxlen;
 744 }
 745
 746 #define GET_STR16(type, read) \
 747     int avio_get_str16 ##type(AVIOContext *pb, int maxlen, char *buf, int buflen)\
 748 {\
 749     char* q = buf;\
 750     int ret = 0;\
 751     if (buflen <= 0) \
 752         return AVERROR(EINVAL); \
 753     while (ret + 1 < maxlen) {\
 754         uint8_t tmp;\
 755         uint32_t ch;\
 756         GET_UTF16(ch, (ret += 2) <= maxlen ? read(pb) : 0, break;)\
 757         if (!ch)\
 758             break;\
 759         PUT_UTF8(ch, tmp, if (q - buf < buflen - 1) *q++ = tmp;)\
 760     }\
 761     *q = 0;\
 762     return ret;\
 763 }\
 764
 765 GET_STR16(le, avio_rl16)
 766 GET_STR16(be, avio_rb16)
 767
 768 #undef GET_STR16
 769
 770 uint64_t avio_rb64(AVIOContext *s)
 771 {
 772     uint64_t val;
 773     val = (uint64_t)avio_rb32(s) << 32;
 774     val |= (uint64_t)avio_rb32(s);
 775     return val;
 776 }
 777
 778 uint64_t ffio_read_varlen(AVIOContext *bc){
 779     uint64_t val = 0;
 780     int tmp;
 781
 782     do{
 783         tmp = avio_r8(bc);
 784         val= (val<<7) + (tmp&127);
 785     }while(tmp&128);
 786     return val;
 787 }
 788
 789 static int io_read_packet(void *opaque, uint8_t *buf, int buf_size)
 790 {
 791     AVIOInternal *internal = opaque;
 792     return ffurl_read(internal->h, buf, buf_size);
 793 }
 794
 795 static int io_write_packet(void *opaque, uint8_t *buf, int buf_size)
 796 {
 797     AVIOInternal *internal = opaque;
 798     return ffurl_write(internal->h, buf, buf_size);
 799 }
 800
 801 static int64_t io_seek(void *opaque, int64_t offset, int whence)
 802 {
 803     AVIOInternal *internal = opaque;
 804     return ffurl_seek(internal->h, offset, whence);
 805 }
 806
 807 static int io_read_pause(void *opaque, int pause)
 808 {
 809     AVIOInternal *internal = opaque;
 810     if (!internal->h->prot->url_read_pause)
 811         return AVERROR(ENOSYS);
 812     return internal->h->prot->url_read_pause(internal->h, pause);
 813 }
 814
 815 static int64_t io_read_seek(void *opaque, int stream_index, int64_t timestamp, int flags)
 816 {
 817     AVIOInternal *internal = opaque;
 818     if (!internal->h->prot->url_read_seek)
 819         return AVERROR(ENOSYS);
 820     return internal->h->prot->url_read_seek(internal->h, stream_index, timestamp, flags);
 821 }
 822
 823 int ffio_fdopen(AVIOContext **s, URLContext *h)
 824 {
 825     AVIOInternal *internal = NULL;
 826     uint8_t *buffer = NULL;
 827     int buffer_size, max_packet_size;
 828
 829     max_packet_size = h->max_packet_size;
 830     if (max_packet_size) {
 831         buffer_size = max_packet_size; /* no need to bufferize more than one packet */
 832     } else {
 833         buffer_size = IO_BUFFER_SIZE;
 834     }
 835     buffer = av_malloc(buffer_size);
 836     if (!buffer)
 837         return AVERROR(ENOMEM);
 838
 839     internal = av_mallocz(sizeof(*internal));
 840     if (!internal)
 841         goto fail;
 842
 843     internal->h = h;
 844
 845     *s = avio_alloc_context(buffer, buffer_size, h->flags & AVIO_FLAG_WRITE,
 846                             internal, io_read_packet, io_write_packet, io_seek);
 847     if (!*s)
 848         goto fail;
 849
 850     (*s)->protocol_whitelist = av_strdup(h->protocol_whitelist);
 851     if (!(*s)->protocol_whitelist && h->protocol_whitelist) {
 852         avio_closep(s);
 853         goto fail;
 854     }
 855     (*s)->direct = h->flags & AVIO_FLAG_DIRECT;
 856
 857     (*s)->seekable = h->is_streamed ? 0 : AVIO_SEEKABLE_NORMAL;
 858     (*s)->max_packet_size = max_packet_size;
 859     if(h->prot) {
 860         (*s)->read_pause = io_read_pause;
 861         (*s)->read_seek  = io_read_seek;
 862     }
 863     (*s)->av_class = &ff_avio_class;
 864     return 0;
 865 fail:
 866     av_freep(&internal);
 867     av_freep(&buffer);
 868     return AVERROR(ENOMEM);
 869 }
 870
 871 int ffio_ensure_seekback(AVIOContext *s, int64_t buf_size)
 872 {
 873     uint8_t *buffer;
 874     int max_buffer_size = s->max_packet_size ?
 875                           s->max_packet_size : IO_BUFFER_SIZE;
 876     int filled = s->buf_end - s->buffer;
 877     ptrdiff_t checksum_ptr_offset = s->checksum_ptr ? s->checksum_ptr - s->buffer : -1;
 878
 879     buf_size += s->buf_ptr - s->buffer + max_buffer_size;
 880
 881     if (buf_size < filled || s->seekable || !s->read_packet)
 882         return 0;
 883     av_assert0(!s->write_flag);
 884
 885     buffer = av_malloc(buf_size);
 886     if (!buffer)
 887         return AVERROR(ENOMEM);
 888
 889     memcpy(buffer, s->buffer, filled);
 890     av_free(s->buffer);
 891     s->buf_ptr = buffer + (s->buf_ptr - s->buffer);
 892     s->buf_end = buffer + (s->buf_end - s->buffer);
 893     s->buffer = buffer;
 894     s->buffer_size = buf_size;
 895     if (checksum_ptr_offset >= 0)
 896         s->checksum_ptr = s->buffer + checksum_ptr_offset;
 897     return 0;
 898 }
 899
 900 int ffio_set_buf_size(AVIOContext *s, int buf_size)
 901 {
 902     uint8_t *buffer;
 903     buffer = av_malloc(buf_size);
 904     if (!buffer)
 905         return AVERROR(ENOMEM);
 906
 907     av_free(s->buffer);
 908     s->buffer = buffer;
 909     s->orig_buffer_size =
 910     s->buffer_size = buf_size;
 911     s->buf_ptr = buffer;
 912     url_resetbuf(s, s->write_flag ? AVIO_FLAG_WRITE : AVIO_FLAG_READ);
 913     return 0;
 914 }
 915
 916 static int url_resetbuf(AVIOContext *s, int flags)
 917 {
 918     av_assert1(flags == AVIO_FLAG_WRITE || flags == AVIO_FLAG_READ);
 919
 920     if (flags & AVIO_FLAG_WRITE) {
 921         s->buf_end = s->buffer + s->buffer_size;
 922         s->write_flag = 1;
 923     } else {
 924         s->buf_end = s->buffer;
 925         s->write_flag = 0;
 926     }
 927     return 0;
 928 }
 929
 930 int ffio_rewind_with_probe_data(AVIOContext *s, unsigned char **bufp, int buf_size)
 931 {
 932     int64_t buffer_start;
 933     int buffer_size;
 934     int overlap, new_size, alloc_size;
 935     uint8_t *buf = *bufp;
 936
 937     if (s->write_flag) {
 938         av_freep(bufp);
 939         return AVERROR(EINVAL);
 940     }
 941
 942     buffer_size = s->buf_end - s->buffer;
 943
 944     /* the buffers must touch or overlap */
 945     if ((buffer_start = s->pos - buffer_size) > buf_size) {
 946         av_freep(bufp);
 947         return AVERROR(EINVAL);
 948     }
 949
 950     overlap = buf_size - buffer_start;
 951     new_size = buf_size + buffer_size - overlap;
 952
 953     alloc_size = FFMAX(s->buffer_size, new_size);
 954     if (alloc_size > buf_size)
 955         if (!(buf = (*bufp) = av_realloc_f(buf, 1, alloc_size)))
 956             return AVERROR(ENOMEM);
 957
 958     if (new_size > buf_size) {
 959         memcpy(buf + buf_size, s->buffer + overlap, buffer_size - overlap);
 960         buf_size = new_size;
 961     }
 962
 963     av_free(s->buffer);
 964     s->buf_ptr = s->buffer = buf;
 965     s->buffer_size = alloc_size;
 966     s->pos = buf_size;
 967     s->buf_end = s->buf_ptr + buf_size;
 968     s->eof_reached = 0;
 969     s->must_flush = 0;
 970
 971     return 0;
 972 }
 973
 974 int avio_open(AVIOContext **s, const char *filename, int flags)
 975 {
 976     return avio_open2(s, filename, flags, NULL, NULL);
 977 }
 978
 979 int ffio_open_whitelist(AVIOContext **s, const char *filename, int flags,
 980                          const AVIOInterruptCB *int_cb, AVDictionary **options,
 981                          const char *whitelist
 982                         )
 983 {
 984     URLContext *h;
 985     int err;
 986
 987     err = ffurl_open_whitelist(&h, filename, flags, int_cb, options, whitelist);
 988     if (err < 0)
 989         return err;
 990     err = ffio_fdopen(s, h);
 991     if (err < 0) {
 992         ffurl_close(h);
 993         return err;
 994     }
 995     return 0;
 996 }
 997
 998 int avio_open2(AVIOContext **s, const char *filename, int flags,
 999                const AVIOInterruptCB *int_cb, AVDictionary **options)
1000 {
1001     return ffio_open_whitelist(s, filename, flags, int_cb, options, NULL);
1002 }
1003
1004 int ffio_open2_wrapper(struct AVFormatContext *s, AVIOContext **pb, const char *url, int flags,
1005                        const AVIOInterruptCB *int_cb, AVDictionary **options)
1006 {
1007     return ffio_open_whitelist(pb, url, flags, int_cb, options, s->protocol_whitelist);
1008 }
1009
1010 int avio_close(AVIOContext *s)
1011 {
1012     AVIOInternal *internal;
1013     URLContext *h;
1014
1015     if (!s)
1016         return 0;
1017
1018     avio_flush(s);
1019     internal = s->opaque;
1020     h        = internal->h;
1021
1022     av_freep(&s->opaque);
1023     av_freep(&s->buffer);
1024     if (s->write_flag)
1025         av_log(s, AV_LOG_DEBUG, "Statistics: %d seeks, %d writeouts\n", s->seek_count, s->writeout_count);
1026     else
1027         av_log(s, AV_LOG_DEBUG, "Statistics: %"PRId64" bytes read, %d seeks\n", s->bytes_read, s->seek_count);
1028     av_opt_free(s);
1029     av_free(s);
1030     return ffurl_close(h);
1031 }
1032
1033 int avio_closep(AVIOContext **s)
1034 {
1035     int ret = avio_close(*s);
1036     *s = NULL;
1037     return ret;
1038 }
1039
1040 int avio_printf(AVIOContext *s, const char *fmt, ...)
1041 {
1042     va_list ap;
1043     char buf[4096]; /* update doc entry in avio.h if changed */
1044     int ret;
1045
1046     va_start(ap, fmt);
1047     ret = vsnprintf(buf, sizeof(buf), fmt, ap);
1048     va_end(ap);
1049     avio_write(s, buf, strlen(buf));
1050     return ret;
1051 }
1052
1053 int avio_pause(AVIOContext *s, int pause)
1054 {
1055     if (!s->read_pause)
1056         return AVERROR(ENOSYS);
1057     return s->read_pause(s->opaque, pause);
1058 }
1059
1060 int64_t avio_seek_time(AVIOContext *s, int stream_index,
1061                        int64_t timestamp, int flags)
1062 {
1063     int64_t ret;
1064     if (!s->read_seek)
1065         return AVERROR(ENOSYS);
1066     ret = s->read_seek(s->opaque, stream_index, timestamp, flags);
1067     if (ret >= 0) {
1068         int64_t pos;
1069         s->buf_ptr = s->buf_end; // Flush buffer
1070         pos = s->seek(s->opaque, 0, SEEK_CUR);
1071         if (pos >= 0)
1072             s->pos = pos;
1073         else if (pos != AVERROR(ENOSYS))
1074             ret = pos;
1075     }
1076     return ret;
1077 }
1078
1079 int avio_read_to_bprint(AVIOContext *h, AVBPrint *pb, size_t max_size)
1080 {
1081     int ret;
1082     char buf[1024];
1083     while (max_size) {
1084         ret = avio_read(h, buf, FFMIN(max_size, sizeof(buf)));
1085         if (ret == AVERROR_EOF)
1086             return 0;
1087         if (ret <= 0)
1088             return ret;
1089         av_bprint_append_data(pb, buf, ret);
1090         if (!av_bprint_is_complete(pb))
1091             return AVERROR(ENOMEM);
1092         max_size -= ret;
1093     }
1094     return 0;
1095 }
1096
1097 int avio_accept(AVIOContext *s, AVIOContext **c)
1098 {
1099     int ret;
1100     URLContext *sc = s->opaque;
1101     URLContext *cc = NULL;
1102     ret = ffurl_accept(sc, &cc);
1103     if (ret < 0)
1104         return ret;
1105     return ffio_fdopen(c, cc);
1106 }
1107
1108 int avio_handshake(AVIOContext *c)
1109 {
1110     URLContext *cc = c->opaque;
1111     return ffurl_handshake(cc);
1112 }
1113
1114 /* output in a dynamic buffer */
1115
1116 typedef struct DynBuffer {
1117     int pos, size, allocated_size;
1118     uint8_t *buffer;
1119     int io_buffer_size;
1120     uint8_t io_buffer[1];
1121 } DynBuffer;
1122
1123 static int dyn_buf_write(void *opaque, uint8_t *buf, int buf_size)
1124 {
1125     DynBuffer *d = opaque;
1126     unsigned new_size, new_allocated_size;
1127
1128     /* reallocate buffer if needed */
1129     new_size = d->pos + buf_size;
1130     new_allocated_size = d->allocated_size;
1131     if (new_size < d->pos || new_size > INT_MAX/2)
1132         return -1;
1133     while (new_size > new_allocated_size) {
1134         if (!new_allocated_size)
1135             new_allocated_size = new_size;
1136         else
1137             new_allocated_size += new_allocated_size / 2 + 1;
1138     }
1139
1140     if (new_allocated_size > d->allocated_size) {
1141         int err;
1142         if ((err = av_reallocp(&d->buffer, new_allocated_size)) < 0) {
1143             d->allocated_size = 0;
1144             d->size = 0;
1145             return err;
1146         }
1147         d->allocated_size = new_allocated_size;
1148     }
1149     memcpy(d->buffer + d->pos, buf, buf_size);
1150     d->pos = new_size;
1151     if (d->pos > d->size)
1152         d->size = d->pos;
1153     return buf_size;
1154 }
1155
1156 static int dyn_packet_buf_write(void *opaque, uint8_t *buf, int buf_size)
1157 {
1158     unsigned char buf1[4];
1159     int ret;
1160
1161     /* packetized write: output the header */
1162     AV_WB32(buf1, buf_size);
1163     ret = dyn_buf_write(opaque, buf1, 4);
1164     if (ret < 0)
1165         return ret;
1166
1167     /* then the data */
1168     return dyn_buf_write(opaque, buf, buf_size);
1169 }
1170
1171 static int64_t dyn_buf_seek(void *opaque, int64_t offset, int whence)
1172 {
1173     DynBuffer *d = opaque;
1174
1175     if (whence == SEEK_CUR)
1176         offset += d->pos;
1177     else if (whence == SEEK_END)
1178         offset += d->size;
1179     if (offset < 0 || offset > 0x7fffffffLL)
1180         return -1;
1181     d->pos = offset;
1182     return 0;
1183 }
1184
1185 static int url_open_dyn_buf_internal(AVIOContext **s, int max_packet_size)
1186 {
1187     DynBuffer *d;
1188     unsigned io_buffer_size = max_packet_size ? max_packet_size : 1024;
1189
1190     if (sizeof(DynBuffer) + io_buffer_size < io_buffer_size)
1191         return -1;
1192     d = av_mallocz(sizeof(DynBuffer) + io_buffer_size);
1193     if (!d)
1194         return AVERROR(ENOMEM);
1195     d->io_buffer_size = io_buffer_size;
1196     *s = avio_alloc_context(d->io_buffer, d->io_buffer_size, 1, d, NULL,
1197                             max_packet_size ? dyn_packet_buf_write : dyn_buf_write,
1198                             max_packet_size ? NULL : dyn_buf_seek);
1199     if(!*s) {
1200         av_free(d);
1201         return AVERROR(ENOMEM);
1202     }
1203     (*s)->max_packet_size = max_packet_size;
1204     return 0;
1205 }
1206
1207 int avio_open_dyn_buf(AVIOContext **s)
1208 {
1209     return url_open_dyn_buf_internal(s, 0);
1210 }
1211
1212 int ffio_open_dyn_packet_buf(AVIOContext **s, int max_packet_size)
1213 {
1214     if (max_packet_size <= 0)
1215         return -1;
1216     return url_open_dyn_buf_internal(s, max_packet_size);
1217 }
1218
1219 int avio_close_dyn_buf(AVIOContext *s, uint8_t **pbuffer)
1220 {
1221     DynBuffer *d;
1222     int size;
1223     static const char padbuf[AV_INPUT_BUFFER_PADDING_SIZE] = {0};
1224     int padding = 0;
1225
1226     if (!s) {
1227         *pbuffer = NULL;
1228         return 0;
1229     }
1230
1231     /* don't attempt to pad fixed-size packet buffers */
1232     if (!s->max_packet_size) {
1233         avio_write(s, padbuf, sizeof(padbuf));
1234         padding = AV_INPUT_BUFFER_PADDING_SIZE;
1235     }
1236
1237     avio_flush(s);
1238
1239     d = s->opaque;
1240     *pbuffer = d->buffer;
1241     size = d->size;
1242     av_free(d);
1243     av_free(s);
1244     return size - padding;
1245 }
1246
1247 void ffio_free_dyn_buf(AVIOContext **s)
1248 {
1249     uint8_t *tmp;
1250     if (!*s)
1251         return;
1252     avio_close_dyn_buf(*s, &tmp);
1253     av_free(tmp);
1254     *s = NULL;
1255 }
1256
1257 static int null_buf_write(void *opaque, uint8_t *buf, int buf_size)
1258 {
1259     DynBuffer *d = opaque;
1260
1261     d->pos += buf_size;
1262     if (d->pos > d->size)
1263         d->size = d->pos;
1264     return buf_size;
1265 }
1266
1267 int ffio_open_null_buf(AVIOContext **s)
1268 {
1269     int ret = url_open_dyn_buf_internal(s, 0);
1270     if (ret >= 0) {
1271         AVIOContext *pb = *s;
1272         pb->write_packet = null_buf_write;
1273     }
1274     return ret;
1275 }
1276
1277 int ffio_close_null_buf(AVIOContext *s)
1278 {
1279     DynBuffer *d = s->opaque;
1280     int size;
1281
1282     avio_flush(s);
1283
1284     size = d->size;
1285     av_free(d);
1286     av_free(s);
1287     return size;
1288 }