git.sesse.net Git - ffmpeg/blob - libavformat/utils.c

   1 /*
   2  * various utility functions for use within FFmpeg
   3  * Copyright (c) 2000, 2001, 2002 Fabrice Bellard
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include <stdarg.h>
  23 #include <stdint.h>
  24
  25 #include "config.h"
  26
  27 #include "libavutil/avassert.h"
  28 #include "libavutil/avstring.h"
  29 #include "libavutil/dict.h"
  30 #include "libavutil/internal.h"
  31 #include "libavutil/mathematics.h"
  32 #include "libavutil/opt.h"
  33 #include "libavutil/parseutils.h"
  34 #include "libavutil/pixdesc.h"
  35 #include "libavutil/time.h"
  36 #include "libavutil/timestamp.h"
  37
  38 #include "libavcodec/bytestream.h"
  39 #include "libavcodec/internal.h"
  40 #include "libavcodec/raw.h"
  41
  42 #include "audiointerleave.h"
  43 #include "avformat.h"
  44 #include "avio_internal.h"
  45 #include "id3v2.h"
  46 #include "internal.h"
  47 #include "metadata.h"
  48 #if CONFIG_NETWORK
  49 #include "network.h"
  50 #endif
  51 #include "riff.h"
  52 #include "url.h"
  53
  54 #include "libavutil/ffversion.h"
  55 const char av_format_ffversion[] = "FFmpeg version " FFMPEG_VERSION;
  56
  57 /**
  58  * @file
  59  * various utility functions for use within FFmpeg
  60  */
  61
  62 unsigned avformat_version(void)
  63 {
  64     av_assert0(LIBAVFORMAT_VERSION_MICRO >= 100);
  65     return LIBAVFORMAT_VERSION_INT;
  66 }
  67
  68 const char *avformat_configuration(void)
  69 {
  70     return FFMPEG_CONFIGURATION;
  71 }
  72
  73 const char *avformat_license(void)
  74 {
  75 #define LICENSE_PREFIX "libavformat license: "
  76     return LICENSE_PREFIX FFMPEG_LICENSE + sizeof(LICENSE_PREFIX) - 1;
  77 }
  78
  79 #define RELATIVE_TS_BASE (INT64_MAX - (1LL<<48))
  80
  81 static int is_relative(int64_t ts) {
  82     return ts > (RELATIVE_TS_BASE - (1LL<<48));
  83 }
  84
  85 /**
  86  * Wrap a given time stamp, if there is an indication for an overflow
  87  *
  88  * @param st stream
  89  * @param timestamp the time stamp to wrap
  90  * @return resulting time stamp
  91  */
  92 static int64_t wrap_timestamp(AVStream *st, int64_t timestamp)
  93 {
  94     if (st->pts_wrap_behavior != AV_PTS_WRAP_IGNORE &&
  95         st->pts_wrap_reference != AV_NOPTS_VALUE && timestamp != AV_NOPTS_VALUE) {
  96         if (st->pts_wrap_behavior == AV_PTS_WRAP_ADD_OFFSET &&
  97             timestamp < st->pts_wrap_reference)
  98             return timestamp + (1ULL << st->pts_wrap_bits);
  99         else if (st->pts_wrap_behavior == AV_PTS_WRAP_SUB_OFFSET &&
 100             timestamp >= st->pts_wrap_reference)
 101             return timestamp - (1ULL << st->pts_wrap_bits);
 102     }
 103     return timestamp;
 104 }
 105
 106 MAKE_ACCESSORS(AVStream, stream, AVRational, r_frame_rate)
 107 MAKE_ACCESSORS(AVStream, stream, char *, recommended_encoder_configuration)
 108 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, video_codec)
 109 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, audio_codec)
 110 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, subtitle_codec)
 111 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, data_codec)
 112 MAKE_ACCESSORS(AVFormatContext, format, int, metadata_header_padding)
 113 MAKE_ACCESSORS(AVFormatContext, format, void *, opaque)
 114 MAKE_ACCESSORS(AVFormatContext, format, av_format_control_message, control_message_cb)
 115 MAKE_ACCESSORS(AVFormatContext, format, AVOpenCallback, open_cb)
 116
 117 int64_t av_stream_get_end_pts(const AVStream *st)
 118 {
 119     if (st->priv_pts) {
 120         return st->priv_pts->val;
 121     } else
 122         return AV_NOPTS_VALUE;
 123 }
 124
 125 struct AVCodecParserContext *av_stream_get_parser(const AVStream *st)
 126 {
 127     return st->parser;
 128 }
 129
 130 void av_format_inject_global_side_data(AVFormatContext *s)
 131 {
 132     int i;
 133     s->internal->inject_global_side_data = 1;
 134     for (i = 0; i < s->nb_streams; i++) {
 135         AVStream *st = s->streams[i];
 136         st->inject_global_side_data = 1;
 137     }
 138 }
 139
 140 int ff_copy_whitelists(AVFormatContext *dst, AVFormatContext *src)
 141 {
 142     av_assert0(!dst->codec_whitelist && !dst->format_whitelist);
 143     dst-> codec_whitelist = av_strdup(src->codec_whitelist);
 144     dst->format_whitelist = av_strdup(src->format_whitelist);
 145     if (   (src-> codec_whitelist && !dst-> codec_whitelist)
 146         || (src->format_whitelist && !dst->format_whitelist)) {
 147         av_log(dst, AV_LOG_ERROR, "Failed to duplicate whitelist\n");
 148         return AVERROR(ENOMEM);
 149     }
 150     return 0;
 151 }
 152
 153 static const AVCodec *find_decoder(AVFormatContext *s, AVStream *st, enum AVCodecID codec_id)
 154 {
 155     if (st->codec->codec)
 156         return st->codec->codec;
 157
 158     switch (st->codec->codec_type) {
 159     case AVMEDIA_TYPE_VIDEO:
 160         if (s->video_codec)    return s->video_codec;
 161         break;
 162     case AVMEDIA_TYPE_AUDIO:
 163         if (s->audio_codec)    return s->audio_codec;
 164         break;
 165     case AVMEDIA_TYPE_SUBTITLE:
 166         if (s->subtitle_codec) return s->subtitle_codec;
 167         break;
 168     }
 169
 170     return avcodec_find_decoder(codec_id);
 171 }
 172
 173 int av_format_get_probe_score(const AVFormatContext *s)
 174 {
 175     return s->probe_score;
 176 }
 177
 178 /* an arbitrarily chosen "sane" max packet size -- 50M */
 179 #define SANE_CHUNK_SIZE (50000000)
 180
 181 int ffio_limit(AVIOContext *s, int size)
 182 {
 183     if (s->maxsize>= 0) {
 184         int64_t remaining= s->maxsize - avio_tell(s);
 185         if (remaining < size) {
 186             int64_t newsize = avio_size(s);
 187             if (!s->maxsize || s->maxsize<newsize)
 188                 s->maxsize = newsize - !newsize;
 189             remaining= s->maxsize - avio_tell(s);
 190             remaining= FFMAX(remaining, 0);
 191         }
 192
 193         if (s->maxsize>= 0 && remaining+1 < size) {
 194             av_log(NULL, remaining ? AV_LOG_ERROR : AV_LOG_DEBUG, "Truncating packet of size %d to %"PRId64"\n", size, remaining+1);
 195             size = remaining+1;
 196         }
 197     }
 198     return size;
 199 }
 200
 201 /* Read the data in sane-sized chunks and append to pkt.
 202  * Return the number of bytes read or an error. */
 203 static int append_packet_chunked(AVIOContext *s, AVPacket *pkt, int size)
 204 {
 205     int64_t orig_pos   = pkt->pos; // av_grow_packet might reset pos
 206     int orig_size      = pkt->size;
 207     int ret;
 208
 209     do {
 210         int prev_size = pkt->size;
 211         int read_size;
 212
 213         /* When the caller requests a lot of data, limit it to the amount
 214          * left in file or SANE_CHUNK_SIZE when it is not known. */
 215         read_size = size;
 216         if (read_size > SANE_CHUNK_SIZE/10) {
 217             read_size = ffio_limit(s, read_size);
 218             // If filesize/maxsize is unknown, limit to SANE_CHUNK_SIZE
 219             if (s->maxsize < 0)
 220                 read_size = FFMIN(read_size, SANE_CHUNK_SIZE);
 221         }
 222
 223         ret = av_grow_packet(pkt, read_size);
 224         if (ret < 0)
 225             break;
 226
 227         ret = avio_read(s, pkt->data + prev_size, read_size);
 228         if (ret != read_size) {
 229             av_shrink_packet(pkt, prev_size + FFMAX(ret, 0));
 230             break;
 231         }
 232
 233         size -= read_size;
 234     } while (size > 0);
 235     if (size > 0)
 236         pkt->flags |= AV_PKT_FLAG_CORRUPT;
 237
 238     pkt->pos = orig_pos;
 239     if (!pkt->size)
 240         av_free_packet(pkt);
 241     return pkt->size > orig_size ? pkt->size - orig_size : ret;
 242 }
 243
 244 int av_get_packet(AVIOContext *s, AVPacket *pkt, int size)
 245 {
 246     av_init_packet(pkt);
 247     pkt->data = NULL;
 248     pkt->size = 0;
 249     pkt->pos  = avio_tell(s);
 250
 251     return append_packet_chunked(s, pkt, size);
 252 }
 253
 254 int av_append_packet(AVIOContext *s, AVPacket *pkt, int size)
 255 {
 256     if (!pkt->size)
 257         return av_get_packet(s, pkt, size);
 258     return append_packet_chunked(s, pkt, size);
 259 }
 260
 261 int av_filename_number_test(const char *filename)
 262 {
 263     char buf[1024];
 264     return filename &&
 265            (av_get_frame_filename(buf, sizeof(buf), filename, 1) >= 0);
 266 }
 267
 268 static int set_codec_from_probe_data(AVFormatContext *s, AVStream *st,
 269                                      AVProbeData *pd)
 270 {
 271     static const struct {
 272         const char *name;
 273         enum AVCodecID id;
 274         enum AVMediaType type;
 275     } fmt_id_type[] = {
 276         { "aac",       AV_CODEC_ID_AAC,        AVMEDIA_TYPE_AUDIO },
 277         { "ac3",       AV_CODEC_ID_AC3,        AVMEDIA_TYPE_AUDIO },
 278         { "dts",       AV_CODEC_ID_DTS,        AVMEDIA_TYPE_AUDIO },
 279         { "dvbsub",    AV_CODEC_ID_DVB_SUBTITLE,AVMEDIA_TYPE_SUBTITLE },
 280         { "eac3",      AV_CODEC_ID_EAC3,       AVMEDIA_TYPE_AUDIO },
 281         { "h264",      AV_CODEC_ID_H264,       AVMEDIA_TYPE_VIDEO },
 282         { "hevc",      AV_CODEC_ID_HEVC,       AVMEDIA_TYPE_VIDEO },
 283         { "loas",      AV_CODEC_ID_AAC_LATM,   AVMEDIA_TYPE_AUDIO },
 284         { "m4v",       AV_CODEC_ID_MPEG4,      AVMEDIA_TYPE_VIDEO },
 285         { "mp3",       AV_CODEC_ID_MP3,        AVMEDIA_TYPE_AUDIO },
 286         { "mpegvideo", AV_CODEC_ID_MPEG2VIDEO, AVMEDIA_TYPE_VIDEO },
 287         { 0 }
 288     };
 289     int score;
 290     AVInputFormat *fmt = av_probe_input_format3(pd, 1, &score);
 291
 292     if (fmt && st->request_probe <= score) {
 293         int i;
 294         av_log(s, AV_LOG_DEBUG,
 295                "Probe with size=%d, packets=%d detected %s with score=%d\n",
 296                pd->buf_size, MAX_PROBE_PACKETS - st->probe_packets,
 297                fmt->name, score);
 298         for (i = 0; fmt_id_type[i].name; i++) {
 299             if (!strcmp(fmt->name, fmt_id_type[i].name)) {
 300                 st->codec->codec_id   = fmt_id_type[i].id;
 301                 st->codec->codec_type = fmt_id_type[i].type;
 302                 return score;
 303             }
 304         }
 305     }
 306     return 0;
 307 }
 308
 309 /************************************************************/
 310 /* input media file */
 311
 312 int av_demuxer_open(AVFormatContext *ic) {
 313     int err;
 314
 315     if (ic->format_whitelist && av_match_list(ic->iformat->name, ic->format_whitelist, ',') <= 0) {
 316         av_log(ic, AV_LOG_ERROR, "Format not on whitelist\n");
 317         return AVERROR(EINVAL);
 318     }
 319
 320     if (ic->iformat->read_header) {
 321         err = ic->iformat->read_header(ic);
 322         if (err < 0)
 323             return err;
 324     }
 325
 326     if (ic->pb && !ic->internal->data_offset)
 327         ic->internal->data_offset = avio_tell(ic->pb);
 328
 329     return 0;
 330 }
 331
 332 /* Open input file and probe the format if necessary. */
 333 static int init_input(AVFormatContext *s, const char *filename,
 334                       AVDictionary **options)
 335 {
 336     int ret;
 337     AVProbeData pd = { filename, NULL, 0 };
 338     int score = AVPROBE_SCORE_RETRY;
 339
 340     if (s->pb) {
 341         s->flags |= AVFMT_FLAG_CUSTOM_IO;
 342         if (!s->iformat)
 343             return av_probe_input_buffer2(s->pb, &s->iformat, filename,
 344                                          s, 0, s->format_probesize);
 345         else if (s->iformat->flags & AVFMT_NOFILE)
 346             av_log(s, AV_LOG_WARNING, "Custom AVIOContext makes no sense and "
 347                                       "will be ignored with AVFMT_NOFILE format.\n");
 348         return 0;
 349     }
 350
 351     if ((s->iformat && s->iformat->flags & AVFMT_NOFILE) ||
 352         (!s->iformat && (s->iformat = av_probe_input_format2(&pd, 0, &score))))
 353         return score;
 354
 355     if ((ret = avio_open2(&s->pb, filename, AVIO_FLAG_READ | s->avio_flags,
 356                           &s->interrupt_callback, options)) < 0)
 357         return ret;
 358     if (s->iformat)
 359         return 0;
 360     return av_probe_input_buffer2(s->pb, &s->iformat, filename,
 361                                  s, 0, s->format_probesize);
 362 }
 363
 364 static AVPacket *add_to_pktbuf(AVPacketList **packet_buffer, AVPacket *pkt,
 365                                AVPacketList **plast_pktl)
 366 {
 367     AVPacketList *pktl = av_mallocz(sizeof(AVPacketList));
 368     if (!pktl)
 369         return NULL;
 370
 371     if (*packet_buffer)
 372         (*plast_pktl)->next = pktl;
 373     else
 374         *packet_buffer = pktl;
 375
 376     /* Add the packet in the buffered packet list. */
 377     *plast_pktl = pktl;
 378     pktl->pkt   = *pkt;
 379     return &pktl->pkt;
 380 }
 381
 382 int avformat_queue_attached_pictures(AVFormatContext *s)
 383 {
 384     int i;
 385     for (i = 0; i < s->nb_streams; i++)
 386         if (s->streams[i]->disposition & AV_DISPOSITION_ATTACHED_PIC &&
 387             s->streams[i]->discard < AVDISCARD_ALL) {
 388             AVPacket copy = s->streams[i]->attached_pic;
 389             if (copy.size <= 0) {
 390                 av_log(s, AV_LOG_WARNING,
 391                     "Attached picture on stream %d has invalid size, "
 392                     "ignoring\n", i);
 393                 continue;
 394             }
 395             copy.buf = av_buffer_ref(copy.buf);
 396             if (!copy.buf)
 397                 return AVERROR(ENOMEM);
 398
 399             add_to_pktbuf(&s->internal->raw_packet_buffer, &copy,
 400                           &s->internal->raw_packet_buffer_end);
 401         }
 402     return 0;
 403 }
 404
 405 int avformat_open_input(AVFormatContext **ps, const char *filename,
 406                         AVInputFormat *fmt, AVDictionary **options)
 407 {
 408     AVFormatContext *s = *ps;
 409     int ret = 0;
 410     AVDictionary *tmp = NULL;
 411     ID3v2ExtraMeta *id3v2_extra_meta = NULL;
 412
 413     if (!s && !(s = avformat_alloc_context()))
 414         return AVERROR(ENOMEM);
 415     if (!s->av_class) {
 416         av_log(NULL, AV_LOG_ERROR, "Input context has not been properly allocated by avformat_alloc_context() and is not NULL either\n");
 417         return AVERROR(EINVAL);
 418     }
 419     if (fmt)
 420         s->iformat = fmt;
 421
 422     if (options)
 423         av_dict_copy(&tmp, *options, 0);
 424
 425     if (s->pb) // must be before any goto fail
 426         s->flags |= AVFMT_FLAG_CUSTOM_IO;
 427
 428     if ((ret = av_opt_set_dict(s, &tmp)) < 0)
 429         goto fail;
 430
 431     if ((ret = init_input(s, filename, &tmp)) < 0)
 432         goto fail;
 433     s->probe_score = ret;
 434
 435     if (s->format_whitelist && av_match_list(s->iformat->name, s->format_whitelist, ',') <= 0) {
 436         av_log(s, AV_LOG_ERROR, "Format not on whitelist\n");
 437         ret = AVERROR(EINVAL);
 438         goto fail;
 439     }
 440
 441     avio_skip(s->pb, s->skip_initial_bytes);
 442
 443     /* Check filename in case an image number is expected. */
 444     if (s->iformat->flags & AVFMT_NEEDNUMBER) {
 445         if (!av_filename_number_test(filename)) {
 446             ret = AVERROR(EINVAL);
 447             goto fail;
 448         }
 449     }
 450
 451     s->duration = s->start_time = AV_NOPTS_VALUE;
 452     av_strlcpy(s->filename, filename ? filename : "", sizeof(s->filename));
 453
 454     /* Allocate private data. */
 455     if (s->iformat->priv_data_size > 0) {
 456         if (!(s->priv_data = av_mallocz(s->iformat->priv_data_size))) {
 457             ret = AVERROR(ENOMEM);
 458             goto fail;
 459         }
 460         if (s->iformat->priv_class) {
 461             *(const AVClass **) s->priv_data = s->iformat->priv_class;
 462             av_opt_set_defaults(s->priv_data);
 463             if ((ret = av_opt_set_dict(s->priv_data, &tmp)) < 0)
 464                 goto fail;
 465         }
 466     }
 467
 468     /* e.g. AVFMT_NOFILE formats will not have a AVIOContext */
 469     if (s->pb)
 470         ff_id3v2_read(s, ID3v2_DEFAULT_MAGIC, &id3v2_extra_meta, 0);
 471
 472     if (!(s->flags&AVFMT_FLAG_PRIV_OPT) && s->iformat->read_header)
 473         if ((ret = s->iformat->read_header(s)) < 0)
 474             goto fail;
 475
 476     if (id3v2_extra_meta) {
 477         if (!strcmp(s->iformat->name, "mp3") || !strcmp(s->iformat->name, "aac") ||
 478             !strcmp(s->iformat->name, "tta")) {
 479             if ((ret = ff_id3v2_parse_apic(s, &id3v2_extra_meta)) < 0)
 480                 goto fail;
 481         } else
 482             av_log(s, AV_LOG_DEBUG, "demuxer does not support additional id3 data, skipping\n");
 483     }
 484     ff_id3v2_free_extra_meta(&id3v2_extra_meta);
 485
 486     if ((ret = avformat_queue_attached_pictures(s)) < 0)
 487         goto fail;
 488
 489     if (!(s->flags&AVFMT_FLAG_PRIV_OPT) && s->pb && !s->internal->data_offset)
 490         s->internal->data_offset = avio_tell(s->pb);
 491
 492     s->internal->raw_packet_buffer_remaining_size = RAW_PACKET_BUFFER_SIZE;
 493
 494     if (options) {
 495         av_dict_free(options);
 496         *options = tmp;
 497     }
 498     *ps = s;
 499     return 0;
 500
 501 fail:
 502     ff_id3v2_free_extra_meta(&id3v2_extra_meta);
 503     av_dict_free(&tmp);
 504     if (s->pb && !(s->flags & AVFMT_FLAG_CUSTOM_IO))
 505         avio_closep(&s->pb);
 506     avformat_free_context(s);
 507     *ps = NULL;
 508     return ret;
 509 }
 510
 511 /*******************************************************/
 512
 513 static void force_codec_ids(AVFormatContext *s, AVStream *st)
 514 {
 515     switch (st->codec->codec_type) {
 516     case AVMEDIA_TYPE_VIDEO:
 517         if (s->video_codec_id)
 518             st->codec->codec_id = s->video_codec_id;
 519         break;
 520     case AVMEDIA_TYPE_AUDIO:
 521         if (s->audio_codec_id)
 522             st->codec->codec_id = s->audio_codec_id;
 523         break;
 524     case AVMEDIA_TYPE_SUBTITLE:
 525         if (s->subtitle_codec_id)
 526             st->codec->codec_id = s->subtitle_codec_id;
 527         break;
 528     }
 529 }
 530
 531 static int probe_codec(AVFormatContext *s, AVStream *st, const AVPacket *pkt)
 532 {
 533     if (st->request_probe>0) {
 534         AVProbeData *pd = &st->probe_data;
 535         int end;
 536         av_log(s, AV_LOG_DEBUG, "probing stream %d pp:%d\n", st->index, st->probe_packets);
 537         --st->probe_packets;
 538
 539         if (pkt) {
 540             uint8_t *new_buf = av_realloc(pd->buf, pd->buf_size+pkt->size+AVPROBE_PADDING_SIZE);
 541             if (!new_buf) {
 542                 av_log(s, AV_LOG_WARNING,
 543                        "Failed to reallocate probe buffer for stream %d\n",
 544                        st->index);
 545                 goto no_packet;
 546             }
 547             pd->buf = new_buf;
 548             memcpy(pd->buf + pd->buf_size, pkt->data, pkt->size);
 549             pd->buf_size += pkt->size;
 550             memset(pd->buf + pd->buf_size, 0, AVPROBE_PADDING_SIZE);
 551         } else {
 552 no_packet:
 553             st->probe_packets = 0;
 554             if (!pd->buf_size) {
 555                 av_log(s, AV_LOG_WARNING,
 556                        "nothing to probe for stream %d\n", st->index);
 557             }
 558         }
 559
 560         end=    s->internal->raw_packet_buffer_remaining_size <= 0
 561                 || st->probe_packets<= 0;
 562
 563         if (end || av_log2(pd->buf_size) != av_log2(pd->buf_size - pkt->size)) {
 564             int score = set_codec_from_probe_data(s, st, pd);
 565             if (    (st->codec->codec_id != AV_CODEC_ID_NONE && score > AVPROBE_SCORE_STREAM_RETRY)
 566                 || end) {
 567                 pd->buf_size = 0;
 568                 av_freep(&pd->buf);
 569                 st->request_probe = -1;
 570                 if (st->codec->codec_id != AV_CODEC_ID_NONE) {
 571                     av_log(s, AV_LOG_DEBUG, "probed stream %d\n", st->index);
 572                 } else
 573                     av_log(s, AV_LOG_WARNING, "probed stream %d failed\n", st->index);
 574             }
 575             force_codec_ids(s, st);
 576         }
 577     }
 578     return 0;
 579 }
 580
 581 static int update_wrap_reference(AVFormatContext *s, AVStream *st, int stream_index, AVPacket *pkt)
 582 {
 583     int64_t ref = pkt->dts;
 584     int i, pts_wrap_behavior;
 585     int64_t pts_wrap_reference;
 586     AVProgram *first_program;
 587
 588     if (ref == AV_NOPTS_VALUE)
 589         ref = pkt->pts;
 590     if (st->pts_wrap_reference != AV_NOPTS_VALUE || st->pts_wrap_bits >= 63 || ref == AV_NOPTS_VALUE || !s->correct_ts_overflow)
 591         return 0;
 592     ref &= (1LL << st->pts_wrap_bits)-1;
 593
 594     // reference time stamp should be 60 s before first time stamp
 595     pts_wrap_reference = ref - av_rescale(60, st->time_base.den, st->time_base.num);
 596     // if first time stamp is not more than 1/8 and 60s before the wrap point, subtract rather than add wrap offset
 597     pts_wrap_behavior = (ref < (1LL << st->pts_wrap_bits) - (1LL << st->pts_wrap_bits-3)) ||
 598         (ref < (1LL << st->pts_wrap_bits) - av_rescale(60, st->time_base.den, st->time_base.num)) ?
 599         AV_PTS_WRAP_ADD_OFFSET : AV_PTS_WRAP_SUB_OFFSET;
 600
 601     first_program = av_find_program_from_stream(s, NULL, stream_index);
 602
 603     if (!first_program) {
 604         int default_stream_index = av_find_default_stream_index(s);
 605         if (s->streams[default_stream_index]->pts_wrap_reference == AV_NOPTS_VALUE) {
 606             for (i = 0; i < s->nb_streams; i++) {
 607                 if (av_find_program_from_stream(s, NULL, i))
 608                     continue;
 609                 s->streams[i]->pts_wrap_reference = pts_wrap_reference;
 610                 s->streams[i]->pts_wrap_behavior = pts_wrap_behavior;
 611             }
 612         }
 613         else {
 614             st->pts_wrap_reference = s->streams[default_stream_index]->pts_wrap_reference;
 615             st->pts_wrap_behavior = s->streams[default_stream_index]->pts_wrap_behavior;
 616         }
 617     }
 618     else {
 619         AVProgram *program = first_program;
 620         while (program) {
 621             if (program->pts_wrap_reference != AV_NOPTS_VALUE) {
 622                 pts_wrap_reference = program->pts_wrap_reference;
 623                 pts_wrap_behavior = program->pts_wrap_behavior;
 624                 break;
 625             }
 626             program = av_find_program_from_stream(s, program, stream_index);
 627         }
 628
 629         // update every program with differing pts_wrap_reference
 630         program = first_program;
 631         while (program) {
 632             if (program->pts_wrap_reference != pts_wrap_reference) {
 633                 for (i = 0; i<program->nb_stream_indexes; i++) {
 634                     s->streams[program->stream_index[i]]->pts_wrap_reference = pts_wrap_reference;
 635                     s->streams[program->stream_index[i]]->pts_wrap_behavior = pts_wrap_behavior;
 636                 }
 637
 638                 program->pts_wrap_reference = pts_wrap_reference;
 639                 program->pts_wrap_behavior = pts_wrap_behavior;
 640             }
 641             program = av_find_program_from_stream(s, program, stream_index);
 642         }
 643     }
 644     return 1;
 645 }
 646
 647 int ff_read_packet(AVFormatContext *s, AVPacket *pkt)
 648 {
 649     int ret, i, err;
 650     AVStream *st;
 651
 652     for (;;) {
 653         AVPacketList *pktl = s->internal->raw_packet_buffer;
 654
 655         if (pktl) {
 656             *pkt = pktl->pkt;
 657             st   = s->streams[pkt->stream_index];
 658             if (s->internal->raw_packet_buffer_remaining_size <= 0)
 659                 if ((err = probe_codec(s, st, NULL)) < 0)
 660                     return err;
 661             if (st->request_probe <= 0) {
 662                 s->internal->raw_packet_buffer                 = pktl->next;
 663                 s->internal->raw_packet_buffer_remaining_size += pkt->size;
 664                 av_free(pktl);
 665                 return 0;
 666             }
 667         }
 668
 669         pkt->data = NULL;
 670         pkt->size = 0;
 671         av_init_packet(pkt);
 672         ret = s->iformat->read_packet(s, pkt);
 673         if (ret < 0) {
 674             if (!pktl || ret == AVERROR(EAGAIN))
 675                 return ret;
 676             for (i = 0; i < s->nb_streams; i++) {
 677                 st = s->streams[i];
 678                 if (st->probe_packets)
 679                     if ((err = probe_codec(s, st, NULL)) < 0)
 680                         return err;
 681                 av_assert0(st->request_probe <= 0);
 682             }
 683             continue;
 684         }
 685
 686         if ((s->flags & AVFMT_FLAG_DISCARD_CORRUPT) &&
 687             (pkt->flags & AV_PKT_FLAG_CORRUPT)) {
 688             av_log(s, AV_LOG_WARNING,
 689                    "Dropped corrupted packet (stream = %d)\n",
 690                    pkt->stream_index);
 691             av_free_packet(pkt);
 692             continue;
 693         }
 694
 695         if (pkt->stream_index >= (unsigned)s->nb_streams) {
 696             av_log(s, AV_LOG_ERROR, "Invalid stream index %d\n", pkt->stream_index);
 697             continue;
 698         }
 699
 700         st = s->streams[pkt->stream_index];
 701
 702         if (update_wrap_reference(s, st, pkt->stream_index, pkt) && st->pts_wrap_behavior == AV_PTS_WRAP_SUB_OFFSET) {
 703             // correct first time stamps to negative values
 704             if (!is_relative(st->first_dts))
 705                 st->first_dts = wrap_timestamp(st, st->first_dts);
 706             if (!is_relative(st->start_time))
 707                 st->start_time = wrap_timestamp(st, st->start_time);
 708             if (!is_relative(st->cur_dts))
 709                 st->cur_dts = wrap_timestamp(st, st->cur_dts);
 710         }
 711
 712         pkt->dts = wrap_timestamp(st, pkt->dts);
 713         pkt->pts = wrap_timestamp(st, pkt->pts);
 714
 715         force_codec_ids(s, st);
 716
 717         /* TODO: audio: time filter; video: frame reordering (pts != dts) */
 718         if (s->use_wallclock_as_timestamps)
 719             pkt->dts = pkt->pts = av_rescale_q(av_gettime(), AV_TIME_BASE_Q, st->time_base);
 720
 721         if (!pktl && st->request_probe <= 0)
 722             return ret;
 723
 724         add_to_pktbuf(&s->internal->raw_packet_buffer, pkt,
 725                       &s->internal->raw_packet_buffer_end);
 726         s->internal->raw_packet_buffer_remaining_size -= pkt->size;
 727
 728         if ((err = probe_codec(s, st, pkt)) < 0)
 729             return err;
 730     }
 731 }
 732
 733
 734 /**********************************************************/
 735
 736 static int determinable_frame_size(AVCodecContext *avctx)
 737 {
 738     if (/*avctx->codec_id == AV_CODEC_ID_AAC ||*/
 739         avctx->codec_id == AV_CODEC_ID_MP1 ||
 740         avctx->codec_id == AV_CODEC_ID_MP2 ||
 741         avctx->codec_id == AV_CODEC_ID_MP3/* ||
 742         avctx->codec_id == AV_CODEC_ID_CELT*/)
 743         return 1;
 744     return 0;
 745 }
 746
 747 /**
 748  * Return the frame duration in seconds. Return 0 if not available.
 749  */
 750 void ff_compute_frame_duration(AVFormatContext *s, int *pnum, int *pden, AVStream *st,
 751                                AVCodecParserContext *pc, AVPacket *pkt)
 752 {
 753     AVRational codec_framerate = s->iformat ? st->codec->framerate :
 754                                               av_mul_q(av_inv_q(st->codec->time_base), (AVRational){1, st->codec->ticks_per_frame});
 755     int frame_size;
 756
 757     *pnum = 0;
 758     *pden = 0;
 759     switch (st->codec->codec_type) {
 760     case AVMEDIA_TYPE_VIDEO:
 761         if (st->r_frame_rate.num && !pc && s->iformat) {
 762             *pnum = st->r_frame_rate.den;
 763             *pden = st->r_frame_rate.num;
 764         } else if (st->time_base.num * 1000LL > st->time_base.den) {
 765             *pnum = st->time_base.num;
 766             *pden = st->time_base.den;
 767         } else if (codec_framerate.den * 1000LL > codec_framerate.num) {
 768             av_assert0(st->codec->ticks_per_frame);
 769             av_reduce(pnum, pden,
 770                       codec_framerate.den,
 771                       codec_framerate.num * (int64_t)st->codec->ticks_per_frame,
 772                       INT_MAX);
 773
 774             if (pc && pc->repeat_pict) {
 775                 av_assert0(s->iformat); // this may be wrong for interlaced encoding but its not used for that case
 776                 av_reduce(pnum, pden,
 777                           (*pnum) * (1LL + pc->repeat_pict),
 778                           (*pden),
 779                           INT_MAX);
 780             }
 781             /* If this codec can be interlaced or progressive then we need
 782              * a parser to compute duration of a packet. Thus if we have
 783              * no parser in such case leave duration undefined. */
 784             if (st->codec->ticks_per_frame > 1 && !pc)
 785                 *pnum = *pden = 0;
 786         }
 787         break;
 788     case AVMEDIA_TYPE_AUDIO:
 789         frame_size = av_get_audio_frame_duration(st->codec, pkt->size);
 790         if (frame_size <= 0 || st->codec->sample_rate <= 0)
 791             break;
 792         *pnum = frame_size;
 793         *pden = st->codec->sample_rate;
 794         break;
 795     default:
 796         break;
 797     }
 798 }
 799
 800 static int is_intra_only(AVCodecContext *enc) {
 801     const AVCodecDescriptor *desc;
 802
 803     if (enc->codec_type != AVMEDIA_TYPE_VIDEO)
 804         return 1;
 805
 806     desc = av_codec_get_codec_descriptor(enc);
 807     if (!desc) {
 808         desc = avcodec_descriptor_get(enc->codec_id);
 809         av_codec_set_codec_descriptor(enc, desc);
 810     }
 811     if (desc)
 812         return !!(desc->props & AV_CODEC_PROP_INTRA_ONLY);
 813     return 0;
 814 }
 815
 816 static int has_decode_delay_been_guessed(AVStream *st)
 817 {
 818     if (st->codec->codec_id != AV_CODEC_ID_H264) return 1;
 819     if (!st->info) // if we have left find_stream_info then nb_decoded_frames won't increase anymore for stream copy
 820         return 1;
 821 #if CONFIG_H264_DECODER
 822     if (st->codec->has_b_frames &&
 823        avpriv_h264_has_num_reorder_frames(st->codec) == st->codec->has_b_frames)
 824         return 1;
 825 #endif
 826     if (st->codec->has_b_frames<3)
 827         return st->nb_decoded_frames >= 7;
 828     else if (st->codec->has_b_frames<4)
 829         return st->nb_decoded_frames >= 18;
 830     else
 831         return st->nb_decoded_frames >= 20;
 832 }
 833
 834 static AVPacketList *get_next_pkt(AVFormatContext *s, AVStream *st, AVPacketList *pktl)
 835 {
 836     if (pktl->next)
 837         return pktl->next;
 838     if (pktl == s->internal->packet_buffer_end)
 839         return s->internal->parse_queue;
 840     return NULL;
 841 }
 842
 843 static int64_t select_from_pts_buffer(AVStream *st, int64_t *pts_buffer, int64_t dts) {
 844     int onein_oneout = st->codec->codec_id != AV_CODEC_ID_H264 &&
 845                        st->codec->codec_id != AV_CODEC_ID_HEVC;
 846
 847     if(!onein_oneout) {
 848         int delay = st->codec->has_b_frames;
 849         int i;
 850
 851         if (dts == AV_NOPTS_VALUE) {
 852             int64_t best_score = INT64_MAX;
 853             for (i = 0; i<delay; i++) {
 854                 if (st->pts_reorder_error_count[i]) {
 855                     int64_t score = st->pts_reorder_error[i] / st->pts_reorder_error_count[i];
 856                     if (score < best_score) {
 857                         best_score = score;
 858                         dts = pts_buffer[i];
 859                     }
 860                 }
 861             }
 862         } else {
 863             for (i = 0; i<delay; i++) {
 864                 if (pts_buffer[i] != AV_NOPTS_VALUE) {
 865                     int64_t diff =  FFABS(pts_buffer[i] - dts)
 866                                     + (uint64_t)st->pts_reorder_error[i];
 867                     diff = FFMAX(diff, st->pts_reorder_error[i]);
 868                     st->pts_reorder_error[i] = diff;
 869                     st->pts_reorder_error_count[i]++;
 870                     if (st->pts_reorder_error_count[i] > 250) {
 871                         st->pts_reorder_error[i] >>= 1;
 872                         st->pts_reorder_error_count[i] >>= 1;
 873                     }
 874                 }
 875             }
 876         }
 877     }
 878
 879     if (dts == AV_NOPTS_VALUE)
 880         dts = pts_buffer[0];
 881
 882     return dts;
 883 }
 884
 885 static void update_initial_timestamps(AVFormatContext *s, int stream_index,
 886                                       int64_t dts, int64_t pts, AVPacket *pkt)
 887 {
 888     AVStream *st       = s->streams[stream_index];
 889     AVPacketList *pktl = s->internal->packet_buffer ? s->internal->packet_buffer : s->internal->parse_queue;
 890     int64_t pts_buffer[MAX_REORDER_DELAY+1];
 891     int64_t shift;
 892     int i, delay;
 893
 894     if (st->first_dts != AV_NOPTS_VALUE ||
 895         dts           == AV_NOPTS_VALUE ||
 896         st->cur_dts   == AV_NOPTS_VALUE ||
 897         is_relative(dts))
 898         return;
 899
 900     delay         = st->codec->has_b_frames;
 901     st->first_dts = dts - (st->cur_dts - RELATIVE_TS_BASE);
 902     st->cur_dts   = dts;
 903     shift         = st->first_dts - RELATIVE_TS_BASE;
 904
 905     for (i = 0; i<MAX_REORDER_DELAY+1; i++)
 906         pts_buffer[i] = AV_NOPTS_VALUE;
 907
 908     if (is_relative(pts))
 909         pts += shift;
 910
 911     for (; pktl; pktl = get_next_pkt(s, st, pktl)) {
 912         if (pktl->pkt.stream_index != stream_index)
 913             continue;
 914         if (is_relative(pktl->pkt.pts))
 915             pktl->pkt.pts += shift;
 916
 917         if (is_relative(pktl->pkt.dts))
 918             pktl->pkt.dts += shift;
 919
 920         if (st->start_time == AV_NOPTS_VALUE && pktl->pkt.pts != AV_NOPTS_VALUE)
 921             st->start_time = pktl->pkt.pts;
 922
 923         if (pktl->pkt.pts != AV_NOPTS_VALUE && delay <= MAX_REORDER_DELAY && has_decode_delay_been_guessed(st)) {
 924             pts_buffer[0] = pktl->pkt.pts;
 925             for (i = 0; i<delay && pts_buffer[i] > pts_buffer[i + 1]; i++)
 926                 FFSWAP(int64_t, pts_buffer[i], pts_buffer[i + 1]);
 927
 928             pktl->pkt.dts = select_from_pts_buffer(st, pts_buffer, pktl->pkt.dts);
 929         }
 930     }
 931
 932     if (st->start_time == AV_NOPTS_VALUE)
 933         st->start_time = pts;
 934 }
 935
 936 static void update_initial_durations(AVFormatContext *s, AVStream *st,
 937                                      int stream_index, int duration)
 938 {
 939     AVPacketList *pktl = s->internal->packet_buffer ? s->internal->packet_buffer : s->internal->parse_queue;
 940     int64_t cur_dts    = RELATIVE_TS_BASE;
 941
 942     if (st->first_dts != AV_NOPTS_VALUE) {
 943         if (st->update_initial_durations_done)
 944             return;
 945         st->update_initial_durations_done = 1;
 946         cur_dts = st->first_dts;
 947         for (; pktl; pktl = get_next_pkt(s, st, pktl)) {
 948             if (pktl->pkt.stream_index == stream_index) {
 949                 if (pktl->pkt.pts != pktl->pkt.dts  ||
 950                     pktl->pkt.dts != AV_NOPTS_VALUE ||
 951                     pktl->pkt.duration)
 952                     break;
 953                 cur_dts -= duration;
 954             }
 955         }
 956         if (pktl && pktl->pkt.dts != st->first_dts) {
 957             av_log(s, AV_LOG_DEBUG, "first_dts %s not matching first dts %s (pts %s, duration %d) in the queue\n",
 958                    av_ts2str(st->first_dts), av_ts2str(pktl->pkt.dts), av_ts2str(pktl->pkt.pts), pktl->pkt.duration);
 959             return;
 960         }
 961         if (!pktl) {
 962             av_log(s, AV_LOG_DEBUG, "first_dts %s but no packet with dts in the queue\n", av_ts2str(st->first_dts));
 963             return;
 964         }
 965         pktl          = s->internal->packet_buffer ? s->internal->packet_buffer : s->internal->parse_queue;
 966         st->first_dts = cur_dts;
 967     } else if (st->cur_dts != RELATIVE_TS_BASE)
 968         return;
 969
 970     for (; pktl; pktl = get_next_pkt(s, st, pktl)) {
 971         if (pktl->pkt.stream_index != stream_index)
 972             continue;
 973         if (pktl->pkt.pts == pktl->pkt.dts  &&
 974             (pktl->pkt.dts == AV_NOPTS_VALUE || pktl->pkt.dts == st->first_dts) &&
 975             !pktl->pkt.duration) {
 976             pktl->pkt.dts = cur_dts;
 977             if (!st->codec->has_b_frames)
 978                 pktl->pkt.pts = cur_dts;
 979 //            if (st->codec->codec_type != AVMEDIA_TYPE_AUDIO)
 980                 pktl->pkt.duration = duration;
 981         } else
 982             break;
 983         cur_dts = pktl->pkt.dts + pktl->pkt.duration;
 984     }
 985     if (!pktl)
 986         st->cur_dts = cur_dts;
 987 }
 988
 989 static void compute_pkt_fields(AVFormatContext *s, AVStream *st,
 990                                AVCodecParserContext *pc, AVPacket *pkt,
 991                                int64_t next_dts, int64_t next_pts)
 992 {
 993     int num, den, presentation_delayed, delay, i;
 994     int64_t offset;
 995     AVRational duration;
 996     int onein_oneout = st->codec->codec_id != AV_CODEC_ID_H264 &&
 997                        st->codec->codec_id != AV_CODEC_ID_HEVC;
 998
 999     if (s->flags & AVFMT_FLAG_NOFILLIN)
1000         return;
1001
1002     if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO && pkt->dts != AV_NOPTS_VALUE) {
1003         if (pkt->dts == pkt->pts && st->last_dts_for_order_check != AV_NOPTS_VALUE) {
1004             if (st->last_dts_for_order_check <= pkt->dts) {
1005                 st->dts_ordered++;
1006             } else {
1007                 av_log(s, st->dts_misordered ? AV_LOG_DEBUG : AV_LOG_WARNING,
1008                        "DTS %"PRIi64" < %"PRIi64" out of order\n",
1009                        pkt->dts,
1010                        st->last_dts_for_order_check);
1011                 st->dts_misordered++;
1012             }
1013             if (st->dts_ordered + st->dts_misordered > 250) {
1014                 st->dts_ordered    >>= 1;
1015                 st->dts_misordered >>= 1;
1016             }
1017         }
1018
1019         st->last_dts_for_order_check = pkt->dts;
1020         if (st->dts_ordered < 8*st->dts_misordered && pkt->dts == pkt->pts)
1021             pkt->dts = AV_NOPTS_VALUE;
1022     }
1023
1024     if ((s->flags & AVFMT_FLAG_IGNDTS) && pkt->pts != AV_NOPTS_VALUE)
1025         pkt->dts = AV_NOPTS_VALUE;
1026
1027     if (pc && pc->pict_type == AV_PICTURE_TYPE_B
1028         && !st->codec->has_b_frames)
1029         //FIXME Set low_delay = 0 when has_b_frames = 1
1030         st->codec->has_b_frames = 1;
1031
1032     /* do we have a video B-frame ? */
1033     delay = st->codec->has_b_frames;
1034     presentation_delayed = 0;
1035
1036     /* XXX: need has_b_frame, but cannot get it if the codec is
1037      *  not initialized */
1038     if (delay &&
1039         pc && pc->pict_type != AV_PICTURE_TYPE_B)
1040         presentation_delayed = 1;
1041
1042     if (pkt->pts != AV_NOPTS_VALUE && pkt->dts != AV_NOPTS_VALUE &&
1043         st->pts_wrap_bits < 63 &&
1044         pkt->dts - (1LL << (st->pts_wrap_bits - 1)) > pkt->pts) {
1045         if (is_relative(st->cur_dts) || pkt->dts - (1LL<<(st->pts_wrap_bits - 1)) > st->cur_dts) {
1046             pkt->dts -= 1LL << st->pts_wrap_bits;
1047         } else
1048             pkt->pts += 1LL << st->pts_wrap_bits;
1049     }
1050
1051     /* Some MPEG-2 in MPEG-PS lack dts (issue #171 / input_file.mpg).
1052      * We take the conservative approach and discard both.
1053      * Note: If this is misbehaving for an H.264 file, then possibly
1054      * presentation_delayed is not set correctly. */
1055     if (delay == 1 && pkt->dts == pkt->pts &&
1056         pkt->dts != AV_NOPTS_VALUE && presentation_delayed) {
1057         av_log(s, AV_LOG_DEBUG, "invalid dts/pts combination %"PRIi64"\n", pkt->dts);
1058         if (    strcmp(s->iformat->name, "mov,mp4,m4a,3gp,3g2,mj2")
1059              && strcmp(s->iformat->name, "flv")) // otherwise we discard correct timestamps for vc1-wmapro.ism
1060             pkt->dts = AV_NOPTS_VALUE;
1061     }
1062
1063     duration = av_mul_q((AVRational) {pkt->duration, 1}, st->time_base);
1064     if (pkt->duration == 0) {
1065         ff_compute_frame_duration(s, &num, &den, st, pc, pkt);
1066         if (den && num) {
1067             duration = (AVRational) {num, den};
1068             pkt->duration = av_rescale_rnd(1,
1069                                            num * (int64_t) st->time_base.den,
1070                                            den * (int64_t) st->time_base.num,
1071                                            AV_ROUND_DOWN);
1072         }
1073     }
1074
1075     if (pkt->duration != 0 && (s->internal->packet_buffer || s->internal->parse_queue))
1076         update_initial_durations(s, st, pkt->stream_index, pkt->duration);
1077
1078     /* Correct timestamps with byte offset if demuxers only have timestamps
1079      * on packet boundaries */
1080     if (pc && st->need_parsing == AVSTREAM_PARSE_TIMESTAMPS && pkt->size) {
1081         /* this will estimate bitrate based on this frame's duration and size */
1082         offset = av_rescale(pc->offset, pkt->duration, pkt->size);
1083         if (pkt->pts != AV_NOPTS_VALUE)
1084             pkt->pts += offset;
1085         if (pkt->dts != AV_NOPTS_VALUE)
1086             pkt->dts += offset;
1087     }
1088
1089     /* This may be redundant, but it should not hurt. */
1090     if (pkt->dts != AV_NOPTS_VALUE &&
1091         pkt->pts != AV_NOPTS_VALUE &&
1092         pkt->pts > pkt->dts)
1093         presentation_delayed = 1;
1094
1095     if (s->debug & FF_FDEBUG_TS)
1096         av_log(s, AV_LOG_TRACE,
1097             "IN delayed:%d pts:%s, dts:%s cur_dts:%s st:%d pc:%p duration:%d delay:%d onein_oneout:%d\n",
1098             presentation_delayed, av_ts2str(pkt->pts), av_ts2str(pkt->dts), av_ts2str(st->cur_dts),
1099             pkt->stream_index, pc, pkt->duration, delay, onein_oneout);
1100
1101     /* Interpolate PTS and DTS if they are not present. We skip H264
1102      * currently because delay and has_b_frames are not reliably set. */
1103     if ((delay == 0 || (delay == 1 && pc)) &&
1104         onein_oneout) {
1105         if (presentation_delayed) {
1106             /* DTS = decompression timestamp */
1107             /* PTS = presentation timestamp */
1108             if (pkt->dts == AV_NOPTS_VALUE)
1109                 pkt->dts = st->last_IP_pts;
1110             update_initial_timestamps(s, pkt->stream_index, pkt->dts, pkt->pts, pkt);
1111             if (pkt->dts == AV_NOPTS_VALUE)
1112                 pkt->dts = st->cur_dts;
1113
1114             /* This is tricky: the dts must be incremented by the duration
1115              * of the frame we are displaying, i.e. the last I- or P-frame. */
1116             if (st->last_IP_duration == 0)
1117                 st->last_IP_duration = pkt->duration;
1118             if (pkt->dts != AV_NOPTS_VALUE)
1119                 st->cur_dts = pkt->dts + st->last_IP_duration;
1120             if (pkt->dts != AV_NOPTS_VALUE &&
1121                 pkt->pts == AV_NOPTS_VALUE &&
1122                 st->last_IP_duration > 0 &&
1123                 ((uint64_t)st->cur_dts - (uint64_t)next_dts + 1) <= 2 &&
1124                 next_dts != next_pts &&
1125                 next_pts != AV_NOPTS_VALUE)
1126                 pkt->pts = next_dts;
1127
1128             st->last_IP_duration = pkt->duration;
1129             st->last_IP_pts      = pkt->pts;
1130             /* Cannot compute PTS if not present (we can compute it only
1131              * by knowing the future. */
1132         } else if (pkt->pts != AV_NOPTS_VALUE ||
1133                    pkt->dts != AV_NOPTS_VALUE ||
1134                    pkt->duration                ) {
1135
1136             /* presentation is not delayed : PTS and DTS are the same */
1137             if (pkt->pts == AV_NOPTS_VALUE)
1138                 pkt->pts = pkt->dts;
1139             update_initial_timestamps(s, pkt->stream_index, pkt->pts,
1140                                       pkt->pts, pkt);
1141             if (pkt->pts == AV_NOPTS_VALUE)
1142                 pkt->pts = st->cur_dts;
1143             pkt->dts = pkt->pts;
1144             if (pkt->pts != AV_NOPTS_VALUE)
1145                 st->cur_dts = av_add_stable(st->time_base, pkt->pts, duration, 1);
1146         }
1147     }
1148
1149     if (pkt->pts != AV_NOPTS_VALUE && delay <= MAX_REORDER_DELAY && has_decode_delay_been_guessed(st)) {
1150         st->pts_buffer[0] = pkt->pts;
1151         for (i = 0; i<delay && st->pts_buffer[i] > st->pts_buffer[i + 1]; i++)
1152             FFSWAP(int64_t, st->pts_buffer[i], st->pts_buffer[i + 1]);
1153
1154         pkt->dts = select_from_pts_buffer(st, st->pts_buffer, pkt->dts);
1155     }
1156     // We skipped it above so we try here.
1157     if (!onein_oneout)
1158         // This should happen on the first packet
1159         update_initial_timestamps(s, pkt->stream_index, pkt->dts, pkt->pts, pkt);
1160     if (pkt->dts > st->cur_dts)
1161         st->cur_dts = pkt->dts;
1162
1163     if (s->debug & FF_FDEBUG_TS)
1164         av_log(s, AV_LOG_TRACE, "OUTdelayed:%d/%d pts:%s, dts:%s cur_dts:%s\n",
1165             presentation_delayed, delay, av_ts2str(pkt->pts), av_ts2str(pkt->dts), av_ts2str(st->cur_dts));
1166
1167     /* update flags */
1168     if (is_intra_only(st->codec))
1169         pkt->flags |= AV_PKT_FLAG_KEY;
1170     if (pc)
1171         pkt->convergence_duration = pc->convergence_duration;
1172 }
1173
1174 static void free_packet_buffer(AVPacketList **pkt_buf, AVPacketList **pkt_buf_end)
1175 {
1176     while (*pkt_buf) {
1177         AVPacketList *pktl = *pkt_buf;
1178         *pkt_buf = pktl->next;
1179         av_free_packet(&pktl->pkt);
1180         av_freep(&pktl);
1181     }
1182     *pkt_buf_end = NULL;
1183 }
1184
1185 /**
1186  * Parse a packet, add all split parts to parse_queue.
1187  *
1188  * @param pkt Packet to parse, NULL when flushing the parser at end of stream.
1189  */
1190 static int parse_packet(AVFormatContext *s, AVPacket *pkt, int stream_index)
1191 {
1192     AVPacket out_pkt = { 0 }, flush_pkt = { 0 };
1193     AVStream *st = s->streams[stream_index];
1194     uint8_t *data = pkt ? pkt->data : NULL;
1195     int size      = pkt ? pkt->size : 0;
1196     int ret = 0, got_output = 0;
1197
1198     if (!pkt) {
1199         av_init_packet(&flush_pkt);
1200         pkt        = &flush_pkt;
1201         got_output = 1;
1202     } else if (!size && st->parser->flags & PARSER_FLAG_COMPLETE_FRAMES) {
1203         // preserve 0-size sync packets
1204         compute_pkt_fields(s, st, st->parser, pkt, AV_NOPTS_VALUE, AV_NOPTS_VALUE);
1205     }
1206
1207     while (size > 0 || (pkt == &flush_pkt && got_output)) {
1208         int len;
1209         int64_t next_pts = pkt->pts;
1210         int64_t next_dts = pkt->dts;
1211
1212         av_init_packet(&out_pkt);
1213         len = av_parser_parse2(st->parser, st->codec,
1214                                &out_pkt.data, &out_pkt.size, data, size,
1215                                pkt->pts, pkt->dts, pkt->pos);
1216
1217         pkt->pts = pkt->dts = AV_NOPTS_VALUE;
1218         pkt->pos = -1;
1219         /* increment read pointer */
1220         data += len;
1221         size -= len;
1222
1223         got_output = !!out_pkt.size;
1224
1225         if (!out_pkt.size)
1226             continue;
1227
1228         if (pkt->side_data) {
1229             out_pkt.side_data       = pkt->side_data;
1230             out_pkt.side_data_elems = pkt->side_data_elems;
1231             pkt->side_data          = NULL;
1232             pkt->side_data_elems    = 0;
1233         }
1234
1235         /* set the duration */
1236         out_pkt.duration = (st->parser->flags & PARSER_FLAG_COMPLETE_FRAMES) ? pkt->duration : 0;
1237         if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
1238             if (st->codec->sample_rate > 0) {
1239                 out_pkt.duration =
1240                     av_rescale_q_rnd(st->parser->duration,
1241                                      (AVRational) { 1, st->codec->sample_rate },
1242                                      st->time_base,
1243                                      AV_ROUND_DOWN);
1244             }
1245         }
1246
1247         out_pkt.stream_index = st->index;
1248         out_pkt.pts          = st->parser->pts;
1249         out_pkt.dts          = st->parser->dts;
1250         out_pkt.pos          = st->parser->pos;
1251
1252         if (st->need_parsing == AVSTREAM_PARSE_FULL_RAW)
1253             out_pkt.pos = st->parser->frame_offset;
1254
1255         if (st->parser->key_frame == 1 ||
1256             (st->parser->key_frame == -1 &&
1257              st->parser->pict_type == AV_PICTURE_TYPE_I))
1258             out_pkt.flags |= AV_PKT_FLAG_KEY;
1259
1260         if (st->parser->key_frame == -1 && st->parser->pict_type ==AV_PICTURE_TYPE_NONE && (pkt->flags&AV_PKT_FLAG_KEY))
1261             out_pkt.flags |= AV_PKT_FLAG_KEY;
1262
1263         compute_pkt_fields(s, st, st->parser, &out_pkt, next_dts, next_pts);
1264
1265         if (out_pkt.data == pkt->data && out_pkt.size == pkt->size) {
1266             out_pkt.buf = pkt->buf;
1267             pkt->buf    = NULL;
1268         }
1269         if ((ret = av_dup_packet(&out_pkt)) < 0)
1270             goto fail;
1271
1272         if (!add_to_pktbuf(&s->internal->parse_queue, &out_pkt, &s->internal->parse_queue_end)) {
1273             av_free_packet(&out_pkt);
1274             ret = AVERROR(ENOMEM);
1275             goto fail;
1276         }
1277     }
1278
1279     /* end of the stream => close and free the parser */
1280     if (pkt == &flush_pkt) {
1281         av_parser_close(st->parser);
1282         st->parser = NULL;
1283     }
1284
1285 fail:
1286     av_free_packet(pkt);
1287     return ret;
1288 }
1289
1290 static int read_from_packet_buffer(AVPacketList **pkt_buffer,
1291                                    AVPacketList **pkt_buffer_end,
1292                                    AVPacket      *pkt)
1293 {
1294     AVPacketList *pktl;
1295     av_assert0(*pkt_buffer);
1296     pktl        = *pkt_buffer;
1297     *pkt        = pktl->pkt;
1298     *pkt_buffer = pktl->next;
1299     if (!pktl->next)
1300         *pkt_buffer_end = NULL;
1301     av_freep(&pktl);
1302     return 0;
1303 }
1304
1305 static int64_t ts_to_samples(AVStream *st, int64_t ts)
1306 {
1307     return av_rescale(ts, st->time_base.num * st->codec->sample_rate, st->time_base.den);
1308 }
1309
1310 static int read_frame_internal(AVFormatContext *s, AVPacket *pkt)
1311 {
1312     int ret = 0, i, got_packet = 0;
1313     AVDictionary *metadata = NULL;
1314
1315     av_init_packet(pkt);
1316
1317     while (!got_packet && !s->internal->parse_queue) {
1318         AVStream *st;
1319         AVPacket cur_pkt;
1320
1321         /* read next packet */
1322         ret = ff_read_packet(s, &cur_pkt);
1323         if (ret < 0) {
1324             if (ret == AVERROR(EAGAIN))
1325                 return ret;
1326             /* flush the parsers */
1327             for (i = 0; i < s->nb_streams; i++) {
1328                 st = s->streams[i];
1329                 if (st->parser && st->need_parsing)
1330                     parse_packet(s, NULL, st->index);
1331             }
1332             /* all remaining packets are now in parse_queue =>
1333              * really terminate parsing */
1334             break;
1335         }
1336         ret = 0;
1337         st  = s->streams[cur_pkt.stream_index];
1338
1339         if (cur_pkt.pts != AV_NOPTS_VALUE &&
1340             cur_pkt.dts != AV_NOPTS_VALUE &&
1341             cur_pkt.pts < cur_pkt.dts) {
1342             av_log(s, AV_LOG_WARNING,
1343                    "Invalid timestamps stream=%d, pts=%s, dts=%s, size=%d\n",
1344                    cur_pkt.stream_index,
1345                    av_ts2str(cur_pkt.pts),
1346                    av_ts2str(cur_pkt.dts),
1347                    cur_pkt.size);
1348         }
1349         if (s->debug & FF_FDEBUG_TS)
1350             av_log(s, AV_LOG_DEBUG,
1351                    "ff_read_packet stream=%d, pts=%s, dts=%s, size=%d, duration=%d, flags=%d\n",
1352                    cur_pkt.stream_index,
1353                    av_ts2str(cur_pkt.pts),
1354                    av_ts2str(cur_pkt.dts),
1355                    cur_pkt.size, cur_pkt.duration, cur_pkt.flags);
1356
1357         if (st->need_parsing && !st->parser && !(s->flags & AVFMT_FLAG_NOPARSE)) {
1358             st->parser = av_parser_init(st->codec->codec_id);
1359             if (!st->parser) {
1360                 av_log(s, AV_LOG_VERBOSE, "parser not found for codec "
1361                        "%s, packets or times may be invalid.\n",
1362                        avcodec_get_name(st->codec->codec_id));
1363                 /* no parser available: just output the raw packets */
1364                 st->need_parsing = AVSTREAM_PARSE_NONE;
1365             } else if (st->need_parsing == AVSTREAM_PARSE_HEADERS)
1366                 st->parser->flags |= PARSER_FLAG_COMPLETE_FRAMES;
1367             else if (st->need_parsing == AVSTREAM_PARSE_FULL_ONCE)
1368                 st->parser->flags |= PARSER_FLAG_ONCE;
1369             else if (st->need_parsing == AVSTREAM_PARSE_FULL_RAW)
1370                 st->parser->flags |= PARSER_FLAG_USE_CODEC_TS;
1371         }
1372
1373         if (!st->need_parsing || !st->parser) {
1374             /* no parsing needed: we just output the packet as is */
1375             *pkt = cur_pkt;
1376             compute_pkt_fields(s, st, NULL, pkt, AV_NOPTS_VALUE, AV_NOPTS_VALUE);
1377             if ((s->iformat->flags & AVFMT_GENERIC_INDEX) &&
1378                 (pkt->flags & AV_PKT_FLAG_KEY) && pkt->dts != AV_NOPTS_VALUE) {
1379                 ff_reduce_index(s, st->index);
1380                 av_add_index_entry(st, pkt->pos, pkt->dts,
1381                                    0, 0, AVINDEX_KEYFRAME);
1382             }
1383             got_packet = 1;
1384         } else if (st->discard < AVDISCARD_ALL) {
1385             if ((ret = parse_packet(s, &cur_pkt, cur_pkt.stream_index)) < 0)
1386                 return ret;
1387         } else {
1388             /* free packet */
1389             av_free_packet(&cur_pkt);
1390         }
1391         if (pkt->flags & AV_PKT_FLAG_KEY)
1392             st->skip_to_keyframe = 0;
1393         if (st->skip_to_keyframe) {
1394             av_free_packet(&cur_pkt);
1395             if (got_packet) {
1396                 *pkt = cur_pkt;
1397             }
1398             got_packet = 0;
1399         }
1400     }
1401
1402     if (!got_packet && s->internal->parse_queue)
1403         ret = read_from_packet_buffer(&s->internal->parse_queue, &s->internal->parse_queue_end, pkt);
1404
1405     if (ret >= 0) {
1406         AVStream *st = s->streams[pkt->stream_index];
1407         int discard_padding = 0;
1408         if (st->first_discard_sample && pkt->pts != AV_NOPTS_VALUE) {
1409             int64_t pts = pkt->pts - (is_relative(pkt->pts) ? RELATIVE_TS_BASE : 0);
1410             int64_t sample = ts_to_samples(st, pts);
1411             int duration = ts_to_samples(st, pkt->duration);
1412             int64_t end_sample = sample + duration;
1413             if (duration > 0 && end_sample >= st->first_discard_sample &&
1414                 sample < st->last_discard_sample)
1415                 discard_padding = FFMIN(end_sample - st->first_discard_sample, duration);
1416         }
1417         if (st->start_skip_samples && (pkt->pts == 0 || pkt->pts == RELATIVE_TS_BASE))
1418             st->skip_samples = st->start_skip_samples;
1419         if (st->skip_samples || discard_padding) {
1420             uint8_t *p = av_packet_new_side_data(pkt, AV_PKT_DATA_SKIP_SAMPLES, 10);
1421             if (p) {
1422                 AV_WL32(p, st->skip_samples);
1423                 AV_WL32(p + 4, discard_padding);
1424                 av_log(s, AV_LOG_DEBUG, "demuxer injecting skip %d / discard %d\n", st->skip_samples, discard_padding);
1425             }
1426             st->skip_samples = 0;
1427         }
1428
1429         if (st->inject_global_side_data) {
1430             for (i = 0; i < st->nb_side_data; i++) {
1431                 AVPacketSideData *src_sd = &st->side_data[i];
1432                 uint8_t *dst_data;
1433
1434                 if (av_packet_get_side_data(pkt, src_sd->type, NULL))
1435                     continue;
1436
1437                 dst_data = av_packet_new_side_data(pkt, src_sd->type, src_sd->size);
1438                 if (!dst_data) {
1439                     av_log(s, AV_LOG_WARNING, "Could not inject global side data\n");
1440                     continue;
1441                 }
1442
1443                 memcpy(dst_data, src_sd->data, src_sd->size);
1444             }
1445             st->inject_global_side_data = 0;
1446         }
1447
1448         if (!(s->flags & AVFMT_FLAG_KEEP_SIDE_DATA))
1449             av_packet_merge_side_data(pkt);
1450     }
1451
1452     av_opt_get_dict_val(s, "metadata", AV_OPT_SEARCH_CHILDREN, &metadata);
1453     if (metadata) {
1454         s->event_flags |= AVFMT_EVENT_FLAG_METADATA_UPDATED;
1455         av_dict_copy(&s->metadata, metadata, 0);
1456         av_dict_free(&metadata);
1457         av_opt_set_dict_val(s, "metadata", NULL, AV_OPT_SEARCH_CHILDREN);
1458     }
1459
1460     if (s->debug & FF_FDEBUG_TS)
1461         av_log(s, AV_LOG_DEBUG,
1462                "read_frame_internal stream=%d, pts=%s, dts=%s, "
1463                "size=%d, duration=%d, flags=%d\n",
1464                pkt->stream_index,
1465                av_ts2str(pkt->pts),
1466                av_ts2str(pkt->dts),
1467                pkt->size, pkt->duration, pkt->flags);
1468
1469     return ret;
1470 }
1471
1472 int av_read_frame(AVFormatContext *s, AVPacket *pkt)
1473 {
1474     const int genpts = s->flags & AVFMT_FLAG_GENPTS;
1475     int eof = 0;
1476     int ret;
1477     AVStream *st;
1478
1479     if (!genpts) {
1480         ret = s->internal->packet_buffer
1481               ? read_from_packet_buffer(&s->internal->packet_buffer,
1482                                         &s->internal->packet_buffer_end, pkt)
1483               : read_frame_internal(s, pkt);
1484         if (ret < 0)
1485             return ret;
1486         goto return_packet;
1487     }
1488
1489     for (;;) {
1490         AVPacketList *pktl = s->internal->packet_buffer;
1491
1492         if (pktl) {
1493             AVPacket *next_pkt = &pktl->pkt;
1494
1495             if (next_pkt->dts != AV_NOPTS_VALUE) {
1496                 int wrap_bits = s->streams[next_pkt->stream_index]->pts_wrap_bits;
1497                 // last dts seen for this stream. if any of packets following
1498                 // current one had no dts, we will set this to AV_NOPTS_VALUE.
1499                 int64_t last_dts = next_pkt->dts;
1500                 while (pktl && next_pkt->pts == AV_NOPTS_VALUE) {
1501                     if (pktl->pkt.stream_index == next_pkt->stream_index &&
1502                         (av_compare_mod(next_pkt->dts, pktl->pkt.dts, 2LL << (wrap_bits - 1)) < 0)) {
1503                         if (av_compare_mod(pktl->pkt.pts, pktl->pkt.dts, 2LL << (wrap_bits - 1))) {
1504                             // not B-frame
1505                             next_pkt->pts = pktl->pkt.dts;
1506                         }
1507                         if (last_dts != AV_NOPTS_VALUE) {
1508                             // Once last dts was set to AV_NOPTS_VALUE, we don't change it.
1509                             last_dts = pktl->pkt.dts;
1510                         }
1511                     }
1512                     pktl = pktl->next;
1513                 }
1514                 if (eof && next_pkt->pts == AV_NOPTS_VALUE && last_dts != AV_NOPTS_VALUE) {
1515                     // Fixing the last reference frame had none pts issue (For MXF etc).
1516                     // We only do this when
1517                     // 1. eof.
1518                     // 2. we are not able to resolve a pts value for current packet.
1519                     // 3. the packets for this stream at the end of the files had valid dts.
1520                     next_pkt->pts = last_dts + next_pkt->duration;
1521                 }
1522                 pktl = s->internal->packet_buffer;
1523             }
1524
1525             /* read packet from packet buffer, if there is data */
1526             st = s->streams[next_pkt->stream_index];
1527             if (!(next_pkt->pts == AV_NOPTS_VALUE && st->discard < AVDISCARD_ALL &&
1528                   next_pkt->dts != AV_NOPTS_VALUE && !eof)) {
1529                 ret = read_from_packet_buffer(&s->internal->packet_buffer,
1530                                                &s->internal->packet_buffer_end, pkt);
1531                 goto return_packet;
1532             }
1533         }
1534
1535         ret = read_frame_internal(s, pkt);
1536         if (ret < 0) {
1537             if (pktl && ret != AVERROR(EAGAIN)) {
1538                 eof = 1;
1539                 continue;
1540             } else
1541                 return ret;
1542         }
1543
1544         if (av_dup_packet(add_to_pktbuf(&s->internal->packet_buffer, pkt,
1545                                         &s->internal->packet_buffer_end)) < 0)
1546             return AVERROR(ENOMEM);
1547     }
1548
1549 return_packet:
1550
1551     st = s->streams[pkt->stream_index];
1552     if ((s->iformat->flags & AVFMT_GENERIC_INDEX) && pkt->flags & AV_PKT_FLAG_KEY) {
1553         ff_reduce_index(s, st->index);
1554         av_add_index_entry(st, pkt->pos, pkt->dts, 0, 0, AVINDEX_KEYFRAME);
1555     }
1556
1557     if (is_relative(pkt->dts))
1558         pkt->dts -= RELATIVE_TS_BASE;
1559     if (is_relative(pkt->pts))
1560         pkt->pts -= RELATIVE_TS_BASE;
1561
1562     return ret;
1563 }
1564
1565 /* XXX: suppress the packet queue */
1566 static void flush_packet_queue(AVFormatContext *s)
1567 {
1568     if (!s->internal)
1569         return;
1570     free_packet_buffer(&s->internal->parse_queue,       &s->internal->parse_queue_end);
1571     free_packet_buffer(&s->internal->packet_buffer,     &s->internal->packet_buffer_end);
1572     free_packet_buffer(&s->internal->raw_packet_buffer, &s->internal->raw_packet_buffer_end);
1573
1574     s->internal->raw_packet_buffer_remaining_size = RAW_PACKET_BUFFER_SIZE;
1575 }
1576
1577 /*******************************************************/
1578 /* seek support */
1579
1580 int av_find_default_stream_index(AVFormatContext *s)
1581 {
1582     int i;
1583     AVStream *st;
1584     int best_stream = 0;
1585     int best_score = INT_MIN;
1586
1587     if (s->nb_streams <= 0)
1588         return -1;
1589     for (i = 0; i < s->nb_streams; i++) {
1590         int score = 0;
1591         st = s->streams[i];
1592         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
1593             if (st->disposition & AV_DISPOSITION_ATTACHED_PIC)
1594                 score -= 400;
1595             if (st->codec->width && st->codec->height)
1596                 score += 50;
1597             score+= 25;
1598         }
1599         if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
1600             if (st->codec->sample_rate)
1601                 score += 50;
1602         }
1603         if (st->codec_info_nb_frames)
1604             score += 12;
1605
1606         if (st->discard != AVDISCARD_ALL)
1607             score += 200;
1608
1609         if (score > best_score) {
1610             best_score = score;
1611             best_stream = i;
1612         }
1613     }
1614     return best_stream;
1615 }
1616
1617 /** Flush the frame reader. */
1618 void ff_read_frame_flush(AVFormatContext *s)
1619 {
1620     AVStream *st;
1621     int i, j;
1622
1623     flush_packet_queue(s);
1624
1625     /* Reset read state for each stream. */
1626     for (i = 0; i < s->nb_streams; i++) {
1627         st = s->streams[i];
1628
1629         if (st->parser) {
1630             av_parser_close(st->parser);
1631             st->parser = NULL;
1632         }
1633         st->last_IP_pts = AV_NOPTS_VALUE;
1634         st->last_dts_for_order_check = AV_NOPTS_VALUE;
1635         if (st->first_dts == AV_NOPTS_VALUE)
1636             st->cur_dts = RELATIVE_TS_BASE;
1637         else
1638             /* We set the current DTS to an unspecified origin. */
1639             st->cur_dts = AV_NOPTS_VALUE;
1640
1641         st->probe_packets = MAX_PROBE_PACKETS;
1642
1643         for (j = 0; j < MAX_REORDER_DELAY + 1; j++)
1644             st->pts_buffer[j] = AV_NOPTS_VALUE;
1645
1646         if (s->internal->inject_global_side_data)
1647             st->inject_global_side_data = 1;
1648
1649         st->skip_samples = 0;
1650     }
1651 }
1652
1653 void ff_update_cur_dts(AVFormatContext *s, AVStream *ref_st, int64_t timestamp)
1654 {
1655     int i;
1656
1657     for (i = 0; i < s->nb_streams; i++) {
1658         AVStream *st = s->streams[i];
1659
1660         st->cur_dts =
1661             av_rescale(timestamp,
1662                        st->time_base.den * (int64_t) ref_st->time_base.num,
1663                        st->time_base.num * (int64_t) ref_st->time_base.den);
1664     }
1665 }
1666
1667 void ff_reduce_index(AVFormatContext *s, int stream_index)
1668 {
1669     AVStream *st             = s->streams[stream_index];
1670     unsigned int max_entries = s->max_index_size / sizeof(AVIndexEntry);
1671
1672     if ((unsigned) st->nb_index_entries >= max_entries) {
1673         int i;
1674         for (i = 0; 2 * i < st->nb_index_entries; i++)
1675             st->index_entries[i] = st->index_entries[2 * i];
1676         st->nb_index_entries = i;
1677     }
1678 }
1679
1680 int ff_add_index_entry(AVIndexEntry **index_entries,
1681                        int *nb_index_entries,
1682                        unsigned int *index_entries_allocated_size,
1683                        int64_t pos, int64_t timestamp,
1684                        int size, int distance, int flags)
1685 {
1686     AVIndexEntry *entries, *ie;
1687     int index;
1688
1689     if ((unsigned) *nb_index_entries + 1 >= UINT_MAX / sizeof(AVIndexEntry))
1690         return -1;
1691
1692     if (timestamp == AV_NOPTS_VALUE)
1693         return AVERROR(EINVAL);
1694
1695     if (size < 0 || size > 0x3FFFFFFF)
1696         return AVERROR(EINVAL);
1697
1698     if (is_relative(timestamp)) //FIXME this maintains previous behavior but we should shift by the correct offset once known
1699         timestamp -= RELATIVE_TS_BASE;
1700
1701     entries = av_fast_realloc(*index_entries,
1702                               index_entries_allocated_size,
1703                               (*nb_index_entries + 1) *
1704                               sizeof(AVIndexEntry));
1705     if (!entries)
1706         return -1;
1707
1708     *index_entries = entries;
1709
1710     index = ff_index_search_timestamp(*index_entries, *nb_index_entries,
1711                                       timestamp, AVSEEK_FLAG_ANY);
1712
1713     if (index < 0) {
1714         index = (*nb_index_entries)++;
1715         ie    = &entries[index];
1716         av_assert0(index == 0 || ie[-1].timestamp < timestamp);
1717     } else {
1718         ie = &entries[index];
1719         if (ie->timestamp != timestamp) {
1720             if (ie->timestamp <= timestamp)
1721                 return -1;
1722             memmove(entries + index + 1, entries + index,
1723                     sizeof(AVIndexEntry) * (*nb_index_entries - index));
1724             (*nb_index_entries)++;
1725         } else if (ie->pos == pos && distance < ie->min_distance)
1726             // do not reduce the distance
1727             distance = ie->min_distance;
1728     }
1729
1730     ie->pos          = pos;
1731     ie->timestamp    = timestamp;
1732     ie->min_distance = distance;
1733     ie->size         = size;
1734     ie->flags        = flags;
1735
1736     return index;
1737 }
1738
1739 int av_add_index_entry(AVStream *st, int64_t pos, int64_t timestamp,
1740                        int size, int distance, int flags)
1741 {
1742     timestamp = wrap_timestamp(st, timestamp);
1743     return ff_add_index_entry(&st->index_entries, &st->nb_index_entries,
1744                               &st->index_entries_allocated_size, pos,
1745                               timestamp, size, distance, flags);
1746 }
1747
1748 int ff_index_search_timestamp(const AVIndexEntry *entries, int nb_entries,
1749                               int64_t wanted_timestamp, int flags)
1750 {
1751     int a, b, m;
1752     int64_t timestamp;
1753
1754     a = -1;
1755     b = nb_entries;
1756
1757     // Optimize appending index entries at the end.
1758     if (b && entries[b - 1].timestamp < wanted_timestamp)
1759         a = b - 1;
1760
1761     while (b - a > 1) {
1762         m         = (a + b) >> 1;
1763         timestamp = entries[m].timestamp;
1764         if (timestamp >= wanted_timestamp)
1765             b = m;
1766         if (timestamp <= wanted_timestamp)
1767             a = m;
1768     }
1769     m = (flags & AVSEEK_FLAG_BACKWARD) ? a : b;
1770
1771     if (!(flags & AVSEEK_FLAG_ANY))
1772         while (m >= 0 && m < nb_entries &&
1773                !(entries[m].flags & AVINDEX_KEYFRAME))
1774             m += (flags & AVSEEK_FLAG_BACKWARD) ? -1 : 1;
1775
1776     if (m == nb_entries)
1777         return -1;
1778     return m;
1779 }
1780
1781 void ff_configure_buffers_for_index(AVFormatContext *s, int64_t time_tolerance)
1782 {
1783     int ist1, ist2;
1784     int64_t pos_delta = 0;
1785     int64_t skip = 0;
1786     //We could use URLProtocol flags here but as many user applications do not use URLProtocols this would be unreliable
1787     const char *proto = avio_find_protocol_name(s->filename);
1788
1789     if (!proto) {
1790         av_log(s, AV_LOG_INFO,
1791                "Protocol name not provided, cannot determine if input is local or "
1792                "a network protocol, buffers and access patterns cannot be configured "
1793                "optimally without knowing the protocol\n");
1794     }
1795
1796     if (proto && !(strcmp(proto, "file") && strcmp(proto, "pipe") && strcmp(proto, "cache")))
1797         return;
1798
1799     for (ist1 = 0; ist1 < s->nb_streams; ist1++) {
1800         AVStream *st1 = s->streams[ist1];
1801         for (ist2 = 0; ist2 < s->nb_streams; ist2++) {
1802             AVStream *st2 = s->streams[ist2];
1803             int i1, i2;
1804
1805             if (ist1 == ist2)
1806                 continue;
1807
1808             for (i1 = i2 = 0; i1 < st1->nb_index_entries; i1++) {
1809                 AVIndexEntry *e1 = &st1->index_entries[i1];
1810                 int64_t e1_pts = av_rescale_q(e1->timestamp, st1->time_base, AV_TIME_BASE_Q);
1811
1812                 skip = FFMAX(skip, e1->size);
1813                 for (; i2 < st2->nb_index_entries; i2++) {
1814                     AVIndexEntry *e2 = &st2->index_entries[i2];
1815                     int64_t e2_pts = av_rescale_q(e2->timestamp, st2->time_base, AV_TIME_BASE_Q);
1816                     if (e2_pts - e1_pts < time_tolerance)
1817                         continue;
1818                     pos_delta = FFMAX(pos_delta, e1->pos - e2->pos);
1819                     break;
1820                 }
1821             }
1822         }
1823     }
1824
1825     pos_delta *= 2;
1826     /* XXX This could be adjusted depending on protocol*/
1827     if (s->pb->buffer_size < pos_delta && pos_delta < (1<<24)) {
1828         av_log(s, AV_LOG_VERBOSE, "Reconfiguring buffers to size %"PRId64"\n", pos_delta);
1829         ffio_set_buf_size(s->pb, pos_delta);
1830         s->pb->short_seek_threshold = FFMAX(s->pb->short_seek_threshold, pos_delta/2);
1831     }
1832
1833     if (skip < (1<<23)) {
1834         s->pb->short_seek_threshold = FFMAX(s->pb->short_seek_threshold, skip);
1835     }
1836 }
1837
1838 int av_index_search_timestamp(AVStream *st, int64_t wanted_timestamp, int flags)
1839 {
1840     return ff_index_search_timestamp(st->index_entries, st->nb_index_entries,
1841                                      wanted_timestamp, flags);
1842 }
1843
1844 static int64_t ff_read_timestamp(AVFormatContext *s, int stream_index, int64_t *ppos, int64_t pos_limit,
1845                                  int64_t (*read_timestamp)(struct AVFormatContext *, int , int64_t *, int64_t ))
1846 {
1847     int64_t ts = read_timestamp(s, stream_index, ppos, pos_limit);
1848     if (stream_index >= 0)
1849         ts = wrap_timestamp(s->streams[stream_index], ts);
1850     return ts;
1851 }
1852
1853 int ff_seek_frame_binary(AVFormatContext *s, int stream_index,
1854                          int64_t target_ts, int flags)
1855 {
1856     AVInputFormat *avif = s->iformat;
1857     int64_t av_uninit(pos_min), av_uninit(pos_max), pos, pos_limit;
1858     int64_t ts_min, ts_max, ts;
1859     int index;
1860     int64_t ret;
1861     AVStream *st;
1862
1863     if (stream_index < 0)
1864         return -1;
1865
1866     av_log(s, AV_LOG_TRACE, "read_seek: %d %s\n", stream_index, av_ts2str(target_ts));
1867
1868     ts_max =
1869     ts_min = AV_NOPTS_VALUE;
1870     pos_limit = -1; // GCC falsely says it may be uninitialized.
1871
1872     st = s->streams[stream_index];
1873     if (st->index_entries) {
1874         AVIndexEntry *e;
1875
1876         /* FIXME: Whole function must be checked for non-keyframe entries in
1877          * index case, especially read_timestamp(). */
1878         index = av_index_search_timestamp(st, target_ts,
1879                                           flags | AVSEEK_FLAG_BACKWARD);
1880         index = FFMAX(index, 0);
1881         e     = &st->index_entries[index];
1882
1883         if (e->timestamp <= target_ts || e->pos == e->min_distance) {
1884             pos_min = e->pos;
1885             ts_min  = e->timestamp;
1886             av_log(s, AV_LOG_TRACE, "using cached pos_min=0x%"PRIx64" dts_min=%s\n",
1887                     pos_min, av_ts2str(ts_min));
1888         } else {
1889             av_assert1(index == 0);
1890         }
1891
1892         index = av_index_search_timestamp(st, target_ts,
1893                                           flags & ~AVSEEK_FLAG_BACKWARD);
1894         av_assert0(index < st->nb_index_entries);
1895         if (index >= 0) {
1896             e = &st->index_entries[index];
1897             av_assert1(e->timestamp >= target_ts);
1898             pos_max   = e->pos;
1899             ts_max    = e->timestamp;
1900             pos_limit = pos_max - e->min_distance;
1901             av_log(s, AV_LOG_TRACE, "using cached pos_max=0x%"PRIx64" pos_limit=0x%"PRIx64
1902                     " dts_max=%s\n", pos_max, pos_limit, av_ts2str(ts_max));
1903         }
1904     }
1905
1906     pos = ff_gen_search(s, stream_index, target_ts, pos_min, pos_max, pos_limit,
1907                         ts_min, ts_max, flags, &ts, avif->read_timestamp);
1908     if (pos < 0)
1909         return -1;
1910
1911     /* do the seek */
1912     if ((ret = avio_seek(s->pb, pos, SEEK_SET)) < 0)
1913         return ret;
1914
1915     ff_read_frame_flush(s);
1916     ff_update_cur_dts(s, st, ts);
1917
1918     return 0;
1919 }
1920
1921 int ff_find_last_ts(AVFormatContext *s, int stream_index, int64_t *ts, int64_t *pos,
1922                     int64_t (*read_timestamp)(struct AVFormatContext *, int , int64_t *, int64_t ))
1923 {
1924     int64_t step = 1024;
1925     int64_t limit, ts_max;
1926     int64_t filesize = avio_size(s->pb);
1927     int64_t pos_max  = filesize - 1;
1928     do {
1929         limit = pos_max;
1930         pos_max = FFMAX(0, (pos_max) - step);
1931         ts_max  = ff_read_timestamp(s, stream_index,
1932                                     &pos_max, limit, read_timestamp);
1933         step   += step;
1934     } while (ts_max == AV_NOPTS_VALUE && 2*limit > step);
1935     if (ts_max == AV_NOPTS_VALUE)
1936         return -1;
1937
1938     for (;;) {
1939         int64_t tmp_pos = pos_max + 1;
1940         int64_t tmp_ts  = ff_read_timestamp(s, stream_index,
1941                                             &tmp_pos, INT64_MAX, read_timestamp);
1942         if (tmp_ts == AV_NOPTS_VALUE)
1943             break;
1944         av_assert0(tmp_pos > pos_max);
1945         ts_max  = tmp_ts;
1946         pos_max = tmp_pos;
1947         if (tmp_pos >= filesize)
1948             break;
1949     }
1950
1951     if (ts)
1952         *ts = ts_max;
1953     if (pos)
1954         *pos = pos_max;
1955
1956     return 0;
1957 }
1958
1959 int64_t ff_gen_search(AVFormatContext *s, int stream_index, int64_t target_ts,
1960                       int64_t pos_min, int64_t pos_max, int64_t pos_limit,
1961                       int64_t ts_min, int64_t ts_max,
1962                       int flags, int64_t *ts_ret,
1963                       int64_t (*read_timestamp)(struct AVFormatContext *, int,
1964                                                 int64_t *, int64_t))
1965 {
1966     int64_t pos, ts;
1967     int64_t start_pos;
1968     int no_change;
1969     int ret;
1970
1971     av_log(s, AV_LOG_TRACE, "gen_seek: %d %s\n", stream_index, av_ts2str(target_ts));
1972
1973     if (ts_min == AV_NOPTS_VALUE) {
1974         pos_min = s->internal->data_offset;
1975         ts_min  = ff_read_timestamp(s, stream_index, &pos_min, INT64_MAX, read_timestamp);
1976         if (ts_min == AV_NOPTS_VALUE)
1977             return -1;
1978     }
1979
1980     if (ts_min >= target_ts) {
1981         *ts_ret = ts_min;
1982         return pos_min;
1983     }
1984
1985     if (ts_max == AV_NOPTS_VALUE) {
1986         if ((ret = ff_find_last_ts(s, stream_index, &ts_max, &pos_max, read_timestamp)) < 0)
1987             return ret;
1988         pos_limit = pos_max;
1989     }
1990
1991     if (ts_max <= target_ts) {
1992         *ts_ret = ts_max;
1993         return pos_max;
1994     }
1995
1996     av_assert0(ts_min < ts_max);
1997
1998     no_change = 0;
1999     while (pos_min < pos_limit) {
2000         av_log(s, AV_LOG_TRACE,
2001                 "pos_min=0x%"PRIx64" pos_max=0x%"PRIx64" dts_min=%s dts_max=%s\n",
2002                 pos_min, pos_max, av_ts2str(ts_min), av_ts2str(ts_max));
2003         av_assert0(pos_limit <= pos_max);
2004
2005         if (no_change == 0) {
2006             int64_t approximate_keyframe_distance = pos_max - pos_limit;
2007             // interpolate position (better than dichotomy)
2008             pos = av_rescale(target_ts - ts_min, pos_max - pos_min,
2009                              ts_max - ts_min) +
2010                   pos_min - approximate_keyframe_distance;
2011         } else if (no_change == 1) {
2012             // bisection if interpolation did not change min / max pos last time
2013             pos = (pos_min + pos_limit) >> 1;
2014         } else {
2015             /* linear search if bisection failed, can only happen if there
2016              * are very few or no keyframes between min/max */
2017             pos = pos_min;
2018         }
2019         if (pos <= pos_min)
2020             pos = pos_min + 1;
2021         else if (pos > pos_limit)
2022             pos = pos_limit;
2023         start_pos = pos;
2024
2025         // May pass pos_limit instead of -1.
2026         ts = ff_read_timestamp(s, stream_index, &pos, INT64_MAX, read_timestamp);
2027         if (pos == pos_max)
2028             no_change++;
2029         else
2030             no_change = 0;
2031         av_log(s, AV_LOG_TRACE, "%"PRId64" %"PRId64" %"PRId64" / %s %s %s"
2032                 " target:%s limit:%"PRId64" start:%"PRId64" noc:%d\n",
2033                 pos_min, pos, pos_max,
2034                 av_ts2str(ts_min), av_ts2str(ts), av_ts2str(ts_max), av_ts2str(target_ts),
2035                 pos_limit, start_pos, no_change);
2036         if (ts == AV_NOPTS_VALUE) {
2037             av_log(s, AV_LOG_ERROR, "read_timestamp() failed in the middle\n");
2038             return -1;
2039         }
2040         if (target_ts <= ts) {
2041             pos_limit = start_pos - 1;
2042             pos_max   = pos;
2043             ts_max    = ts;
2044         }
2045         if (target_ts >= ts) {
2046             pos_min = pos;
2047             ts_min  = ts;
2048         }
2049     }
2050
2051     pos     = (flags & AVSEEK_FLAG_BACKWARD) ? pos_min : pos_max;
2052     ts      = (flags & AVSEEK_FLAG_BACKWARD) ? ts_min  : ts_max;
2053 #if 0
2054     pos_min = pos;
2055     ts_min  = ff_read_timestamp(s, stream_index, &pos_min, INT64_MAX, read_timestamp);
2056     pos_min++;
2057     ts_max = ff_read_timestamp(s, stream_index, &pos_min, INT64_MAX, read_timestamp);
2058     av_log(s, AV_LOG_TRACE, "pos=0x%"PRIx64" %s<=%s<=%s\n",
2059             pos, av_ts2str(ts_min), av_ts2str(target_ts), av_ts2str(ts_max));
2060 #endif
2061     *ts_ret = ts;
2062     return pos;
2063 }
2064
2065 static int seek_frame_byte(AVFormatContext *s, int stream_index,
2066                            int64_t pos, int flags)
2067 {
2068     int64_t pos_min, pos_max;
2069
2070     pos_min = s->internal->data_offset;
2071     pos_max = avio_size(s->pb) - 1;
2072
2073     if (pos < pos_min)
2074         pos = pos_min;
2075     else if (pos > pos_max)
2076         pos = pos_max;
2077
2078     avio_seek(s->pb, pos, SEEK_SET);
2079
2080     s->io_repositioned = 1;
2081
2082     return 0;
2083 }
2084
2085 static int seek_frame_generic(AVFormatContext *s, int stream_index,
2086                               int64_t timestamp, int flags)
2087 {
2088     int index;
2089     int64_t ret;
2090     AVStream *st;
2091     AVIndexEntry *ie;
2092
2093     st = s->streams[stream_index];
2094
2095     index = av_index_search_timestamp(st, timestamp, flags);
2096
2097     if (index < 0 && st->nb_index_entries &&
2098         timestamp < st->index_entries[0].timestamp)
2099         return -1;
2100
2101     if (index < 0 || index == st->nb_index_entries - 1) {
2102         AVPacket pkt;
2103         int nonkey = 0;
2104
2105         if (st->nb_index_entries) {
2106             av_assert0(st->index_entries);
2107             ie = &st->index_entries[st->nb_index_entries - 1];
2108             if ((ret = avio_seek(s->pb, ie->pos, SEEK_SET)) < 0)
2109                 return ret;
2110             ff_update_cur_dts(s, st, ie->timestamp);
2111         } else {
2112             if ((ret = avio_seek(s->pb, s->internal->data_offset, SEEK_SET)) < 0)
2113                 return ret;
2114         }
2115         for (;;) {
2116             int read_status;
2117             do {
2118                 read_status = av_read_frame(s, &pkt);
2119             } while (read_status == AVERROR(EAGAIN));
2120             if (read_status < 0)
2121                 break;
2122             av_free_packet(&pkt);
2123             if (stream_index == pkt.stream_index && pkt.dts > timestamp) {
2124                 if (pkt.flags & AV_PKT_FLAG_KEY)
2125                     break;
2126                 if (nonkey++ > 1000 && st->codec->codec_id != AV_CODEC_ID_CDGRAPHICS) {
2127                     av_log(s, AV_LOG_ERROR,"seek_frame_generic failed as this stream seems to contain no keyframes after the target timestamp, %d non keyframes found\n", nonkey);
2128                     break;
2129                 }
2130             }
2131         }
2132         index = av_index_search_timestamp(st, timestamp, flags);
2133     }
2134     if (index < 0)
2135         return -1;
2136
2137     ff_read_frame_flush(s);
2138     if (s->iformat->read_seek)
2139         if (s->iformat->read_seek(s, stream_index, timestamp, flags) >= 0)
2140             return 0;
2141     ie = &st->index_entries[index];
2142     if ((ret = avio_seek(s->pb, ie->pos, SEEK_SET)) < 0)
2143         return ret;
2144     ff_update_cur_dts(s, st, ie->timestamp);
2145
2146     return 0;
2147 }
2148
2149 static int seek_frame_internal(AVFormatContext *s, int stream_index,
2150                                int64_t timestamp, int flags)
2151 {
2152     int ret;
2153     AVStream *st;
2154
2155     if (flags & AVSEEK_FLAG_BYTE) {
2156         if (s->iformat->flags & AVFMT_NO_BYTE_SEEK)
2157             return -1;
2158         ff_read_frame_flush(s);
2159         return seek_frame_byte(s, stream_index, timestamp, flags);
2160     }
2161
2162     if (stream_index < 0) {
2163         stream_index = av_find_default_stream_index(s);
2164         if (stream_index < 0)
2165             return -1;
2166
2167         st = s->streams[stream_index];
2168         /* timestamp for default must be expressed in AV_TIME_BASE units */
2169         timestamp = av_rescale(timestamp, st->time_base.den,
2170                                AV_TIME_BASE * (int64_t) st->time_base.num);
2171     }
2172
2173     /* first, we try the format specific seek */
2174     if (s->iformat->read_seek) {
2175         ff_read_frame_flush(s);
2176         ret = s->iformat->read_seek(s, stream_index, timestamp, flags);
2177     } else
2178         ret = -1;
2179     if (ret >= 0)
2180         return 0;
2181
2182     if (s->iformat->read_timestamp &&
2183         !(s->iformat->flags & AVFMT_NOBINSEARCH)) {
2184         ff_read_frame_flush(s);
2185         return ff_seek_frame_binary(s, stream_index, timestamp, flags);
2186     } else if (!(s->iformat->flags & AVFMT_NOGENSEARCH)) {
2187         ff_read_frame_flush(s);
2188         return seek_frame_generic(s, stream_index, timestamp, flags);
2189     } else
2190         return -1;
2191 }
2192
2193 int av_seek_frame(AVFormatContext *s, int stream_index,
2194                   int64_t timestamp, int flags)
2195 {
2196     int ret;
2197
2198     if (s->iformat->read_seek2 && !s->iformat->read_seek) {
2199         int64_t min_ts = INT64_MIN, max_ts = INT64_MAX;
2200         if ((flags & AVSEEK_FLAG_BACKWARD))
2201             max_ts = timestamp;
2202         else
2203             min_ts = timestamp;
2204         return avformat_seek_file(s, stream_index, min_ts, timestamp, max_ts,
2205                                   flags & ~AVSEEK_FLAG_BACKWARD);
2206     }
2207
2208     ret = seek_frame_internal(s, stream_index, timestamp, flags);
2209
2210     if (ret >= 0)
2211         ret = avformat_queue_attached_pictures(s);
2212
2213     return ret;
2214 }
2215
2216 int avformat_seek_file(AVFormatContext *s, int stream_index, int64_t min_ts,
2217                        int64_t ts, int64_t max_ts, int flags)
2218 {
2219     if (min_ts > ts || max_ts < ts)
2220         return -1;
2221     if (stream_index < -1 || stream_index >= (int)s->nb_streams)
2222         return AVERROR(EINVAL);
2223
2224     if (s->seek2any>0)
2225         flags |= AVSEEK_FLAG_ANY;
2226     flags &= ~AVSEEK_FLAG_BACKWARD;
2227
2228     if (s->iformat->read_seek2) {
2229         int ret;
2230         ff_read_frame_flush(s);
2231
2232         if (stream_index == -1 && s->nb_streams == 1) {
2233             AVRational time_base = s->streams[0]->time_base;
2234             ts = av_rescale_q(ts, AV_TIME_BASE_Q, time_base);
2235             min_ts = av_rescale_rnd(min_ts, time_base.den,
2236                                     time_base.num * (int64_t)AV_TIME_BASE,
2237                                     AV_ROUND_UP   | AV_ROUND_PASS_MINMAX);
2238             max_ts = av_rescale_rnd(max_ts, time_base.den,
2239                                     time_base.num * (int64_t)AV_TIME_BASE,
2240                                     AV_ROUND_DOWN | AV_ROUND_PASS_MINMAX);
2241         }
2242
2243         ret = s->iformat->read_seek2(s, stream_index, min_ts,
2244                                      ts, max_ts, flags);
2245
2246         if (ret >= 0)
2247             ret = avformat_queue_attached_pictures(s);
2248         return ret;
2249     }
2250
2251     if (s->iformat->read_timestamp) {
2252         // try to seek via read_timestamp()
2253     }
2254
2255     // Fall back on old API if new is not implemented but old is.
2256     // Note the old API has somewhat different semantics.
2257     if (s->iformat->read_seek || 1) {
2258         int dir = (ts - (uint64_t)min_ts > (uint64_t)max_ts - ts ? AVSEEK_FLAG_BACKWARD : 0);
2259         int ret = av_seek_frame(s, stream_index, ts, flags | dir);
2260         if (ret<0 && ts != min_ts && max_ts != ts) {
2261             ret = av_seek_frame(s, stream_index, dir ? max_ts : min_ts, flags | dir);
2262             if (ret >= 0)
2263                 ret = av_seek_frame(s, stream_index, ts, flags | (dir^AVSEEK_FLAG_BACKWARD));
2264         }
2265         return ret;
2266     }
2267
2268     // try some generic seek like seek_frame_generic() but with new ts semantics
2269     return -1; //unreachable
2270 }
2271
2272 int avformat_flush(AVFormatContext *s)
2273 {
2274     ff_read_frame_flush(s);
2275     return 0;
2276 }
2277
2278 /*******************************************************/
2279
2280 /**
2281  * Return TRUE if the stream has accurate duration in any stream.
2282  *
2283  * @return TRUE if the stream has accurate duration for at least one component.
2284  */
2285 static int has_duration(AVFormatContext *ic)
2286 {
2287     int i;
2288     AVStream *st;
2289
2290     for (i = 0; i < ic->nb_streams; i++) {
2291         st = ic->streams[i];
2292         if (st->duration != AV_NOPTS_VALUE)
2293             return 1;
2294     }
2295     if (ic->duration != AV_NOPTS_VALUE)
2296         return 1;
2297     return 0;
2298 }
2299
2300 /**
2301  * Estimate the stream timings from the one of each components.
2302  *
2303  * Also computes the global bitrate if possible.
2304  */
2305 static void update_stream_timings(AVFormatContext *ic)
2306 {
2307     int64_t start_time, start_time1, start_time_text, end_time, end_time1;
2308     int64_t duration, duration1, filesize;
2309     int i;
2310     AVStream *st;
2311     AVProgram *p;
2312
2313     start_time = INT64_MAX;
2314     start_time_text = INT64_MAX;
2315     end_time   = INT64_MIN;
2316     duration   = INT64_MIN;
2317     for (i = 0; i < ic->nb_streams; i++) {
2318         st = ic->streams[i];
2319         if (st->start_time != AV_NOPTS_VALUE && st->time_base.den) {
2320             start_time1 = av_rescale_q(st->start_time, st->time_base,
2321                                        AV_TIME_BASE_Q);
2322             if (st->codec->codec_type == AVMEDIA_TYPE_SUBTITLE || st->codec->codec_type == AVMEDIA_TYPE_DATA) {
2323                 if (start_time1 < start_time_text)
2324                     start_time_text = start_time1;
2325             } else
2326                 start_time = FFMIN(start_time, start_time1);
2327             end_time1   = AV_NOPTS_VALUE;
2328             if (st->duration != AV_NOPTS_VALUE) {
2329                 end_time1 = start_time1 +
2330                             av_rescale_q(st->duration, st->time_base,
2331                                          AV_TIME_BASE_Q);
2332                 end_time = FFMAX(end_time, end_time1);
2333             }
2334             for (p = NULL; (p = av_find_program_from_stream(ic, p, i)); ) {
2335                 if (p->start_time == AV_NOPTS_VALUE || p->start_time > start_time1)
2336                     p->start_time = start_time1;
2337                 if (p->end_time < end_time1)
2338                     p->end_time = end_time1;
2339             }
2340         }
2341         if (st->duration != AV_NOPTS_VALUE) {
2342             duration1 = av_rescale_q(st->duration, st->time_base,
2343                                      AV_TIME_BASE_Q);
2344             duration  = FFMAX(duration, duration1);
2345         }
2346     }
2347     if (start_time == INT64_MAX || (start_time > start_time_text && start_time - start_time_text < AV_TIME_BASE))
2348         start_time = start_time_text;
2349     else if (start_time > start_time_text)
2350         av_log(ic, AV_LOG_VERBOSE, "Ignoring outlier non primary stream starttime %f\n", start_time_text / (float)AV_TIME_BASE);
2351
2352     if (start_time != INT64_MAX) {
2353         ic->start_time = start_time;
2354         if (end_time != INT64_MIN) {
2355             if (ic->nb_programs) {
2356                 for (i = 0; i < ic->nb_programs; i++) {
2357                     p = ic->programs[i];
2358                     if (p->start_time != AV_NOPTS_VALUE && p->end_time > p->start_time)
2359                         duration = FFMAX(duration, p->end_time - p->start_time);
2360                 }
2361             } else
2362                 duration = FFMAX(duration, end_time - start_time);
2363         }
2364     }
2365     if (duration != INT64_MIN && duration > 0 && ic->duration == AV_NOPTS_VALUE) {
2366         ic->duration = duration;
2367     }
2368     if (ic->pb && (filesize = avio_size(ic->pb)) > 0 && ic->duration != AV_NOPTS_VALUE) {
2369         /* compute the bitrate */
2370         double bitrate = (double) filesize * 8.0 * AV_TIME_BASE /
2371                          (double) ic->duration;
2372         if (bitrate >= 0 && bitrate <= INT64_MAX)
2373             ic->bit_rate = bitrate;
2374     }
2375 }
2376
2377 static void fill_all_stream_timings(AVFormatContext *ic)
2378 {
2379     int i;
2380     AVStream *st;
2381
2382     update_stream_timings(ic);
2383     for (i = 0; i < ic->nb_streams; i++) {
2384         st = ic->streams[i];
2385         if (st->start_time == AV_NOPTS_VALUE) {
2386             if (ic->start_time != AV_NOPTS_VALUE)
2387                 st->start_time = av_rescale_q(ic->start_time, AV_TIME_BASE_Q,
2388                                               st->time_base);
2389             if (ic->duration != AV_NOPTS_VALUE)
2390                 st->duration = av_rescale_q(ic->duration, AV_TIME_BASE_Q,
2391                                             st->time_base);
2392         }
2393     }
2394 }
2395
2396 static void estimate_timings_from_bit_rate(AVFormatContext *ic)
2397 {
2398     int64_t filesize, duration;
2399     int i, show_warning = 0;
2400     AVStream *st;
2401
2402     /* if bit_rate is already set, we believe it */
2403     if (ic->bit_rate <= 0) {
2404         int bit_rate = 0;
2405         for (i = 0; i < ic->nb_streams; i++) {
2406             st = ic->streams[i];
2407             if (st->codec->bit_rate > 0) {
2408                 if (INT_MAX - st->codec->bit_rate < bit_rate) {
2409                     bit_rate = 0;
2410                     break;
2411                 }
2412                 bit_rate += st->codec->bit_rate;
2413             } else if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO && st->codec_info_nb_frames > 1) {
2414                 // If we have a videostream with packets but without a bitrate
2415                 // then consider the sum not known
2416                 bit_rate = 0;
2417                 break;
2418             }
2419         }
2420         ic->bit_rate = bit_rate;
2421     }
2422
2423     /* if duration is already set, we believe it */
2424     if (ic->duration == AV_NOPTS_VALUE &&
2425         ic->bit_rate != 0) {
2426         filesize = ic->pb ? avio_size(ic->pb) : 0;
2427         if (filesize > ic->internal->data_offset) {
2428             filesize -= ic->internal->data_offset;
2429             for (i = 0; i < ic->nb_streams; i++) {
2430                 st      = ic->streams[i];
2431                 if (   st->time_base.num <= INT64_MAX / ic->bit_rate
2432                     && st->duration == AV_NOPTS_VALUE) {
2433                     duration = av_rescale(8 * filesize, st->time_base.den,
2434                                           ic->bit_rate *
2435                                           (int64_t) st->time_base.num);
2436                     st->duration = duration;
2437                     show_warning = 1;
2438                 }
2439             }
2440         }
2441     }
2442     if (show_warning)
2443         av_log(ic, AV_LOG_WARNING,
2444                "Estimating duration from bitrate, this may be inaccurate\n");
2445 }
2446
2447 #define DURATION_MAX_READ_SIZE 250000LL
2448 #define DURATION_MAX_RETRY 4
2449
2450 /* only usable for MPEG-PS streams */
2451 static void estimate_timings_from_pts(AVFormatContext *ic, int64_t old_offset)
2452 {
2453     AVPacket pkt1, *pkt = &pkt1;
2454     AVStream *st;
2455     int num, den, read_size, i, ret;
2456     int found_duration = 0;
2457     int is_end;
2458     int64_t filesize, offset, duration;
2459     int retry = 0;
2460
2461     /* flush packet queue */
2462     flush_packet_queue(ic);
2463
2464     for (i = 0; i < ic->nb_streams; i++) {
2465         st = ic->streams[i];
2466         if (st->start_time == AV_NOPTS_VALUE &&
2467             st->first_dts == AV_NOPTS_VALUE &&
2468             st->codec->codec_type != AVMEDIA_TYPE_UNKNOWN)
2469             av_log(st->codec, AV_LOG_WARNING,
2470                    "start time for stream %d is not set in estimate_timings_from_pts\n", i);
2471
2472         if (st->parser) {
2473             av_parser_close(st->parser);
2474             st->parser = NULL;
2475         }
2476     }
2477
2478     av_opt_set(ic, "skip_changes", "1", AV_OPT_SEARCH_CHILDREN);
2479     /* estimate the end time (duration) */
2480     /* XXX: may need to support wrapping */
2481     filesize = ic->pb ? avio_size(ic->pb) : 0;
2482     do {
2483         is_end = found_duration;
2484         offset = filesize - (DURATION_MAX_READ_SIZE << retry);
2485         if (offset < 0)
2486             offset = 0;
2487
2488         avio_seek(ic->pb, offset, SEEK_SET);
2489         read_size = 0;
2490         for (;;) {
2491             if (read_size >= DURATION_MAX_READ_SIZE << (FFMAX(retry - 1, 0)))
2492                 break;
2493
2494             do {
2495                 ret = ff_read_packet(ic, pkt);
2496             } while (ret == AVERROR(EAGAIN));
2497             if (ret != 0)
2498                 break;
2499             read_size += pkt->size;
2500             st         = ic->streams[pkt->stream_index];
2501             if (pkt->pts != AV_NOPTS_VALUE &&
2502                 (st->start_time != AV_NOPTS_VALUE ||
2503                  st->first_dts  != AV_NOPTS_VALUE)) {
2504                 if (pkt->duration == 0) {
2505                     ff_compute_frame_duration(ic, &num, &den, st, st->parser, pkt);
2506                     if (den && num) {
2507                         pkt->duration = av_rescale_rnd(1,
2508                                            num * (int64_t) st->time_base.den,
2509                                            den * (int64_t) st->time_base.num,
2510                                            AV_ROUND_DOWN);
2511                     }
2512                 }
2513                 duration = pkt->pts + pkt->duration;
2514                 found_duration = 1;
2515                 if (st->start_time != AV_NOPTS_VALUE)
2516                     duration -= st->start_time;
2517                 else
2518                     duration -= st->first_dts;
2519                 if (duration > 0) {
2520                     if (st->duration == AV_NOPTS_VALUE || st->info->last_duration<= 0 ||
2521                         (st->duration < duration && FFABS(duration - st->info->last_duration) < 60LL*st->time_base.den / st->time_base.num))
2522                         st->duration = duration;
2523                     st->info->last_duration = duration;
2524                 }
2525             }
2526             av_free_packet(pkt);
2527         }
2528
2529         /* check if all audio/video streams have valid duration */
2530         if (!is_end) {
2531             is_end = 1;
2532             for (i = 0; i < ic->nb_streams; i++) {
2533                 st = ic->streams[i];
2534                 switch (st->codec->codec_type) {
2535                     case AVMEDIA_TYPE_VIDEO:
2536                     case AVMEDIA_TYPE_AUDIO:
2537                         if (st->duration == AV_NOPTS_VALUE)
2538                             is_end = 0;
2539                 }
2540             }
2541         }
2542     } while (!is_end &&
2543              offset &&
2544              ++retry <= DURATION_MAX_RETRY);
2545
2546     av_opt_set(ic, "skip_changes", "0", AV_OPT_SEARCH_CHILDREN);
2547
2548     /* warn about audio/video streams which duration could not be estimated */
2549     for (i = 0; i < ic->nb_streams; i++) {
2550         st = ic->streams[i];
2551         if (st->duration == AV_NOPTS_VALUE) {
2552             switch (st->codec->codec_type) {
2553             case AVMEDIA_TYPE_VIDEO:
2554             case AVMEDIA_TYPE_AUDIO:
2555                 if (st->start_time != AV_NOPTS_VALUE || st->first_dts  != AV_NOPTS_VALUE) {
2556                     av_log(ic, AV_LOG_DEBUG, "stream %d : no PTS found at end of file, duration not set\n", i);
2557                 } else
2558                     av_log(ic, AV_LOG_DEBUG, "stream %d : no TS found at start of file, duration not set\n", i);
2559             }
2560         }
2561     }
2562     fill_all_stream_timings(ic);
2563
2564     avio_seek(ic->pb, old_offset, SEEK_SET);
2565     for (i = 0; i < ic->nb_streams; i++) {
2566         int j;
2567
2568         st              = ic->streams[i];
2569         st->cur_dts     = st->first_dts;
2570         st->last_IP_pts = AV_NOPTS_VALUE;
2571         st->last_dts_for_order_check = AV_NOPTS_VALUE;
2572         for (j = 0; j < MAX_REORDER_DELAY + 1; j++)
2573             st->pts_buffer[j] = AV_NOPTS_VALUE;
2574     }
2575 }
2576
2577 static void estimate_timings(AVFormatContext *ic, int64_t old_offset)
2578 {
2579     int64_t file_size;
2580
2581     /* get the file size, if possible */
2582     if (ic->iformat->flags & AVFMT_NOFILE) {
2583         file_size = 0;
2584     } else {
2585         file_size = avio_size(ic->pb);
2586         file_size = FFMAX(0, file_size);
2587     }
2588
2589     if ((!strcmp(ic->iformat->name, "mpeg") ||
2590          !strcmp(ic->iformat->name, "mpegts")) &&
2591         file_size && ic->pb->seekable) {
2592         /* get accurate estimate from the PTSes */
2593         estimate_timings_from_pts(ic, old_offset);
2594         ic->duration_estimation_method = AVFMT_DURATION_FROM_PTS;
2595     } else if (has_duration(ic)) {
2596         /* at least one component has timings - we use them for all
2597          * the components */
2598         fill_all_stream_timings(ic);
2599         ic->duration_estimation_method = AVFMT_DURATION_FROM_STREAM;
2600     } else {
2601         /* less precise: use bitrate info */
2602         estimate_timings_from_bit_rate(ic);
2603         ic->duration_estimation_method = AVFMT_DURATION_FROM_BITRATE;
2604     }
2605     update_stream_timings(ic);
2606
2607     {
2608         int i;
2609         AVStream av_unused *st;
2610         for (i = 0; i < ic->nb_streams; i++) {
2611             st = ic->streams[i];
2612             av_log(ic, AV_LOG_TRACE, "%d: start_time: %0.3f duration: %0.3f\n", i,
2613                     (double) st->start_time / AV_TIME_BASE,
2614                     (double) st->duration   / AV_TIME_BASE);
2615         }
2616         av_log(ic, AV_LOG_TRACE,
2617                 "stream: start_time: %0.3f duration: %0.3f bitrate=%"PRId64" kb/s\n",
2618                 (double) ic->start_time / AV_TIME_BASE,
2619                 (double) ic->duration   / AV_TIME_BASE,
2620                 (int64_t)ic->bit_rate / 1000);
2621     }
2622 }
2623
2624 static int has_codec_parameters(AVStream *st, const char **errmsg_ptr)
2625 {
2626     AVCodecContext *avctx = st->codec;
2627
2628 #define FAIL(errmsg) do {                                         \
2629         if (errmsg_ptr)                                           \
2630             *errmsg_ptr = errmsg;                                 \
2631         return 0;                                                 \
2632     } while (0)
2633
2634     if (   avctx->codec_id == AV_CODEC_ID_NONE
2635         && avctx->codec_type != AVMEDIA_TYPE_DATA)
2636         FAIL("unknown codec");
2637     switch (avctx->codec_type) {
2638     case AVMEDIA_TYPE_AUDIO:
2639         if (!avctx->frame_size && determinable_frame_size(avctx))
2640             FAIL("unspecified frame size");
2641         if (st->info->found_decoder >= 0 &&
2642             avctx->sample_fmt == AV_SAMPLE_FMT_NONE)
2643             FAIL("unspecified sample format");
2644         if (!avctx->sample_rate)
2645             FAIL("unspecified sample rate");
2646         if (!avctx->channels)
2647             FAIL("unspecified number of channels");
2648         if (st->info->found_decoder >= 0 && !st->nb_decoded_frames && avctx->codec_id == AV_CODEC_ID_DTS)
2649             FAIL("no decodable DTS frames");
2650         break;
2651     case AVMEDIA_TYPE_VIDEO:
2652         if (!avctx->width)
2653             FAIL("unspecified size");
2654         if (st->info->found_decoder >= 0 && avctx->pix_fmt == AV_PIX_FMT_NONE)
2655             FAIL("unspecified pixel format");
2656         if (st->codec->codec_id == AV_CODEC_ID_RV30 || st->codec->codec_id == AV_CODEC_ID_RV40)
2657             if (!st->sample_aspect_ratio.num && !st->codec->sample_aspect_ratio.num && !st->codec_info_nb_frames)
2658                 FAIL("no frame in rv30/40 and no sar");
2659         break;
2660     case AVMEDIA_TYPE_SUBTITLE:
2661         if (avctx->codec_id == AV_CODEC_ID_HDMV_PGS_SUBTITLE && !avctx->width)
2662             FAIL("unspecified size");
2663         break;
2664     case AVMEDIA_TYPE_DATA:
2665         if (avctx->codec_id == AV_CODEC_ID_NONE) return 1;
2666     }
2667
2668     return 1;
2669 }
2670
2671 /* returns 1 or 0 if or if not decoded data was returned, or a negative error */
2672 static int try_decode_frame(AVFormatContext *s, AVStream *st, AVPacket *avpkt,
2673                             AVDictionary **options)
2674 {
2675     const AVCodec *codec;
2676     int got_picture = 1, ret = 0;
2677     AVFrame *frame = av_frame_alloc();
2678     AVSubtitle subtitle;
2679     AVPacket pkt = *avpkt;
2680
2681     if (!frame)
2682         return AVERROR(ENOMEM);
2683
2684     if (!avcodec_is_open(st->codec) &&
2685         st->info->found_decoder <= 0 &&
2686         (st->codec->codec_id != -st->info->found_decoder || !st->codec->codec_id)) {
2687         AVDictionary *thread_opt = NULL;
2688
2689         codec = find_decoder(s, st, st->codec->codec_id);
2690
2691         if (!codec) {
2692             st->info->found_decoder = -st->codec->codec_id;
2693             ret                     = -1;
2694             goto fail;
2695         }
2696
2697         /* Force thread count to 1 since the H.264 decoder will not extract
2698          * SPS and PPS to extradata during multi-threaded decoding. */
2699         av_dict_set(options ? options : &thread_opt, "threads", "1", 0);
2700         if (s->codec_whitelist)
2701             av_dict_set(options ? options : &thread_opt, "codec_whitelist", s->codec_whitelist, 0);
2702         ret = avcodec_open2(st->codec, codec, options ? options : &thread_opt);
2703         if (!options)
2704             av_dict_free(&thread_opt);
2705         if (ret < 0) {
2706             st->info->found_decoder = -st->codec->codec_id;
2707             goto fail;
2708         }
2709         st->info->found_decoder = 1;
2710     } else if (!st->info->found_decoder)
2711         st->info->found_decoder = 1;
2712
2713     if (st->info->found_decoder < 0) {
2714         ret = -1;
2715         goto fail;
2716     }
2717
2718     while ((pkt.size > 0 || (!pkt.data && got_picture)) &&
2719            ret >= 0 &&
2720            (!has_codec_parameters(st, NULL) || !has_decode_delay_been_guessed(st) ||
2721             (!st->codec_info_nb_frames &&
2722              (st->codec->codec->capabilities & AV_CODEC_CAP_CHANNEL_CONF)))) {
2723         got_picture = 0;
2724         switch (st->codec->codec_type) {
2725         case AVMEDIA_TYPE_VIDEO:
2726             ret = avcodec_decode_video2(st->codec, frame,
2727                                         &got_picture, &pkt);
2728             break;
2729         case AVMEDIA_TYPE_AUDIO:
2730             ret = avcodec_decode_audio4(st->codec, frame, &got_picture, &pkt);
2731             break;
2732         case AVMEDIA_TYPE_SUBTITLE:
2733             ret = avcodec_decode_subtitle2(st->codec, &subtitle,
2734                                            &got_picture, &pkt);
2735             ret = pkt.size;
2736             break;
2737         default:
2738             break;
2739         }
2740         if (ret >= 0) {
2741             if (got_picture)
2742                 st->nb_decoded_frames++;
2743             pkt.data += ret;
2744             pkt.size -= ret;
2745             ret       = got_picture;
2746         }
2747     }
2748
2749     if (!pkt.data && !got_picture)
2750         ret = -1;
2751
2752 fail:
2753     av_frame_free(&frame);
2754     return ret;
2755 }
2756
2757 unsigned int ff_codec_get_tag(const AVCodecTag *tags, enum AVCodecID id)
2758 {
2759     while (tags->id != AV_CODEC_ID_NONE) {
2760         if (tags->id == id)
2761             return tags->tag;
2762         tags++;
2763     }
2764     return 0;
2765 }
2766
2767 enum AVCodecID ff_codec_get_id(const AVCodecTag *tags, unsigned int tag)
2768 {
2769     int i;
2770     for (i = 0; tags[i].id != AV_CODEC_ID_NONE; i++)
2771         if (tag == tags[i].tag)
2772             return tags[i].id;
2773     for (i = 0; tags[i].id != AV_CODEC_ID_NONE; i++)
2774         if (avpriv_toupper4(tag) == avpriv_toupper4(tags[i].tag))
2775             return tags[i].id;
2776     return AV_CODEC_ID_NONE;
2777 }
2778
2779 enum AVCodecID ff_get_pcm_codec_id(int bps, int flt, int be, int sflags)
2780 {
2781     if (flt) {
2782         switch (bps) {
2783         case 32:
2784             return be ? AV_CODEC_ID_PCM_F32BE : AV_CODEC_ID_PCM_F32LE;
2785         case 64:
2786             return be ? AV_CODEC_ID_PCM_F64BE : AV_CODEC_ID_PCM_F64LE;
2787         default:
2788             return AV_CODEC_ID_NONE;
2789         }
2790     } else {
2791         bps  += 7;
2792         bps >>= 3;
2793         if (sflags & (1 << (bps - 1))) {
2794             switch (bps) {
2795             case 1:
2796                 return AV_CODEC_ID_PCM_S8;
2797             case 2:
2798                 return be ? AV_CODEC_ID_PCM_S16BE : AV_CODEC_ID_PCM_S16LE;
2799             case 3:
2800                 return be ? AV_CODEC_ID_PCM_S24BE : AV_CODEC_ID_PCM_S24LE;
2801             case 4:
2802                 return be ? AV_CODEC_ID_PCM_S32BE : AV_CODEC_ID_PCM_S32LE;
2803             default:
2804                 return AV_CODEC_ID_NONE;
2805             }
2806         } else {
2807             switch (bps) {
2808             case 1:
2809                 return AV_CODEC_ID_PCM_U8;
2810             case 2:
2811                 return be ? AV_CODEC_ID_PCM_U16BE : AV_CODEC_ID_PCM_U16LE;
2812             case 3:
2813                 return be ? AV_CODEC_ID_PCM_U24BE : AV_CODEC_ID_PCM_U24LE;
2814             case 4:
2815                 return be ? AV_CODEC_ID_PCM_U32BE : AV_CODEC_ID_PCM_U32LE;
2816             default:
2817                 return AV_CODEC_ID_NONE;
2818             }
2819         }
2820     }
2821 }
2822
2823 unsigned int av_codec_get_tag(const AVCodecTag *const *tags, enum AVCodecID id)
2824 {
2825     unsigned int tag;
2826     if (!av_codec_get_tag2(tags, id, &tag))
2827         return 0;
2828     return tag;
2829 }
2830
2831 int av_codec_get_tag2(const AVCodecTag * const *tags, enum AVCodecID id,
2832                       unsigned int *tag)
2833 {
2834     int i;
2835     for (i = 0; tags && tags[i]; i++) {
2836         const AVCodecTag *codec_tags = tags[i];
2837         while (codec_tags->id != AV_CODEC_ID_NONE) {
2838             if (codec_tags->id == id) {
2839                 *tag = codec_tags->tag;
2840                 return 1;
2841             }
2842             codec_tags++;
2843         }
2844     }
2845     return 0;
2846 }
2847
2848 enum AVCodecID av_codec_get_id(const AVCodecTag *const *tags, unsigned int tag)
2849 {
2850     int i;
2851     for (i = 0; tags && tags[i]; i++) {
2852         enum AVCodecID id = ff_codec_get_id(tags[i], tag);
2853         if (id != AV_CODEC_ID_NONE)
2854             return id;
2855     }
2856     return AV_CODEC_ID_NONE;
2857 }
2858
2859 static void compute_chapters_end(AVFormatContext *s)
2860 {
2861     unsigned int i, j;
2862     int64_t max_time = s->duration +
2863                        ((s->start_time == AV_NOPTS_VALUE) ? 0 : s->start_time);
2864
2865     for (i = 0; i < s->nb_chapters; i++)
2866         if (s->chapters[i]->end == AV_NOPTS_VALUE) {
2867             AVChapter *ch = s->chapters[i];
2868             int64_t end = max_time ? av_rescale_q(max_time, AV_TIME_BASE_Q,
2869                                                   ch->time_base)
2870                                    : INT64_MAX;
2871
2872             for (j = 0; j < s->nb_chapters; j++) {
2873                 AVChapter *ch1     = s->chapters[j];
2874                 int64_t next_start = av_rescale_q(ch1->start, ch1->time_base,
2875                                                   ch->time_base);
2876                 if (j != i && next_start > ch->start && next_start < end)
2877                     end = next_start;
2878             }
2879             ch->end = (end == INT64_MAX) ? ch->start : end;
2880         }
2881 }
2882
2883 static int get_std_framerate(int i)
2884 {
2885     if (i < 30*12)
2886         return (i + 1) * 1001;
2887     i -= 30*12;
2888
2889     if (i < 7)
2890         return ((const int[]) { 40, 48, 50, 60, 80, 120, 240})[i] * 1001 * 12;
2891
2892     i -= 7;
2893
2894     return ((const int[]) { 24, 30, 60, 12, 15, 48 })[i] * 1000 * 12;
2895 }
2896
2897 /* Is the time base unreliable?
2898  * This is a heuristic to balance between quick acceptance of the values in
2899  * the headers vs. some extra checks.
2900  * Old DivX and Xvid often have nonsense timebases like 1fps or 2fps.
2901  * MPEG-2 commonly misuses field repeat flags to store different framerates.
2902  * And there are "variable" fps files this needs to detect as well. */
2903 static int tb_unreliable(AVCodecContext *c)
2904 {
2905     if (c->time_base.den >= 101LL * c->time_base.num ||
2906         c->time_base.den <    5LL * c->time_base.num ||
2907         // c->codec_tag == AV_RL32("DIVX") ||
2908         // c->codec_tag == AV_RL32("XVID") ||
2909         c->codec_tag == AV_RL32("mp4v") ||
2910         c->codec_id == AV_CODEC_ID_MPEG2VIDEO ||
2911         c->codec_id == AV_CODEC_ID_GIF ||
2912         c->codec_id == AV_CODEC_ID_HEVC ||
2913         c->codec_id == AV_CODEC_ID_H264)
2914         return 1;
2915     return 0;
2916 }
2917
2918 int ff_alloc_extradata(AVCodecContext *avctx, int size)
2919 {
2920     int ret;
2921
2922     if (size < 0 || size >= INT32_MAX - AV_INPUT_BUFFER_PADDING_SIZE) {
2923         avctx->extradata = NULL;
2924         avctx->extradata_size = 0;
2925         return AVERROR(EINVAL);
2926     }
2927     avctx->extradata = av_malloc(size + AV_INPUT_BUFFER_PADDING_SIZE);
2928     if (avctx->extradata) {
2929         memset(avctx->extradata + size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
2930         avctx->extradata_size = size;
2931         ret = 0;
2932     } else {
2933         avctx->extradata_size = 0;
2934         ret = AVERROR(ENOMEM);
2935     }
2936     return ret;
2937 }
2938
2939 int ff_get_extradata(AVCodecContext *avctx, AVIOContext *pb, int size)
2940 {
2941     int ret = ff_alloc_extradata(avctx, size);
2942     if (ret < 0)
2943         return ret;
2944     ret = avio_read(pb, avctx->extradata, size);
2945     if (ret != size) {
2946         av_freep(&avctx->extradata);
2947         avctx->extradata_size = 0;
2948         av_log(avctx, AV_LOG_ERROR, "Failed to read extradata of size %d\n", size);
2949         return ret < 0 ? ret : AVERROR_INVALIDDATA;
2950     }
2951
2952     return ret;
2953 }
2954
2955 int ff_rfps_add_frame(AVFormatContext *ic, AVStream *st, int64_t ts)
2956 {
2957     int i, j;
2958     int64_t last = st->info->last_dts;
2959
2960     if (   ts != AV_NOPTS_VALUE && last != AV_NOPTS_VALUE && ts > last
2961        && ts - (uint64_t)last < INT64_MAX) {
2962         double dts = (is_relative(ts) ?  ts - RELATIVE_TS_BASE : ts) * av_q2d(st->time_base);
2963         int64_t duration = ts - last;
2964
2965         if (!st->info->duration_error)
2966             st->info->duration_error = av_mallocz(sizeof(st->info->duration_error[0])*2);
2967         if (!st->info->duration_error)
2968             return AVERROR(ENOMEM);
2969
2970 //         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO)
2971 //             av_log(NULL, AV_LOG_ERROR, "%f\n", dts);
2972         for (i = 0; i<MAX_STD_TIMEBASES; i++) {
2973             if (st->info->duration_error[0][1][i] < 1e10) {
2974                 int framerate = get_std_framerate(i);
2975                 double sdts = dts*framerate/(1001*12);
2976                 for (j= 0; j<2; j++) {
2977                     int64_t ticks = llrint(sdts+j*0.5);
2978                     double error= sdts - ticks + j*0.5;
2979                     st->info->duration_error[j][0][i] += error;
2980                     st->info->duration_error[j][1][i] += error*error;
2981                 }
2982             }
2983         }
2984         st->info->duration_count++;
2985         st->info->rfps_duration_sum += duration;
2986
2987         if (st->info->duration_count % 10 == 0) {
2988             int n = st->info->duration_count;
2989             for (i = 0; i<MAX_STD_TIMEBASES; i++) {
2990                 if (st->info->duration_error[0][1][i] < 1e10) {
2991                     double a0     = st->info->duration_error[0][0][i] / n;
2992                     double error0 = st->info->duration_error[0][1][i] / n - a0*a0;
2993                     double a1     = st->info->duration_error[1][0][i] / n;
2994                     double error1 = st->info->duration_error[1][1][i] / n - a1*a1;
2995                     if (error0 > 0.04 && error1 > 0.04) {
2996                         st->info->duration_error[0][1][i] = 2e10;
2997                         st->info->duration_error[1][1][i] = 2e10;
2998                     }
2999                 }
3000             }
3001         }
3002
3003         // ignore the first 4 values, they might have some random jitter
3004         if (st->info->duration_count > 3 && is_relative(ts) == is_relative(last))
3005             st->info->duration_gcd = av_gcd(st->info->duration_gcd, duration);
3006     }
3007     if (ts != AV_NOPTS_VALUE)
3008         st->info->last_dts = ts;
3009
3010     return 0;
3011 }
3012
3013 void ff_rfps_calculate(AVFormatContext *ic)
3014 {
3015     int i, j;
3016
3017     for (i = 0; i < ic->nb_streams; i++) {
3018         AVStream *st = ic->streams[i];
3019
3020         if (st->codec->codec_type != AVMEDIA_TYPE_VIDEO)
3021             continue;
3022         // the check for tb_unreliable() is not completely correct, since this is not about handling
3023         // a unreliable/inexact time base, but a time base that is finer than necessary, as e.g.
3024         // ipmovie.c produces.
3025         if (tb_unreliable(st->codec) && st->info->duration_count > 15 && st->info->duration_gcd > FFMAX(1, st->time_base.den/(500LL*st->time_base.num)) && !st->r_frame_rate.num)
3026             av_reduce(&st->r_frame_rate.num, &st->r_frame_rate.den, st->time_base.den, st->time_base.num * st->info->duration_gcd, INT_MAX);
3027         if (st->info->duration_count>1 && !st->r_frame_rate.num
3028             && tb_unreliable(st->codec)) {
3029             int num = 0;
3030             double best_error= 0.01;
3031             AVRational ref_rate = st->r_frame_rate.num ? st->r_frame_rate : av_inv_q(st->time_base);
3032
3033             for (j= 0; j<MAX_STD_TIMEBASES; j++) {
3034                 int k;
3035
3036                 if (st->info->codec_info_duration && st->info->codec_info_duration*av_q2d(st->time_base) < (1001*12.0)/get_std_framerate(j))
3037                     continue;
3038                 if (!st->info->codec_info_duration && get_std_framerate(j) < 1001*12)
3039                     continue;
3040
3041                 if (av_q2d(st->time_base) * st->info->rfps_duration_sum / st->info->duration_count < (1001*12.0 * 0.8)/get_std_framerate(j))
3042                     continue;
3043
3044                 for (k= 0; k<2; k++) {
3045                     int n = st->info->duration_count;
3046                     double a= st->info->duration_error[k][0][j] / n;
3047                     double error= st->info->duration_error[k][1][j]/n - a*a;
3048
3049                     if (error < best_error && best_error> 0.000000001) {
3050                         best_error= error;
3051                         num = get_std_framerate(j);
3052                     }
3053                     if (error < 0.02)
3054                         av_log(ic, AV_LOG_DEBUG, "rfps: %f %f\n", get_std_framerate(j) / 12.0/1001, error);
3055                 }
3056             }
3057             // do not increase frame rate by more than 1 % in order to match a standard rate.
3058             if (num && (!ref_rate.num || (double)num/(12*1001) < 1.01 * av_q2d(ref_rate)))
3059                 av_reduce(&st->r_frame_rate.num, &st->r_frame_rate.den, num, 12*1001, INT_MAX);
3060         }
3061         if (   !st->avg_frame_rate.num
3062             && st->r_frame_rate.num && st->info->rfps_duration_sum
3063             && st->info->codec_info_duration <= 0
3064             && st->info->duration_count > 2
3065             && fabs(1.0 / (av_q2d(st->r_frame_rate) * av_q2d(st->time_base)) - st->info->rfps_duration_sum / (double)st->info->duration_count) <= 1.0
3066             ) {
3067             av_log(ic, AV_LOG_DEBUG, "Setting avg frame rate based on r frame rate\n");
3068             st->avg_frame_rate = st->r_frame_rate;
3069         }
3070
3071         av_freep(&st->info->duration_error);
3072         st->info->last_dts = AV_NOPTS_VALUE;
3073         st->info->duration_count = 0;
3074         st->info->rfps_duration_sum = 0;
3075     }
3076 }
3077
3078 int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options)
3079 {
3080     int i, count, ret = 0, j;
3081     int64_t read_size;
3082     AVStream *st;
3083     AVPacket pkt1, *pkt;
3084     int64_t old_offset  = avio_tell(ic->pb);
3085     // new streams might appear, no options for those
3086     int orig_nb_streams = ic->nb_streams;
3087     int flush_codecs;
3088     int64_t max_analyze_duration = ic->max_analyze_duration;
3089     int64_t max_stream_analyze_duration;
3090     int64_t max_subtitle_analyze_duration;
3091     int64_t probesize = ic->probesize;
3092
3093     flush_codecs = probesize > 0;
3094
3095     av_opt_set(ic, "skip_clear", "1", AV_OPT_SEARCH_CHILDREN);
3096
3097     max_stream_analyze_duration = max_analyze_duration;
3098     max_subtitle_analyze_duration = max_analyze_duration;
3099     if (!max_analyze_duration) {
3100         max_stream_analyze_duration =
3101         max_analyze_duration        = 5*AV_TIME_BASE;
3102         max_subtitle_analyze_duration = 30*AV_TIME_BASE;
3103         if (!strcmp(ic->iformat->name, "flv"))
3104             max_stream_analyze_duration = 90*AV_TIME_BASE;
3105     }
3106
3107     if (ic->pb)
3108         av_log(ic, AV_LOG_DEBUG, "Before avformat_find_stream_info() pos: %"PRId64" bytes read:%"PRId64" seeks:%d\n",
3109                avio_tell(ic->pb), ic->pb->bytes_read, ic->pb->seek_count);
3110
3111     for (i = 0; i < ic->nb_streams; i++) {
3112         const AVCodec *codec;
3113         AVDictionary *thread_opt = NULL;
3114         st = ic->streams[i];
3115
3116         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO ||
3117             st->codec->codec_type == AVMEDIA_TYPE_SUBTITLE) {
3118 /*            if (!st->time_base.num)
3119                 st->time_base = */
3120             if (!st->codec->time_base.num)
3121                 st->codec->time_base = st->time_base;
3122         }
3123         // only for the split stuff
3124         if (!st->parser && !(ic->flags & AVFMT_FLAG_NOPARSE)) {
3125             st->parser = av_parser_init(st->codec->codec_id);
3126             if (st->parser) {
3127                 if (st->need_parsing == AVSTREAM_PARSE_HEADERS) {
3128                     st->parser->flags |= PARSER_FLAG_COMPLETE_FRAMES;
3129                 } else if (st->need_parsing == AVSTREAM_PARSE_FULL_RAW) {
3130                     st->parser->flags |= PARSER_FLAG_USE_CODEC_TS;
3131                 }
3132             } else if (st->need_parsing) {
3133                 av_log(ic, AV_LOG_VERBOSE, "parser not found for codec "
3134                        "%s, packets or times may be invalid.\n",
3135                        avcodec_get_name(st->codec->codec_id));
3136             }
3137         }
3138         codec = find_decoder(ic, st, st->codec->codec_id);
3139
3140         /* Force thread count to 1 since the H.264 decoder will not extract
3141          * SPS and PPS to extradata during multi-threaded decoding. */
3142         av_dict_set(options ? &options[i] : &thread_opt, "threads", "1", 0);
3143
3144         if (ic->codec_whitelist)
3145             av_dict_set(options ? &options[i] : &thread_opt, "codec_whitelist", ic->codec_whitelist, 0);
3146
3147         /* Ensure that subtitle_header is properly set. */
3148         if (st->codec->codec_type == AVMEDIA_TYPE_SUBTITLE
3149             && codec && !st->codec->codec) {
3150             if (avcodec_open2(st->codec, codec, options ? &options[i] : &thread_opt) < 0)
3151                 av_log(ic, AV_LOG_WARNING,
3152                        "Failed to open codec in av_find_stream_info\n");
3153         }
3154
3155         // Try to just open decoders, in case this is enough to get parameters.
3156         if (!has_codec_parameters(st, NULL) && st->request_probe <= 0) {
3157             if (codec && !st->codec->codec)
3158                 if (avcodec_open2(st->codec, codec, options ? &options[i] : &thread_opt) < 0)
3159                     av_log(ic, AV_LOG_WARNING,
3160                            "Failed to open codec in av_find_stream_info\n");
3161         }
3162         if (!options)
3163             av_dict_free(&thread_opt);
3164     }
3165
3166     for (i = 0; i < ic->nb_streams; i++) {
3167 #if FF_API_R_FRAME_RATE
3168         ic->streams[i]->info->last_dts = AV_NOPTS_VALUE;
3169 #endif
3170         ic->streams[i]->info->fps_first_dts = AV_NOPTS_VALUE;
3171         ic->streams[i]->info->fps_last_dts  = AV_NOPTS_VALUE;
3172     }
3173
3174     count     = 0;
3175     read_size = 0;
3176     for (;;) {
3177         int analyzed_all_streams;
3178         if (ff_check_interrupt(&ic->interrupt_callback)) {
3179             ret = AVERROR_EXIT;
3180             av_log(ic, AV_LOG_DEBUG, "interrupted\n");
3181             break;
3182         }
3183
3184         /* check if one codec still needs to be handled */
3185         for (i = 0; i < ic->nb_streams; i++) {
3186             int fps_analyze_framecount = 20;
3187
3188             st = ic->streams[i];
3189             if (!has_codec_parameters(st, NULL))
3190                 break;
3191             /* If the timebase is coarse (like the usual millisecond precision
3192              * of mkv), we need to analyze more frames to reliably arrive at
3193              * the correct fps. */
3194             if (av_q2d(st->time_base) > 0.0005)
3195                 fps_analyze_framecount *= 2;
3196             if (!tb_unreliable(st->codec))
3197                 fps_analyze_framecount = 0;
3198             if (ic->fps_probe_size >= 0)
3199                 fps_analyze_framecount = ic->fps_probe_size;
3200             if (st->disposition & AV_DISPOSITION_ATTACHED_PIC)
3201                 fps_analyze_framecount = 0;
3202             /* variable fps and no guess at the real fps */
3203             if (!(st->r_frame_rate.num && st->avg_frame_rate.num) &&
3204                 st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
3205                 int count = (ic->iformat->flags & AVFMT_NOTIMESTAMPS) ?
3206                     st->info->codec_info_duration_fields/2 :
3207                     st->info->duration_count;
3208                 if (count < fps_analyze_framecount)
3209                     break;
3210             }
3211             if (st->parser && st->parser->parser->split &&
3212                 !st->codec->extradata)
3213                 break;
3214             if (st->first_dts == AV_NOPTS_VALUE &&
3215                 !(ic->iformat->flags & AVFMT_NOTIMESTAMPS) &&
3216                 st->codec_info_nb_frames < ic->max_ts_probe &&
3217                 (st->codec->codec_type == AVMEDIA_TYPE_VIDEO ||
3218                  st->codec->codec_type == AVMEDIA_TYPE_AUDIO))
3219                 break;
3220         }
3221         analyzed_all_streams = 0;
3222         if (i == ic->nb_streams) {
3223             analyzed_all_streams = 1;
3224             /* NOTE: If the format has no header, then we need to read some
3225              * packets to get most of the streams, so we cannot stop here. */
3226             if (!(ic->ctx_flags & AVFMTCTX_NOHEADER)) {
3227                 /* If we found the info for all the codecs, we can stop. */
3228                 ret = count;
3229                 av_log(ic, AV_LOG_DEBUG, "All info found\n");
3230                 flush_codecs = 0;
3231                 break;
3232             }
3233         }
3234         /* We did not get all the codec info, but we read too much data. */
3235         if (read_size >= probesize) {
3236             ret = count;
3237             av_log(ic, AV_LOG_DEBUG,
3238                    "Probe buffer size limit of %"PRId64" bytes reached\n", probesize);
3239             for (i = 0; i < ic->nb_streams; i++)
3240                 if (!ic->streams[i]->r_frame_rate.num &&
3241                     ic->streams[i]->info->duration_count <= 1 &&
3242                     ic->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO &&
3243                     strcmp(ic->iformat->name, "image2"))
3244                     av_log(ic, AV_LOG_WARNING,
3245                            "Stream #%d: not enough frames to estimate rate; "
3246                            "consider increasing probesize\n", i);
3247             break;
3248         }
3249
3250         /* NOTE: A new stream can be added there if no header in file
3251          * (AVFMTCTX_NOHEADER). */
3252         ret = read_frame_internal(ic, &pkt1);
3253         if (ret == AVERROR(EAGAIN))
3254             continue;
3255
3256         if (ret < 0) {
3257             /* EOF or error*/
3258             break;
3259         }
3260
3261         if (ic->flags & AVFMT_FLAG_NOBUFFER)
3262             free_packet_buffer(&ic->internal->packet_buffer,
3263                                &ic->internal->packet_buffer_end);
3264         {
3265             pkt = add_to_pktbuf(&ic->internal->packet_buffer, &pkt1,
3266                                 &ic->internal->packet_buffer_end);
3267             if (!pkt) {
3268                 ret = AVERROR(ENOMEM);
3269                 goto find_stream_info_err;
3270             }
3271             if ((ret = av_dup_packet(pkt)) < 0)
3272                 goto find_stream_info_err;
3273         }
3274
3275         st = ic->streams[pkt->stream_index];
3276         if (!(st->disposition & AV_DISPOSITION_ATTACHED_PIC))
3277             read_size += pkt->size;
3278
3279         if (pkt->dts != AV_NOPTS_VALUE && st->codec_info_nb_frames > 1) {
3280             /* check for non-increasing dts */
3281             if (st->info->fps_last_dts != AV_NOPTS_VALUE &&
3282                 st->info->fps_last_dts >= pkt->dts) {
3283                 av_log(ic, AV_LOG_DEBUG,
3284                        "Non-increasing DTS in stream %d: packet %d with DTS "
3285                        "%"PRId64", packet %d with DTS %"PRId64"\n",
3286                        st->index, st->info->fps_last_dts_idx,
3287                        st->info->fps_last_dts, st->codec_info_nb_frames,
3288                        pkt->dts);
3289                 st->info->fps_first_dts =
3290                 st->info->fps_last_dts  = AV_NOPTS_VALUE;
3291             }
3292             /* Check for a discontinuity in dts. If the difference in dts
3293              * is more than 1000 times the average packet duration in the
3294              * sequence, we treat it as a discontinuity. */
3295             if (st->info->fps_last_dts != AV_NOPTS_VALUE &&
3296                 st->info->fps_last_dts_idx > st->info->fps_first_dts_idx &&
3297                 (pkt->dts - st->info->fps_last_dts) / 1000 >
3298                 (st->info->fps_last_dts     - st->info->fps_first_dts) /
3299                 (st->info->fps_last_dts_idx - st->info->fps_first_dts_idx)) {
3300                 av_log(ic, AV_LOG_WARNING,
3301                        "DTS discontinuity in stream %d: packet %d with DTS "
3302                        "%"PRId64", packet %d with DTS %"PRId64"\n",
3303                        st->index, st->info->fps_last_dts_idx,
3304                        st->info->fps_last_dts, st->codec_info_nb_frames,
3305                        pkt->dts);
3306                 st->info->fps_first_dts =
3307                 st->info->fps_last_dts  = AV_NOPTS_VALUE;
3308             }
3309
3310             /* update stored dts values */
3311             if (st->info->fps_first_dts == AV_NOPTS_VALUE) {
3312                 st->info->fps_first_dts     = pkt->dts;
3313                 st->info->fps_first_dts_idx = st->codec_info_nb_frames;
3314             }
3315             st->info->fps_last_dts     = pkt->dts;
3316             st->info->fps_last_dts_idx = st->codec_info_nb_frames;
3317         }
3318         if (st->codec_info_nb_frames>1) {
3319             int64_t t = 0;
3320             int64_t limit;
3321
3322             if (st->time_base.den > 0)
3323                 t = av_rescale_q(st->info->codec_info_duration, st->time_base, AV_TIME_BASE_Q);
3324             if (st->avg_frame_rate.num > 0)
3325                 t = FFMAX(t, av_rescale_q(st->codec_info_nb_frames, av_inv_q(st->avg_frame_rate), AV_TIME_BASE_Q));
3326
3327             if (   t == 0
3328                 && st->codec_info_nb_frames>30
3329                 && st->info->fps_first_dts != AV_NOPTS_VALUE
3330                 && st->info->fps_last_dts  != AV_NOPTS_VALUE)
3331                 t = FFMAX(t, av_rescale_q(st->info->fps_last_dts - st->info->fps_first_dts, st->time_base, AV_TIME_BASE_Q));
3332
3333             if (analyzed_all_streams)                                limit = max_analyze_duration;
3334             else if (st->codec->codec_type == AVMEDIA_TYPE_SUBTITLE) limit = max_subtitle_analyze_duration;
3335             else                                                     limit = max_stream_analyze_duration;
3336
3337             if (t >= limit) {
3338                 av_log(ic, AV_LOG_VERBOSE, "max_analyze_duration %"PRId64" reached at %"PRId64" microseconds st:%d\n",
3339                        limit,
3340                        t, pkt->stream_index);
3341                 if (ic->flags & AVFMT_FLAG_NOBUFFER)
3342                     av_packet_unref(pkt);
3343                 break;
3344             }
3345             if (pkt->duration) {
3346                 st->info->codec_info_duration        += pkt->duration;
3347                 st->info->codec_info_duration_fields += st->parser && st->need_parsing && st->codec->ticks_per_frame ==2 ? st->parser->repeat_pict + 1 : 2;
3348             }
3349         }
3350 #if FF_API_R_FRAME_RATE
3351         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO)
3352             ff_rfps_add_frame(ic, st, pkt->dts);
3353 #endif
3354         if (st->parser && st->parser->parser->split && !st->codec->extradata) {
3355             int i = st->parser->parser->split(st->codec, pkt->data, pkt->size);
3356             if (i > 0 && i < FF_MAX_EXTRADATA_SIZE) {
3357                 if (ff_alloc_extradata(st->codec, i))
3358                     return AVERROR(ENOMEM);
3359                 memcpy(st->codec->extradata, pkt->data,
3360                        st->codec->extradata_size);
3361             }
3362         }
3363
3364         /* If still no information, we try to open the codec and to
3365          * decompress the frame. We try to avoid that in most cases as
3366          * it takes longer and uses more memory. For MPEG-4, we need to
3367          * decompress for QuickTime.
3368          *
3369          * If AV_CODEC_CAP_CHANNEL_CONF is set this will force decoding of at
3370          * least one frame of codec data, this makes sure the codec initializes
3371          * the channel configuration and does not only trust the values from
3372          * the container. */
3373         try_decode_frame(ic, st, pkt,
3374                          (options && i < orig_nb_streams) ? &options[i] : NULL);
3375
3376         if (ic->flags & AVFMT_FLAG_NOBUFFER)
3377             av_packet_unref(pkt);
3378
3379         st->codec_info_nb_frames++;
3380         count++;
3381     }
3382
3383     if (flush_codecs) {
3384         AVPacket empty_pkt = { 0 };
3385         int err = 0;
3386         av_init_packet(&empty_pkt);
3387
3388         for (i = 0; i < ic->nb_streams; i++) {
3389
3390             st = ic->streams[i];
3391
3392             /* flush the decoders */
3393             if (st->info->found_decoder == 1) {
3394                 do {
3395                     err = try_decode_frame(ic, st, &empty_pkt,
3396                                             (options && i < orig_nb_streams)
3397                                             ? &options[i] : NULL);
3398                 } while (err > 0 && !has_codec_parameters(st, NULL));
3399
3400                 if (err < 0) {
3401                     av_log(ic, AV_LOG_INFO,
3402                         "decoding for stream %d failed\n", st->index);
3403                 }
3404             }
3405         }
3406     }
3407
3408     // close codecs which were opened in try_decode_frame()
3409     for (i = 0; i < ic->nb_streams; i++) {
3410         st = ic->streams[i];
3411         avcodec_close(st->codec);
3412     }
3413
3414     ff_rfps_calculate(ic);
3415
3416     for (i = 0; i < ic->nb_streams; i++) {
3417         st = ic->streams[i];
3418         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
3419             if (st->codec->codec_id == AV_CODEC_ID_RAWVIDEO && !st->codec->codec_tag && !st->codec->bits_per_coded_sample) {
3420                 uint32_t tag= avcodec_pix_fmt_to_codec_tag(st->codec->pix_fmt);
3421                 if (avpriv_find_pix_fmt(avpriv_get_raw_pix_fmt_tags(), tag) == st->codec->pix_fmt)
3422                     st->codec->codec_tag= tag;
3423             }
3424
3425             /* estimate average framerate if not set by demuxer */
3426             if (st->info->codec_info_duration_fields &&
3427                 !st->avg_frame_rate.num &&
3428                 st->info->codec_info_duration) {
3429                 int best_fps      = 0;
3430                 double best_error = 0.01;
3431
3432                 if (st->info->codec_info_duration        >= INT64_MAX / st->time_base.num / 2||
3433                     st->info->codec_info_duration_fields >= INT64_MAX / st->time_base.den ||
3434                     st->info->codec_info_duration        < 0)
3435                     continue;
3436                 av_reduce(&st->avg_frame_rate.num, &st->avg_frame_rate.den,
3437                           st->info->codec_info_duration_fields * (int64_t) st->time_base.den,
3438                           st->info->codec_info_duration * 2 * (int64_t) st->time_base.num, 60000);
3439
3440                 /* Round guessed framerate to a "standard" framerate if it's
3441                  * within 1% of the original estimate. */
3442                 for (j = 0; j < MAX_STD_TIMEBASES; j++) {
3443                     AVRational std_fps = { get_std_framerate(j), 12 * 1001 };
3444                     double error       = fabs(av_q2d(st->avg_frame_rate) /
3445                                               av_q2d(std_fps) - 1);
3446
3447                     if (error < best_error) {
3448                         best_error = error;
3449                         best_fps   = std_fps.num;
3450                     }
3451                 }
3452                 if (best_fps)
3453                     av_reduce(&st->avg_frame_rate.num, &st->avg_frame_rate.den,
3454                               best_fps, 12 * 1001, INT_MAX);
3455             }
3456
3457             if (!st->r_frame_rate.num) {
3458                 if (    st->codec->time_base.den * (int64_t) st->time_base.num
3459                     <= st->codec->time_base.num * st->codec->ticks_per_frame * (int64_t) st->time_base.den) {
3460                     st->r_frame_rate.num = st->codec->time_base.den;
3461                     st->r_frame_rate.den = st->codec->time_base.num * st->codec->ticks_per_frame;
3462                 } else {
3463                     st->r_frame_rate.num = st->time_base.den;
3464                     st->r_frame_rate.den = st->time_base.num;
3465                 }
3466             }
3467             if (st->display_aspect_ratio.num && st->display_aspect_ratio.den) {
3468                 AVRational hw_ratio = { st->codec->height, st->codec->width };
3469                 st->sample_aspect_ratio = av_mul_q(st->display_aspect_ratio,
3470                                                    hw_ratio);
3471             }
3472         } else if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
3473             if (!st->codec->bits_per_coded_sample)
3474                 st->codec->bits_per_coded_sample =
3475                     av_get_bits_per_sample(st->codec->codec_id);
3476             // set stream disposition based on audio service type
3477             switch (st->codec->audio_service_type) {
3478             case AV_AUDIO_SERVICE_TYPE_EFFECTS:
3479                 st->disposition = AV_DISPOSITION_CLEAN_EFFECTS;
3480                 break;
3481             case AV_AUDIO_SERVICE_TYPE_VISUALLY_IMPAIRED:
3482                 st->disposition = AV_DISPOSITION_VISUAL_IMPAIRED;
3483                 break;
3484             case AV_AUDIO_SERVICE_TYPE_HEARING_IMPAIRED:
3485                 st->disposition = AV_DISPOSITION_HEARING_IMPAIRED;
3486                 break;
3487             case AV_AUDIO_SERVICE_TYPE_COMMENTARY:
3488                 st->disposition = AV_DISPOSITION_COMMENT;
3489                 break;
3490             case AV_AUDIO_SERVICE_TYPE_KARAOKE:
3491                 st->disposition = AV_DISPOSITION_KARAOKE;
3492                 break;
3493             }
3494         }
3495     }
3496
3497     if (probesize)
3498     estimate_timings(ic, old_offset);
3499
3500     av_opt_set(ic, "skip_clear", "0", AV_OPT_SEARCH_CHILDREN);
3501
3502     if (ret >= 0 && ic->nb_streams)
3503         /* We could not have all the codec parameters before EOF. */
3504         ret = -1;
3505     for (i = 0; i < ic->nb_streams; i++) {
3506         const char *errmsg;
3507         st = ic->streams[i];
3508         if (!has_codec_parameters(st, &errmsg)) {
3509             char buf[256];
3510             avcodec_string(buf, sizeof(buf), st->codec, 0);
3511             av_log(ic, AV_LOG_WARNING,
3512                    "Could not find codec parameters for stream %d (%s): %s\n"
3513                    "Consider increasing the value for the 'analyzeduration' and 'probesize' options\n",
3514                    i, buf, errmsg);
3515         } else {
3516             ret = 0;
3517         }
3518     }
3519
3520     compute_chapters_end(ic);
3521
3522 find_stream_info_err:
3523     for (i = 0; i < ic->nb_streams; i++) {
3524         st = ic->streams[i];
3525         if (ic->streams[i]->codec->codec_type != AVMEDIA_TYPE_AUDIO)
3526             ic->streams[i]->codec->thread_count = 0;
3527         if (st->info)
3528             av_freep(&st->info->duration_error);
3529         av_freep(&ic->streams[i]->info);
3530     }
3531     if (ic->pb)
3532         av_log(ic, AV_LOG_DEBUG, "After avformat_find_stream_info() pos: %"PRId64" bytes read:%"PRId64" seeks:%d frames:%d\n",
3533                avio_tell(ic->pb), ic->pb->bytes_read, ic->pb->seek_count, count);
3534     return ret;
3535 }
3536
3537 AVProgram *av_find_program_from_stream(AVFormatContext *ic, AVProgram *last, int s)
3538 {
3539     int i, j;
3540
3541     for (i = 0; i < ic->nb_programs; i++) {
3542         if (ic->programs[i] == last) {
3543             last = NULL;
3544         } else {
3545             if (!last)
3546                 for (j = 0; j < ic->programs[i]->nb_stream_indexes; j++)
3547                     if (ic->programs[i]->stream_index[j] == s)
3548                         return ic->programs[i];
3549         }
3550     }
3551     return NULL;
3552 }
3553
3554 int av_find_best_stream(AVFormatContext *ic, enum AVMediaType type,
3555                         int wanted_stream_nb, int related_stream,
3556                         AVCodec **decoder_ret, int flags)
3557 {
3558     int i, nb_streams = ic->nb_streams;
3559     int ret = AVERROR_STREAM_NOT_FOUND, best_count = -1, best_bitrate = -1, best_multiframe = -1, count, bitrate, multiframe;
3560     unsigned *program = NULL;
3561     const AVCodec *decoder = NULL, *best_decoder = NULL;
3562
3563     if (related_stream >= 0 && wanted_stream_nb < 0) {
3564         AVProgram *p = av_find_program_from_stream(ic, NULL, related_stream);
3565         if (p) {
3566             program    = p->stream_index;
3567             nb_streams = p->nb_stream_indexes;
3568         }
3569     }
3570     for (i = 0; i < nb_streams; i++) {
3571         int real_stream_index = program ? program[i] : i;
3572         AVStream *st          = ic->streams[real_stream_index];
3573         AVCodecContext *avctx = st->codec;
3574         if (avctx->codec_type != type)
3575             continue;
3576         if (wanted_stream_nb >= 0 && real_stream_index != wanted_stream_nb)
3577             continue;
3578         if (wanted_stream_nb != real_stream_index &&
3579             st->disposition & (AV_DISPOSITION_HEARING_IMPAIRED |
3580                                AV_DISPOSITION_VISUAL_IMPAIRED))
3581             continue;
3582         if (type == AVMEDIA_TYPE_AUDIO && !(avctx->channels && avctx->sample_rate))
3583             continue;
3584         if (decoder_ret) {
3585             decoder = find_decoder(ic, st, st->codec->codec_id);
3586             if (!decoder) {
3587                 if (ret < 0)
3588                     ret = AVERROR_DECODER_NOT_FOUND;
3589                 continue;
3590             }
3591         }
3592         count = st->codec_info_nb_frames;
3593         bitrate = avctx->bit_rate;
3594         if (!bitrate)
3595             bitrate = avctx->rc_max_rate;
3596         multiframe = FFMIN(5, count);
3597         if ((best_multiframe >  multiframe) ||
3598             (best_multiframe == multiframe && best_bitrate >  bitrate) ||
3599             (best_multiframe == multiframe && best_bitrate == bitrate && best_count >= count))
3600             continue;
3601         best_count   = count;
3602         best_bitrate = bitrate;
3603         best_multiframe = multiframe;
3604         ret          = real_stream_index;
3605         best_decoder = decoder;
3606         if (program && i == nb_streams - 1 && ret < 0) {
3607             program    = NULL;
3608             nb_streams = ic->nb_streams;
3609             /* no related stream found, try again with everything */
3610             i = 0;
3611         }
3612     }
3613     if (decoder_ret)
3614         *decoder_ret = (AVCodec*)best_decoder;
3615     return ret;
3616 }
3617
3618 /*******************************************************/
3619
3620 int av_read_play(AVFormatContext *s)
3621 {
3622     if (s->iformat->read_play)
3623         return s->iformat->read_play(s);
3624     if (s->pb)
3625         return avio_pause(s->pb, 0);
3626     return AVERROR(ENOSYS);
3627 }
3628
3629 int av_read_pause(AVFormatContext *s)
3630 {
3631     if (s->iformat->read_pause)
3632         return s->iformat->read_pause(s);
3633     if (s->pb)
3634         return avio_pause(s->pb, 1);
3635     return AVERROR(ENOSYS);
3636 }
3637
3638 void ff_free_stream(AVFormatContext *s, AVStream *st) {
3639     int j;
3640     av_assert0(s->nb_streams>0);
3641     av_assert0(s->streams[ s->nb_streams - 1 ] == st);
3642
3643     for (j = 0; j < st->nb_side_data; j++)
3644         av_freep(&st->side_data[j].data);
3645     av_freep(&st->side_data);
3646     st->nb_side_data = 0;
3647
3648     if (st->parser) {
3649         av_parser_close(st->parser);
3650     }
3651     if (st->attached_pic.data)
3652         av_free_packet(&st->attached_pic);
3653     av_dict_free(&st->metadata);
3654     av_freep(&st->probe_data.buf);
3655     av_freep(&st->index_entries);
3656     av_freep(&st->codec->extradata);
3657     av_freep(&st->codec->subtitle_header);
3658     av_freep(&st->codec);
3659     av_freep(&st->priv_data);
3660     if (st->info)
3661         av_freep(&st->info->duration_error);
3662     av_freep(&st->info);
3663     av_freep(&st->recommended_encoder_configuration);
3664     av_freep(&st->priv_pts);
3665     av_freep(&s->streams[ --s->nb_streams ]);
3666 }
3667
3668 void avformat_free_context(AVFormatContext *s)
3669 {
3670     int i;
3671
3672     if (!s)
3673         return;
3674
3675     av_opt_free(s);
3676     if (s->iformat && s->iformat->priv_class && s->priv_data)
3677         av_opt_free(s->priv_data);
3678     if (s->oformat && s->oformat->priv_class && s->priv_data)
3679         av_opt_free(s->priv_data);
3680
3681     for (i = s->nb_streams - 1; i >= 0; i--) {
3682         ff_free_stream(s, s->streams[i]);
3683     }
3684     for (i = s->nb_programs - 1; i >= 0; i--) {
3685         av_dict_free(&s->programs[i]->metadata);
3686         av_freep(&s->programs[i]->stream_index);
3687         av_freep(&s->programs[i]);
3688     }
3689     av_freep(&s->programs);
3690     av_freep(&s->priv_data);
3691     while (s->nb_chapters--) {
3692         av_dict_free(&s->chapters[s->nb_chapters]->metadata);
3693         av_freep(&s->chapters[s->nb_chapters]);
3694     }
3695     av_freep(&s->chapters);
3696     av_dict_free(&s->metadata);
3697     av_freep(&s->streams);
3698     av_freep(&s->internal);
3699     flush_packet_queue(s);
3700     av_free(s);
3701 }
3702
3703 void avformat_close_input(AVFormatContext **ps)
3704 {
3705     AVFormatContext *s;
3706     AVIOContext *pb;
3707
3708     if (!ps || !*ps)
3709         return;
3710
3711     s  = *ps;
3712     pb = s->pb;
3713
3714     if ((s->iformat && strcmp(s->iformat->name, "image2") && s->iformat->flags & AVFMT_NOFILE) ||
3715         (s->flags & AVFMT_FLAG_CUSTOM_IO))
3716         pb = NULL;
3717
3718     flush_packet_queue(s);
3719
3720     if (s->iformat)
3721         if (s->iformat->read_close)
3722             s->iformat->read_close(s);
3723
3724     avformat_free_context(s);
3725
3726     *ps = NULL;
3727
3728     avio_close(pb);
3729 }
3730
3731 AVStream *avformat_new_stream(AVFormatContext *s, const AVCodec *c)
3732 {
3733     AVStream *st;
3734     int i;
3735     AVStream **streams;
3736
3737     if (s->nb_streams >= INT_MAX/sizeof(*streams))
3738         return NULL;
3739     streams = av_realloc_array(s->streams, s->nb_streams + 1, sizeof(*streams));
3740     if (!streams)
3741         return NULL;
3742     s->streams = streams;
3743
3744     st = av_mallocz(sizeof(AVStream));
3745     if (!st)
3746         return NULL;
3747     if (!(st->info = av_mallocz(sizeof(*st->info)))) {
3748         av_free(st);
3749         return NULL;
3750     }
3751     st->info->last_dts = AV_NOPTS_VALUE;
3752
3753     st->codec = avcodec_alloc_context3(c);
3754     if (!st->codec) {
3755         av_free(st->info);
3756         av_free(st);
3757         return NULL;
3758     }
3759     if (s->iformat) {
3760         /* no default bitrate if decoding */
3761         st->codec->bit_rate = 0;
3762
3763         /* default pts setting is MPEG-like */
3764         avpriv_set_pts_info(st, 33, 1, 90000);
3765     }
3766
3767     st->index      = s->nb_streams;
3768     st->start_time = AV_NOPTS_VALUE;
3769     st->duration   = AV_NOPTS_VALUE;
3770     /* we set the current DTS to 0 so that formats without any timestamps
3771      * but durations get some timestamps, formats with some unknown
3772      * timestamps have their first few packets buffered and the
3773      * timestamps corrected before they are returned to the user */
3774     st->cur_dts       = s->iformat ? RELATIVE_TS_BASE : 0;
3775     st->first_dts     = AV_NOPTS_VALUE;
3776     st->probe_packets = MAX_PROBE_PACKETS;
3777     st->pts_wrap_reference = AV_NOPTS_VALUE;
3778     st->pts_wrap_behavior = AV_PTS_WRAP_IGNORE;
3779
3780     st->last_IP_pts = AV_NOPTS_VALUE;
3781     st->last_dts_for_order_check = AV_NOPTS_VALUE;
3782     for (i = 0; i < MAX_REORDER_DELAY + 1; i++)
3783         st->pts_buffer[i] = AV_NOPTS_VALUE;
3784
3785     st->sample_aspect_ratio = (AVRational) { 0, 1 };
3786
3787 #if FF_API_R_FRAME_RATE
3788     st->info->last_dts      = AV_NOPTS_VALUE;
3789 #endif
3790     st->info->fps_first_dts = AV_NOPTS_VALUE;
3791     st->info->fps_last_dts  = AV_NOPTS_VALUE;
3792
3793     st->inject_global_side_data = s->internal->inject_global_side_data;
3794
3795     s->streams[s->nb_streams++] = st;
3796     return st;
3797 }
3798
3799 AVProgram *av_new_program(AVFormatContext *ac, int id)
3800 {
3801     AVProgram *program = NULL;
3802     int i;
3803
3804     av_log(ac, AV_LOG_TRACE, "new_program: id=0x%04x\n", id);
3805
3806     for (i = 0; i < ac->nb_programs; i++)
3807         if (ac->programs[i]->id == id)
3808             program = ac->programs[i];
3809
3810     if (!program) {
3811         program = av_mallocz(sizeof(AVProgram));
3812         if (!program)
3813             return NULL;
3814         dynarray_add(&ac->programs, &ac->nb_programs, program);
3815         program->discard = AVDISCARD_NONE;
3816     }
3817     program->id = id;
3818     program->pts_wrap_reference = AV_NOPTS_VALUE;
3819     program->pts_wrap_behavior = AV_PTS_WRAP_IGNORE;
3820
3821     program->start_time =
3822     program->end_time   = AV_NOPTS_VALUE;
3823
3824     return program;
3825 }
3826
3827 AVChapter *avpriv_new_chapter(AVFormatContext *s, int id, AVRational time_base,
3828                               int64_t start, int64_t end, const char *title)
3829 {
3830     AVChapter *chapter = NULL;
3831     int i;
3832
3833     if (end != AV_NOPTS_VALUE && start > end) {
3834         av_log(s, AV_LOG_ERROR, "Chapter end time %"PRId64" before start %"PRId64"\n", end, start);
3835         return NULL;
3836     }
3837
3838     for (i = 0; i < s->nb_chapters; i++)
3839         if (s->chapters[i]->id == id)
3840             chapter = s->chapters[i];
3841
3842     if (!chapter) {
3843         chapter = av_mallocz(sizeof(AVChapter));
3844         if (!chapter)
3845             return NULL;
3846         dynarray_add(&s->chapters, &s->nb_chapters, chapter);
3847     }
3848     av_dict_set(&chapter->metadata, "title", title, 0);
3849     chapter->id        = id;
3850     chapter->time_base = time_base;
3851     chapter->start     = start;
3852     chapter->end       = end;
3853
3854     return chapter;
3855 }
3856
3857 void ff_program_add_stream_index(AVFormatContext *ac, int progid, unsigned idx)
3858 {
3859     int i, j;
3860     AVProgram *program = NULL;
3861     void *tmp;
3862
3863     if (idx >= ac->nb_streams) {
3864         av_log(ac, AV_LOG_ERROR, "stream index %d is not valid\n", idx);
3865         return;
3866     }
3867
3868     for (i = 0; i < ac->nb_programs; i++) {
3869         if (ac->programs[i]->id != progid)
3870             continue;
3871         program = ac->programs[i];
3872         for (j = 0; j < program->nb_stream_indexes; j++)
3873             if (program->stream_index[j] == idx)
3874                 return;
3875
3876         tmp = av_realloc_array(program->stream_index, program->nb_stream_indexes+1, sizeof(unsigned int));
3877         if (!tmp)
3878             return;
3879         program->stream_index = tmp;
3880         program->stream_index[program->nb_stream_indexes++] = idx;
3881         return;
3882     }
3883 }
3884
3885 uint64_t ff_ntp_time(void)
3886 {
3887     return (av_gettime() / 1000) * 1000 + NTP_OFFSET_US;
3888 }
3889
3890 int av_get_frame_filename(char *buf, int buf_size, const char *path, int number)
3891 {
3892     const char *p;
3893     char *q, buf1[20], c;
3894     int nd, len, percentd_found;
3895
3896     q = buf;
3897     p = path;
3898     percentd_found = 0;
3899     for (;;) {
3900         c = *p++;
3901         if (c == '\0')
3902             break;
3903         if (c == '%') {
3904             do {
3905                 nd = 0;
3906                 while (av_isdigit(*p))
3907                     nd = nd * 10 + *p++ - '0';
3908                 c = *p++;
3909             } while (av_isdigit(c));
3910
3911             switch (c) {
3912             case '%':
3913                 goto addchar;
3914             case 'd':
3915                 if (percentd_found)
3916                     goto fail;
3917                 percentd_found = 1;
3918                 if (number < 0)
3919                     nd += 1;
3920                 snprintf(buf1, sizeof(buf1), "%0*d", nd, number);
3921                 len = strlen(buf1);
3922                 if ((q - buf + len) > buf_size - 1)
3923                     goto fail;
3924                 memcpy(q, buf1, len);
3925                 q += len;
3926                 break;
3927             default:
3928                 goto fail;
3929             }
3930         } else {
3931 addchar:
3932             if ((q - buf) < buf_size - 1)
3933                 *q++ = c;
3934         }
3935     }
3936     if (!percentd_found)
3937         goto fail;
3938     *q = '\0';
3939     return 0;
3940 fail:
3941     *q = '\0';
3942     return -1;
3943 }
3944
3945 void av_url_split(char *proto, int proto_size,
3946                   char *authorization, int authorization_size,
3947                   char *hostname, int hostname_size,
3948                   int *port_ptr, char *path, int path_size, const char *url)
3949 {
3950     const char *p, *ls, *ls2, *at, *at2, *col, *brk;
3951
3952     if (port_ptr)
3953         *port_ptr = -1;
3954     if (proto_size > 0)
3955         proto[0] = 0;
3956     if (authorization_size > 0)
3957         authorization[0] = 0;
3958     if (hostname_size > 0)
3959         hostname[0] = 0;
3960     if (path_size > 0)
3961         path[0] = 0;
3962
3963     /* parse protocol */
3964     if ((p = strchr(url, ':'))) {
3965         av_strlcpy(proto, url, FFMIN(proto_size, p + 1 - url));
3966         p++; /* skip ':' */
3967         if (*p == '/')
3968             p++;
3969         if (*p == '/')
3970             p++;
3971     } else {
3972         /* no protocol means plain filename */
3973         av_strlcpy(path, url, path_size);
3974         return;
3975     }
3976
3977     /* separate path from hostname */
3978     ls = strchr(p, '/');
3979     ls2 = strchr(p, '?');
3980     if (!ls)
3981         ls = ls2;
3982     else if (ls && ls2)
3983         ls = FFMIN(ls, ls2);
3984     if (ls)
3985         av_strlcpy(path, ls, path_size);
3986     else
3987         ls = &p[strlen(p)];  // XXX
3988
3989     /* the rest is hostname, use that to parse auth/port */
3990     if (ls != p) {
3991         /* authorization (user[:pass]@hostname) */
3992         at2 = p;
3993         while ((at = strchr(p, '@')) && at < ls) {
3994             av_strlcpy(authorization, at2,
3995                        FFMIN(authorization_size, at + 1 - at2));
3996             p = at + 1; /* skip '@' */
3997         }
3998
3999         if (*p == '[' && (brk = strchr(p, ']')) && brk < ls) {
4000             /* [host]:port */
4001             av_strlcpy(hostname, p + 1,
4002                        FFMIN(hostname_size, brk - p));
4003             if (brk[1] == ':' && port_ptr)
4004                 *port_ptr = atoi(brk + 2);
4005         } else if ((col = strchr(p, ':')) && col < ls) {
4006             av_strlcpy(hostname, p,
4007                        FFMIN(col + 1 - p, hostname_size));
4008             if (port_ptr)
4009                 *port_ptr = atoi(col + 1);
4010         } else
4011             av_strlcpy(hostname, p,
4012                        FFMIN(ls + 1 - p, hostname_size));
4013     }
4014 }
4015
4016 char *ff_data_to_hex(char *buff, const uint8_t *src, int s, int lowercase)
4017 {
4018     int i;
4019     static const char hex_table_uc[16] = { '0', '1', '2', '3',
4020                                            '4', '5', '6', '7',
4021                                            '8', '9', 'A', 'B',
4022                                            'C', 'D', 'E', 'F' };
4023     static const char hex_table_lc[16] = { '0', '1', '2', '3',
4024                                            '4', '5', '6', '7',
4025                                            '8', '9', 'a', 'b',
4026                                            'c', 'd', 'e', 'f' };
4027     const char *hex_table = lowercase ? hex_table_lc : hex_table_uc;
4028
4029     for (i = 0; i < s; i++) {
4030         buff[i * 2]     = hex_table[src[i] >> 4];
4031         buff[i * 2 + 1] = hex_table[src[i] & 0xF];
4032     }
4033
4034     return buff;
4035 }
4036
4037 int ff_hex_to_data(uint8_t *data, const char *p)
4038 {
4039     int c, len, v;
4040
4041     len = 0;
4042     v   = 1;
4043     for (;;) {
4044         p += strspn(p, SPACE_CHARS);
4045         if (*p == '\0')
4046             break;
4047         c = av_toupper((unsigned char) *p++);
4048         if (c >= '0' && c <= '9')
4049             c = c - '0';
4050         else if (c >= 'A' && c <= 'F')
4051             c = c - 'A' + 10;
4052         else
4053             break;
4054         v = (v << 4) | c;
4055         if (v & 0x100) {
4056             if (data)
4057                 data[len] = v;
4058             len++;
4059             v = 1;
4060         }
4061     }
4062     return len;
4063 }
4064
4065 void avpriv_set_pts_info(AVStream *s, int pts_wrap_bits,
4066                          unsigned int pts_num, unsigned int pts_den)
4067 {
4068     AVRational new_tb;
4069     if (av_reduce(&new_tb.num, &new_tb.den, pts_num, pts_den, INT_MAX)) {
4070         if (new_tb.num != pts_num)
4071             av_log(NULL, AV_LOG_DEBUG,
4072                    "st:%d removing common factor %d from timebase\n",
4073                    s->index, pts_num / new_tb.num);
4074     } else
4075         av_log(NULL, AV_LOG_WARNING,
4076                "st:%d has too large timebase, reducing\n", s->index);
4077
4078     if (new_tb.num <= 0 || new_tb.den <= 0) {
4079         av_log(NULL, AV_LOG_ERROR,
4080                "Ignoring attempt to set invalid timebase %d/%d for st:%d\n",
4081                new_tb.num, new_tb.den,
4082                s->index);
4083         return;
4084     }
4085     s->time_base     = new_tb;
4086     av_codec_set_pkt_timebase(s->codec, new_tb);
4087     s->pts_wrap_bits = pts_wrap_bits;
4088 }
4089
4090 void ff_parse_key_value(const char *str, ff_parse_key_val_cb callback_get_buf,
4091                         void *context)
4092 {
4093     const char *ptr = str;
4094
4095     /* Parse key=value pairs. */
4096     for (;;) {
4097         const char *key;
4098         char *dest = NULL, *dest_end;
4099         int key_len, dest_len = 0;
4100
4101         /* Skip whitespace and potential commas. */
4102         while (*ptr && (av_isspace(*ptr) || *ptr == ','))
4103             ptr++;
4104         if (!*ptr)
4105             break;
4106
4107         key = ptr;
4108
4109         if (!(ptr = strchr(key, '=')))
4110             break;
4111         ptr++;
4112         key_len = ptr - key;
4113
4114         callback_get_buf(context, key, key_len, &dest, &dest_len);
4115         dest_end = dest + dest_len - 1;
4116
4117         if (*ptr == '\"') {
4118             ptr++;
4119             while (*ptr && *ptr != '\"') {
4120                 if (*ptr == '\\') {
4121                     if (!ptr[1])
4122                         break;
4123                     if (dest && dest < dest_end)
4124                         *dest++ = ptr[1];
4125                     ptr += 2;
4126                 } else {
4127                     if (dest && dest < dest_end)
4128                         *dest++ = *ptr;
4129                     ptr++;
4130                 }
4131             }
4132             if (*ptr == '\"')
4133                 ptr++;
4134         } else {
4135             for (; *ptr && !(av_isspace(*ptr) || *ptr == ','); ptr++)
4136                 if (dest && dest < dest_end)
4137                     *dest++ = *ptr;
4138         }
4139         if (dest)
4140             *dest = 0;
4141     }
4142 }
4143
4144 int ff_find_stream_index(AVFormatContext *s, int id)
4145 {
4146     int i;
4147     for (i = 0; i < s->nb_streams; i++)
4148         if (s->streams[i]->id == id)
4149             return i;
4150     return -1;
4151 }
4152
4153 int64_t ff_iso8601_to_unix_time(const char *datestr)
4154 {
4155     struct tm time1 = { 0 }, time2 = { 0 };
4156     const char *ret1, *ret2;
4157     ret1 = av_small_strptime(datestr, "%Y - %m - %d %T", &time1);
4158     ret2 = av_small_strptime(datestr, "%Y - %m - %dT%T", &time2);
4159     if (ret2 && !ret1)
4160         return av_timegm(&time2);
4161     else
4162         return av_timegm(&time1);
4163 }
4164
4165 int avformat_query_codec(const AVOutputFormat *ofmt, enum AVCodecID codec_id,
4166                          int std_compliance)
4167 {
4168     if (ofmt) {
4169         unsigned int codec_tag;
4170         if (ofmt->query_codec)
4171             return ofmt->query_codec(codec_id, std_compliance);
4172         else if (ofmt->codec_tag)
4173             return !!av_codec_get_tag2(ofmt->codec_tag, codec_id, &codec_tag);
4174         else if (codec_id == ofmt->video_codec ||
4175                  codec_id == ofmt->audio_codec ||
4176                  codec_id == ofmt->subtitle_codec)
4177             return 1;
4178     }
4179     return AVERROR_PATCHWELCOME;
4180 }
4181
4182 int avformat_network_init(void)
4183 {
4184 #if CONFIG_NETWORK
4185     int ret;
4186     ff_network_inited_globally = 1;
4187     if ((ret = ff_network_init()) < 0)
4188         return ret;
4189     if ((ret = ff_tls_init()) < 0)
4190         return ret;
4191 #endif
4192     return 0;
4193 }
4194
4195 int avformat_network_deinit(void)
4196 {
4197 #if CONFIG_NETWORK
4198     ff_network_close();
4199     ff_tls_deinit();
4200     ff_network_inited_globally = 0;
4201 #endif
4202     return 0;
4203 }
4204
4205 int ff_add_param_change(AVPacket *pkt, int32_t channels,
4206                         uint64_t channel_layout, int32_t sample_rate,
4207                         int32_t width, int32_t height)
4208 {
4209     uint32_t flags = 0;
4210     int size = 4;
4211     uint8_t *data;
4212     if (!pkt)
4213         return AVERROR(EINVAL);
4214     if (channels) {
4215         size  += 4;
4216         flags |= AV_SIDE_DATA_PARAM_CHANGE_CHANNEL_COUNT;
4217     }
4218     if (channel_layout) {
4219         size  += 8;
4220         flags |= AV_SIDE_DATA_PARAM_CHANGE_CHANNEL_LAYOUT;
4221     }
4222     if (sample_rate) {
4223         size  += 4;
4224         flags |= AV_SIDE_DATA_PARAM_CHANGE_SAMPLE_RATE;
4225     }
4226     if (width || height) {
4227         size  += 8;
4228         flags |= AV_SIDE_DATA_PARAM_CHANGE_DIMENSIONS;
4229     }
4230     data = av_packet_new_side_data(pkt, AV_PKT_DATA_PARAM_CHANGE, size);
4231     if (!data)
4232         return AVERROR(ENOMEM);
4233     bytestream_put_le32(&data, flags);
4234     if (channels)
4235         bytestream_put_le32(&data, channels);
4236     if (channel_layout)
4237         bytestream_put_le64(&data, channel_layout);
4238     if (sample_rate)
4239         bytestream_put_le32(&data, sample_rate);
4240     if (width || height) {
4241         bytestream_put_le32(&data, width);
4242         bytestream_put_le32(&data, height);
4243     }
4244     return 0;
4245 }
4246
4247 AVRational av_guess_sample_aspect_ratio(AVFormatContext *format, AVStream *stream, AVFrame *frame)
4248 {
4249     AVRational undef = {0, 1};
4250     AVRational stream_sample_aspect_ratio = stream ? stream->sample_aspect_ratio : undef;
4251     AVRational codec_sample_aspect_ratio  = stream && stream->codec ? stream->codec->sample_aspect_ratio : undef;
4252     AVRational frame_sample_aspect_ratio  = frame  ? frame->sample_aspect_ratio  : codec_sample_aspect_ratio;
4253
4254     av_reduce(&stream_sample_aspect_ratio.num, &stream_sample_aspect_ratio.den,
4255                stream_sample_aspect_ratio.num,  stream_sample_aspect_ratio.den, INT_MAX);
4256     if (stream_sample_aspect_ratio.num <= 0 || stream_sample_aspect_ratio.den <= 0)
4257         stream_sample_aspect_ratio = undef;
4258
4259     av_reduce(&frame_sample_aspect_ratio.num, &frame_sample_aspect_ratio.den,
4260                frame_sample_aspect_ratio.num,  frame_sample_aspect_ratio.den, INT_MAX);
4261     if (frame_sample_aspect_ratio.num <= 0 || frame_sample_aspect_ratio.den <= 0)
4262         frame_sample_aspect_ratio = undef;
4263
4264     if (stream_sample_aspect_ratio.num)
4265         return stream_sample_aspect_ratio;
4266     else
4267         return frame_sample_aspect_ratio;
4268 }
4269
4270 AVRational av_guess_frame_rate(AVFormatContext *format, AVStream *st, AVFrame *frame)
4271 {
4272     AVRational fr = st->r_frame_rate;
4273     AVRational codec_fr = st->codec->framerate;
4274     AVRational   avg_fr = st->avg_frame_rate;
4275
4276     if (avg_fr.num > 0 && avg_fr.den > 0 && fr.num > 0 && fr.den > 0 &&
4277         av_q2d(avg_fr) < 70 && av_q2d(fr) > 210) {
4278         fr = avg_fr;
4279     }
4280
4281
4282     if (st->codec->ticks_per_frame > 1) {
4283         if (   codec_fr.num > 0 && codec_fr.den > 0 &&
4284             (fr.num == 0 || av_q2d(codec_fr) < av_q2d(fr)*0.7 && fabs(1.0 - av_q2d(av_div_q(avg_fr, fr))) > 0.1))
4285             fr = codec_fr;
4286     }
4287
4288     return fr;
4289 }
4290
4291 int avformat_match_stream_specifier(AVFormatContext *s, AVStream *st,
4292                                     const char *spec)
4293 {
4294     if (*spec <= '9' && *spec >= '0') /* opt:index */
4295         return strtol(spec, NULL, 0) == st->index;
4296     else if (*spec == 'v' || *spec == 'a' || *spec == 's' || *spec == 'd' ||
4297              *spec == 't' || *spec == 'V') { /* opt:[vasdtV] */
4298         enum AVMediaType type;
4299         int nopic = 0;
4300
4301         switch (*spec++) {
4302         case 'v': type = AVMEDIA_TYPE_VIDEO;      break;
4303         case 'a': type = AVMEDIA_TYPE_AUDIO;      break;
4304         case 's': type = AVMEDIA_TYPE_SUBTITLE;   break;
4305         case 'd': type = AVMEDIA_TYPE_DATA;       break;
4306         case 't': type = AVMEDIA_TYPE_ATTACHMENT; break;
4307         case 'V': type = AVMEDIA_TYPE_VIDEO; nopic = 1; break;
4308         default:  av_assert0(0);
4309         }
4310         if (type != st->codec->codec_type)
4311             return 0;
4312         if (nopic && (st->disposition & AV_DISPOSITION_ATTACHED_PIC))
4313             return 0;
4314         if (*spec++ == ':') { /* possibly followed by :index */
4315             int i, index = strtol(spec, NULL, 0);
4316             for (i = 0; i < s->nb_streams; i++)
4317                 if (s->streams[i]->codec->codec_type == type &&
4318                     !(nopic && (st->disposition & AV_DISPOSITION_ATTACHED_PIC)) &&
4319                     index-- == 0)
4320                     return i == st->index;
4321             return 0;
4322         }
4323         return 1;
4324     } else if (*spec == 'p' && *(spec + 1) == ':') {
4325         int prog_id, i, j;
4326         char *endptr;
4327         spec += 2;
4328         prog_id = strtol(spec, &endptr, 0);
4329         for (i = 0; i < s->nb_programs; i++) {
4330             if (s->programs[i]->id != prog_id)
4331                 continue;
4332
4333             if (*endptr++ == ':') {
4334                 int stream_idx = strtol(endptr, NULL, 0);
4335                 return stream_idx >= 0 &&
4336                     stream_idx < s->programs[i]->nb_stream_indexes &&
4337                     st->index == s->programs[i]->stream_index[stream_idx];
4338             }
4339
4340             for (j = 0; j < s->programs[i]->nb_stream_indexes; j++)
4341                 if (st->index == s->programs[i]->stream_index[j])
4342                     return 1;
4343         }
4344         return 0;
4345     } else if (*spec == '#' ||
4346                (*spec == 'i' && *(spec + 1) == ':')) {
4347         int stream_id;
4348         char *endptr;
4349         spec += 1 + (*spec == 'i');
4350         stream_id = strtol(spec, &endptr, 0);
4351         if (!*endptr)
4352             return stream_id == st->id;
4353     } else if (*spec == 'm' && *(spec + 1) == ':') {
4354         AVDictionaryEntry *tag;
4355         char *key, *val;
4356         int ret;
4357
4358         spec += 2;
4359         val = strchr(spec, ':');
4360
4361         key = val ? av_strndup(spec, val - spec) : av_strdup(spec);
4362         if (!key)
4363             return AVERROR(ENOMEM);
4364
4365         tag = av_dict_get(st->metadata, key, NULL, 0);
4366         if (tag) {
4367             if (!val || !strcmp(tag->value, val + 1))
4368                 ret = 1;
4369             else
4370                 ret = 0;
4371         } else
4372             ret = 0;
4373
4374         av_freep(&key);
4375         return ret;
4376     } else if (*spec == 'u') {
4377         AVCodecContext *avctx = st->codec;
4378         int val;
4379         switch (avctx->codec_type) {
4380         case AVMEDIA_TYPE_AUDIO:
4381             val = avctx->sample_rate && avctx->channels;
4382             if (avctx->sample_fmt == AV_SAMPLE_FMT_NONE)
4383                 return 0;
4384             break;
4385         case AVMEDIA_TYPE_VIDEO:
4386             val = avctx->width && avctx->height;
4387             if (avctx->pix_fmt == AV_PIX_FMT_NONE)
4388                 return 0;
4389             break;
4390         case AVMEDIA_TYPE_UNKNOWN:
4391             val = 0;
4392             break;
4393         default:
4394             val = 1;
4395             break;
4396         }
4397         return avctx->codec_id != AV_CODEC_ID_NONE && val != 0;
4398     } else if (!*spec) /* empty specifier, matches everything */
4399         return 1;
4400
4401     av_log(s, AV_LOG_ERROR, "Invalid stream specifier: %s.\n", spec);
4402     return AVERROR(EINVAL);
4403 }
4404
4405 int ff_generate_avci_extradata(AVStream *st)
4406 {
4407     static const uint8_t avci100_1080p_extradata[] = {
4408         // SPS
4409         0x00, 0x00, 0x00, 0x01, 0x67, 0x7a, 0x10, 0x29,
4410         0xb6, 0xd4, 0x20, 0x22, 0x33, 0x19, 0xc6, 0x63,
4411         0x23, 0x21, 0x01, 0x11, 0x98, 0xce, 0x33, 0x19,
4412         0x18, 0x21, 0x02, 0x56, 0xb9, 0x3d, 0x7d, 0x7e,
4413         0x4f, 0xe3, 0x3f, 0x11, 0xf1, 0x9e, 0x08, 0xb8,
4414         0x8c, 0x54, 0x43, 0xc0, 0x78, 0x02, 0x27, 0xe2,
4415         0x70, 0x1e, 0x30, 0x10, 0x10, 0x14, 0x00, 0x00,
4416         0x03, 0x00, 0x04, 0x00, 0x00, 0x03, 0x00, 0xca,
4417         0x10, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
4418         // PPS
4419         0x00, 0x00, 0x00, 0x01, 0x68, 0xce, 0x33, 0x48,
4420         0xd0
4421     };
4422     static const uint8_t avci100_1080i_extradata[] = {
4423         // SPS
4424         0x00, 0x00, 0x00, 0x01, 0x67, 0x7a, 0x10, 0x29,
4425         0xb6, 0xd4, 0x20, 0x22, 0x33, 0x19, 0xc6, 0x63,
4426         0x23, 0x21, 0x01, 0x11, 0x98, 0xce, 0x33, 0x19,
4427         0x18, 0x21, 0x03, 0x3a, 0x46, 0x65, 0x6a, 0x65,
4428         0x24, 0xad, 0xe9, 0x12, 0x32, 0x14, 0x1a, 0x26,
4429         0x34, 0xad, 0xa4, 0x41, 0x82, 0x23, 0x01, 0x50,
4430         0x2b, 0x1a, 0x24, 0x69, 0x48, 0x30, 0x40, 0x2e,
4431         0x11, 0x12, 0x08, 0xc6, 0x8c, 0x04, 0x41, 0x28,
4432         0x4c, 0x34, 0xf0, 0x1e, 0x01, 0x13, 0xf2, 0xe0,
4433         0x3c, 0x60, 0x20, 0x20, 0x28, 0x00, 0x00, 0x03,
4434         0x00, 0x08, 0x00, 0x00, 0x03, 0x01, 0x94, 0x20,
4435         // PPS
4436         0x00, 0x00, 0x00, 0x01, 0x68, 0xce, 0x33, 0x48,
4437         0xd0
4438     };
4439     static const uint8_t avci50_1080p_extradata[] = {
4440         // SPS
4441         0x00, 0x00, 0x00, 0x01, 0x67, 0x6e, 0x10, 0x28,
4442         0xa6, 0xd4, 0x20, 0x32, 0x33, 0x0c, 0x71, 0x18,
4443         0x88, 0x62, 0x10, 0x19, 0x19, 0x86, 0x38, 0x8c,
4444         0x44, 0x30, 0x21, 0x02, 0x56, 0x4e, 0x6f, 0x37,
4445         0xcd, 0xf9, 0xbf, 0x81, 0x6b, 0xf3, 0x7c, 0xde,
4446         0x6e, 0x6c, 0xd3, 0x3c, 0x05, 0xa0, 0x22, 0x7e,
4447         0x5f, 0xfc, 0x00, 0x0c, 0x00, 0x13, 0x8c, 0x04,
4448         0x04, 0x05, 0x00, 0x00, 0x03, 0x00, 0x01, 0x00,
4449         0x00, 0x03, 0x00, 0x32, 0x84, 0x00, 0x00, 0x00,
4450         // PPS
4451         0x00, 0x00, 0x00, 0x01, 0x68, 0xee, 0x31, 0x12,
4452         0x11
4453     };
4454     static const uint8_t avci50_1080i_extradata[] = {
4455         // SPS
4456         0x00, 0x00, 0x00, 0x01, 0x67, 0x6e, 0x10, 0x28,
4457         0xa6, 0xd4, 0x20, 0x32, 0x33, 0x0c, 0x71, 0x18,
4458         0x88, 0x62, 0x10, 0x19, 0x19, 0x86, 0x38, 0x8c,
4459         0x44, 0x30, 0x21, 0x02, 0x56, 0x4e, 0x6e, 0x61,
4460         0x87, 0x3e, 0x73, 0x4d, 0x98, 0x0c, 0x03, 0x06,
4461         0x9c, 0x0b, 0x73, 0xe6, 0xc0, 0xb5, 0x18, 0x63,
4462         0x0d, 0x39, 0xe0, 0x5b, 0x02, 0xd4, 0xc6, 0x19,
4463         0x1a, 0x79, 0x8c, 0x32, 0x34, 0x24, 0xf0, 0x16,
4464         0x81, 0x13, 0xf7, 0xff, 0x80, 0x02, 0x00, 0x01,
4465         0xf1, 0x80, 0x80, 0x80, 0xa0, 0x00, 0x00, 0x03,
4466         0x00, 0x20, 0x00, 0x00, 0x06, 0x50, 0x80, 0x00,
4467         // PPS
4468         0x00, 0x00, 0x00, 0x01, 0x68, 0xee, 0x31, 0x12,
4469         0x11
4470     };
4471     static const uint8_t avci100_720p_extradata[] = {
4472         // SPS
4473         0x00, 0x00, 0x00, 0x01, 0x67, 0x7a, 0x10, 0x29,
4474         0xb6, 0xd4, 0x20, 0x2a, 0x33, 0x1d, 0xc7, 0x62,
4475         0xa1, 0x08, 0x40, 0x54, 0x66, 0x3b, 0x8e, 0xc5,
4476         0x42, 0x02, 0x10, 0x25, 0x64, 0x2c, 0x89, 0xe8,
4477         0x85, 0xe4, 0x21, 0x4b, 0x90, 0x83, 0x06, 0x95,
4478         0xd1, 0x06, 0x46, 0x97, 0x20, 0xc8, 0xd7, 0x43,
4479         0x08, 0x11, 0xc2, 0x1e, 0x4c, 0x91, 0x0f, 0x01,
4480         0x40, 0x16, 0xec, 0x07, 0x8c, 0x04, 0x04, 0x05,
4481         0x00, 0x00, 0x03, 0x00, 0x01, 0x00, 0x00, 0x03,
4482         0x00, 0x64, 0x84, 0x00, 0x00, 0x00, 0x00, 0x00,
4483         // PPS
4484         0x00, 0x00, 0x00, 0x01, 0x68, 0xce, 0x31, 0x12,
4485         0x11
4486     };
4487     static const uint8_t avci50_720p_extradata[] = {
4488         // SPS
4489         0x00, 0x00, 0x00, 0x01, 0x67, 0x6e, 0x10, 0x20,
4490         0xa6, 0xd4, 0x20, 0x32, 0x33, 0x0c, 0x71, 0x18,
4491         0x88, 0x62, 0x10, 0x19, 0x19, 0x86, 0x38, 0x8c,
4492         0x44, 0x30, 0x21, 0x02, 0x56, 0x4e, 0x6f, 0x37,
4493         0xcd, 0xf9, 0xbf, 0x81, 0x6b, 0xf3, 0x7c, 0xde,
4494         0x6e, 0x6c, 0xd3, 0x3c, 0x0f, 0x01, 0x6e, 0xff,
4495         0xc0, 0x00, 0xc0, 0x01, 0x38, 0xc0, 0x40, 0x40,
4496         0x50, 0x00, 0x00, 0x03, 0x00, 0x10, 0x00, 0x00,
4497         0x06, 0x48, 0x40, 0x00, 0x00, 0x00, 0x00, 0x00,
4498         // PPS
4499         0x00, 0x00, 0x00, 0x01, 0x68, 0xee, 0x31, 0x12,
4500         0x11
4501     };
4502
4503     const uint8_t *data = NULL;
4504     int size            = 0;
4505
4506     if (st->codec->width == 1920) {
4507         if (st->codec->field_order == AV_FIELD_PROGRESSIVE) {
4508             data = avci100_1080p_extradata;
4509             size = sizeof(avci100_1080p_extradata);
4510         } else {
4511             data = avci100_1080i_extradata;
4512             size = sizeof(avci100_1080i_extradata);
4513         }
4514     } else if (st->codec->width == 1440) {
4515         if (st->codec->field_order == AV_FIELD_PROGRESSIVE) {
4516             data = avci50_1080p_extradata;
4517             size = sizeof(avci50_1080p_extradata);
4518         } else {
4519             data = avci50_1080i_extradata;
4520             size = sizeof(avci50_1080i_extradata);
4521         }
4522     } else if (st->codec->width == 1280) {
4523         data = avci100_720p_extradata;
4524         size = sizeof(avci100_720p_extradata);
4525     } else if (st->codec->width == 960) {
4526         data = avci50_720p_extradata;
4527         size = sizeof(avci50_720p_extradata);
4528     }
4529
4530     if (!size)
4531         return 0;
4532
4533     av_freep(&st->codec->extradata);
4534     if (ff_alloc_extradata(st->codec, size))
4535         return AVERROR(ENOMEM);
4536     memcpy(st->codec->extradata, data, size);
4537
4538     return 0;
4539 }
4540
4541 uint8_t *av_stream_get_side_data(AVStream *st, enum AVPacketSideDataType type,
4542                                  int *size)
4543 {
4544     int i;
4545
4546     for (i = 0; i < st->nb_side_data; i++) {
4547         if (st->side_data[i].type == type) {
4548             if (size)
4549                 *size = st->side_data[i].size;
4550             return st->side_data[i].data;
4551         }
4552     }
4553     return NULL;
4554 }
4555
4556 uint8_t *ff_stream_new_side_data(AVStream *st, enum AVPacketSideDataType type,
4557                                  int size)
4558 {
4559     AVPacketSideData *sd, *tmp;
4560     int i;
4561     uint8_t *data = av_malloc(size);
4562
4563     if (!data)
4564         return NULL;
4565
4566     for (i = 0; i < st->nb_side_data; i++) {
4567         sd = &st->side_data[i];
4568
4569         if (sd->type == type) {
4570             av_freep(&sd->data);
4571             sd->data = data;
4572             sd->size = size;
4573             return sd->data;
4574         }
4575     }
4576
4577     tmp = av_realloc_array(st->side_data, st->nb_side_data + 1, sizeof(*tmp));
4578     if (!tmp) {
4579         av_freep(&data);
4580         return NULL;
4581     }
4582
4583     st->side_data = tmp;
4584     st->nb_side_data++;
4585
4586     sd = &st->side_data[st->nb_side_data - 1];
4587     sd->type = type;
4588     sd->data = data;
4589     sd->size = size;
4590     return data;
4591 }