git.sesse.net Git - ffmpeg/blob - libavformat/utils.c

   1 /*
   2  * various utility functions for use within FFmpeg
   3  * Copyright (c) 2000, 2001, 2002 Fabrice Bellard
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include <stdarg.h>
  23 #include <stdint.h>
  24
  25 #include "config.h"
  26
  27 #include "libavutil/avassert.h"
  28 #include "libavutil/avstring.h"
  29 #include "libavutil/dict.h"
  30 #include "libavutil/internal.h"
  31 #include "libavutil/mathematics.h"
  32 #include "libavutil/opt.h"
  33 #include "libavutil/parseutils.h"
  34 #include "libavutil/pixdesc.h"
  35 #include "libavutil/time.h"
  36 #include "libavutil/timestamp.h"
  37
  38 #include "libavcodec/bytestream.h"
  39 #include "libavcodec/internal.h"
  40 #include "libavcodec/raw.h"
  41
  42 #include "audiointerleave.h"
  43 #include "avformat.h"
  44 #include "avio_internal.h"
  45 #include "id3v2.h"
  46 #include "internal.h"
  47 #include "metadata.h"
  48 #if CONFIG_NETWORK
  49 #include "network.h"
  50 #endif
  51 #include "riff.h"
  52 #include "url.h"
  53
  54 #include "libavutil/ffversion.h"
  55 const char av_format_ffversion[] = "FFmpeg version " FFMPEG_VERSION;
  56
  57 /**
  58  * @file
  59  * various utility functions for use within FFmpeg
  60  */
  61
  62 unsigned avformat_version(void)
  63 {
  64     av_assert0(LIBAVFORMAT_VERSION_MICRO >= 100);
  65     return LIBAVFORMAT_VERSION_INT;
  66 }
  67
  68 const char *avformat_configuration(void)
  69 {
  70     return FFMPEG_CONFIGURATION;
  71 }
  72
  73 const char *avformat_license(void)
  74 {
  75 #define LICENSE_PREFIX "libavformat license: "
  76     return LICENSE_PREFIX FFMPEG_LICENSE + sizeof(LICENSE_PREFIX) - 1;
  77 }
  78
  79 #define RELATIVE_TS_BASE (INT64_MAX - (1LL<<48))
  80
  81 static int is_relative(int64_t ts) {
  82     return ts > (RELATIVE_TS_BASE - (1LL<<48));
  83 }
  84
  85 /**
  86  * Wrap a given time stamp, if there is an indication for an overflow
  87  *
  88  * @param st stream
  89  * @param timestamp the time stamp to wrap
  90  * @return resulting time stamp
  91  */
  92 static int64_t wrap_timestamp(AVStream *st, int64_t timestamp)
  93 {
  94     if (st->pts_wrap_behavior != AV_PTS_WRAP_IGNORE &&
  95         st->pts_wrap_reference != AV_NOPTS_VALUE && timestamp != AV_NOPTS_VALUE) {
  96         if (st->pts_wrap_behavior == AV_PTS_WRAP_ADD_OFFSET &&
  97             timestamp < st->pts_wrap_reference)
  98             return timestamp + (1ULL << st->pts_wrap_bits);
  99         else if (st->pts_wrap_behavior == AV_PTS_WRAP_SUB_OFFSET &&
 100             timestamp >= st->pts_wrap_reference)
 101             return timestamp - (1ULL << st->pts_wrap_bits);
 102     }
 103     return timestamp;
 104 }
 105
 106 MAKE_ACCESSORS(AVStream, stream, AVRational, r_frame_rate)
 107 MAKE_ACCESSORS(AVStream, stream, char *, recommended_encoder_configuration)
 108 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, video_codec)
 109 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, audio_codec)
 110 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, subtitle_codec)
 111 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, data_codec)
 112 MAKE_ACCESSORS(AVFormatContext, format, int, metadata_header_padding)
 113 MAKE_ACCESSORS(AVFormatContext, format, void *, opaque)
 114 MAKE_ACCESSORS(AVFormatContext, format, av_format_control_message, control_message_cb)
 115 MAKE_ACCESSORS(AVFormatContext, format, AVOpenCallback, open_cb)
 116
 117 int64_t av_stream_get_end_pts(const AVStream *st)
 118 {
 119     if (st->priv_pts) {
 120         return st->priv_pts->val;
 121     } else
 122         return AV_NOPTS_VALUE;
 123 }
 124
 125 struct AVCodecParserContext *av_stream_get_parser(const AVStream *st)
 126 {
 127     return st->parser;
 128 }
 129
 130 void av_format_inject_global_side_data(AVFormatContext *s)
 131 {
 132     int i;
 133     s->internal->inject_global_side_data = 1;
 134     for (i = 0; i < s->nb_streams; i++) {
 135         AVStream *st = s->streams[i];
 136         st->inject_global_side_data = 1;
 137     }
 138 }
 139
 140 int ff_copy_whitelists(AVFormatContext *dst, AVFormatContext *src)
 141 {
 142     av_assert0(!dst->codec_whitelist && !dst->format_whitelist);
 143     dst-> codec_whitelist = av_strdup(src->codec_whitelist);
 144     dst->format_whitelist = av_strdup(src->format_whitelist);
 145     if (   (src-> codec_whitelist && !dst-> codec_whitelist)
 146         || (src->format_whitelist && !dst->format_whitelist)) {
 147         av_log(dst, AV_LOG_ERROR, "Failed to duplicate whitelist\n");
 148         return AVERROR(ENOMEM);
 149     }
 150     return 0;
 151 }
 152
 153 static const AVCodec *find_decoder(AVFormatContext *s, AVStream *st, enum AVCodecID codec_id)
 154 {
 155     if (st->codec->codec)
 156         return st->codec->codec;
 157
 158     switch (st->codec->codec_type) {
 159     case AVMEDIA_TYPE_VIDEO:
 160         if (s->video_codec)    return s->video_codec;
 161         break;
 162     case AVMEDIA_TYPE_AUDIO:
 163         if (s->audio_codec)    return s->audio_codec;
 164         break;
 165     case AVMEDIA_TYPE_SUBTITLE:
 166         if (s->subtitle_codec) return s->subtitle_codec;
 167         break;
 168     }
 169
 170     return avcodec_find_decoder(codec_id);
 171 }
 172
 173 int av_format_get_probe_score(const AVFormatContext *s)
 174 {
 175     return s->probe_score;
 176 }
 177
 178 /* an arbitrarily chosen "sane" max packet size -- 50M */
 179 #define SANE_CHUNK_SIZE (50000000)
 180
 181 int ffio_limit(AVIOContext *s, int size)
 182 {
 183     if (s->maxsize>= 0) {
 184         int64_t remaining= s->maxsize - avio_tell(s);
 185         if (remaining < size) {
 186             int64_t newsize = avio_size(s);
 187             if (!s->maxsize || s->maxsize<newsize)
 188                 s->maxsize = newsize - !newsize;
 189             remaining= s->maxsize - avio_tell(s);
 190             remaining= FFMAX(remaining, 0);
 191         }
 192
 193         if (s->maxsize>= 0 && remaining+1 < size) {
 194             av_log(NULL, remaining ? AV_LOG_ERROR : AV_LOG_DEBUG, "Truncating packet of size %d to %"PRId64"\n", size, remaining+1);
 195             size = remaining+1;
 196         }
 197     }
 198     return size;
 199 }
 200
 201 /* Read the data in sane-sized chunks and append to pkt.
 202  * Return the number of bytes read or an error. */
 203 static int append_packet_chunked(AVIOContext *s, AVPacket *pkt, int size)
 204 {
 205     int64_t orig_pos   = pkt->pos; // av_grow_packet might reset pos
 206     int orig_size      = pkt->size;
 207     int ret;
 208
 209     do {
 210         int prev_size = pkt->size;
 211         int read_size;
 212
 213         /* When the caller requests a lot of data, limit it to the amount
 214          * left in file or SANE_CHUNK_SIZE when it is not known. */
 215         read_size = size;
 216         if (read_size > SANE_CHUNK_SIZE/10) {
 217             read_size = ffio_limit(s, read_size);
 218             // If filesize/maxsize is unknown, limit to SANE_CHUNK_SIZE
 219             if (s->maxsize < 0)
 220                 read_size = FFMIN(read_size, SANE_CHUNK_SIZE);
 221         }
 222
 223         ret = av_grow_packet(pkt, read_size);
 224         if (ret < 0)
 225             break;
 226
 227         ret = avio_read(s, pkt->data + prev_size, read_size);
 228         if (ret != read_size) {
 229             av_shrink_packet(pkt, prev_size + FFMAX(ret, 0));
 230             break;
 231         }
 232
 233         size -= read_size;
 234     } while (size > 0);
 235     if (size > 0)
 236         pkt->flags |= AV_PKT_FLAG_CORRUPT;
 237
 238     pkt->pos = orig_pos;
 239     if (!pkt->size)
 240         av_packet_unref(pkt);
 241     return pkt->size > orig_size ? pkt->size - orig_size : ret;
 242 }
 243
 244 int av_get_packet(AVIOContext *s, AVPacket *pkt, int size)
 245 {
 246     av_init_packet(pkt);
 247     pkt->data = NULL;
 248     pkt->size = 0;
 249     pkt->pos  = avio_tell(s);
 250
 251     return append_packet_chunked(s, pkt, size);
 252 }
 253
 254 int av_append_packet(AVIOContext *s, AVPacket *pkt, int size)
 255 {
 256     if (!pkt->size)
 257         return av_get_packet(s, pkt, size);
 258     return append_packet_chunked(s, pkt, size);
 259 }
 260
 261 int av_filename_number_test(const char *filename)
 262 {
 263     char buf[1024];
 264     return filename &&
 265            (av_get_frame_filename(buf, sizeof(buf), filename, 1) >= 0);
 266 }
 267
 268 static int set_codec_from_probe_data(AVFormatContext *s, AVStream *st,
 269                                      AVProbeData *pd)
 270 {
 271     static const struct {
 272         const char *name;
 273         enum AVCodecID id;
 274         enum AVMediaType type;
 275     } fmt_id_type[] = {
 276         { "aac",       AV_CODEC_ID_AAC,        AVMEDIA_TYPE_AUDIO },
 277         { "ac3",       AV_CODEC_ID_AC3,        AVMEDIA_TYPE_AUDIO },
 278         { "dts",       AV_CODEC_ID_DTS,        AVMEDIA_TYPE_AUDIO },
 279         { "dvbsub",    AV_CODEC_ID_DVB_SUBTITLE,AVMEDIA_TYPE_SUBTITLE },
 280         { "eac3",      AV_CODEC_ID_EAC3,       AVMEDIA_TYPE_AUDIO },
 281         { "h264",      AV_CODEC_ID_H264,       AVMEDIA_TYPE_VIDEO },
 282         { "hevc",      AV_CODEC_ID_HEVC,       AVMEDIA_TYPE_VIDEO },
 283         { "loas",      AV_CODEC_ID_AAC_LATM,   AVMEDIA_TYPE_AUDIO },
 284         { "m4v",       AV_CODEC_ID_MPEG4,      AVMEDIA_TYPE_VIDEO },
 285         { "mp3",       AV_CODEC_ID_MP3,        AVMEDIA_TYPE_AUDIO },
 286         { "mpegvideo", AV_CODEC_ID_MPEG2VIDEO, AVMEDIA_TYPE_VIDEO },
 287         { 0 }
 288     };
 289     int score;
 290     AVInputFormat *fmt = av_probe_input_format3(pd, 1, &score);
 291
 292     if (fmt && st->request_probe <= score) {
 293         int i;
 294         av_log(s, AV_LOG_DEBUG,
 295                "Probe with size=%d, packets=%d detected %s with score=%d\n",
 296                pd->buf_size, MAX_PROBE_PACKETS - st->probe_packets,
 297                fmt->name, score);
 298         for (i = 0; fmt_id_type[i].name; i++) {
 299             if (!strcmp(fmt->name, fmt_id_type[i].name)) {
 300                 st->codec->codec_id   = fmt_id_type[i].id;
 301                 st->codec->codec_type = fmt_id_type[i].type;
 302                 return score;
 303             }
 304         }
 305     }
 306     return 0;
 307 }
 308
 309 /************************************************************/
 310 /* input media file */
 311
 312 int av_demuxer_open(AVFormatContext *ic) {
 313     int err;
 314
 315     if (ic->format_whitelist && av_match_list(ic->iformat->name, ic->format_whitelist, ',') <= 0) {
 316         av_log(ic, AV_LOG_ERROR, "Format not on whitelist\n");
 317         return AVERROR(EINVAL);
 318     }
 319
 320     if (ic->iformat->read_header) {
 321         err = ic->iformat->read_header(ic);
 322         if (err < 0)
 323             return err;
 324     }
 325
 326     if (ic->pb && !ic->internal->data_offset)
 327         ic->internal->data_offset = avio_tell(ic->pb);
 328
 329     return 0;
 330 }
 331
 332 /* Open input file and probe the format if necessary. */
 333 static int init_input(AVFormatContext *s, const char *filename,
 334                       AVDictionary **options)
 335 {
 336     int ret;
 337     AVProbeData pd = { filename, NULL, 0 };
 338     int score = AVPROBE_SCORE_RETRY;
 339
 340     if (s->pb) {
 341         s->flags |= AVFMT_FLAG_CUSTOM_IO;
 342         if (!s->iformat)
 343             return av_probe_input_buffer2(s->pb, &s->iformat, filename,
 344                                          s, 0, s->format_probesize);
 345         else if (s->iformat->flags & AVFMT_NOFILE)
 346             av_log(s, AV_LOG_WARNING, "Custom AVIOContext makes no sense and "
 347                                       "will be ignored with AVFMT_NOFILE format.\n");
 348         return 0;
 349     }
 350
 351     if ((s->iformat && s->iformat->flags & AVFMT_NOFILE) ||
 352         (!s->iformat && (s->iformat = av_probe_input_format2(&pd, 0, &score))))
 353         return score;
 354
 355     if ((ret = avio_open2(&s->pb, filename, AVIO_FLAG_READ | s->avio_flags,
 356                           &s->interrupt_callback, options)) < 0)
 357         return ret;
 358     if (s->iformat)
 359         return 0;
 360     return av_probe_input_buffer2(s->pb, &s->iformat, filename,
 361                                  s, 0, s->format_probesize);
 362 }
 363
 364 static int add_to_pktbuf(AVPacketList **packet_buffer, AVPacket *pkt,
 365                          AVPacketList **plast_pktl, int ref)
 366 {
 367     AVPacketList *pktl = av_mallocz(sizeof(AVPacketList));
 368     int ret;
 369
 370     if (!pktl)
 371         return AVERROR(ENOMEM);
 372
 373     if (ref) {
 374         if ((ret = av_packet_ref(&pktl->pkt, pkt)) < 0) {
 375             av_free(pktl);
 376             return ret;
 377         }
 378     } else {
 379         pktl->pkt = *pkt;
 380     }
 381
 382     if (*packet_buffer)
 383         (*plast_pktl)->next = pktl;
 384     else
 385         *packet_buffer = pktl;
 386
 387     /* Add the packet in the buffered packet list. */
 388     *plast_pktl = pktl;
 389     return 0;
 390 }
 391
 392 int avformat_queue_attached_pictures(AVFormatContext *s)
 393 {
 394     int i, ret;
 395     for (i = 0; i < s->nb_streams; i++)
 396         if (s->streams[i]->disposition & AV_DISPOSITION_ATTACHED_PIC &&
 397             s->streams[i]->discard < AVDISCARD_ALL) {
 398             if (s->streams[i]->attached_pic.size <= 0) {
 399                 av_log(s, AV_LOG_WARNING,
 400                     "Attached picture on stream %d has invalid size, "
 401                     "ignoring\n", i);
 402                 continue;
 403             }
 404
 405             ret = add_to_pktbuf(&s->internal->raw_packet_buffer,
 406                                 &s->streams[i]->attached_pic,
 407                                 &s->internal->raw_packet_buffer_end, 1);
 408             if (ret < 0)
 409                 return ret;
 410         }
 411     return 0;
 412 }
 413
 414 int avformat_open_input(AVFormatContext **ps, const char *filename,
 415                         AVInputFormat *fmt, AVDictionary **options)
 416 {
 417     AVFormatContext *s = *ps;
 418     int ret = 0;
 419     AVDictionary *tmp = NULL;
 420     ID3v2ExtraMeta *id3v2_extra_meta = NULL;
 421
 422     if (!s && !(s = avformat_alloc_context()))
 423         return AVERROR(ENOMEM);
 424     if (!s->av_class) {
 425         av_log(NULL, AV_LOG_ERROR, "Input context has not been properly allocated by avformat_alloc_context() and is not NULL either\n");
 426         return AVERROR(EINVAL);
 427     }
 428     if (fmt)
 429         s->iformat = fmt;
 430
 431     if (options)
 432         av_dict_copy(&tmp, *options, 0);
 433
 434     if (s->pb) // must be before any goto fail
 435         s->flags |= AVFMT_FLAG_CUSTOM_IO;
 436
 437     if ((ret = av_opt_set_dict(s, &tmp)) < 0)
 438         goto fail;
 439
 440     if ((ret = init_input(s, filename, &tmp)) < 0)
 441         goto fail;
 442     s->probe_score = ret;
 443
 444     if (s->format_whitelist && av_match_list(s->iformat->name, s->format_whitelist, ',') <= 0) {
 445         av_log(s, AV_LOG_ERROR, "Format not on whitelist\n");
 446         ret = AVERROR(EINVAL);
 447         goto fail;
 448     }
 449
 450     avio_skip(s->pb, s->skip_initial_bytes);
 451
 452     /* Check filename in case an image number is expected. */
 453     if (s->iformat->flags & AVFMT_NEEDNUMBER) {
 454         if (!av_filename_number_test(filename)) {
 455             ret = AVERROR(EINVAL);
 456             goto fail;
 457         }
 458     }
 459
 460     s->duration = s->start_time = AV_NOPTS_VALUE;
 461     av_strlcpy(s->filename, filename ? filename : "", sizeof(s->filename));
 462
 463     /* Allocate private data. */
 464     if (s->iformat->priv_data_size > 0) {
 465         if (!(s->priv_data = av_mallocz(s->iformat->priv_data_size))) {
 466             ret = AVERROR(ENOMEM);
 467             goto fail;
 468         }
 469         if (s->iformat->priv_class) {
 470             *(const AVClass **) s->priv_data = s->iformat->priv_class;
 471             av_opt_set_defaults(s->priv_data);
 472             if ((ret = av_opt_set_dict(s->priv_data, &tmp)) < 0)
 473                 goto fail;
 474         }
 475     }
 476
 477     /* e.g. AVFMT_NOFILE formats will not have a AVIOContext */
 478     if (s->pb)
 479         ff_id3v2_read(s, ID3v2_DEFAULT_MAGIC, &id3v2_extra_meta, 0);
 480
 481     if (!(s->flags&AVFMT_FLAG_PRIV_OPT) && s->iformat->read_header)
 482         if ((ret = s->iformat->read_header(s)) < 0)
 483             goto fail;
 484
 485     if (id3v2_extra_meta) {
 486         if (!strcmp(s->iformat->name, "mp3") || !strcmp(s->iformat->name, "aac") ||
 487             !strcmp(s->iformat->name, "tta")) {
 488             if ((ret = ff_id3v2_parse_apic(s, &id3v2_extra_meta)) < 0)
 489                 goto fail;
 490         } else
 491             av_log(s, AV_LOG_DEBUG, "demuxer does not support additional id3 data, skipping\n");
 492     }
 493     ff_id3v2_free_extra_meta(&id3v2_extra_meta);
 494
 495     if ((ret = avformat_queue_attached_pictures(s)) < 0)
 496         goto fail;
 497
 498     if (!(s->flags&AVFMT_FLAG_PRIV_OPT) && s->pb && !s->internal->data_offset)
 499         s->internal->data_offset = avio_tell(s->pb);
 500
 501     s->internal->raw_packet_buffer_remaining_size = RAW_PACKET_BUFFER_SIZE;
 502
 503     if (options) {
 504         av_dict_free(options);
 505         *options = tmp;
 506     }
 507     *ps = s;
 508     return 0;
 509
 510 fail:
 511     ff_id3v2_free_extra_meta(&id3v2_extra_meta);
 512     av_dict_free(&tmp);
 513     if (s->pb && !(s->flags & AVFMT_FLAG_CUSTOM_IO))
 514         avio_closep(&s->pb);
 515     avformat_free_context(s);
 516     *ps = NULL;
 517     return ret;
 518 }
 519
 520 /*******************************************************/
 521
 522 static void force_codec_ids(AVFormatContext *s, AVStream *st)
 523 {
 524     switch (st->codec->codec_type) {
 525     case AVMEDIA_TYPE_VIDEO:
 526         if (s->video_codec_id)
 527             st->codec->codec_id = s->video_codec_id;
 528         break;
 529     case AVMEDIA_TYPE_AUDIO:
 530         if (s->audio_codec_id)
 531             st->codec->codec_id = s->audio_codec_id;
 532         break;
 533     case AVMEDIA_TYPE_SUBTITLE:
 534         if (s->subtitle_codec_id)
 535             st->codec->codec_id = s->subtitle_codec_id;
 536         break;
 537     }
 538 }
 539
 540 static int probe_codec(AVFormatContext *s, AVStream *st, const AVPacket *pkt)
 541 {
 542     if (st->request_probe>0) {
 543         AVProbeData *pd = &st->probe_data;
 544         int end;
 545         av_log(s, AV_LOG_DEBUG, "probing stream %d pp:%d\n", st->index, st->probe_packets);
 546         --st->probe_packets;
 547
 548         if (pkt) {
 549             uint8_t *new_buf = av_realloc(pd->buf, pd->buf_size+pkt->size+AVPROBE_PADDING_SIZE);
 550             if (!new_buf) {
 551                 av_log(s, AV_LOG_WARNING,
 552                        "Failed to reallocate probe buffer for stream %d\n",
 553                        st->index);
 554                 goto no_packet;
 555             }
 556             pd->buf = new_buf;
 557             memcpy(pd->buf + pd->buf_size, pkt->data, pkt->size);
 558             pd->buf_size += pkt->size;
 559             memset(pd->buf + pd->buf_size, 0, AVPROBE_PADDING_SIZE);
 560         } else {
 561 no_packet:
 562             st->probe_packets = 0;
 563             if (!pd->buf_size) {
 564                 av_log(s, AV_LOG_WARNING,
 565                        "nothing to probe for stream %d\n", st->index);
 566             }
 567         }
 568
 569         end=    s->internal->raw_packet_buffer_remaining_size <= 0
 570                 || st->probe_packets<= 0;
 571
 572         if (end || av_log2(pd->buf_size) != av_log2(pd->buf_size - pkt->size)) {
 573             int score = set_codec_from_probe_data(s, st, pd);
 574             if (    (st->codec->codec_id != AV_CODEC_ID_NONE && score > AVPROBE_SCORE_STREAM_RETRY)
 575                 || end) {
 576                 pd->buf_size = 0;
 577                 av_freep(&pd->buf);
 578                 st->request_probe = -1;
 579                 if (st->codec->codec_id != AV_CODEC_ID_NONE) {
 580                     av_log(s, AV_LOG_DEBUG, "probed stream %d\n", st->index);
 581                 } else
 582                     av_log(s, AV_LOG_WARNING, "probed stream %d failed\n", st->index);
 583             }
 584             force_codec_ids(s, st);
 585         }
 586     }
 587     return 0;
 588 }
 589
 590 static int update_wrap_reference(AVFormatContext *s, AVStream *st, int stream_index, AVPacket *pkt)
 591 {
 592     int64_t ref = pkt->dts;
 593     int i, pts_wrap_behavior;
 594     int64_t pts_wrap_reference;
 595     AVProgram *first_program;
 596
 597     if (ref == AV_NOPTS_VALUE)
 598         ref = pkt->pts;
 599     if (st->pts_wrap_reference != AV_NOPTS_VALUE || st->pts_wrap_bits >= 63 || ref == AV_NOPTS_VALUE || !s->correct_ts_overflow)
 600         return 0;
 601     ref &= (1LL << st->pts_wrap_bits)-1;
 602
 603     // reference time stamp should be 60 s before first time stamp
 604     pts_wrap_reference = ref - av_rescale(60, st->time_base.den, st->time_base.num);
 605     // if first time stamp is not more than 1/8 and 60s before the wrap point, subtract rather than add wrap offset
 606     pts_wrap_behavior = (ref < (1LL << st->pts_wrap_bits) - (1LL << st->pts_wrap_bits-3)) ||
 607         (ref < (1LL << st->pts_wrap_bits) - av_rescale(60, st->time_base.den, st->time_base.num)) ?
 608         AV_PTS_WRAP_ADD_OFFSET : AV_PTS_WRAP_SUB_OFFSET;
 609
 610     first_program = av_find_program_from_stream(s, NULL, stream_index);
 611
 612     if (!first_program) {
 613         int default_stream_index = av_find_default_stream_index(s);
 614         if (s->streams[default_stream_index]->pts_wrap_reference == AV_NOPTS_VALUE) {
 615             for (i = 0; i < s->nb_streams; i++) {
 616                 if (av_find_program_from_stream(s, NULL, i))
 617                     continue;
 618                 s->streams[i]->pts_wrap_reference = pts_wrap_reference;
 619                 s->streams[i]->pts_wrap_behavior = pts_wrap_behavior;
 620             }
 621         }
 622         else {
 623             st->pts_wrap_reference = s->streams[default_stream_index]->pts_wrap_reference;
 624             st->pts_wrap_behavior = s->streams[default_stream_index]->pts_wrap_behavior;
 625         }
 626     }
 627     else {
 628         AVProgram *program = first_program;
 629         while (program) {
 630             if (program->pts_wrap_reference != AV_NOPTS_VALUE) {
 631                 pts_wrap_reference = program->pts_wrap_reference;
 632                 pts_wrap_behavior = program->pts_wrap_behavior;
 633                 break;
 634             }
 635             program = av_find_program_from_stream(s, program, stream_index);
 636         }
 637
 638         // update every program with differing pts_wrap_reference
 639         program = first_program;
 640         while (program) {
 641             if (program->pts_wrap_reference != pts_wrap_reference) {
 642                 for (i = 0; i<program->nb_stream_indexes; i++) {
 643                     s->streams[program->stream_index[i]]->pts_wrap_reference = pts_wrap_reference;
 644                     s->streams[program->stream_index[i]]->pts_wrap_behavior = pts_wrap_behavior;
 645                 }
 646
 647                 program->pts_wrap_reference = pts_wrap_reference;
 648                 program->pts_wrap_behavior = pts_wrap_behavior;
 649             }
 650             program = av_find_program_from_stream(s, program, stream_index);
 651         }
 652     }
 653     return 1;
 654 }
 655
 656 int ff_read_packet(AVFormatContext *s, AVPacket *pkt)
 657 {
 658     int ret, i, err;
 659     AVStream *st;
 660
 661     for (;;) {
 662         AVPacketList *pktl = s->internal->raw_packet_buffer;
 663
 664         if (pktl) {
 665             *pkt = pktl->pkt;
 666             st   = s->streams[pkt->stream_index];
 667             if (s->internal->raw_packet_buffer_remaining_size <= 0)
 668                 if ((err = probe_codec(s, st, NULL)) < 0)
 669                     return err;
 670             if (st->request_probe <= 0) {
 671                 s->internal->raw_packet_buffer                 = pktl->next;
 672                 s->internal->raw_packet_buffer_remaining_size += pkt->size;
 673                 av_free(pktl);
 674                 return 0;
 675             }
 676         }
 677
 678         pkt->data = NULL;
 679         pkt->size = 0;
 680         av_init_packet(pkt);
 681         ret = s->iformat->read_packet(s, pkt);
 682         if (ret < 0) {
 683             if (!pktl || ret == AVERROR(EAGAIN))
 684                 return ret;
 685             for (i = 0; i < s->nb_streams; i++) {
 686                 st = s->streams[i];
 687                 if (st->probe_packets)
 688                     if ((err = probe_codec(s, st, NULL)) < 0)
 689                         return err;
 690                 av_assert0(st->request_probe <= 0);
 691             }
 692             continue;
 693         }
 694
 695         if (!pkt->buf) {
 696             AVPacket tmp = { 0 };
 697             ret = av_packet_ref(&tmp, pkt);
 698             if (ret < 0)
 699                 return ret;
 700             *pkt = tmp;
 701         }
 702
 703         if ((s->flags & AVFMT_FLAG_DISCARD_CORRUPT) &&
 704             (pkt->flags & AV_PKT_FLAG_CORRUPT)) {
 705             av_log(s, AV_LOG_WARNING,
 706                    "Dropped corrupted packet (stream = %d)\n",
 707                    pkt->stream_index);
 708             av_packet_unref(pkt);
 709             continue;
 710         }
 711
 712         if (pkt->stream_index >= (unsigned)s->nb_streams) {
 713             av_log(s, AV_LOG_ERROR, "Invalid stream index %d\n", pkt->stream_index);
 714             continue;
 715         }
 716
 717         st = s->streams[pkt->stream_index];
 718
 719         if (update_wrap_reference(s, st, pkt->stream_index, pkt) && st->pts_wrap_behavior == AV_PTS_WRAP_SUB_OFFSET) {
 720             // correct first time stamps to negative values
 721             if (!is_relative(st->first_dts))
 722                 st->first_dts = wrap_timestamp(st, st->first_dts);
 723             if (!is_relative(st->start_time))
 724                 st->start_time = wrap_timestamp(st, st->start_time);
 725             if (!is_relative(st->cur_dts))
 726                 st->cur_dts = wrap_timestamp(st, st->cur_dts);
 727         }
 728
 729         pkt->dts = wrap_timestamp(st, pkt->dts);
 730         pkt->pts = wrap_timestamp(st, pkt->pts);
 731
 732         force_codec_ids(s, st);
 733
 734         /* TODO: audio: time filter; video: frame reordering (pts != dts) */
 735         if (s->use_wallclock_as_timestamps)
 736             pkt->dts = pkt->pts = av_rescale_q(av_gettime(), AV_TIME_BASE_Q, st->time_base);
 737
 738         if (!pktl && st->request_probe <= 0)
 739             return ret;
 740
 741         err = add_to_pktbuf(&s->internal->raw_packet_buffer, pkt,
 742                             &s->internal->raw_packet_buffer_end, 0);
 743         if (err)
 744             return err;
 745         s->internal->raw_packet_buffer_remaining_size -= pkt->size;
 746
 747         if ((err = probe_codec(s, st, pkt)) < 0)
 748             return err;
 749     }
 750 }
 751
 752
 753 /**********************************************************/
 754
 755 static int determinable_frame_size(AVCodecContext *avctx)
 756 {
 757     if (/*avctx->codec_id == AV_CODEC_ID_AAC ||*/
 758         avctx->codec_id == AV_CODEC_ID_MP1 ||
 759         avctx->codec_id == AV_CODEC_ID_MP2 ||
 760         avctx->codec_id == AV_CODEC_ID_MP3/* ||
 761         avctx->codec_id == AV_CODEC_ID_CELT*/)
 762         return 1;
 763     return 0;
 764 }
 765
 766 /**
 767  * Return the frame duration in seconds. Return 0 if not available.
 768  */
 769 void ff_compute_frame_duration(AVFormatContext *s, int *pnum, int *pden, AVStream *st,
 770                                AVCodecParserContext *pc, AVPacket *pkt)
 771 {
 772     AVRational codec_framerate = s->iformat ? st->codec->framerate :
 773                                               av_mul_q(av_inv_q(st->codec->time_base), (AVRational){1, st->codec->ticks_per_frame});
 774     int frame_size;
 775
 776     *pnum = 0;
 777     *pden = 0;
 778     switch (st->codec->codec_type) {
 779     case AVMEDIA_TYPE_VIDEO:
 780         if (st->r_frame_rate.num && !pc && s->iformat) {
 781             *pnum = st->r_frame_rate.den;
 782             *pden = st->r_frame_rate.num;
 783         } else if (st->time_base.num * 1000LL > st->time_base.den) {
 784             *pnum = st->time_base.num;
 785             *pden = st->time_base.den;
 786         } else if (codec_framerate.den * 1000LL > codec_framerate.num) {
 787             av_assert0(st->codec->ticks_per_frame);
 788             av_reduce(pnum, pden,
 789                       codec_framerate.den,
 790                       codec_framerate.num * (int64_t)st->codec->ticks_per_frame,
 791                       INT_MAX);
 792
 793             if (pc && pc->repeat_pict) {
 794                 av_assert0(s->iformat); // this may be wrong for interlaced encoding but its not used for that case
 795                 av_reduce(pnum, pden,
 796                           (*pnum) * (1LL + pc->repeat_pict),
 797                           (*pden),
 798                           INT_MAX);
 799             }
 800             /* If this codec can be interlaced or progressive then we need
 801              * a parser to compute duration of a packet. Thus if we have
 802              * no parser in such case leave duration undefined. */
 803             if (st->codec->ticks_per_frame > 1 && !pc)
 804                 *pnum = *pden = 0;
 805         }
 806         break;
 807     case AVMEDIA_TYPE_AUDIO:
 808         frame_size = av_get_audio_frame_duration(st->codec, pkt->size);
 809         if (frame_size <= 0 || st->codec->sample_rate <= 0)
 810             break;
 811         *pnum = frame_size;
 812         *pden = st->codec->sample_rate;
 813         break;
 814     default:
 815         break;
 816     }
 817 }
 818
 819 static int is_intra_only(AVCodecContext *enc) {
 820     const AVCodecDescriptor *desc;
 821
 822     if (enc->codec_type != AVMEDIA_TYPE_VIDEO)
 823         return 1;
 824
 825     desc = av_codec_get_codec_descriptor(enc);
 826     if (!desc) {
 827         desc = avcodec_descriptor_get(enc->codec_id);
 828         av_codec_set_codec_descriptor(enc, desc);
 829     }
 830     if (desc)
 831         return !!(desc->props & AV_CODEC_PROP_INTRA_ONLY);
 832     return 0;
 833 }
 834
 835 static int has_decode_delay_been_guessed(AVStream *st)
 836 {
 837     if (st->codec->codec_id != AV_CODEC_ID_H264) return 1;
 838     if (!st->info) // if we have left find_stream_info then nb_decoded_frames won't increase anymore for stream copy
 839         return 1;
 840 #if CONFIG_H264_DECODER
 841     if (st->codec->has_b_frames &&
 842        avpriv_h264_has_num_reorder_frames(st->codec) == st->codec->has_b_frames)
 843         return 1;
 844 #endif
 845     if (st->codec->has_b_frames<3)
 846         return st->nb_decoded_frames >= 7;
 847     else if (st->codec->has_b_frames<4)
 848         return st->nb_decoded_frames >= 18;
 849     else
 850         return st->nb_decoded_frames >= 20;
 851 }
 852
 853 static AVPacketList *get_next_pkt(AVFormatContext *s, AVStream *st, AVPacketList *pktl)
 854 {
 855     if (pktl->next)
 856         return pktl->next;
 857     if (pktl == s->internal->packet_buffer_end)
 858         return s->internal->parse_queue;
 859     return NULL;
 860 }
 861
 862 static int64_t select_from_pts_buffer(AVStream *st, int64_t *pts_buffer, int64_t dts) {
 863     int onein_oneout = st->codec->codec_id != AV_CODEC_ID_H264 &&
 864                        st->codec->codec_id != AV_CODEC_ID_HEVC;
 865
 866     if(!onein_oneout) {
 867         int delay = st->codec->has_b_frames;
 868         int i;
 869
 870         if (dts == AV_NOPTS_VALUE) {
 871             int64_t best_score = INT64_MAX;
 872             for (i = 0; i<delay; i++) {
 873                 if (st->pts_reorder_error_count[i]) {
 874                     int64_t score = st->pts_reorder_error[i] / st->pts_reorder_error_count[i];
 875                     if (score < best_score) {
 876                         best_score = score;
 877                         dts = pts_buffer[i];
 878                     }
 879                 }
 880             }
 881         } else {
 882             for (i = 0; i<delay; i++) {
 883                 if (pts_buffer[i] != AV_NOPTS_VALUE) {
 884                     int64_t diff =  FFABS(pts_buffer[i] - dts)
 885                                     + (uint64_t)st->pts_reorder_error[i];
 886                     diff = FFMAX(diff, st->pts_reorder_error[i]);
 887                     st->pts_reorder_error[i] = diff;
 888                     st->pts_reorder_error_count[i]++;
 889                     if (st->pts_reorder_error_count[i] > 250) {
 890                         st->pts_reorder_error[i] >>= 1;
 891                         st->pts_reorder_error_count[i] >>= 1;
 892                     }
 893                 }
 894             }
 895         }
 896     }
 897
 898     if (dts == AV_NOPTS_VALUE)
 899         dts = pts_buffer[0];
 900
 901     return dts;
 902 }
 903
 904 static void update_initial_timestamps(AVFormatContext *s, int stream_index,
 905                                       int64_t dts, int64_t pts, AVPacket *pkt)
 906 {
 907     AVStream *st       = s->streams[stream_index];
 908     AVPacketList *pktl = s->internal->packet_buffer ? s->internal->packet_buffer : s->internal->parse_queue;
 909     int64_t pts_buffer[MAX_REORDER_DELAY+1];
 910     int64_t shift;
 911     int i, delay;
 912
 913     if (st->first_dts != AV_NOPTS_VALUE ||
 914         dts           == AV_NOPTS_VALUE ||
 915         st->cur_dts   == AV_NOPTS_VALUE ||
 916         is_relative(dts))
 917         return;
 918
 919     delay         = st->codec->has_b_frames;
 920     st->first_dts = dts - (st->cur_dts - RELATIVE_TS_BASE);
 921     st->cur_dts   = dts;
 922     shift         = st->first_dts - RELATIVE_TS_BASE;
 923
 924     for (i = 0; i<MAX_REORDER_DELAY+1; i++)
 925         pts_buffer[i] = AV_NOPTS_VALUE;
 926
 927     if (is_relative(pts))
 928         pts += shift;
 929
 930     for (; pktl; pktl = get_next_pkt(s, st, pktl)) {
 931         if (pktl->pkt.stream_index != stream_index)
 932             continue;
 933         if (is_relative(pktl->pkt.pts))
 934             pktl->pkt.pts += shift;
 935
 936         if (is_relative(pktl->pkt.dts))
 937             pktl->pkt.dts += shift;
 938
 939         if (st->start_time == AV_NOPTS_VALUE && pktl->pkt.pts != AV_NOPTS_VALUE)
 940             st->start_time = pktl->pkt.pts;
 941
 942         if (pktl->pkt.pts != AV_NOPTS_VALUE && delay <= MAX_REORDER_DELAY && has_decode_delay_been_guessed(st)) {
 943             pts_buffer[0] = pktl->pkt.pts;
 944             for (i = 0; i<delay && pts_buffer[i] > pts_buffer[i + 1]; i++)
 945                 FFSWAP(int64_t, pts_buffer[i], pts_buffer[i + 1]);
 946
 947             pktl->pkt.dts = select_from_pts_buffer(st, pts_buffer, pktl->pkt.dts);
 948         }
 949     }
 950
 951     if (st->start_time == AV_NOPTS_VALUE)
 952         st->start_time = pts;
 953 }
 954
 955 static void update_initial_durations(AVFormatContext *s, AVStream *st,
 956                                      int stream_index, int duration)
 957 {
 958     AVPacketList *pktl = s->internal->packet_buffer ? s->internal->packet_buffer : s->internal->parse_queue;
 959     int64_t cur_dts    = RELATIVE_TS_BASE;
 960
 961     if (st->first_dts != AV_NOPTS_VALUE) {
 962         if (st->update_initial_durations_done)
 963             return;
 964         st->update_initial_durations_done = 1;
 965         cur_dts = st->first_dts;
 966         for (; pktl; pktl = get_next_pkt(s, st, pktl)) {
 967             if (pktl->pkt.stream_index == stream_index) {
 968                 if (pktl->pkt.pts != pktl->pkt.dts  ||
 969                     pktl->pkt.dts != AV_NOPTS_VALUE ||
 970                     pktl->pkt.duration)
 971                     break;
 972                 cur_dts -= duration;
 973             }
 974         }
 975         if (pktl && pktl->pkt.dts != st->first_dts) {
 976             av_log(s, AV_LOG_DEBUG, "first_dts %s not matching first dts %s (pts %s, duration %"PRId64") in the queue\n",
 977                    av_ts2str(st->first_dts), av_ts2str(pktl->pkt.dts), av_ts2str(pktl->pkt.pts), pktl->pkt.duration);
 978             return;
 979         }
 980         if (!pktl) {
 981             av_log(s, AV_LOG_DEBUG, "first_dts %s but no packet with dts in the queue\n", av_ts2str(st->first_dts));
 982             return;
 983         }
 984         pktl          = s->internal->packet_buffer ? s->internal->packet_buffer : s->internal->parse_queue;
 985         st->first_dts = cur_dts;
 986     } else if (st->cur_dts != RELATIVE_TS_BASE)
 987         return;
 988
 989     for (; pktl; pktl = get_next_pkt(s, st, pktl)) {
 990         if (pktl->pkt.stream_index != stream_index)
 991             continue;
 992         if (pktl->pkt.pts == pktl->pkt.dts  &&
 993             (pktl->pkt.dts == AV_NOPTS_VALUE || pktl->pkt.dts == st->first_dts) &&
 994             !pktl->pkt.duration) {
 995             pktl->pkt.dts = cur_dts;
 996             if (!st->codec->has_b_frames)
 997                 pktl->pkt.pts = cur_dts;
 998 //            if (st->codec->codec_type != AVMEDIA_TYPE_AUDIO)
 999                 pktl->pkt.duration = duration;
1000         } else
1001             break;
1002         cur_dts = pktl->pkt.dts + pktl->pkt.duration;
1003     }
1004     if (!pktl)
1005         st->cur_dts = cur_dts;
1006 }
1007
1008 static void compute_pkt_fields(AVFormatContext *s, AVStream *st,
1009                                AVCodecParserContext *pc, AVPacket *pkt,
1010                                int64_t next_dts, int64_t next_pts)
1011 {
1012     int num, den, presentation_delayed, delay, i;
1013     int64_t offset;
1014     AVRational duration;
1015     int onein_oneout = st->codec->codec_id != AV_CODEC_ID_H264 &&
1016                        st->codec->codec_id != AV_CODEC_ID_HEVC;
1017
1018     if (s->flags & AVFMT_FLAG_NOFILLIN)
1019         return;
1020
1021     if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO && pkt->dts != AV_NOPTS_VALUE) {
1022         if (pkt->dts == pkt->pts && st->last_dts_for_order_check != AV_NOPTS_VALUE) {
1023             if (st->last_dts_for_order_check <= pkt->dts) {
1024                 st->dts_ordered++;
1025             } else {
1026                 av_log(s, st->dts_misordered ? AV_LOG_DEBUG : AV_LOG_WARNING,
1027                        "DTS %"PRIi64" < %"PRIi64" out of order\n",
1028                        pkt->dts,
1029                        st->last_dts_for_order_check);
1030                 st->dts_misordered++;
1031             }
1032             if (st->dts_ordered + st->dts_misordered > 250) {
1033                 st->dts_ordered    >>= 1;
1034                 st->dts_misordered >>= 1;
1035             }
1036         }
1037
1038         st->last_dts_for_order_check = pkt->dts;
1039         if (st->dts_ordered < 8*st->dts_misordered && pkt->dts == pkt->pts)
1040             pkt->dts = AV_NOPTS_VALUE;
1041     }
1042
1043     if ((s->flags & AVFMT_FLAG_IGNDTS) && pkt->pts != AV_NOPTS_VALUE)
1044         pkt->dts = AV_NOPTS_VALUE;
1045
1046     if (pc && pc->pict_type == AV_PICTURE_TYPE_B
1047         && !st->codec->has_b_frames)
1048         //FIXME Set low_delay = 0 when has_b_frames = 1
1049         st->codec->has_b_frames = 1;
1050
1051     /* do we have a video B-frame ? */
1052     delay = st->codec->has_b_frames;
1053     presentation_delayed = 0;
1054
1055     /* XXX: need has_b_frame, but cannot get it if the codec is
1056      *  not initialized */
1057     if (delay &&
1058         pc && pc->pict_type != AV_PICTURE_TYPE_B)
1059         presentation_delayed = 1;
1060
1061     if (pkt->pts != AV_NOPTS_VALUE && pkt->dts != AV_NOPTS_VALUE &&
1062         st->pts_wrap_bits < 63 &&
1063         pkt->dts - (1LL << (st->pts_wrap_bits - 1)) > pkt->pts) {
1064         if (is_relative(st->cur_dts) || pkt->dts - (1LL<<(st->pts_wrap_bits - 1)) > st->cur_dts) {
1065             pkt->dts -= 1LL << st->pts_wrap_bits;
1066         } else
1067             pkt->pts += 1LL << st->pts_wrap_bits;
1068     }
1069
1070     /* Some MPEG-2 in MPEG-PS lack dts (issue #171 / input_file.mpg).
1071      * We take the conservative approach and discard both.
1072      * Note: If this is misbehaving for an H.264 file, then possibly
1073      * presentation_delayed is not set correctly. */
1074     if (delay == 1 && pkt->dts == pkt->pts &&
1075         pkt->dts != AV_NOPTS_VALUE && presentation_delayed) {
1076         av_log(s, AV_LOG_DEBUG, "invalid dts/pts combination %"PRIi64"\n", pkt->dts);
1077         if (    strcmp(s->iformat->name, "mov,mp4,m4a,3gp,3g2,mj2")
1078              && strcmp(s->iformat->name, "flv")) // otherwise we discard correct timestamps for vc1-wmapro.ism
1079             pkt->dts = AV_NOPTS_VALUE;
1080     }
1081
1082     duration = av_mul_q((AVRational) {pkt->duration, 1}, st->time_base);
1083     if (pkt->duration == 0) {
1084         ff_compute_frame_duration(s, &num, &den, st, pc, pkt);
1085         if (den && num) {
1086             duration = (AVRational) {num, den};
1087             pkt->duration = av_rescale_rnd(1,
1088                                            num * (int64_t) st->time_base.den,
1089                                            den * (int64_t) st->time_base.num,
1090                                            AV_ROUND_DOWN);
1091         }
1092     }
1093
1094     if (pkt->duration != 0 && (s->internal->packet_buffer || s->internal->parse_queue))
1095         update_initial_durations(s, st, pkt->stream_index, pkt->duration);
1096
1097     /* Correct timestamps with byte offset if demuxers only have timestamps
1098      * on packet boundaries */
1099     if (pc && st->need_parsing == AVSTREAM_PARSE_TIMESTAMPS && pkt->size) {
1100         /* this will estimate bitrate based on this frame's duration and size */
1101         offset = av_rescale(pc->offset, pkt->duration, pkt->size);
1102         if (pkt->pts != AV_NOPTS_VALUE)
1103             pkt->pts += offset;
1104         if (pkt->dts != AV_NOPTS_VALUE)
1105             pkt->dts += offset;
1106     }
1107
1108     /* This may be redundant, but it should not hurt. */
1109     if (pkt->dts != AV_NOPTS_VALUE &&
1110         pkt->pts != AV_NOPTS_VALUE &&
1111         pkt->pts > pkt->dts)
1112         presentation_delayed = 1;
1113
1114     if (s->debug & FF_FDEBUG_TS)
1115         av_log(s, AV_LOG_TRACE,
1116             "IN delayed:%d pts:%s, dts:%s cur_dts:%s st:%d pc:%p duration:%"PRId64" delay:%d onein_oneout:%d\n",
1117             presentation_delayed, av_ts2str(pkt->pts), av_ts2str(pkt->dts), av_ts2str(st->cur_dts),
1118             pkt->stream_index, pc, pkt->duration, delay, onein_oneout);
1119
1120     /* Interpolate PTS and DTS if they are not present. We skip H264
1121      * currently because delay and has_b_frames are not reliably set. */
1122     if ((delay == 0 || (delay == 1 && pc)) &&
1123         onein_oneout) {
1124         if (presentation_delayed) {
1125             /* DTS = decompression timestamp */
1126             /* PTS = presentation timestamp */
1127             if (pkt->dts == AV_NOPTS_VALUE)
1128                 pkt->dts = st->last_IP_pts;
1129             update_initial_timestamps(s, pkt->stream_index, pkt->dts, pkt->pts, pkt);
1130             if (pkt->dts == AV_NOPTS_VALUE)
1131                 pkt->dts = st->cur_dts;
1132
1133             /* This is tricky: the dts must be incremented by the duration
1134              * of the frame we are displaying, i.e. the last I- or P-frame. */
1135             if (st->last_IP_duration == 0)
1136                 st->last_IP_duration = pkt->duration;
1137             if (pkt->dts != AV_NOPTS_VALUE)
1138                 st->cur_dts = pkt->dts + st->last_IP_duration;
1139             if (pkt->dts != AV_NOPTS_VALUE &&
1140                 pkt->pts == AV_NOPTS_VALUE &&
1141                 st->last_IP_duration > 0 &&
1142                 ((uint64_t)st->cur_dts - (uint64_t)next_dts + 1) <= 2 &&
1143                 next_dts != next_pts &&
1144                 next_pts != AV_NOPTS_VALUE)
1145                 pkt->pts = next_dts;
1146
1147             st->last_IP_duration = pkt->duration;
1148             st->last_IP_pts      = pkt->pts;
1149             /* Cannot compute PTS if not present (we can compute it only
1150              * by knowing the future. */
1151         } else if (pkt->pts != AV_NOPTS_VALUE ||
1152                    pkt->dts != AV_NOPTS_VALUE ||
1153                    pkt->duration                ) {
1154
1155             /* presentation is not delayed : PTS and DTS are the same */
1156             if (pkt->pts == AV_NOPTS_VALUE)
1157                 pkt->pts = pkt->dts;
1158             update_initial_timestamps(s, pkt->stream_index, pkt->pts,
1159                                       pkt->pts, pkt);
1160             if (pkt->pts == AV_NOPTS_VALUE)
1161                 pkt->pts = st->cur_dts;
1162             pkt->dts = pkt->pts;
1163             if (pkt->pts != AV_NOPTS_VALUE)
1164                 st->cur_dts = av_add_stable(st->time_base, pkt->pts, duration, 1);
1165         }
1166     }
1167
1168     if (pkt->pts != AV_NOPTS_VALUE && delay <= MAX_REORDER_DELAY && has_decode_delay_been_guessed(st)) {
1169         st->pts_buffer[0] = pkt->pts;
1170         for (i = 0; i<delay && st->pts_buffer[i] > st->pts_buffer[i + 1]; i++)
1171             FFSWAP(int64_t, st->pts_buffer[i], st->pts_buffer[i + 1]);
1172
1173         pkt->dts = select_from_pts_buffer(st, st->pts_buffer, pkt->dts);
1174     }
1175     // We skipped it above so we try here.
1176     if (!onein_oneout)
1177         // This should happen on the first packet
1178         update_initial_timestamps(s, pkt->stream_index, pkt->dts, pkt->pts, pkt);
1179     if (pkt->dts > st->cur_dts)
1180         st->cur_dts = pkt->dts;
1181
1182     if (s->debug & FF_FDEBUG_TS)
1183         av_log(s, AV_LOG_TRACE, "OUTdelayed:%d/%d pts:%s, dts:%s cur_dts:%s\n",
1184             presentation_delayed, delay, av_ts2str(pkt->pts), av_ts2str(pkt->dts), av_ts2str(st->cur_dts));
1185
1186     /* update flags */
1187     if (is_intra_only(st->codec))
1188         pkt->flags |= AV_PKT_FLAG_KEY;
1189 #if FF_API_CONVERGENCE_DURATION
1190 FF_DISABLE_DEPRECATION_WARNINGS
1191     if (pc)
1192         pkt->convergence_duration = pc->convergence_duration;
1193 FF_ENABLE_DEPRECATION_WARNINGS
1194 #endif
1195 }
1196
1197 static void free_packet_buffer(AVPacketList **pkt_buf, AVPacketList **pkt_buf_end)
1198 {
1199     while (*pkt_buf) {
1200         AVPacketList *pktl = *pkt_buf;
1201         *pkt_buf = pktl->next;
1202         av_packet_unref(&pktl->pkt);
1203         av_freep(&pktl);
1204     }
1205     *pkt_buf_end = NULL;
1206 }
1207
1208 /**
1209  * Parse a packet, add all split parts to parse_queue.
1210  *
1211  * @param pkt Packet to parse, NULL when flushing the parser at end of stream.
1212  */
1213 static int parse_packet(AVFormatContext *s, AVPacket *pkt, int stream_index)
1214 {
1215     AVPacket out_pkt = { 0 }, flush_pkt = { 0 };
1216     AVStream *st = s->streams[stream_index];
1217     uint8_t *data = pkt ? pkt->data : NULL;
1218     int size      = pkt ? pkt->size : 0;
1219     int ret = 0, got_output = 0;
1220
1221     if (!pkt) {
1222         av_init_packet(&flush_pkt);
1223         pkt        = &flush_pkt;
1224         got_output = 1;
1225     } else if (!size && st->parser->flags & PARSER_FLAG_COMPLETE_FRAMES) {
1226         // preserve 0-size sync packets
1227         compute_pkt_fields(s, st, st->parser, pkt, AV_NOPTS_VALUE, AV_NOPTS_VALUE);
1228     }
1229
1230     while (size > 0 || (pkt == &flush_pkt && got_output)) {
1231         int len;
1232         int64_t next_pts = pkt->pts;
1233         int64_t next_dts = pkt->dts;
1234
1235         av_init_packet(&out_pkt);
1236         len = av_parser_parse2(st->parser, st->codec,
1237                                &out_pkt.data, &out_pkt.size, data, size,
1238                                pkt->pts, pkt->dts, pkt->pos);
1239
1240         pkt->pts = pkt->dts = AV_NOPTS_VALUE;
1241         pkt->pos = -1;
1242         /* increment read pointer */
1243         data += len;
1244         size -= len;
1245
1246         got_output = !!out_pkt.size;
1247
1248         if (!out_pkt.size)
1249             continue;
1250
1251         if (pkt->side_data) {
1252             out_pkt.side_data       = pkt->side_data;
1253             out_pkt.side_data_elems = pkt->side_data_elems;
1254             pkt->side_data          = NULL;
1255             pkt->side_data_elems    = 0;
1256         }
1257
1258         /* set the duration */
1259         out_pkt.duration = (st->parser->flags & PARSER_FLAG_COMPLETE_FRAMES) ? pkt->duration : 0;
1260         if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
1261             if (st->codec->sample_rate > 0) {
1262                 out_pkt.duration =
1263                     av_rescale_q_rnd(st->parser->duration,
1264                                      (AVRational) { 1, st->codec->sample_rate },
1265                                      st->time_base,
1266                                      AV_ROUND_DOWN);
1267             }
1268         }
1269
1270         out_pkt.stream_index = st->index;
1271         out_pkt.pts          = st->parser->pts;
1272         out_pkt.dts          = st->parser->dts;
1273         out_pkt.pos          = st->parser->pos;
1274
1275         if (st->need_parsing == AVSTREAM_PARSE_FULL_RAW)
1276             out_pkt.pos = st->parser->frame_offset;
1277
1278         if (st->parser->key_frame == 1 ||
1279             (st->parser->key_frame == -1 &&
1280              st->parser->pict_type == AV_PICTURE_TYPE_I))
1281             out_pkt.flags |= AV_PKT_FLAG_KEY;
1282
1283         if (st->parser->key_frame == -1 && st->parser->pict_type ==AV_PICTURE_TYPE_NONE && (pkt->flags&AV_PKT_FLAG_KEY))
1284             out_pkt.flags |= AV_PKT_FLAG_KEY;
1285
1286         compute_pkt_fields(s, st, st->parser, &out_pkt, next_dts, next_pts);
1287
1288         ret = add_to_pktbuf(&s->internal->parse_queue, &out_pkt,
1289                             &s->internal->parse_queue_end, 1);
1290         av_packet_unref(&out_pkt);
1291         if (ret < 0)
1292             goto fail;
1293     }
1294
1295     /* end of the stream => close and free the parser */
1296     if (pkt == &flush_pkt) {
1297         av_parser_close(st->parser);
1298         st->parser = NULL;
1299     }
1300
1301 fail:
1302     av_packet_unref(pkt);
1303     return ret;
1304 }
1305
1306 static int read_from_packet_buffer(AVPacketList **pkt_buffer,
1307                                    AVPacketList **pkt_buffer_end,
1308                                    AVPacket      *pkt)
1309 {
1310     AVPacketList *pktl;
1311     av_assert0(*pkt_buffer);
1312     pktl        = *pkt_buffer;
1313     *pkt        = pktl->pkt;
1314     *pkt_buffer = pktl->next;
1315     if (!pktl->next)
1316         *pkt_buffer_end = NULL;
1317     av_freep(&pktl);
1318     return 0;
1319 }
1320
1321 static int64_t ts_to_samples(AVStream *st, int64_t ts)
1322 {
1323     return av_rescale(ts, st->time_base.num * st->codec->sample_rate, st->time_base.den);
1324 }
1325
1326 static int read_frame_internal(AVFormatContext *s, AVPacket *pkt)
1327 {
1328     int ret = 0, i, got_packet = 0;
1329     AVDictionary *metadata = NULL;
1330
1331     av_init_packet(pkt);
1332
1333     while (!got_packet && !s->internal->parse_queue) {
1334         AVStream *st;
1335         AVPacket cur_pkt;
1336
1337         /* read next packet */
1338         ret = ff_read_packet(s, &cur_pkt);
1339         if (ret < 0) {
1340             if (ret == AVERROR(EAGAIN))
1341                 return ret;
1342             /* flush the parsers */
1343             for (i = 0; i < s->nb_streams; i++) {
1344                 st = s->streams[i];
1345                 if (st->parser && st->need_parsing)
1346                     parse_packet(s, NULL, st->index);
1347             }
1348             /* all remaining packets are now in parse_queue =>
1349              * really terminate parsing */
1350             break;
1351         }
1352         ret = 0;
1353         st  = s->streams[cur_pkt.stream_index];
1354
1355         if (cur_pkt.pts != AV_NOPTS_VALUE &&
1356             cur_pkt.dts != AV_NOPTS_VALUE &&
1357             cur_pkt.pts < cur_pkt.dts) {
1358             av_log(s, AV_LOG_WARNING,
1359                    "Invalid timestamps stream=%d, pts=%s, dts=%s, size=%d\n",
1360                    cur_pkt.stream_index,
1361                    av_ts2str(cur_pkt.pts),
1362                    av_ts2str(cur_pkt.dts),
1363                    cur_pkt.size);
1364         }
1365         if (s->debug & FF_FDEBUG_TS)
1366             av_log(s, AV_LOG_DEBUG,
1367                    "ff_read_packet stream=%d, pts=%s, dts=%s, size=%d, duration=%"PRId64", flags=%d\n",
1368                    cur_pkt.stream_index,
1369                    av_ts2str(cur_pkt.pts),
1370                    av_ts2str(cur_pkt.dts),
1371                    cur_pkt.size, cur_pkt.duration, cur_pkt.flags);
1372
1373         if (st->need_parsing && !st->parser && !(s->flags & AVFMT_FLAG_NOPARSE)) {
1374             st->parser = av_parser_init(st->codec->codec_id);
1375             if (!st->parser) {
1376                 av_log(s, AV_LOG_VERBOSE, "parser not found for codec "
1377                        "%s, packets or times may be invalid.\n",
1378                        avcodec_get_name(st->codec->codec_id));
1379                 /* no parser available: just output the raw packets */
1380                 st->need_parsing = AVSTREAM_PARSE_NONE;
1381             } else if (st->need_parsing == AVSTREAM_PARSE_HEADERS)
1382                 st->parser->flags |= PARSER_FLAG_COMPLETE_FRAMES;
1383             else if (st->need_parsing == AVSTREAM_PARSE_FULL_ONCE)
1384                 st->parser->flags |= PARSER_FLAG_ONCE;
1385             else if (st->need_parsing == AVSTREAM_PARSE_FULL_RAW)
1386                 st->parser->flags |= PARSER_FLAG_USE_CODEC_TS;
1387         }
1388
1389         if (!st->need_parsing || !st->parser) {
1390             /* no parsing needed: we just output the packet as is */
1391             *pkt = cur_pkt;
1392             compute_pkt_fields(s, st, NULL, pkt, AV_NOPTS_VALUE, AV_NOPTS_VALUE);
1393             if ((s->iformat->flags & AVFMT_GENERIC_INDEX) &&
1394                 (pkt->flags & AV_PKT_FLAG_KEY) && pkt->dts != AV_NOPTS_VALUE) {
1395                 ff_reduce_index(s, st->index);
1396                 av_add_index_entry(st, pkt->pos, pkt->dts,
1397                                    0, 0, AVINDEX_KEYFRAME);
1398             }
1399             got_packet = 1;
1400         } else if (st->discard < AVDISCARD_ALL) {
1401             if ((ret = parse_packet(s, &cur_pkt, cur_pkt.stream_index)) < 0)
1402                 return ret;
1403         } else {
1404             /* free packet */
1405             av_packet_unref(&cur_pkt);
1406         }
1407         if (pkt->flags & AV_PKT_FLAG_KEY)
1408             st->skip_to_keyframe = 0;
1409         if (st->skip_to_keyframe) {
1410             av_packet_unref(&cur_pkt);
1411             if (got_packet) {
1412                 *pkt = cur_pkt;
1413             }
1414             got_packet = 0;
1415         }
1416     }
1417
1418     if (!got_packet && s->internal->parse_queue)
1419         ret = read_from_packet_buffer(&s->internal->parse_queue, &s->internal->parse_queue_end, pkt);
1420
1421     if (ret >= 0) {
1422         AVStream *st = s->streams[pkt->stream_index];
1423         int discard_padding = 0;
1424         if (st->first_discard_sample && pkt->pts != AV_NOPTS_VALUE) {
1425             int64_t pts = pkt->pts - (is_relative(pkt->pts) ? RELATIVE_TS_BASE : 0);
1426             int64_t sample = ts_to_samples(st, pts);
1427             int duration = ts_to_samples(st, pkt->duration);
1428             int64_t end_sample = sample + duration;
1429             if (duration > 0 && end_sample >= st->first_discard_sample &&
1430                 sample < st->last_discard_sample)
1431                 discard_padding = FFMIN(end_sample - st->first_discard_sample, duration);
1432         }
1433         if (st->start_skip_samples && (pkt->pts == 0 || pkt->pts == RELATIVE_TS_BASE))
1434             st->skip_samples = st->start_skip_samples;
1435         if (st->skip_samples || discard_padding) {
1436             uint8_t *p = av_packet_new_side_data(pkt, AV_PKT_DATA_SKIP_SAMPLES, 10);
1437             if (p) {
1438                 AV_WL32(p, st->skip_samples);
1439                 AV_WL32(p + 4, discard_padding);
1440                 av_log(s, AV_LOG_DEBUG, "demuxer injecting skip %d / discard %d\n", st->skip_samples, discard_padding);
1441             }
1442             st->skip_samples = 0;
1443         }
1444
1445         if (st->inject_global_side_data) {
1446             for (i = 0; i < st->nb_side_data; i++) {
1447                 AVPacketSideData *src_sd = &st->side_data[i];
1448                 uint8_t *dst_data;
1449
1450                 if (av_packet_get_side_data(pkt, src_sd->type, NULL))
1451                     continue;
1452
1453                 dst_data = av_packet_new_side_data(pkt, src_sd->type, src_sd->size);
1454                 if (!dst_data) {
1455                     av_log(s, AV_LOG_WARNING, "Could not inject global side data\n");
1456                     continue;
1457                 }
1458
1459                 memcpy(dst_data, src_sd->data, src_sd->size);
1460             }
1461             st->inject_global_side_data = 0;
1462         }
1463
1464         if (!(s->flags & AVFMT_FLAG_KEEP_SIDE_DATA))
1465             av_packet_merge_side_data(pkt);
1466     }
1467
1468     av_opt_get_dict_val(s, "metadata", AV_OPT_SEARCH_CHILDREN, &metadata);
1469     if (metadata) {
1470         s->event_flags |= AVFMT_EVENT_FLAG_METADATA_UPDATED;
1471         av_dict_copy(&s->metadata, metadata, 0);
1472         av_dict_free(&metadata);
1473         av_opt_set_dict_val(s, "metadata", NULL, AV_OPT_SEARCH_CHILDREN);
1474     }
1475
1476     if (s->debug & FF_FDEBUG_TS)
1477         av_log(s, AV_LOG_DEBUG,
1478                "read_frame_internal stream=%d, pts=%s, dts=%s, "
1479                "size=%d, duration=%"PRId64", flags=%d\n",
1480                pkt->stream_index,
1481                av_ts2str(pkt->pts),
1482                av_ts2str(pkt->dts),
1483                pkt->size, pkt->duration, pkt->flags);
1484
1485     return ret;
1486 }
1487
1488 int av_read_frame(AVFormatContext *s, AVPacket *pkt)
1489 {
1490     const int genpts = s->flags & AVFMT_FLAG_GENPTS;
1491     int eof = 0;
1492     int ret;
1493     AVStream *st;
1494
1495     if (!genpts) {
1496         ret = s->internal->packet_buffer
1497               ? read_from_packet_buffer(&s->internal->packet_buffer,
1498                                         &s->internal->packet_buffer_end, pkt)
1499               : read_frame_internal(s, pkt);
1500         if (ret < 0)
1501             return ret;
1502         goto return_packet;
1503     }
1504
1505     for (;;) {
1506         AVPacketList *pktl = s->internal->packet_buffer;
1507
1508         if (pktl) {
1509             AVPacket *next_pkt = &pktl->pkt;
1510
1511             if (next_pkt->dts != AV_NOPTS_VALUE) {
1512                 int wrap_bits = s->streams[next_pkt->stream_index]->pts_wrap_bits;
1513                 // last dts seen for this stream. if any of packets following
1514                 // current one had no dts, we will set this to AV_NOPTS_VALUE.
1515                 int64_t last_dts = next_pkt->dts;
1516                 while (pktl && next_pkt->pts == AV_NOPTS_VALUE) {
1517                     if (pktl->pkt.stream_index == next_pkt->stream_index &&
1518                         (av_compare_mod(next_pkt->dts, pktl->pkt.dts, 2LL << (wrap_bits - 1)) < 0)) {
1519                         if (av_compare_mod(pktl->pkt.pts, pktl->pkt.dts, 2LL << (wrap_bits - 1))) {
1520                             // not B-frame
1521                             next_pkt->pts = pktl->pkt.dts;
1522                         }
1523                         if (last_dts != AV_NOPTS_VALUE) {
1524                             // Once last dts was set to AV_NOPTS_VALUE, we don't change it.
1525                             last_dts = pktl->pkt.dts;
1526                         }
1527                     }
1528                     pktl = pktl->next;
1529                 }
1530                 if (eof && next_pkt->pts == AV_NOPTS_VALUE && last_dts != AV_NOPTS_VALUE) {
1531                     // Fixing the last reference frame had none pts issue (For MXF etc).
1532                     // We only do this when
1533                     // 1. eof.
1534                     // 2. we are not able to resolve a pts value for current packet.
1535                     // 3. the packets for this stream at the end of the files had valid dts.
1536                     next_pkt->pts = last_dts + next_pkt->duration;
1537                 }
1538                 pktl = s->internal->packet_buffer;
1539             }
1540
1541             /* read packet from packet buffer, if there is data */
1542             st = s->streams[next_pkt->stream_index];
1543             if (!(next_pkt->pts == AV_NOPTS_VALUE && st->discard < AVDISCARD_ALL &&
1544                   next_pkt->dts != AV_NOPTS_VALUE && !eof)) {
1545                 ret = read_from_packet_buffer(&s->internal->packet_buffer,
1546                                                &s->internal->packet_buffer_end, pkt);
1547                 goto return_packet;
1548             }
1549         }
1550
1551         ret = read_frame_internal(s, pkt);
1552         if (ret < 0) {
1553             if (pktl && ret != AVERROR(EAGAIN)) {
1554                 eof = 1;
1555                 continue;
1556             } else
1557                 return ret;
1558         }
1559
1560         ret = add_to_pktbuf(&s->internal->packet_buffer, pkt,
1561                             &s->internal->packet_buffer_end, 1);
1562         av_packet_unref(pkt);
1563         if (ret < 0)
1564             return ret;
1565     }
1566
1567 return_packet:
1568
1569     st = s->streams[pkt->stream_index];
1570     if ((s->iformat->flags & AVFMT_GENERIC_INDEX) && pkt->flags & AV_PKT_FLAG_KEY) {
1571         ff_reduce_index(s, st->index);
1572         av_add_index_entry(st, pkt->pos, pkt->dts, 0, 0, AVINDEX_KEYFRAME);
1573     }
1574
1575     if (is_relative(pkt->dts))
1576         pkt->dts -= RELATIVE_TS_BASE;
1577     if (is_relative(pkt->pts))
1578         pkt->pts -= RELATIVE_TS_BASE;
1579
1580     return ret;
1581 }
1582
1583 /* XXX: suppress the packet queue */
1584 static void flush_packet_queue(AVFormatContext *s)
1585 {
1586     if (!s->internal)
1587         return;
1588     free_packet_buffer(&s->internal->parse_queue,       &s->internal->parse_queue_end);
1589     free_packet_buffer(&s->internal->packet_buffer,     &s->internal->packet_buffer_end);
1590     free_packet_buffer(&s->internal->raw_packet_buffer, &s->internal->raw_packet_buffer_end);
1591
1592     s->internal->raw_packet_buffer_remaining_size = RAW_PACKET_BUFFER_SIZE;
1593 }
1594
1595 /*******************************************************/
1596 /* seek support */
1597
1598 int av_find_default_stream_index(AVFormatContext *s)
1599 {
1600     int i;
1601     AVStream *st;
1602     int best_stream = 0;
1603     int best_score = INT_MIN;
1604
1605     if (s->nb_streams <= 0)
1606         return -1;
1607     for (i = 0; i < s->nb_streams; i++) {
1608         int score = 0;
1609         st = s->streams[i];
1610         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
1611             if (st->disposition & AV_DISPOSITION_ATTACHED_PIC)
1612                 score -= 400;
1613             if (st->codec->width && st->codec->height)
1614                 score += 50;
1615             score+= 25;
1616         }
1617         if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
1618             if (st->codec->sample_rate)
1619                 score += 50;
1620         }
1621         if (st->codec_info_nb_frames)
1622             score += 12;
1623
1624         if (st->discard != AVDISCARD_ALL)
1625             score += 200;
1626
1627         if (score > best_score) {
1628             best_score = score;
1629             best_stream = i;
1630         }
1631     }
1632     return best_stream;
1633 }
1634
1635 /** Flush the frame reader. */
1636 void ff_read_frame_flush(AVFormatContext *s)
1637 {
1638     AVStream *st;
1639     int i, j;
1640
1641     flush_packet_queue(s);
1642
1643     /* Reset read state for each stream. */
1644     for (i = 0; i < s->nb_streams; i++) {
1645         st = s->streams[i];
1646
1647         if (st->parser) {
1648             av_parser_close(st->parser);
1649             st->parser = NULL;
1650         }
1651         st->last_IP_pts = AV_NOPTS_VALUE;
1652         st->last_dts_for_order_check = AV_NOPTS_VALUE;
1653         if (st->first_dts == AV_NOPTS_VALUE)
1654             st->cur_dts = RELATIVE_TS_BASE;
1655         else
1656             /* We set the current DTS to an unspecified origin. */
1657             st->cur_dts = AV_NOPTS_VALUE;
1658
1659         st->probe_packets = MAX_PROBE_PACKETS;
1660
1661         for (j = 0; j < MAX_REORDER_DELAY + 1; j++)
1662             st->pts_buffer[j] = AV_NOPTS_VALUE;
1663
1664         if (s->internal->inject_global_side_data)
1665             st->inject_global_side_data = 1;
1666
1667         st->skip_samples = 0;
1668     }
1669 }
1670
1671 void ff_update_cur_dts(AVFormatContext *s, AVStream *ref_st, int64_t timestamp)
1672 {
1673     int i;
1674
1675     for (i = 0; i < s->nb_streams; i++) {
1676         AVStream *st = s->streams[i];
1677
1678         st->cur_dts =
1679             av_rescale(timestamp,
1680                        st->time_base.den * (int64_t) ref_st->time_base.num,
1681                        st->time_base.num * (int64_t) ref_st->time_base.den);
1682     }
1683 }
1684
1685 void ff_reduce_index(AVFormatContext *s, int stream_index)
1686 {
1687     AVStream *st             = s->streams[stream_index];
1688     unsigned int max_entries = s->max_index_size / sizeof(AVIndexEntry);
1689
1690     if ((unsigned) st->nb_index_entries >= max_entries) {
1691         int i;
1692         for (i = 0; 2 * i < st->nb_index_entries; i++)
1693             st->index_entries[i] = st->index_entries[2 * i];
1694         st->nb_index_entries = i;
1695     }
1696 }
1697
1698 int ff_add_index_entry(AVIndexEntry **index_entries,
1699                        int *nb_index_entries,
1700                        unsigned int *index_entries_allocated_size,
1701                        int64_t pos, int64_t timestamp,
1702                        int size, int distance, int flags)
1703 {
1704     AVIndexEntry *entries, *ie;
1705     int index;
1706
1707     if ((unsigned) *nb_index_entries + 1 >= UINT_MAX / sizeof(AVIndexEntry))
1708         return -1;
1709
1710     if (timestamp == AV_NOPTS_VALUE)
1711         return AVERROR(EINVAL);
1712
1713     if (size < 0 || size > 0x3FFFFFFF)
1714         return AVERROR(EINVAL);
1715
1716     if (is_relative(timestamp)) //FIXME this maintains previous behavior but we should shift by the correct offset once known
1717         timestamp -= RELATIVE_TS_BASE;
1718
1719     entries = av_fast_realloc(*index_entries,
1720                               index_entries_allocated_size,
1721                               (*nb_index_entries + 1) *
1722                               sizeof(AVIndexEntry));
1723     if (!entries)
1724         return -1;
1725
1726     *index_entries = entries;
1727
1728     index = ff_index_search_timestamp(*index_entries, *nb_index_entries,
1729                                       timestamp, AVSEEK_FLAG_ANY);
1730
1731     if (index < 0) {
1732         index = (*nb_index_entries)++;
1733         ie    = &entries[index];
1734         av_assert0(index == 0 || ie[-1].timestamp < timestamp);
1735     } else {
1736         ie = &entries[index];
1737         if (ie->timestamp != timestamp) {
1738             if (ie->timestamp <= timestamp)
1739                 return -1;
1740             memmove(entries + index + 1, entries + index,
1741                     sizeof(AVIndexEntry) * (*nb_index_entries - index));
1742             (*nb_index_entries)++;
1743         } else if (ie->pos == pos && distance < ie->min_distance)
1744             // do not reduce the distance
1745             distance = ie->min_distance;
1746     }
1747
1748     ie->pos          = pos;
1749     ie->timestamp    = timestamp;
1750     ie->min_distance = distance;
1751     ie->size         = size;
1752     ie->flags        = flags;
1753
1754     return index;
1755 }
1756
1757 int av_add_index_entry(AVStream *st, int64_t pos, int64_t timestamp,
1758                        int size, int distance, int flags)
1759 {
1760     timestamp = wrap_timestamp(st, timestamp);
1761     return ff_add_index_entry(&st->index_entries, &st->nb_index_entries,
1762                               &st->index_entries_allocated_size, pos,
1763                               timestamp, size, distance, flags);
1764 }
1765
1766 int ff_index_search_timestamp(const AVIndexEntry *entries, int nb_entries,
1767                               int64_t wanted_timestamp, int flags)
1768 {
1769     int a, b, m;
1770     int64_t timestamp;
1771
1772     a = -1;
1773     b = nb_entries;
1774
1775     // Optimize appending index entries at the end.
1776     if (b && entries[b - 1].timestamp < wanted_timestamp)
1777         a = b - 1;
1778
1779     while (b - a > 1) {
1780         m         = (a + b) >> 1;
1781         timestamp = entries[m].timestamp;
1782         if (timestamp >= wanted_timestamp)
1783             b = m;
1784         if (timestamp <= wanted_timestamp)
1785             a = m;
1786     }
1787     m = (flags & AVSEEK_FLAG_BACKWARD) ? a : b;
1788
1789     if (!(flags & AVSEEK_FLAG_ANY))
1790         while (m >= 0 && m < nb_entries &&
1791                !(entries[m].flags & AVINDEX_KEYFRAME))
1792             m += (flags & AVSEEK_FLAG_BACKWARD) ? -1 : 1;
1793
1794     if (m == nb_entries)
1795         return -1;
1796     return m;
1797 }
1798
1799 void ff_configure_buffers_for_index(AVFormatContext *s, int64_t time_tolerance)
1800 {
1801     int ist1, ist2;
1802     int64_t pos_delta = 0;
1803     int64_t skip = 0;
1804     //We could use URLProtocol flags here but as many user applications do not use URLProtocols this would be unreliable
1805     const char *proto = avio_find_protocol_name(s->filename);
1806
1807     if (!proto) {
1808         av_log(s, AV_LOG_INFO,
1809                "Protocol name not provided, cannot determine if input is local or "
1810                "a network protocol, buffers and access patterns cannot be configured "
1811                "optimally without knowing the protocol\n");
1812     }
1813
1814     if (proto && !(strcmp(proto, "file") && strcmp(proto, "pipe") && strcmp(proto, "cache")))
1815         return;
1816
1817     for (ist1 = 0; ist1 < s->nb_streams; ist1++) {
1818         AVStream *st1 = s->streams[ist1];
1819         for (ist2 = 0; ist2 < s->nb_streams; ist2++) {
1820             AVStream *st2 = s->streams[ist2];
1821             int i1, i2;
1822
1823             if (ist1 == ist2)
1824                 continue;
1825
1826             for (i1 = i2 = 0; i1 < st1->nb_index_entries; i1++) {
1827                 AVIndexEntry *e1 = &st1->index_entries[i1];
1828                 int64_t e1_pts = av_rescale_q(e1->timestamp, st1->time_base, AV_TIME_BASE_Q);
1829
1830                 skip = FFMAX(skip, e1->size);
1831                 for (; i2 < st2->nb_index_entries; i2++) {
1832                     AVIndexEntry *e2 = &st2->index_entries[i2];
1833                     int64_t e2_pts = av_rescale_q(e2->timestamp, st2->time_base, AV_TIME_BASE_Q);
1834                     if (e2_pts - e1_pts < time_tolerance)
1835                         continue;
1836                     pos_delta = FFMAX(pos_delta, e1->pos - e2->pos);
1837                     break;
1838                 }
1839             }
1840         }
1841     }
1842
1843     pos_delta *= 2;
1844     /* XXX This could be adjusted depending on protocol*/
1845     if (s->pb->buffer_size < pos_delta && pos_delta < (1<<24)) {
1846         av_log(s, AV_LOG_VERBOSE, "Reconfiguring buffers to size %"PRId64"\n", pos_delta);
1847         ffio_set_buf_size(s->pb, pos_delta);
1848         s->pb->short_seek_threshold = FFMAX(s->pb->short_seek_threshold, pos_delta/2);
1849     }
1850
1851     if (skip < (1<<23)) {
1852         s->pb->short_seek_threshold = FFMAX(s->pb->short_seek_threshold, skip);
1853     }
1854 }
1855
1856 int av_index_search_timestamp(AVStream *st, int64_t wanted_timestamp, int flags)
1857 {
1858     return ff_index_search_timestamp(st->index_entries, st->nb_index_entries,
1859                                      wanted_timestamp, flags);
1860 }
1861
1862 static int64_t ff_read_timestamp(AVFormatContext *s, int stream_index, int64_t *ppos, int64_t pos_limit,
1863                                  int64_t (*read_timestamp)(struct AVFormatContext *, int , int64_t *, int64_t ))
1864 {
1865     int64_t ts = read_timestamp(s, stream_index, ppos, pos_limit);
1866     if (stream_index >= 0)
1867         ts = wrap_timestamp(s->streams[stream_index], ts);
1868     return ts;
1869 }
1870
1871 int ff_seek_frame_binary(AVFormatContext *s, int stream_index,
1872                          int64_t target_ts, int flags)
1873 {
1874     AVInputFormat *avif = s->iformat;
1875     int64_t av_uninit(pos_min), av_uninit(pos_max), pos, pos_limit;
1876     int64_t ts_min, ts_max, ts;
1877     int index;
1878     int64_t ret;
1879     AVStream *st;
1880
1881     if (stream_index < 0)
1882         return -1;
1883
1884     av_log(s, AV_LOG_TRACE, "read_seek: %d %s\n", stream_index, av_ts2str(target_ts));
1885
1886     ts_max =
1887     ts_min = AV_NOPTS_VALUE;
1888     pos_limit = -1; // GCC falsely says it may be uninitialized.
1889
1890     st = s->streams[stream_index];
1891     if (st->index_entries) {
1892         AVIndexEntry *e;
1893
1894         /* FIXME: Whole function must be checked for non-keyframe entries in
1895          * index case, especially read_timestamp(). */
1896         index = av_index_search_timestamp(st, target_ts,
1897                                           flags | AVSEEK_FLAG_BACKWARD);
1898         index = FFMAX(index, 0);
1899         e     = &st->index_entries[index];
1900
1901         if (e->timestamp <= target_ts || e->pos == e->min_distance) {
1902             pos_min = e->pos;
1903             ts_min  = e->timestamp;
1904             av_log(s, AV_LOG_TRACE, "using cached pos_min=0x%"PRIx64" dts_min=%s\n",
1905                     pos_min, av_ts2str(ts_min));
1906         } else {
1907             av_assert1(index == 0);
1908         }
1909
1910         index = av_index_search_timestamp(st, target_ts,
1911                                           flags & ~AVSEEK_FLAG_BACKWARD);
1912         av_assert0(index < st->nb_index_entries);
1913         if (index >= 0) {
1914             e = &st->index_entries[index];
1915             av_assert1(e->timestamp >= target_ts);
1916             pos_max   = e->pos;
1917             ts_max    = e->timestamp;
1918             pos_limit = pos_max - e->min_distance;
1919             av_log(s, AV_LOG_TRACE, "using cached pos_max=0x%"PRIx64" pos_limit=0x%"PRIx64
1920                     " dts_max=%s\n", pos_max, pos_limit, av_ts2str(ts_max));
1921         }
1922     }
1923
1924     pos = ff_gen_search(s, stream_index, target_ts, pos_min, pos_max, pos_limit,
1925                         ts_min, ts_max, flags, &ts, avif->read_timestamp);
1926     if (pos < 0)
1927         return -1;
1928
1929     /* do the seek */
1930     if ((ret = avio_seek(s->pb, pos, SEEK_SET)) < 0)
1931         return ret;
1932
1933     ff_read_frame_flush(s);
1934     ff_update_cur_dts(s, st, ts);
1935
1936     return 0;
1937 }
1938
1939 int ff_find_last_ts(AVFormatContext *s, int stream_index, int64_t *ts, int64_t *pos,
1940                     int64_t (*read_timestamp)(struct AVFormatContext *, int , int64_t *, int64_t ))
1941 {
1942     int64_t step = 1024;
1943     int64_t limit, ts_max;
1944     int64_t filesize = avio_size(s->pb);
1945     int64_t pos_max  = filesize - 1;
1946     do {
1947         limit = pos_max;
1948         pos_max = FFMAX(0, (pos_max) - step);
1949         ts_max  = ff_read_timestamp(s, stream_index,
1950                                     &pos_max, limit, read_timestamp);
1951         step   += step;
1952     } while (ts_max == AV_NOPTS_VALUE && 2*limit > step);
1953     if (ts_max == AV_NOPTS_VALUE)
1954         return -1;
1955
1956     for (;;) {
1957         int64_t tmp_pos = pos_max + 1;
1958         int64_t tmp_ts  = ff_read_timestamp(s, stream_index,
1959                                             &tmp_pos, INT64_MAX, read_timestamp);
1960         if (tmp_ts == AV_NOPTS_VALUE)
1961             break;
1962         av_assert0(tmp_pos > pos_max);
1963         ts_max  = tmp_ts;
1964         pos_max = tmp_pos;
1965         if (tmp_pos >= filesize)
1966             break;
1967     }
1968
1969     if (ts)
1970         *ts = ts_max;
1971     if (pos)
1972         *pos = pos_max;
1973
1974     return 0;
1975 }
1976
1977 int64_t ff_gen_search(AVFormatContext *s, int stream_index, int64_t target_ts,
1978                       int64_t pos_min, int64_t pos_max, int64_t pos_limit,
1979                       int64_t ts_min, int64_t ts_max,
1980                       int flags, int64_t *ts_ret,
1981                       int64_t (*read_timestamp)(struct AVFormatContext *, int,
1982                                                 int64_t *, int64_t))
1983 {
1984     int64_t pos, ts;
1985     int64_t start_pos;
1986     int no_change;
1987     int ret;
1988
1989     av_log(s, AV_LOG_TRACE, "gen_seek: %d %s\n", stream_index, av_ts2str(target_ts));
1990
1991     if (ts_min == AV_NOPTS_VALUE) {
1992         pos_min = s->internal->data_offset;
1993         ts_min  = ff_read_timestamp(s, stream_index, &pos_min, INT64_MAX, read_timestamp);
1994         if (ts_min == AV_NOPTS_VALUE)
1995             return -1;
1996     }
1997
1998     if (ts_min >= target_ts) {
1999         *ts_ret = ts_min;
2000         return pos_min;
2001     }
2002
2003     if (ts_max == AV_NOPTS_VALUE) {
2004         if ((ret = ff_find_last_ts(s, stream_index, &ts_max, &pos_max, read_timestamp)) < 0)
2005             return ret;
2006         pos_limit = pos_max;
2007     }
2008
2009     if (ts_max <= target_ts) {
2010         *ts_ret = ts_max;
2011         return pos_max;
2012     }
2013
2014     av_assert0(ts_min < ts_max);
2015
2016     no_change = 0;
2017     while (pos_min < pos_limit) {
2018         av_log(s, AV_LOG_TRACE,
2019                 "pos_min=0x%"PRIx64" pos_max=0x%"PRIx64" dts_min=%s dts_max=%s\n",
2020                 pos_min, pos_max, av_ts2str(ts_min), av_ts2str(ts_max));
2021         av_assert0(pos_limit <= pos_max);
2022
2023         if (no_change == 0) {
2024             int64_t approximate_keyframe_distance = pos_max - pos_limit;
2025             // interpolate position (better than dichotomy)
2026             pos = av_rescale(target_ts - ts_min, pos_max - pos_min,
2027                              ts_max - ts_min) +
2028                   pos_min - approximate_keyframe_distance;
2029         } else if (no_change == 1) {
2030             // bisection if interpolation did not change min / max pos last time
2031             pos = (pos_min + pos_limit) >> 1;
2032         } else {
2033             /* linear search if bisection failed, can only happen if there
2034              * are very few or no keyframes between min/max */
2035             pos = pos_min;
2036         }
2037         if (pos <= pos_min)
2038             pos = pos_min + 1;
2039         else if (pos > pos_limit)
2040             pos = pos_limit;
2041         start_pos = pos;
2042
2043         // May pass pos_limit instead of -1.
2044         ts = ff_read_timestamp(s, stream_index, &pos, INT64_MAX, read_timestamp);
2045         if (pos == pos_max)
2046             no_change++;
2047         else
2048             no_change = 0;
2049         av_log(s, AV_LOG_TRACE, "%"PRId64" %"PRId64" %"PRId64" / %s %s %s"
2050                 " target:%s limit:%"PRId64" start:%"PRId64" noc:%d\n",
2051                 pos_min, pos, pos_max,
2052                 av_ts2str(ts_min), av_ts2str(ts), av_ts2str(ts_max), av_ts2str(target_ts),
2053                 pos_limit, start_pos, no_change);
2054         if (ts == AV_NOPTS_VALUE) {
2055             av_log(s, AV_LOG_ERROR, "read_timestamp() failed in the middle\n");
2056             return -1;
2057         }
2058         if (target_ts <= ts) {
2059             pos_limit = start_pos - 1;
2060             pos_max   = pos;
2061             ts_max    = ts;
2062         }
2063         if (target_ts >= ts) {
2064             pos_min = pos;
2065             ts_min  = ts;
2066         }
2067     }
2068
2069     pos     = (flags & AVSEEK_FLAG_BACKWARD) ? pos_min : pos_max;
2070     ts      = (flags & AVSEEK_FLAG_BACKWARD) ? ts_min  : ts_max;
2071 #if 0
2072     pos_min = pos;
2073     ts_min  = ff_read_timestamp(s, stream_index, &pos_min, INT64_MAX, read_timestamp);
2074     pos_min++;
2075     ts_max = ff_read_timestamp(s, stream_index, &pos_min, INT64_MAX, read_timestamp);
2076     av_log(s, AV_LOG_TRACE, "pos=0x%"PRIx64" %s<=%s<=%s\n",
2077             pos, av_ts2str(ts_min), av_ts2str(target_ts), av_ts2str(ts_max));
2078 #endif
2079     *ts_ret = ts;
2080     return pos;
2081 }
2082
2083 static int seek_frame_byte(AVFormatContext *s, int stream_index,
2084                            int64_t pos, int flags)
2085 {
2086     int64_t pos_min, pos_max;
2087
2088     pos_min = s->internal->data_offset;
2089     pos_max = avio_size(s->pb) - 1;
2090
2091     if (pos < pos_min)
2092         pos = pos_min;
2093     else if (pos > pos_max)
2094         pos = pos_max;
2095
2096     avio_seek(s->pb, pos, SEEK_SET);
2097
2098     s->io_repositioned = 1;
2099
2100     return 0;
2101 }
2102
2103 static int seek_frame_generic(AVFormatContext *s, int stream_index,
2104                               int64_t timestamp, int flags)
2105 {
2106     int index;
2107     int64_t ret;
2108     AVStream *st;
2109     AVIndexEntry *ie;
2110
2111     st = s->streams[stream_index];
2112
2113     index = av_index_search_timestamp(st, timestamp, flags);
2114
2115     if (index < 0 && st->nb_index_entries &&
2116         timestamp < st->index_entries[0].timestamp)
2117         return -1;
2118
2119     if (index < 0 || index == st->nb_index_entries - 1) {
2120         AVPacket pkt;
2121         int nonkey = 0;
2122
2123         if (st->nb_index_entries) {
2124             av_assert0(st->index_entries);
2125             ie = &st->index_entries[st->nb_index_entries - 1];
2126             if ((ret = avio_seek(s->pb, ie->pos, SEEK_SET)) < 0)
2127                 return ret;
2128             ff_update_cur_dts(s, st, ie->timestamp);
2129         } else {
2130             if ((ret = avio_seek(s->pb, s->internal->data_offset, SEEK_SET)) < 0)
2131                 return ret;
2132         }
2133         for (;;) {
2134             int read_status;
2135             do {
2136                 read_status = av_read_frame(s, &pkt);
2137             } while (read_status == AVERROR(EAGAIN));
2138             if (read_status < 0)
2139                 break;
2140             av_packet_unref(&pkt);
2141             if (stream_index == pkt.stream_index && pkt.dts > timestamp) {
2142                 if (pkt.flags & AV_PKT_FLAG_KEY)
2143                     break;
2144                 if (nonkey++ > 1000 && st->codec->codec_id != AV_CODEC_ID_CDGRAPHICS) {
2145                     av_log(s, AV_LOG_ERROR,"seek_frame_generic failed as this stream seems to contain no keyframes after the target timestamp, %d non keyframes found\n", nonkey);
2146                     break;
2147                 }
2148             }
2149         }
2150         index = av_index_search_timestamp(st, timestamp, flags);
2151     }
2152     if (index < 0)
2153         return -1;
2154
2155     ff_read_frame_flush(s);
2156     if (s->iformat->read_seek)
2157         if (s->iformat->read_seek(s, stream_index, timestamp, flags) >= 0)
2158             return 0;
2159     ie = &st->index_entries[index];
2160     if ((ret = avio_seek(s->pb, ie->pos, SEEK_SET)) < 0)
2161         return ret;
2162     ff_update_cur_dts(s, st, ie->timestamp);
2163
2164     return 0;
2165 }
2166
2167 static int seek_frame_internal(AVFormatContext *s, int stream_index,
2168                                int64_t timestamp, int flags)
2169 {
2170     int ret;
2171     AVStream *st;
2172
2173     if (flags & AVSEEK_FLAG_BYTE) {
2174         if (s->iformat->flags & AVFMT_NO_BYTE_SEEK)
2175             return -1;
2176         ff_read_frame_flush(s);
2177         return seek_frame_byte(s, stream_index, timestamp, flags);
2178     }
2179
2180     if (stream_index < 0) {
2181         stream_index = av_find_default_stream_index(s);
2182         if (stream_index < 0)
2183             return -1;
2184
2185         st = s->streams[stream_index];
2186         /* timestamp for default must be expressed in AV_TIME_BASE units */
2187         timestamp = av_rescale(timestamp, st->time_base.den,
2188                                AV_TIME_BASE * (int64_t) st->time_base.num);
2189     }
2190
2191     /* first, we try the format specific seek */
2192     if (s->iformat->read_seek) {
2193         ff_read_frame_flush(s);
2194         ret = s->iformat->read_seek(s, stream_index, timestamp, flags);
2195     } else
2196         ret = -1;
2197     if (ret >= 0)
2198         return 0;
2199
2200     if (s->iformat->read_timestamp &&
2201         !(s->iformat->flags & AVFMT_NOBINSEARCH)) {
2202         ff_read_frame_flush(s);
2203         return ff_seek_frame_binary(s, stream_index, timestamp, flags);
2204     } else if (!(s->iformat->flags & AVFMT_NOGENSEARCH)) {
2205         ff_read_frame_flush(s);
2206         return seek_frame_generic(s, stream_index, timestamp, flags);
2207     } else
2208         return -1;
2209 }
2210
2211 int av_seek_frame(AVFormatContext *s, int stream_index,
2212                   int64_t timestamp, int flags)
2213 {
2214     int ret;
2215
2216     if (s->iformat->read_seek2 && !s->iformat->read_seek) {
2217         int64_t min_ts = INT64_MIN, max_ts = INT64_MAX;
2218         if ((flags & AVSEEK_FLAG_BACKWARD))
2219             max_ts = timestamp;
2220         else
2221             min_ts = timestamp;
2222         return avformat_seek_file(s, stream_index, min_ts, timestamp, max_ts,
2223                                   flags & ~AVSEEK_FLAG_BACKWARD);
2224     }
2225
2226     ret = seek_frame_internal(s, stream_index, timestamp, flags);
2227
2228     if (ret >= 0)
2229         ret = avformat_queue_attached_pictures(s);
2230
2231     return ret;
2232 }
2233
2234 int avformat_seek_file(AVFormatContext *s, int stream_index, int64_t min_ts,
2235                        int64_t ts, int64_t max_ts, int flags)
2236 {
2237     if (min_ts > ts || max_ts < ts)
2238         return -1;
2239     if (stream_index < -1 || stream_index >= (int)s->nb_streams)
2240         return AVERROR(EINVAL);
2241
2242     if (s->seek2any>0)
2243         flags |= AVSEEK_FLAG_ANY;
2244     flags &= ~AVSEEK_FLAG_BACKWARD;
2245
2246     if (s->iformat->read_seek2) {
2247         int ret;
2248         ff_read_frame_flush(s);
2249
2250         if (stream_index == -1 && s->nb_streams == 1) {
2251             AVRational time_base = s->streams[0]->time_base;
2252             ts = av_rescale_q(ts, AV_TIME_BASE_Q, time_base);
2253             min_ts = av_rescale_rnd(min_ts, time_base.den,
2254                                     time_base.num * (int64_t)AV_TIME_BASE,
2255                                     AV_ROUND_UP   | AV_ROUND_PASS_MINMAX);
2256             max_ts = av_rescale_rnd(max_ts, time_base.den,
2257                                     time_base.num * (int64_t)AV_TIME_BASE,
2258                                     AV_ROUND_DOWN | AV_ROUND_PASS_MINMAX);
2259         }
2260
2261         ret = s->iformat->read_seek2(s, stream_index, min_ts,
2262                                      ts, max_ts, flags);
2263
2264         if (ret >= 0)
2265             ret = avformat_queue_attached_pictures(s);
2266         return ret;
2267     }
2268
2269     if (s->iformat->read_timestamp) {
2270         // try to seek via read_timestamp()
2271     }
2272
2273     // Fall back on old API if new is not implemented but old is.
2274     // Note the old API has somewhat different semantics.
2275     if (s->iformat->read_seek || 1) {
2276         int dir = (ts - (uint64_t)min_ts > (uint64_t)max_ts - ts ? AVSEEK_FLAG_BACKWARD : 0);
2277         int ret = av_seek_frame(s, stream_index, ts, flags | dir);
2278         if (ret<0 && ts != min_ts && max_ts != ts) {
2279             ret = av_seek_frame(s, stream_index, dir ? max_ts : min_ts, flags | dir);
2280             if (ret >= 0)
2281                 ret = av_seek_frame(s, stream_index, ts, flags | (dir^AVSEEK_FLAG_BACKWARD));
2282         }
2283         return ret;
2284     }
2285
2286     // try some generic seek like seek_frame_generic() but with new ts semantics
2287     return -1; //unreachable
2288 }
2289
2290 int avformat_flush(AVFormatContext *s)
2291 {
2292     ff_read_frame_flush(s);
2293     return 0;
2294 }
2295
2296 /*******************************************************/
2297
2298 /**
2299  * Return TRUE if the stream has accurate duration in any stream.
2300  *
2301  * @return TRUE if the stream has accurate duration for at least one component.
2302  */
2303 static int has_duration(AVFormatContext *ic)
2304 {
2305     int i;
2306     AVStream *st;
2307
2308     for (i = 0; i < ic->nb_streams; i++) {
2309         st = ic->streams[i];
2310         if (st->duration != AV_NOPTS_VALUE)
2311             return 1;
2312     }
2313     if (ic->duration != AV_NOPTS_VALUE)
2314         return 1;
2315     return 0;
2316 }
2317
2318 /**
2319  * Estimate the stream timings from the one of each components.
2320  *
2321  * Also computes the global bitrate if possible.
2322  */
2323 static void update_stream_timings(AVFormatContext *ic)
2324 {
2325     int64_t start_time, start_time1, start_time_text, end_time, end_time1;
2326     int64_t duration, duration1, filesize;
2327     int i;
2328     AVStream *st;
2329     AVProgram *p;
2330
2331     start_time = INT64_MAX;
2332     start_time_text = INT64_MAX;
2333     end_time   = INT64_MIN;
2334     duration   = INT64_MIN;
2335     for (i = 0; i < ic->nb_streams; i++) {
2336         st = ic->streams[i];
2337         if (st->start_time != AV_NOPTS_VALUE && st->time_base.den) {
2338             start_time1 = av_rescale_q(st->start_time, st->time_base,
2339                                        AV_TIME_BASE_Q);
2340             if (st->codec->codec_type == AVMEDIA_TYPE_SUBTITLE || st->codec->codec_type == AVMEDIA_TYPE_DATA) {
2341                 if (start_time1 < start_time_text)
2342                     start_time_text = start_time1;
2343             } else
2344                 start_time = FFMIN(start_time, start_time1);
2345             end_time1   = AV_NOPTS_VALUE;
2346             if (st->duration != AV_NOPTS_VALUE) {
2347                 end_time1 = start_time1 +
2348                             av_rescale_q(st->duration, st->time_base,
2349                                          AV_TIME_BASE_Q);
2350                 end_time = FFMAX(end_time, end_time1);
2351             }
2352             for (p = NULL; (p = av_find_program_from_stream(ic, p, i)); ) {
2353                 if (p->start_time == AV_NOPTS_VALUE || p->start_time > start_time1)
2354                     p->start_time = start_time1;
2355                 if (p->end_time < end_time1)
2356                     p->end_time = end_time1;
2357             }
2358         }
2359         if (st->duration != AV_NOPTS_VALUE) {
2360             duration1 = av_rescale_q(st->duration, st->time_base,
2361                                      AV_TIME_BASE_Q);
2362             duration  = FFMAX(duration, duration1);
2363         }
2364     }
2365     if (start_time == INT64_MAX || (start_time > start_time_text && start_time - start_time_text < AV_TIME_BASE))
2366         start_time = start_time_text;
2367     else if (start_time > start_time_text)
2368         av_log(ic, AV_LOG_VERBOSE, "Ignoring outlier non primary stream starttime %f\n", start_time_text / (float)AV_TIME_BASE);
2369
2370     if (start_time != INT64_MAX) {
2371         ic->start_time = start_time;
2372         if (end_time != INT64_MIN) {
2373             if (ic->nb_programs) {
2374                 for (i = 0; i < ic->nb_programs; i++) {
2375                     p = ic->programs[i];
2376                     if (p->start_time != AV_NOPTS_VALUE && p->end_time > p->start_time)
2377                         duration = FFMAX(duration, p->end_time - p->start_time);
2378                 }
2379             } else
2380                 duration = FFMAX(duration, end_time - start_time);
2381         }
2382     }
2383     if (duration != INT64_MIN && duration > 0 && ic->duration == AV_NOPTS_VALUE) {
2384         ic->duration = duration;
2385     }
2386     if (ic->pb && (filesize = avio_size(ic->pb)) > 0 && ic->duration != AV_NOPTS_VALUE) {
2387         /* compute the bitrate */
2388         double bitrate = (double) filesize * 8.0 * AV_TIME_BASE /
2389                          (double) ic->duration;
2390         if (bitrate >= 0 && bitrate <= INT64_MAX)
2391             ic->bit_rate = bitrate;
2392     }
2393 }
2394
2395 static void fill_all_stream_timings(AVFormatContext *ic)
2396 {
2397     int i;
2398     AVStream *st;
2399
2400     update_stream_timings(ic);
2401     for (i = 0; i < ic->nb_streams; i++) {
2402         st = ic->streams[i];
2403         if (st->start_time == AV_NOPTS_VALUE) {
2404             if (ic->start_time != AV_NOPTS_VALUE)
2405                 st->start_time = av_rescale_q(ic->start_time, AV_TIME_BASE_Q,
2406                                               st->time_base);
2407             if (ic->duration != AV_NOPTS_VALUE)
2408                 st->duration = av_rescale_q(ic->duration, AV_TIME_BASE_Q,
2409                                             st->time_base);
2410         }
2411     }
2412 }
2413
2414 static void estimate_timings_from_bit_rate(AVFormatContext *ic)
2415 {
2416     int64_t filesize, duration;
2417     int i, show_warning = 0;
2418     AVStream *st;
2419
2420     /* if bit_rate is already set, we believe it */
2421     if (ic->bit_rate <= 0) {
2422         int bit_rate = 0;
2423         for (i = 0; i < ic->nb_streams; i++) {
2424             st = ic->streams[i];
2425             if (st->codec->bit_rate > 0) {
2426                 if (INT_MAX - st->codec->bit_rate < bit_rate) {
2427                     bit_rate = 0;
2428                     break;
2429                 }
2430                 bit_rate += st->codec->bit_rate;
2431             } else if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO && st->codec_info_nb_frames > 1) {
2432                 // If we have a videostream with packets but without a bitrate
2433                 // then consider the sum not known
2434                 bit_rate = 0;
2435                 break;
2436             }
2437         }
2438         ic->bit_rate = bit_rate;
2439     }
2440
2441     /* if duration is already set, we believe it */
2442     if (ic->duration == AV_NOPTS_VALUE &&
2443         ic->bit_rate != 0) {
2444         filesize = ic->pb ? avio_size(ic->pb) : 0;
2445         if (filesize > ic->internal->data_offset) {
2446             filesize -= ic->internal->data_offset;
2447             for (i = 0; i < ic->nb_streams; i++) {
2448                 st      = ic->streams[i];
2449                 if (   st->time_base.num <= INT64_MAX / ic->bit_rate
2450                     && st->duration == AV_NOPTS_VALUE) {
2451                     duration = av_rescale(8 * filesize, st->time_base.den,
2452                                           ic->bit_rate *
2453                                           (int64_t) st->time_base.num);
2454                     st->duration = duration;
2455                     show_warning = 1;
2456                 }
2457             }
2458         }
2459     }
2460     if (show_warning)
2461         av_log(ic, AV_LOG_WARNING,
2462                "Estimating duration from bitrate, this may be inaccurate\n");
2463 }
2464
2465 #define DURATION_MAX_READ_SIZE 250000LL
2466 #define DURATION_MAX_RETRY 6
2467
2468 /* only usable for MPEG-PS streams */
2469 static void estimate_timings_from_pts(AVFormatContext *ic, int64_t old_offset)
2470 {
2471     AVPacket pkt1, *pkt = &pkt1;
2472     AVStream *st;
2473     int num, den, read_size, i, ret;
2474     int found_duration = 0;
2475     int is_end;
2476     int64_t filesize, offset, duration;
2477     int retry = 0;
2478
2479     /* flush packet queue */
2480     flush_packet_queue(ic);
2481
2482     for (i = 0; i < ic->nb_streams; i++) {
2483         st = ic->streams[i];
2484         if (st->start_time == AV_NOPTS_VALUE &&
2485             st->first_dts == AV_NOPTS_VALUE &&
2486             st->codec->codec_type != AVMEDIA_TYPE_UNKNOWN)
2487             av_log(st->codec, AV_LOG_WARNING,
2488                    "start time for stream %d is not set in estimate_timings_from_pts\n", i);
2489
2490         if (st->parser) {
2491             av_parser_close(st->parser);
2492             st->parser = NULL;
2493         }
2494     }
2495
2496     av_opt_set(ic, "skip_changes", "1", AV_OPT_SEARCH_CHILDREN);
2497     /* estimate the end time (duration) */
2498     /* XXX: may need to support wrapping */
2499     filesize = ic->pb ? avio_size(ic->pb) : 0;
2500     do {
2501         is_end = found_duration;
2502         offset = filesize - (DURATION_MAX_READ_SIZE << retry);
2503         if (offset < 0)
2504             offset = 0;
2505
2506         avio_seek(ic->pb, offset, SEEK_SET);
2507         read_size = 0;
2508         for (;;) {
2509             if (read_size >= DURATION_MAX_READ_SIZE << (FFMAX(retry - 1, 0)))
2510                 break;
2511
2512             do {
2513                 ret = ff_read_packet(ic, pkt);
2514             } while (ret == AVERROR(EAGAIN));
2515             if (ret != 0)
2516                 break;
2517             read_size += pkt->size;
2518             st         = ic->streams[pkt->stream_index];
2519             if (pkt->pts != AV_NOPTS_VALUE &&
2520                 (st->start_time != AV_NOPTS_VALUE ||
2521                  st->first_dts  != AV_NOPTS_VALUE)) {
2522                 if (pkt->duration == 0) {
2523                     ff_compute_frame_duration(ic, &num, &den, st, st->parser, pkt);
2524                     if (den && num) {
2525                         pkt->duration = av_rescale_rnd(1,
2526                                            num * (int64_t) st->time_base.den,
2527                                            den * (int64_t) st->time_base.num,
2528                                            AV_ROUND_DOWN);
2529                     }
2530                 }
2531                 duration = pkt->pts + pkt->duration;
2532                 found_duration = 1;
2533                 if (st->start_time != AV_NOPTS_VALUE)
2534                     duration -= st->start_time;
2535                 else
2536                     duration -= st->first_dts;
2537                 if (duration > 0) {
2538                     if (st->duration == AV_NOPTS_VALUE || st->info->last_duration<= 0 ||
2539                         (st->duration < duration && FFABS(duration - st->info->last_duration) < 60LL*st->time_base.den / st->time_base.num))
2540                         st->duration = duration;
2541                     st->info->last_duration = duration;
2542                 }
2543             }
2544             av_packet_unref(pkt);
2545         }
2546
2547         /* check if all audio/video streams have valid duration */
2548         if (!is_end) {
2549             is_end = 1;
2550             for (i = 0; i < ic->nb_streams; i++) {
2551                 st = ic->streams[i];
2552                 switch (st->codec->codec_type) {
2553                     case AVMEDIA_TYPE_VIDEO:
2554                     case AVMEDIA_TYPE_AUDIO:
2555                         if (st->duration == AV_NOPTS_VALUE)
2556                             is_end = 0;
2557                 }
2558             }
2559         }
2560     } while (!is_end &&
2561              offset &&
2562              ++retry <= DURATION_MAX_RETRY);
2563
2564     av_opt_set(ic, "skip_changes", "0", AV_OPT_SEARCH_CHILDREN);
2565
2566     /* warn about audio/video streams which duration could not be estimated */
2567     for (i = 0; i < ic->nb_streams; i++) {
2568         st = ic->streams[i];
2569         if (st->duration == AV_NOPTS_VALUE) {
2570             switch (st->codec->codec_type) {
2571             case AVMEDIA_TYPE_VIDEO:
2572             case AVMEDIA_TYPE_AUDIO:
2573                 if (st->start_time != AV_NOPTS_VALUE || st->first_dts  != AV_NOPTS_VALUE) {
2574                     av_log(ic, AV_LOG_DEBUG, "stream %d : no PTS found at end of file, duration not set\n", i);
2575                 } else
2576                     av_log(ic, AV_LOG_DEBUG, "stream %d : no TS found at start of file, duration not set\n", i);
2577             }
2578         }
2579     }
2580     fill_all_stream_timings(ic);
2581
2582     avio_seek(ic->pb, old_offset, SEEK_SET);
2583     for (i = 0; i < ic->nb_streams; i++) {
2584         int j;
2585
2586         st              = ic->streams[i];
2587         st->cur_dts     = st->first_dts;
2588         st->last_IP_pts = AV_NOPTS_VALUE;
2589         st->last_dts_for_order_check = AV_NOPTS_VALUE;
2590         for (j = 0; j < MAX_REORDER_DELAY + 1; j++)
2591             st->pts_buffer[j] = AV_NOPTS_VALUE;
2592     }
2593 }
2594
2595 static void estimate_timings(AVFormatContext *ic, int64_t old_offset)
2596 {
2597     int64_t file_size;
2598
2599     /* get the file size, if possible */
2600     if (ic->iformat->flags & AVFMT_NOFILE) {
2601         file_size = 0;
2602     } else {
2603         file_size = avio_size(ic->pb);
2604         file_size = FFMAX(0, file_size);
2605     }
2606
2607     if ((!strcmp(ic->iformat->name, "mpeg") ||
2608          !strcmp(ic->iformat->name, "mpegts")) &&
2609         file_size && ic->pb->seekable) {
2610         /* get accurate estimate from the PTSes */
2611         estimate_timings_from_pts(ic, old_offset);
2612         ic->duration_estimation_method = AVFMT_DURATION_FROM_PTS;
2613     } else if (has_duration(ic)) {
2614         /* at least one component has timings - we use them for all
2615          * the components */
2616         fill_all_stream_timings(ic);
2617         ic->duration_estimation_method = AVFMT_DURATION_FROM_STREAM;
2618     } else {
2619         /* less precise: use bitrate info */
2620         estimate_timings_from_bit_rate(ic);
2621         ic->duration_estimation_method = AVFMT_DURATION_FROM_BITRATE;
2622     }
2623     update_stream_timings(ic);
2624
2625     {
2626         int i;
2627         AVStream av_unused *st;
2628         for (i = 0; i < ic->nb_streams; i++) {
2629             st = ic->streams[i];
2630             av_log(ic, AV_LOG_TRACE, "%d: start_time: %0.3f duration: %0.3f\n", i,
2631                     (double) st->start_time / AV_TIME_BASE,
2632                     (double) st->duration   / AV_TIME_BASE);
2633         }
2634         av_log(ic, AV_LOG_TRACE,
2635                 "stream: start_time: %0.3f duration: %0.3f bitrate=%"PRId64" kb/s\n",
2636                 (double) ic->start_time / AV_TIME_BASE,
2637                 (double) ic->duration   / AV_TIME_BASE,
2638                 (int64_t)ic->bit_rate / 1000);
2639     }
2640 }
2641
2642 static int has_codec_parameters(AVStream *st, const char **errmsg_ptr)
2643 {
2644     AVCodecContext *avctx = st->codec;
2645
2646 #define FAIL(errmsg) do {                                         \
2647         if (errmsg_ptr)                                           \
2648             *errmsg_ptr = errmsg;                                 \
2649         return 0;                                                 \
2650     } while (0)
2651
2652     if (   avctx->codec_id == AV_CODEC_ID_NONE
2653         && avctx->codec_type != AVMEDIA_TYPE_DATA)
2654         FAIL("unknown codec");
2655     switch (avctx->codec_type) {
2656     case AVMEDIA_TYPE_AUDIO:
2657         if (!avctx->frame_size && determinable_frame_size(avctx))
2658             FAIL("unspecified frame size");
2659         if (st->info->found_decoder >= 0 &&
2660             avctx->sample_fmt == AV_SAMPLE_FMT_NONE)
2661             FAIL("unspecified sample format");
2662         if (!avctx->sample_rate)
2663             FAIL("unspecified sample rate");
2664         if (!avctx->channels)
2665             FAIL("unspecified number of channels");
2666         if (st->info->found_decoder >= 0 && !st->nb_decoded_frames && avctx->codec_id == AV_CODEC_ID_DTS)
2667             FAIL("no decodable DTS frames");
2668         break;
2669     case AVMEDIA_TYPE_VIDEO:
2670         if (!avctx->width)
2671             FAIL("unspecified size");
2672         if (st->info->found_decoder >= 0 && avctx->pix_fmt == AV_PIX_FMT_NONE)
2673             FAIL("unspecified pixel format");
2674         if (st->codec->codec_id == AV_CODEC_ID_RV30 || st->codec->codec_id == AV_CODEC_ID_RV40)
2675             if (!st->sample_aspect_ratio.num && !st->codec->sample_aspect_ratio.num && !st->codec_info_nb_frames)
2676                 FAIL("no frame in rv30/40 and no sar");
2677         break;
2678     case AVMEDIA_TYPE_SUBTITLE:
2679         if (avctx->codec_id == AV_CODEC_ID_HDMV_PGS_SUBTITLE && !avctx->width)
2680             FAIL("unspecified size");
2681         break;
2682     case AVMEDIA_TYPE_DATA:
2683         if (avctx->codec_id == AV_CODEC_ID_NONE) return 1;
2684     }
2685
2686     return 1;
2687 }
2688
2689 /* returns 1 or 0 if or if not decoded data was returned, or a negative error */
2690 static int try_decode_frame(AVFormatContext *s, AVStream *st, AVPacket *avpkt,
2691                             AVDictionary **options)
2692 {
2693     const AVCodec *codec;
2694     int got_picture = 1, ret = 0;
2695     AVFrame *frame = av_frame_alloc();
2696     AVSubtitle subtitle;
2697     AVPacket pkt = *avpkt;
2698     int do_skip_frame = 0;
2699     enum AVDiscard skip_frame;
2700
2701     if (!frame)
2702         return AVERROR(ENOMEM);
2703
2704     if (!avcodec_is_open(st->codec) &&
2705         st->info->found_decoder <= 0 &&
2706         (st->codec->codec_id != -st->info->found_decoder || !st->codec->codec_id)) {
2707         AVDictionary *thread_opt = NULL;
2708
2709         codec = find_decoder(s, st, st->codec->codec_id);
2710
2711         if (!codec) {
2712             st->info->found_decoder = -st->codec->codec_id;
2713             ret                     = -1;
2714             goto fail;
2715         }
2716
2717         /* Force thread count to 1 since the H.264 decoder will not extract
2718          * SPS and PPS to extradata during multi-threaded decoding. */
2719         av_dict_set(options ? options : &thread_opt, "threads", "1", 0);
2720         if (s->codec_whitelist)
2721             av_dict_set(options ? options : &thread_opt, "codec_whitelist", s->codec_whitelist, 0);
2722         ret = avcodec_open2(st->codec, codec, options ? options : &thread_opt);
2723         if (!options)
2724             av_dict_free(&thread_opt);
2725         if (ret < 0) {
2726             st->info->found_decoder = -st->codec->codec_id;
2727             goto fail;
2728         }
2729         st->info->found_decoder = 1;
2730     } else if (!st->info->found_decoder)
2731         st->info->found_decoder = 1;
2732
2733     if (st->info->found_decoder < 0) {
2734         ret = -1;
2735         goto fail;
2736     }
2737
2738     if (st->codec->codec->caps_internal & FF_CODEC_CAP_SKIP_FRAME_FILL_PARAM) {
2739         do_skip_frame = 1;
2740         skip_frame = st->codec->skip_frame;
2741         st->codec->skip_frame = AVDISCARD_ALL;
2742     }
2743
2744     while ((pkt.size > 0 || (!pkt.data && got_picture)) &&
2745            ret >= 0 &&
2746            (!has_codec_parameters(st, NULL) || !has_decode_delay_been_guessed(st) ||
2747             (!st->codec_info_nb_frames &&
2748              (st->codec->codec->capabilities & AV_CODEC_CAP_CHANNEL_CONF)))) {
2749         got_picture = 0;
2750         switch (st->codec->codec_type) {
2751         case AVMEDIA_TYPE_VIDEO:
2752             ret = avcodec_decode_video2(st->codec, frame,
2753                                         &got_picture, &pkt);
2754             break;
2755         case AVMEDIA_TYPE_AUDIO:
2756             ret = avcodec_decode_audio4(st->codec, frame, &got_picture, &pkt);
2757             break;
2758         case AVMEDIA_TYPE_SUBTITLE:
2759             ret = avcodec_decode_subtitle2(st->codec, &subtitle,
2760                                            &got_picture, &pkt);
2761             ret = pkt.size;
2762             break;
2763         default:
2764             break;
2765         }
2766         if (ret >= 0) {
2767             if (got_picture)
2768                 st->nb_decoded_frames++;
2769             pkt.data += ret;
2770             pkt.size -= ret;
2771             ret       = got_picture;
2772         }
2773     }
2774
2775     if (!pkt.data && !got_picture)
2776         ret = -1;
2777
2778 fail:
2779     if (do_skip_frame) {
2780         st->codec->skip_frame = skip_frame;
2781     }
2782
2783     av_frame_free(&frame);
2784     return ret;
2785 }
2786
2787 unsigned int ff_codec_get_tag(const AVCodecTag *tags, enum AVCodecID id)
2788 {
2789     while (tags->id != AV_CODEC_ID_NONE) {
2790         if (tags->id == id)
2791             return tags->tag;
2792         tags++;
2793     }
2794     return 0;
2795 }
2796
2797 enum AVCodecID ff_codec_get_id(const AVCodecTag *tags, unsigned int tag)
2798 {
2799     int i;
2800     for (i = 0; tags[i].id != AV_CODEC_ID_NONE; i++)
2801         if (tag == tags[i].tag)
2802             return tags[i].id;
2803     for (i = 0; tags[i].id != AV_CODEC_ID_NONE; i++)
2804         if (avpriv_toupper4(tag) == avpriv_toupper4(tags[i].tag))
2805             return tags[i].id;
2806     return AV_CODEC_ID_NONE;
2807 }
2808
2809 enum AVCodecID ff_get_pcm_codec_id(int bps, int flt, int be, int sflags)
2810 {
2811     if (flt) {
2812         switch (bps) {
2813         case 32:
2814             return be ? AV_CODEC_ID_PCM_F32BE : AV_CODEC_ID_PCM_F32LE;
2815         case 64:
2816             return be ? AV_CODEC_ID_PCM_F64BE : AV_CODEC_ID_PCM_F64LE;
2817         default:
2818             return AV_CODEC_ID_NONE;
2819         }
2820     } else {
2821         bps  += 7;
2822         bps >>= 3;
2823         if (sflags & (1 << (bps - 1))) {
2824             switch (bps) {
2825             case 1:
2826                 return AV_CODEC_ID_PCM_S8;
2827             case 2:
2828                 return be ? AV_CODEC_ID_PCM_S16BE : AV_CODEC_ID_PCM_S16LE;
2829             case 3:
2830                 return be ? AV_CODEC_ID_PCM_S24BE : AV_CODEC_ID_PCM_S24LE;
2831             case 4:
2832                 return be ? AV_CODEC_ID_PCM_S32BE : AV_CODEC_ID_PCM_S32LE;
2833             default:
2834                 return AV_CODEC_ID_NONE;
2835             }
2836         } else {
2837             switch (bps) {
2838             case 1:
2839                 return AV_CODEC_ID_PCM_U8;
2840             case 2:
2841                 return be ? AV_CODEC_ID_PCM_U16BE : AV_CODEC_ID_PCM_U16LE;
2842             case 3:
2843                 return be ? AV_CODEC_ID_PCM_U24BE : AV_CODEC_ID_PCM_U24LE;
2844             case 4:
2845                 return be ? AV_CODEC_ID_PCM_U32BE : AV_CODEC_ID_PCM_U32LE;
2846             default:
2847                 return AV_CODEC_ID_NONE;
2848             }
2849         }
2850     }
2851 }
2852
2853 unsigned int av_codec_get_tag(const AVCodecTag *const *tags, enum AVCodecID id)
2854 {
2855     unsigned int tag;
2856     if (!av_codec_get_tag2(tags, id, &tag))
2857         return 0;
2858     return tag;
2859 }
2860
2861 int av_codec_get_tag2(const AVCodecTag * const *tags, enum AVCodecID id,
2862                       unsigned int *tag)
2863 {
2864     int i;
2865     for (i = 0; tags && tags[i]; i++) {
2866         const AVCodecTag *codec_tags = tags[i];
2867         while (codec_tags->id != AV_CODEC_ID_NONE) {
2868             if (codec_tags->id == id) {
2869                 *tag = codec_tags->tag;
2870                 return 1;
2871             }
2872             codec_tags++;
2873         }
2874     }
2875     return 0;
2876 }
2877
2878 enum AVCodecID av_codec_get_id(const AVCodecTag *const *tags, unsigned int tag)
2879 {
2880     int i;
2881     for (i = 0; tags && tags[i]; i++) {
2882         enum AVCodecID id = ff_codec_get_id(tags[i], tag);
2883         if (id != AV_CODEC_ID_NONE)
2884             return id;
2885     }
2886     return AV_CODEC_ID_NONE;
2887 }
2888
2889 static void compute_chapters_end(AVFormatContext *s)
2890 {
2891     unsigned int i, j;
2892     int64_t max_time = s->duration +
2893                        ((s->start_time == AV_NOPTS_VALUE) ? 0 : s->start_time);
2894
2895     for (i = 0; i < s->nb_chapters; i++)
2896         if (s->chapters[i]->end == AV_NOPTS_VALUE) {
2897             AVChapter *ch = s->chapters[i];
2898             int64_t end = max_time ? av_rescale_q(max_time, AV_TIME_BASE_Q,
2899                                                   ch->time_base)
2900                                    : INT64_MAX;
2901
2902             for (j = 0; j < s->nb_chapters; j++) {
2903                 AVChapter *ch1     = s->chapters[j];
2904                 int64_t next_start = av_rescale_q(ch1->start, ch1->time_base,
2905                                                   ch->time_base);
2906                 if (j != i && next_start > ch->start && next_start < end)
2907                     end = next_start;
2908             }
2909             ch->end = (end == INT64_MAX) ? ch->start : end;
2910         }
2911 }
2912
2913 static int get_std_framerate(int i)
2914 {
2915     if (i < 30*12)
2916         return (i + 1) * 1001;
2917     i -= 30*12;
2918
2919     if (i < 7)
2920         return ((const int[]) { 40, 48, 50, 60, 80, 120, 240})[i] * 1001 * 12;
2921
2922     i -= 7;
2923
2924     return ((const int[]) { 24, 30, 60, 12, 15, 48 })[i] * 1000 * 12;
2925 }
2926
2927 /* Is the time base unreliable?
2928  * This is a heuristic to balance between quick acceptance of the values in
2929  * the headers vs. some extra checks.
2930  * Old DivX and Xvid often have nonsense timebases like 1fps or 2fps.
2931  * MPEG-2 commonly misuses field repeat flags to store different framerates.
2932  * And there are "variable" fps files this needs to detect as well. */
2933 static int tb_unreliable(AVCodecContext *c)
2934 {
2935     if (c->time_base.den >= 101LL * c->time_base.num ||
2936         c->time_base.den <    5LL * c->time_base.num ||
2937         // c->codec_tag == AV_RL32("DIVX") ||
2938         // c->codec_tag == AV_RL32("XVID") ||
2939         c->codec_tag == AV_RL32("mp4v") ||
2940         c->codec_id == AV_CODEC_ID_MPEG2VIDEO ||
2941         c->codec_id == AV_CODEC_ID_GIF ||
2942         c->codec_id == AV_CODEC_ID_HEVC ||
2943         c->codec_id == AV_CODEC_ID_H264)
2944         return 1;
2945     return 0;
2946 }
2947
2948 int ff_alloc_extradata(AVCodecContext *avctx, int size)
2949 {
2950     int ret;
2951
2952     if (size < 0 || size >= INT32_MAX - AV_INPUT_BUFFER_PADDING_SIZE) {
2953         avctx->extradata = NULL;
2954         avctx->extradata_size = 0;
2955         return AVERROR(EINVAL);
2956     }
2957     avctx->extradata = av_malloc(size + AV_INPUT_BUFFER_PADDING_SIZE);
2958     if (avctx->extradata) {
2959         memset(avctx->extradata + size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
2960         avctx->extradata_size = size;
2961         ret = 0;
2962     } else {
2963         avctx->extradata_size = 0;
2964         ret = AVERROR(ENOMEM);
2965     }
2966     return ret;
2967 }
2968
2969 int ff_get_extradata(AVCodecContext *avctx, AVIOContext *pb, int size)
2970 {
2971     int ret = ff_alloc_extradata(avctx, size);
2972     if (ret < 0)
2973         return ret;
2974     ret = avio_read(pb, avctx->extradata, size);
2975     if (ret != size) {
2976         av_freep(&avctx->extradata);
2977         avctx->extradata_size = 0;
2978         av_log(avctx, AV_LOG_ERROR, "Failed to read extradata of size %d\n", size);
2979         return ret < 0 ? ret : AVERROR_INVALIDDATA;
2980     }
2981
2982     return ret;
2983 }
2984
2985 int ff_rfps_add_frame(AVFormatContext *ic, AVStream *st, int64_t ts)
2986 {
2987     int i, j;
2988     int64_t last = st->info->last_dts;
2989
2990     if (   ts != AV_NOPTS_VALUE && last != AV_NOPTS_VALUE && ts > last
2991        && ts - (uint64_t)last < INT64_MAX) {
2992         double dts = (is_relative(ts) ?  ts - RELATIVE_TS_BASE : ts) * av_q2d(st->time_base);
2993         int64_t duration = ts - last;
2994
2995         if (!st->info->duration_error)
2996             st->info->duration_error = av_mallocz(sizeof(st->info->duration_error[0])*2);
2997         if (!st->info->duration_error)
2998             return AVERROR(ENOMEM);
2999
3000 //         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO)
3001 //             av_log(NULL, AV_LOG_ERROR, "%f\n", dts);
3002         for (i = 0; i<MAX_STD_TIMEBASES; i++) {
3003             if (st->info->duration_error[0][1][i] < 1e10) {
3004                 int framerate = get_std_framerate(i);
3005                 double sdts = dts*framerate/(1001*12);
3006                 for (j= 0; j<2; j++) {
3007                     int64_t ticks = llrint(sdts+j*0.5);
3008                     double error= sdts - ticks + j*0.5;
3009                     st->info->duration_error[j][0][i] += error;
3010                     st->info->duration_error[j][1][i] += error*error;
3011                 }
3012             }
3013         }
3014         st->info->duration_count++;
3015         st->info->rfps_duration_sum += duration;
3016
3017         if (st->info->duration_count % 10 == 0) {
3018             int n = st->info->duration_count;
3019             for (i = 0; i<MAX_STD_TIMEBASES; i++) {
3020                 if (st->info->duration_error[0][1][i] < 1e10) {
3021                     double a0     = st->info->duration_error[0][0][i] / n;
3022                     double error0 = st->info->duration_error[0][1][i] / n - a0*a0;
3023                     double a1     = st->info->duration_error[1][0][i] / n;
3024                     double error1 = st->info->duration_error[1][1][i] / n - a1*a1;
3025                     if (error0 > 0.04 && error1 > 0.04) {
3026                         st->info->duration_error[0][1][i] = 2e10;
3027                         st->info->duration_error[1][1][i] = 2e10;
3028                     }
3029                 }
3030             }
3031         }
3032
3033         // ignore the first 4 values, they might have some random jitter
3034         if (st->info->duration_count > 3 && is_relative(ts) == is_relative(last))
3035             st->info->duration_gcd = av_gcd(st->info->duration_gcd, duration);
3036     }
3037     if (ts != AV_NOPTS_VALUE)
3038         st->info->last_dts = ts;
3039
3040     return 0;
3041 }
3042
3043 void ff_rfps_calculate(AVFormatContext *ic)
3044 {
3045     int i, j;
3046
3047     for (i = 0; i < ic->nb_streams; i++) {
3048         AVStream *st = ic->streams[i];
3049
3050         if (st->codec->codec_type != AVMEDIA_TYPE_VIDEO)
3051             continue;
3052         // the check for tb_unreliable() is not completely correct, since this is not about handling
3053         // a unreliable/inexact time base, but a time base that is finer than necessary, as e.g.
3054         // ipmovie.c produces.
3055         if (tb_unreliable(st->codec) && st->info->duration_count > 15 && st->info->duration_gcd > FFMAX(1, st->time_base.den/(500LL*st->time_base.num)) && !st->r_frame_rate.num)
3056             av_reduce(&st->r_frame_rate.num, &st->r_frame_rate.den, st->time_base.den, st->time_base.num * st->info->duration_gcd, INT_MAX);
3057         if (st->info->duration_count>1 && !st->r_frame_rate.num
3058             && tb_unreliable(st->codec)) {
3059             int num = 0;
3060             double best_error= 0.01;
3061             AVRational ref_rate = st->r_frame_rate.num ? st->r_frame_rate : av_inv_q(st->time_base);
3062
3063             for (j= 0; j<MAX_STD_TIMEBASES; j++) {
3064                 int k;
3065
3066                 if (st->info->codec_info_duration && st->info->codec_info_duration*av_q2d(st->time_base) < (1001*12.0)/get_std_framerate(j))
3067                     continue;
3068                 if (!st->info->codec_info_duration && get_std_framerate(j) < 1001*12)
3069                     continue;
3070
3071                 if (av_q2d(st->time_base) * st->info->rfps_duration_sum / st->info->duration_count < (1001*12.0 * 0.8)/get_std_framerate(j))
3072                     continue;
3073
3074                 for (k= 0; k<2; k++) {
3075                     int n = st->info->duration_count;
3076                     double a= st->info->duration_error[k][0][j] / n;
3077                     double error= st->info->duration_error[k][1][j]/n - a*a;
3078
3079                     if (error < best_error && best_error> 0.000000001) {
3080                         best_error= error;
3081                         num = get_std_framerate(j);
3082                     }
3083                     if (error < 0.02)
3084                         av_log(ic, AV_LOG_DEBUG, "rfps: %f %f\n", get_std_framerate(j) / 12.0/1001, error);
3085                 }
3086             }
3087             // do not increase frame rate by more than 1 % in order to match a standard rate.
3088             if (num && (!ref_rate.num || (double)num/(12*1001) < 1.01 * av_q2d(ref_rate)))
3089                 av_reduce(&st->r_frame_rate.num, &st->r_frame_rate.den, num, 12*1001, INT_MAX);
3090         }
3091         if (   !st->avg_frame_rate.num
3092             && st->r_frame_rate.num && st->info->rfps_duration_sum
3093             && st->info->codec_info_duration <= 0
3094             && st->info->duration_count > 2
3095             && fabs(1.0 / (av_q2d(st->r_frame_rate) * av_q2d(st->time_base)) - st->info->rfps_duration_sum / (double)st->info->duration_count) <= 1.0
3096             ) {
3097             av_log(ic, AV_LOG_DEBUG, "Setting avg frame rate based on r frame rate\n");
3098             st->avg_frame_rate = st->r_frame_rate;
3099         }
3100
3101         av_freep(&st->info->duration_error);
3102         st->info->last_dts = AV_NOPTS_VALUE;
3103         st->info->duration_count = 0;
3104         st->info->rfps_duration_sum = 0;
3105     }
3106 }
3107
3108 int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options)
3109 {
3110     int i, count, ret = 0, j;
3111     int64_t read_size;
3112     AVStream *st;
3113     AVPacket pkt1, *pkt;
3114     int64_t old_offset  = avio_tell(ic->pb);
3115     // new streams might appear, no options for those
3116     int orig_nb_streams = ic->nb_streams;
3117     int flush_codecs;
3118     int64_t max_analyze_duration = ic->max_analyze_duration;
3119     int64_t max_stream_analyze_duration;
3120     int64_t max_subtitle_analyze_duration;
3121     int64_t probesize = ic->probesize;
3122
3123     flush_codecs = probesize > 0;
3124
3125     av_opt_set(ic, "skip_clear", "1", AV_OPT_SEARCH_CHILDREN);
3126
3127     max_stream_analyze_duration = max_analyze_duration;
3128     max_subtitle_analyze_duration = max_analyze_duration;
3129     if (!max_analyze_duration) {
3130         max_stream_analyze_duration =
3131         max_analyze_duration        = 5*AV_TIME_BASE;
3132         max_subtitle_analyze_duration = 30*AV_TIME_BASE;
3133         if (!strcmp(ic->iformat->name, "flv"))
3134             max_stream_analyze_duration = 90*AV_TIME_BASE;
3135     }
3136
3137     if (ic->pb)
3138         av_log(ic, AV_LOG_DEBUG, "Before avformat_find_stream_info() pos: %"PRId64" bytes read:%"PRId64" seeks:%d\n",
3139                avio_tell(ic->pb), ic->pb->bytes_read, ic->pb->seek_count);
3140
3141     for (i = 0; i < ic->nb_streams; i++) {
3142         const AVCodec *codec;
3143         AVDictionary *thread_opt = NULL;
3144         st = ic->streams[i];
3145
3146         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO ||
3147             st->codec->codec_type == AVMEDIA_TYPE_SUBTITLE) {
3148 /*            if (!st->time_base.num)
3149                 st->time_base = */
3150             if (!st->codec->time_base.num)
3151                 st->codec->time_base = st->time_base;
3152         }
3153         // only for the split stuff
3154         if (!st->parser && !(ic->flags & AVFMT_FLAG_NOPARSE) && st->request_probe <= 0) {
3155             st->parser = av_parser_init(st->codec->codec_id);
3156             if (st->parser) {
3157                 if (st->need_parsing == AVSTREAM_PARSE_HEADERS) {
3158                     st->parser->flags |= PARSER_FLAG_COMPLETE_FRAMES;
3159                 } else if (st->need_parsing == AVSTREAM_PARSE_FULL_RAW) {
3160                     st->parser->flags |= PARSER_FLAG_USE_CODEC_TS;
3161                 }
3162             } else if (st->need_parsing) {
3163                 av_log(ic, AV_LOG_VERBOSE, "parser not found for codec "
3164                        "%s, packets or times may be invalid.\n",
3165                        avcodec_get_name(st->codec->codec_id));
3166             }
3167         }
3168         codec = find_decoder(ic, st, st->codec->codec_id);
3169
3170         /* Force thread count to 1 since the H.264 decoder will not extract
3171          * SPS and PPS to extradata during multi-threaded decoding. */
3172         av_dict_set(options ? &options[i] : &thread_opt, "threads", "1", 0);
3173
3174         if (ic->codec_whitelist)
3175             av_dict_set(options ? &options[i] : &thread_opt, "codec_whitelist", ic->codec_whitelist, 0);
3176
3177         /* Ensure that subtitle_header is properly set. */
3178         if (st->codec->codec_type == AVMEDIA_TYPE_SUBTITLE
3179             && codec && !st->codec->codec) {
3180             if (avcodec_open2(st->codec, codec, options ? &options[i] : &thread_opt) < 0)
3181                 av_log(ic, AV_LOG_WARNING,
3182                        "Failed to open codec in av_find_stream_info\n");
3183         }
3184
3185         // Try to just open decoders, in case this is enough to get parameters.
3186         if (!has_codec_parameters(st, NULL) && st->request_probe <= 0) {
3187             if (codec && !st->codec->codec)
3188                 if (avcodec_open2(st->codec, codec, options ? &options[i] : &thread_opt) < 0)
3189                     av_log(ic, AV_LOG_WARNING,
3190                            "Failed to open codec in av_find_stream_info\n");
3191         }
3192         if (!options)
3193             av_dict_free(&thread_opt);
3194     }
3195
3196     for (i = 0; i < ic->nb_streams; i++) {
3197 #if FF_API_R_FRAME_RATE
3198         ic->streams[i]->info->last_dts = AV_NOPTS_VALUE;
3199 #endif
3200         ic->streams[i]->info->fps_first_dts = AV_NOPTS_VALUE;
3201         ic->streams[i]->info->fps_last_dts  = AV_NOPTS_VALUE;
3202     }
3203
3204     count     = 0;
3205     read_size = 0;
3206     for (;;) {
3207         int analyzed_all_streams;
3208         if (ff_check_interrupt(&ic->interrupt_callback)) {
3209             ret = AVERROR_EXIT;
3210             av_log(ic, AV_LOG_DEBUG, "interrupted\n");
3211             break;
3212         }
3213
3214         /* check if one codec still needs to be handled */
3215         for (i = 0; i < ic->nb_streams; i++) {
3216             int fps_analyze_framecount = 20;
3217
3218             st = ic->streams[i];
3219             if (!has_codec_parameters(st, NULL))
3220                 break;
3221             /* If the timebase is coarse (like the usual millisecond precision
3222              * of mkv), we need to analyze more frames to reliably arrive at
3223              * the correct fps. */
3224             if (av_q2d(st->time_base) > 0.0005)
3225                 fps_analyze_framecount *= 2;
3226             if (!tb_unreliable(st->codec))
3227                 fps_analyze_framecount = 0;
3228             if (ic->fps_probe_size >= 0)
3229                 fps_analyze_framecount = ic->fps_probe_size;
3230             if (st->disposition & AV_DISPOSITION_ATTACHED_PIC)
3231                 fps_analyze_framecount = 0;
3232             /* variable fps and no guess at the real fps */
3233             if (!(st->r_frame_rate.num && st->avg_frame_rate.num) &&
3234                 st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
3235                 int count = (ic->iformat->flags & AVFMT_NOTIMESTAMPS) ?
3236                     st->info->codec_info_duration_fields/2 :
3237                     st->info->duration_count;
3238                 if (count < fps_analyze_framecount)
3239                     break;
3240             }
3241             if (st->parser && st->parser->parser->split &&
3242                 !st->codec->extradata)
3243                 break;
3244             if (st->first_dts == AV_NOPTS_VALUE &&
3245                 !(ic->iformat->flags & AVFMT_NOTIMESTAMPS) &&
3246                 st->codec_info_nb_frames < ic->max_ts_probe &&
3247                 (st->codec->codec_type == AVMEDIA_TYPE_VIDEO ||
3248                  st->codec->codec_type == AVMEDIA_TYPE_AUDIO))
3249                 break;
3250         }
3251         analyzed_all_streams = 0;
3252         if (i == ic->nb_streams) {
3253             analyzed_all_streams = 1;
3254             /* NOTE: If the format has no header, then we need to read some
3255              * packets to get most of the streams, so we cannot stop here. */
3256             if (!(ic->ctx_flags & AVFMTCTX_NOHEADER)) {
3257                 /* If we found the info for all the codecs, we can stop. */
3258                 ret = count;
3259                 av_log(ic, AV_LOG_DEBUG, "All info found\n");
3260                 flush_codecs = 0;
3261                 break;
3262             }
3263         }
3264         /* We did not get all the codec info, but we read too much data. */
3265         if (read_size >= probesize) {
3266             ret = count;
3267             av_log(ic, AV_LOG_DEBUG,
3268                    "Probe buffer size limit of %"PRId64" bytes reached\n", probesize);
3269             for (i = 0; i < ic->nb_streams; i++)
3270                 if (!ic->streams[i]->r_frame_rate.num &&
3271                     ic->streams[i]->info->duration_count <= 1 &&
3272                     ic->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO &&
3273                     strcmp(ic->iformat->name, "image2"))
3274                     av_log(ic, AV_LOG_WARNING,
3275                            "Stream #%d: not enough frames to estimate rate; "
3276                            "consider increasing probesize\n", i);
3277             break;
3278         }
3279
3280         /* NOTE: A new stream can be added there if no header in file
3281          * (AVFMTCTX_NOHEADER). */
3282         ret = read_frame_internal(ic, &pkt1);
3283         if (ret == AVERROR(EAGAIN))
3284             continue;
3285
3286         if (ret < 0) {
3287             /* EOF or error*/
3288             break;
3289         }
3290
3291         pkt = &pkt1;
3292
3293         if (!(ic->flags & AVFMT_FLAG_NOBUFFER)) {
3294             ret = add_to_pktbuf(&ic->internal->packet_buffer, pkt,
3295                                 &ic->internal->packet_buffer_end, 0);
3296             if (ret < 0)
3297                 goto find_stream_info_err;
3298         }
3299
3300         st = ic->streams[pkt->stream_index];
3301         if (!(st->disposition & AV_DISPOSITION_ATTACHED_PIC))
3302             read_size += pkt->size;
3303
3304         if (pkt->dts != AV_NOPTS_VALUE && st->codec_info_nb_frames > 1) {
3305             /* check for non-increasing dts */
3306             if (st->info->fps_last_dts != AV_NOPTS_VALUE &&
3307                 st->info->fps_last_dts >= pkt->dts) {
3308                 av_log(ic, AV_LOG_DEBUG,
3309                        "Non-increasing DTS in stream %d: packet %d with DTS "
3310                        "%"PRId64", packet %d with DTS %"PRId64"\n",
3311                        st->index, st->info->fps_last_dts_idx,
3312                        st->info->fps_last_dts, st->codec_info_nb_frames,
3313                        pkt->dts);
3314                 st->info->fps_first_dts =
3315                 st->info->fps_last_dts  = AV_NOPTS_VALUE;
3316             }
3317             /* Check for a discontinuity in dts. If the difference in dts
3318              * is more than 1000 times the average packet duration in the
3319              * sequence, we treat it as a discontinuity. */
3320             if (st->info->fps_last_dts != AV_NOPTS_VALUE &&
3321                 st->info->fps_last_dts_idx > st->info->fps_first_dts_idx &&
3322                 (pkt->dts - st->info->fps_last_dts) / 1000 >
3323                 (st->info->fps_last_dts     - st->info->fps_first_dts) /
3324                 (st->info->fps_last_dts_idx - st->info->fps_first_dts_idx)) {
3325                 av_log(ic, AV_LOG_WARNING,
3326                        "DTS discontinuity in stream %d: packet %d with DTS "
3327                        "%"PRId64", packet %d with DTS %"PRId64"\n",
3328                        st->index, st->info->fps_last_dts_idx,
3329                        st->info->fps_last_dts, st->codec_info_nb_frames,
3330                        pkt->dts);
3331                 st->info->fps_first_dts =
3332                 st->info->fps_last_dts  = AV_NOPTS_VALUE;
3333             }
3334
3335             /* update stored dts values */
3336             if (st->info->fps_first_dts == AV_NOPTS_VALUE) {
3337                 st->info->fps_first_dts     = pkt->dts;
3338                 st->info->fps_first_dts_idx = st->codec_info_nb_frames;
3339             }
3340             st->info->fps_last_dts     = pkt->dts;
3341             st->info->fps_last_dts_idx = st->codec_info_nb_frames;
3342         }
3343         if (st->codec_info_nb_frames>1) {
3344             int64_t t = 0;
3345             int64_t limit;
3346
3347             if (st->time_base.den > 0)
3348                 t = av_rescale_q(st->info->codec_info_duration, st->time_base, AV_TIME_BASE_Q);
3349             if (st->avg_frame_rate.num > 0)
3350                 t = FFMAX(t, av_rescale_q(st->codec_info_nb_frames, av_inv_q(st->avg_frame_rate), AV_TIME_BASE_Q));
3351
3352             if (   t == 0
3353                 && st->codec_info_nb_frames>30
3354                 && st->info->fps_first_dts != AV_NOPTS_VALUE
3355                 && st->info->fps_last_dts  != AV_NOPTS_VALUE)
3356                 t = FFMAX(t, av_rescale_q(st->info->fps_last_dts - st->info->fps_first_dts, st->time_base, AV_TIME_BASE_Q));
3357
3358             if (analyzed_all_streams)                                limit = max_analyze_duration;
3359             else if (st->codec->codec_type == AVMEDIA_TYPE_SUBTITLE) limit = max_subtitle_analyze_duration;
3360             else                                                     limit = max_stream_analyze_duration;
3361
3362             if (t >= limit) {
3363                 av_log(ic, AV_LOG_VERBOSE, "max_analyze_duration %"PRId64" reached at %"PRId64" microseconds st:%d\n",
3364                        limit,
3365                        t, pkt->stream_index);
3366                 if (ic->flags & AVFMT_FLAG_NOBUFFER)
3367                     av_packet_unref(pkt);
3368                 break;
3369             }
3370             if (pkt->duration) {
3371                 if (st->codec->codec_type == AVMEDIA_TYPE_SUBTITLE && pkt->pts != AV_NOPTS_VALUE && pkt->pts >= st->start_time) {
3372                     st->info->codec_info_duration = FFMIN(pkt->pts - st->start_time, st->info->codec_info_duration + pkt->duration);
3373                 } else
3374                     st->info->codec_info_duration += pkt->duration;
3375                 st->info->codec_info_duration_fields += st->parser && st->need_parsing && st->codec->ticks_per_frame ==2 ? st->parser->repeat_pict + 1 : 2;
3376             }
3377         }
3378 #if FF_API_R_FRAME_RATE
3379         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO)
3380             ff_rfps_add_frame(ic, st, pkt->dts);
3381 #endif
3382         if (st->parser && st->parser->parser->split && !st->codec->extradata) {
3383             int i = st->parser->parser->split(st->codec, pkt->data, pkt->size);
3384             if (i > 0 && i < FF_MAX_EXTRADATA_SIZE) {
3385                 if (ff_alloc_extradata(st->codec, i))
3386                     return AVERROR(ENOMEM);
3387                 memcpy(st->codec->extradata, pkt->data,
3388                        st->codec->extradata_size);
3389             }
3390         }
3391
3392         /* If still no information, we try to open the codec and to
3393          * decompress the frame. We try to avoid that in most cases as
3394          * it takes longer and uses more memory. For MPEG-4, we need to
3395          * decompress for QuickTime.
3396          *
3397          * If AV_CODEC_CAP_CHANNEL_CONF is set this will force decoding of at
3398          * least one frame of codec data, this makes sure the codec initializes
3399          * the channel configuration and does not only trust the values from
3400          * the container. */
3401         try_decode_frame(ic, st, pkt,
3402                          (options && i < orig_nb_streams) ? &options[i] : NULL);
3403
3404         if (ic->flags & AVFMT_FLAG_NOBUFFER)
3405             av_packet_unref(pkt);
3406
3407         st->codec_info_nb_frames++;
3408         count++;
3409     }
3410
3411     if (flush_codecs) {
3412         AVPacket empty_pkt = { 0 };
3413         int err = 0;
3414         av_init_packet(&empty_pkt);
3415
3416         for (i = 0; i < ic->nb_streams; i++) {
3417
3418             st = ic->streams[i];
3419
3420             /* flush the decoders */
3421             if (st->info->found_decoder == 1) {
3422                 do {
3423                     err = try_decode_frame(ic, st, &empty_pkt,
3424                                             (options && i < orig_nb_streams)
3425                                             ? &options[i] : NULL);
3426                 } while (err > 0 && !has_codec_parameters(st, NULL));
3427
3428                 if (err < 0) {
3429                     av_log(ic, AV_LOG_INFO,
3430                         "decoding for stream %d failed\n", st->index);
3431                 }
3432             }
3433         }
3434     }
3435
3436     // close codecs which were opened in try_decode_frame()
3437     for (i = 0; i < ic->nb_streams; i++) {
3438         st = ic->streams[i];
3439         avcodec_close(st->codec);
3440     }
3441
3442     ff_rfps_calculate(ic);
3443
3444     for (i = 0; i < ic->nb_streams; i++) {
3445         st = ic->streams[i];
3446         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
3447             if (st->codec->codec_id == AV_CODEC_ID_RAWVIDEO && !st->codec->codec_tag && !st->codec->bits_per_coded_sample) {
3448                 uint32_t tag= avcodec_pix_fmt_to_codec_tag(st->codec->pix_fmt);
3449                 if (avpriv_find_pix_fmt(avpriv_get_raw_pix_fmt_tags(), tag) == st->codec->pix_fmt)
3450                     st->codec->codec_tag= tag;
3451             }
3452
3453             /* estimate average framerate if not set by demuxer */
3454             if (st->info->codec_info_duration_fields &&
3455                 !st->avg_frame_rate.num &&
3456                 st->info->codec_info_duration) {
3457                 int best_fps      = 0;
3458                 double best_error = 0.01;
3459
3460                 if (st->info->codec_info_duration        >= INT64_MAX / st->time_base.num / 2||
3461                     st->info->codec_info_duration_fields >= INT64_MAX / st->time_base.den ||
3462                     st->info->codec_info_duration        < 0)
3463                     continue;
3464                 av_reduce(&st->avg_frame_rate.num, &st->avg_frame_rate.den,
3465                           st->info->codec_info_duration_fields * (int64_t) st->time_base.den,
3466                           st->info->codec_info_duration * 2 * (int64_t) st->time_base.num, 60000);
3467
3468                 /* Round guessed framerate to a "standard" framerate if it's
3469                  * within 1% of the original estimate. */
3470                 for (j = 0; j < MAX_STD_TIMEBASES; j++) {
3471                     AVRational std_fps = { get_std_framerate(j), 12 * 1001 };
3472                     double error       = fabs(av_q2d(st->avg_frame_rate) /
3473                                               av_q2d(std_fps) - 1);
3474
3475                     if (error < best_error) {
3476                         best_error = error;
3477                         best_fps   = std_fps.num;
3478                     }
3479                 }
3480                 if (best_fps)
3481                     av_reduce(&st->avg_frame_rate.num, &st->avg_frame_rate.den,
3482                               best_fps, 12 * 1001, INT_MAX);
3483             }
3484
3485             if (!st->r_frame_rate.num) {
3486                 if (    st->codec->time_base.den * (int64_t) st->time_base.num
3487                     <= st->codec->time_base.num * st->codec->ticks_per_frame * (int64_t) st->time_base.den) {
3488                     st->r_frame_rate.num = st->codec->time_base.den;
3489                     st->r_frame_rate.den = st->codec->time_base.num * st->codec->ticks_per_frame;
3490                 } else {
3491                     st->r_frame_rate.num = st->time_base.den;
3492                     st->r_frame_rate.den = st->time_base.num;
3493                 }
3494             }
3495             if (st->display_aspect_ratio.num && st->display_aspect_ratio.den) {
3496                 AVRational hw_ratio = { st->codec->height, st->codec->width };
3497                 st->sample_aspect_ratio = av_mul_q(st->display_aspect_ratio,
3498                                                    hw_ratio);
3499             }
3500         } else if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
3501             if (!st->codec->bits_per_coded_sample)
3502                 st->codec->bits_per_coded_sample =
3503                     av_get_bits_per_sample(st->codec->codec_id);
3504             // set stream disposition based on audio service type
3505             switch (st->codec->audio_service_type) {
3506             case AV_AUDIO_SERVICE_TYPE_EFFECTS:
3507                 st->disposition = AV_DISPOSITION_CLEAN_EFFECTS;
3508                 break;
3509             case AV_AUDIO_SERVICE_TYPE_VISUALLY_IMPAIRED:
3510                 st->disposition = AV_DISPOSITION_VISUAL_IMPAIRED;
3511                 break;
3512             case AV_AUDIO_SERVICE_TYPE_HEARING_IMPAIRED:
3513                 st->disposition = AV_DISPOSITION_HEARING_IMPAIRED;
3514                 break;
3515             case AV_AUDIO_SERVICE_TYPE_COMMENTARY:
3516                 st->disposition = AV_DISPOSITION_COMMENT;
3517                 break;
3518             case AV_AUDIO_SERVICE_TYPE_KARAOKE:
3519                 st->disposition = AV_DISPOSITION_KARAOKE;
3520                 break;
3521             }
3522         }
3523     }
3524
3525     if (probesize)
3526         estimate_timings(ic, old_offset);
3527
3528     av_opt_set(ic, "skip_clear", "0", AV_OPT_SEARCH_CHILDREN);
3529
3530     if (ret >= 0 && ic->nb_streams)
3531         /* We could not have all the codec parameters before EOF. */
3532         ret = -1;
3533     for (i = 0; i < ic->nb_streams; i++) {
3534         const char *errmsg;
3535         st = ic->streams[i];
3536         if (!has_codec_parameters(st, &errmsg)) {
3537             char buf[256];
3538             avcodec_string(buf, sizeof(buf), st->codec, 0);
3539             av_log(ic, AV_LOG_WARNING,
3540                    "Could not find codec parameters for stream %d (%s): %s\n"
3541                    "Consider increasing the value for the 'analyzeduration' and 'probesize' options\n",
3542                    i, buf, errmsg);
3543         } else {
3544             ret = 0;
3545         }
3546     }
3547
3548     compute_chapters_end(ic);
3549
3550 find_stream_info_err:
3551     for (i = 0; i < ic->nb_streams; i++) {
3552         st = ic->streams[i];
3553         if (ic->streams[i]->codec->codec_type != AVMEDIA_TYPE_AUDIO)
3554             ic->streams[i]->codec->thread_count = 0;
3555         if (st->info)
3556             av_freep(&st->info->duration_error);
3557         av_freep(&ic->streams[i]->info);
3558     }
3559     if (ic->pb)
3560         av_log(ic, AV_LOG_DEBUG, "After avformat_find_stream_info() pos: %"PRId64" bytes read:%"PRId64" seeks:%d frames:%d\n",
3561                avio_tell(ic->pb), ic->pb->bytes_read, ic->pb->seek_count, count);
3562     return ret;
3563 }
3564
3565 AVProgram *av_find_program_from_stream(AVFormatContext *ic, AVProgram *last, int s)
3566 {
3567     int i, j;
3568
3569     for (i = 0; i < ic->nb_programs; i++) {
3570         if (ic->programs[i] == last) {
3571             last = NULL;
3572         } else {
3573             if (!last)
3574                 for (j = 0; j < ic->programs[i]->nb_stream_indexes; j++)
3575                     if (ic->programs[i]->stream_index[j] == s)
3576                         return ic->programs[i];
3577         }
3578     }
3579     return NULL;
3580 }
3581
3582 int av_find_best_stream(AVFormatContext *ic, enum AVMediaType type,
3583                         int wanted_stream_nb, int related_stream,
3584                         AVCodec **decoder_ret, int flags)
3585 {
3586     int i, nb_streams = ic->nb_streams;
3587     int ret = AVERROR_STREAM_NOT_FOUND, best_count = -1, best_bitrate = -1, best_multiframe = -1, count, bitrate, multiframe;
3588     unsigned *program = NULL;
3589     const AVCodec *decoder = NULL, *best_decoder = NULL;
3590
3591     if (related_stream >= 0 && wanted_stream_nb < 0) {
3592         AVProgram *p = av_find_program_from_stream(ic, NULL, related_stream);
3593         if (p) {
3594             program    = p->stream_index;
3595             nb_streams = p->nb_stream_indexes;
3596         }
3597     }
3598     for (i = 0; i < nb_streams; i++) {
3599         int real_stream_index = program ? program[i] : i;
3600         AVStream *st          = ic->streams[real_stream_index];
3601         AVCodecContext *avctx = st->codec;
3602         if (avctx->codec_type != type)
3603             continue;
3604         if (wanted_stream_nb >= 0 && real_stream_index != wanted_stream_nb)
3605             continue;
3606         if (wanted_stream_nb != real_stream_index &&
3607             st->disposition & (AV_DISPOSITION_HEARING_IMPAIRED |
3608                                AV_DISPOSITION_VISUAL_IMPAIRED))
3609             continue;
3610         if (type == AVMEDIA_TYPE_AUDIO && !(avctx->channels && avctx->sample_rate))
3611             continue;
3612         if (decoder_ret) {
3613             decoder = find_decoder(ic, st, st->codec->codec_id);
3614             if (!decoder) {
3615                 if (ret < 0)
3616                     ret = AVERROR_DECODER_NOT_FOUND;
3617                 continue;
3618             }
3619         }
3620         count = st->codec_info_nb_frames;
3621         bitrate = avctx->bit_rate;
3622         if (!bitrate)
3623             bitrate = avctx->rc_max_rate;
3624         multiframe = FFMIN(5, count);
3625         if ((best_multiframe >  multiframe) ||
3626             (best_multiframe == multiframe && best_bitrate >  bitrate) ||
3627             (best_multiframe == multiframe && best_bitrate == bitrate && best_count >= count))
3628             continue;
3629         best_count   = count;
3630         best_bitrate = bitrate;
3631         best_multiframe = multiframe;
3632         ret          = real_stream_index;
3633         best_decoder = decoder;
3634         if (program && i == nb_streams - 1 && ret < 0) {
3635             program    = NULL;
3636             nb_streams = ic->nb_streams;
3637             /* no related stream found, try again with everything */
3638             i = 0;
3639         }
3640     }
3641     if (decoder_ret)
3642         *decoder_ret = (AVCodec*)best_decoder;
3643     return ret;
3644 }
3645
3646 /*******************************************************/
3647
3648 int av_read_play(AVFormatContext *s)
3649 {
3650     if (s->iformat->read_play)
3651         return s->iformat->read_play(s);
3652     if (s->pb)
3653         return avio_pause(s->pb, 0);
3654     return AVERROR(ENOSYS);
3655 }
3656
3657 int av_read_pause(AVFormatContext *s)
3658 {
3659     if (s->iformat->read_pause)
3660         return s->iformat->read_pause(s);
3661     if (s->pb)
3662         return avio_pause(s->pb, 1);
3663     return AVERROR(ENOSYS);
3664 }
3665
3666 static void free_stream(AVStream **pst)
3667 {
3668     AVStream *st = *pst;
3669     int i;
3670
3671     if (!st)
3672         return;
3673
3674     for (i = 0; i < st->nb_side_data; i++)
3675         av_freep(&st->side_data[i].data);
3676     av_freep(&st->side_data);
3677
3678     if (st->parser)
3679         av_parser_close(st->parser);
3680
3681     if (st->attached_pic.data)
3682         av_packet_unref(&st->attached_pic);
3683
3684     av_freep(&st->internal);
3685
3686     av_dict_free(&st->metadata);
3687     av_freep(&st->probe_data.buf);
3688     av_freep(&st->index_entries);
3689     av_freep(&st->codec->extradata);
3690     av_freep(&st->codec->subtitle_header);
3691     av_freep(&st->codec);
3692     av_freep(&st->priv_data);
3693     if (st->info)
3694         av_freep(&st->info->duration_error);
3695     av_freep(&st->info);
3696     av_freep(&st->recommended_encoder_configuration);
3697     av_freep(&st->priv_pts);
3698
3699     av_freep(pst);
3700 }
3701
3702 void ff_free_stream(AVFormatContext *s, AVStream *st)
3703 {
3704     av_assert0(s->nb_streams>0);
3705     av_assert0(s->streams[ s->nb_streams - 1 ] == st);
3706
3707     free_stream(&s->streams[ --s->nb_streams ]);
3708 }
3709
3710 void avformat_free_context(AVFormatContext *s)
3711 {
3712     int i;
3713
3714     if (!s)
3715         return;
3716
3717     av_opt_free(s);
3718     if (s->iformat && s->iformat->priv_class && s->priv_data)
3719         av_opt_free(s->priv_data);
3720     if (s->oformat && s->oformat->priv_class && s->priv_data)
3721         av_opt_free(s->priv_data);
3722
3723     for (i = s->nb_streams - 1; i >= 0; i--)
3724         ff_free_stream(s, s->streams[i]);
3725
3726
3727     for (i = s->nb_programs - 1; i >= 0; i--) {
3728         av_dict_free(&s->programs[i]->metadata);
3729         av_freep(&s->programs[i]->stream_index);
3730         av_freep(&s->programs[i]);
3731     }
3732     av_freep(&s->programs);
3733     av_freep(&s->priv_data);
3734     while (s->nb_chapters--) {
3735         av_dict_free(&s->chapters[s->nb_chapters]->metadata);
3736         av_freep(&s->chapters[s->nb_chapters]);
3737     }
3738     av_freep(&s->chapters);
3739     av_dict_free(&s->metadata);
3740     av_freep(&s->streams);
3741     av_freep(&s->internal);
3742     flush_packet_queue(s);
3743     av_free(s);
3744 }
3745
3746 void avformat_close_input(AVFormatContext **ps)
3747 {
3748     AVFormatContext *s;
3749     AVIOContext *pb;
3750
3751     if (!ps || !*ps)
3752         return;
3753
3754     s  = *ps;
3755     pb = s->pb;
3756
3757     if ((s->iformat && strcmp(s->iformat->name, "image2") && s->iformat->flags & AVFMT_NOFILE) ||
3758         (s->flags & AVFMT_FLAG_CUSTOM_IO))
3759         pb = NULL;
3760
3761     flush_packet_queue(s);
3762
3763     if (s->iformat)
3764         if (s->iformat->read_close)
3765             s->iformat->read_close(s);
3766
3767     avformat_free_context(s);
3768
3769     *ps = NULL;
3770
3771     avio_close(pb);
3772 }
3773
3774 AVStream *avformat_new_stream(AVFormatContext *s, const AVCodec *c)
3775 {
3776     AVStream *st;
3777     int i;
3778     AVStream **streams;
3779
3780     if (s->nb_streams >= INT_MAX/sizeof(*streams))
3781         return NULL;
3782     streams = av_realloc_array(s->streams, s->nb_streams + 1, sizeof(*streams));
3783     if (!streams)
3784         return NULL;
3785     s->streams = streams;
3786
3787     st = av_mallocz(sizeof(AVStream));
3788     if (!st)
3789         return NULL;
3790     if (!(st->info = av_mallocz(sizeof(*st->info)))) {
3791         av_free(st);
3792         return NULL;
3793     }
3794     st->info->last_dts = AV_NOPTS_VALUE;
3795
3796     st->codec = avcodec_alloc_context3(c);
3797     if (!st->codec) {
3798         av_free(st->info);
3799         av_free(st);
3800         return NULL;
3801     }
3802
3803     st->internal = av_mallocz(sizeof(*st->internal));
3804     if (!st->internal)
3805         goto fail;
3806
3807     if (s->iformat) {
3808         /* no default bitrate if decoding */
3809         st->codec->bit_rate = 0;
3810
3811         /* default pts setting is MPEG-like */
3812         avpriv_set_pts_info(st, 33, 1, 90000);
3813         /* we set the current DTS to 0 so that formats without any timestamps
3814          * but durations get some timestamps, formats with some unknown
3815          * timestamps have their first few packets buffered and the
3816          * timestamps corrected before they are returned to the user */
3817         st->cur_dts = RELATIVE_TS_BASE;
3818     } else {
3819         st->cur_dts = AV_NOPTS_VALUE;
3820     }
3821
3822     st->index      = s->nb_streams;
3823     st->start_time = AV_NOPTS_VALUE;
3824     st->duration   = AV_NOPTS_VALUE;
3825     st->first_dts     = AV_NOPTS_VALUE;
3826     st->probe_packets = MAX_PROBE_PACKETS;
3827     st->pts_wrap_reference = AV_NOPTS_VALUE;
3828     st->pts_wrap_behavior = AV_PTS_WRAP_IGNORE;
3829
3830     st->last_IP_pts = AV_NOPTS_VALUE;
3831     st->last_dts_for_order_check = AV_NOPTS_VALUE;
3832     for (i = 0; i < MAX_REORDER_DELAY + 1; i++)
3833         st->pts_buffer[i] = AV_NOPTS_VALUE;
3834
3835     st->sample_aspect_ratio = (AVRational) { 0, 1 };
3836
3837 #if FF_API_R_FRAME_RATE
3838     st->info->last_dts      = AV_NOPTS_VALUE;
3839 #endif
3840     st->info->fps_first_dts = AV_NOPTS_VALUE;
3841     st->info->fps_last_dts  = AV_NOPTS_VALUE;
3842
3843     st->inject_global_side_data = s->internal->inject_global_side_data;
3844
3845     s->streams[s->nb_streams++] = st;
3846     return st;
3847 fail:
3848     free_stream(&st);
3849     return NULL;
3850 }
3851
3852 AVProgram *av_new_program(AVFormatContext *ac, int id)
3853 {
3854     AVProgram *program = NULL;
3855     int i;
3856
3857     av_log(ac, AV_LOG_TRACE, "new_program: id=0x%04x\n", id);
3858
3859     for (i = 0; i < ac->nb_programs; i++)
3860         if (ac->programs[i]->id == id)
3861             program = ac->programs[i];
3862
3863     if (!program) {
3864         program = av_mallocz(sizeof(AVProgram));
3865         if (!program)
3866             return NULL;
3867         dynarray_add(&ac->programs, &ac->nb_programs, program);
3868         program->discard = AVDISCARD_NONE;
3869     }
3870     program->id = id;
3871     program->pts_wrap_reference = AV_NOPTS_VALUE;
3872     program->pts_wrap_behavior = AV_PTS_WRAP_IGNORE;
3873
3874     program->start_time =
3875     program->end_time   = AV_NOPTS_VALUE;
3876
3877     return program;
3878 }
3879
3880 AVChapter *avpriv_new_chapter(AVFormatContext *s, int id, AVRational time_base,
3881                               int64_t start, int64_t end, const char *title)
3882 {
3883     AVChapter *chapter = NULL;
3884     int i;
3885
3886     if (end != AV_NOPTS_VALUE && start > end) {
3887         av_log(s, AV_LOG_ERROR, "Chapter end time %"PRId64" before start %"PRId64"\n", end, start);
3888         return NULL;
3889     }
3890
3891     for (i = 0; i < s->nb_chapters; i++)
3892         if (s->chapters[i]->id == id)
3893             chapter = s->chapters[i];
3894
3895     if (!chapter) {
3896         chapter = av_mallocz(sizeof(AVChapter));
3897         if (!chapter)
3898             return NULL;
3899         dynarray_add(&s->chapters, &s->nb_chapters, chapter);
3900     }
3901     av_dict_set(&chapter->metadata, "title", title, 0);
3902     chapter->id        = id;
3903     chapter->time_base = time_base;
3904     chapter->start     = start;
3905     chapter->end       = end;
3906
3907     return chapter;
3908 }
3909
3910 void ff_program_add_stream_index(AVFormatContext *ac, int progid, unsigned idx)
3911 {
3912     int i, j;
3913     AVProgram *program = NULL;
3914     void *tmp;
3915
3916     if (idx >= ac->nb_streams) {
3917         av_log(ac, AV_LOG_ERROR, "stream index %d is not valid\n", idx);
3918         return;
3919     }
3920
3921     for (i = 0; i < ac->nb_programs; i++) {
3922         if (ac->programs[i]->id != progid)
3923             continue;
3924         program = ac->programs[i];
3925         for (j = 0; j < program->nb_stream_indexes; j++)
3926             if (program->stream_index[j] == idx)
3927                 return;
3928
3929         tmp = av_realloc_array(program->stream_index, program->nb_stream_indexes+1, sizeof(unsigned int));
3930         if (!tmp)
3931             return;
3932         program->stream_index = tmp;
3933         program->stream_index[program->nb_stream_indexes++] = idx;
3934         return;
3935     }
3936 }
3937
3938 uint64_t ff_ntp_time(void)
3939 {
3940     return (av_gettime() / 1000) * 1000 + NTP_OFFSET_US;
3941 }
3942
3943 int av_get_frame_filename(char *buf, int buf_size, const char *path, int number)
3944 {
3945     const char *p;
3946     char *q, buf1[20], c;
3947     int nd, len, percentd_found;
3948
3949     q = buf;
3950     p = path;
3951     percentd_found = 0;
3952     for (;;) {
3953         c = *p++;
3954         if (c == '\0')
3955             break;
3956         if (c == '%') {
3957             do {
3958                 nd = 0;
3959                 while (av_isdigit(*p))
3960                     nd = nd * 10 + *p++ - '0';
3961                 c = *p++;
3962             } while (av_isdigit(c));
3963
3964             switch (c) {
3965             case '%':
3966                 goto addchar;
3967             case 'd':
3968                 if (percentd_found)
3969                     goto fail;
3970                 percentd_found = 1;
3971                 if (number < 0)
3972                     nd += 1;
3973                 snprintf(buf1, sizeof(buf1), "%0*d", nd, number);
3974                 len = strlen(buf1);
3975                 if ((q - buf + len) > buf_size - 1)
3976                     goto fail;
3977                 memcpy(q, buf1, len);
3978                 q += len;
3979                 break;
3980             default:
3981                 goto fail;
3982             }
3983         } else {
3984 addchar:
3985             if ((q - buf) < buf_size - 1)
3986                 *q++ = c;
3987         }
3988     }
3989     if (!percentd_found)
3990         goto fail;
3991     *q = '\0';
3992     return 0;
3993 fail:
3994     *q = '\0';
3995     return -1;
3996 }
3997
3998 void av_url_split(char *proto, int proto_size,
3999                   char *authorization, int authorization_size,
4000                   char *hostname, int hostname_size,
4001                   int *port_ptr, char *path, int path_size, const char *url)
4002 {
4003     const char *p, *ls, *ls2, *at, *at2, *col, *brk;
4004
4005     if (port_ptr)
4006         *port_ptr = -1;
4007     if (proto_size > 0)
4008         proto[0] = 0;
4009     if (authorization_size > 0)
4010         authorization[0] = 0;
4011     if (hostname_size > 0)
4012         hostname[0] = 0;
4013     if (path_size > 0)
4014         path[0] = 0;
4015
4016     /* parse protocol */
4017     if ((p = strchr(url, ':'))) {
4018         av_strlcpy(proto, url, FFMIN(proto_size, p + 1 - url));
4019         p++; /* skip ':' */
4020         if (*p == '/')
4021             p++;
4022         if (*p == '/')
4023             p++;
4024     } else {
4025         /* no protocol means plain filename */
4026         av_strlcpy(path, url, path_size);
4027         return;
4028     }
4029
4030     /* separate path from hostname */
4031     ls = strchr(p, '/');
4032     ls2 = strchr(p, '?');
4033     if (!ls)
4034         ls = ls2;
4035     else if (ls && ls2)
4036         ls = FFMIN(ls, ls2);
4037     if (ls)
4038         av_strlcpy(path, ls, path_size);
4039     else
4040         ls = &p[strlen(p)];  // XXX
4041
4042     /* the rest is hostname, use that to parse auth/port */
4043     if (ls != p) {
4044         /* authorization (user[:pass]@hostname) */
4045         at2 = p;
4046         while ((at = strchr(p, '@')) && at < ls) {
4047             av_strlcpy(authorization, at2,
4048                        FFMIN(authorization_size, at + 1 - at2));
4049             p = at + 1; /* skip '@' */
4050         }
4051
4052         if (*p == '[' && (brk = strchr(p, ']')) && brk < ls) {
4053             /* [host]:port */
4054             av_strlcpy(hostname, p + 1,
4055                        FFMIN(hostname_size, brk - p));
4056             if (brk[1] == ':' && port_ptr)
4057                 *port_ptr = atoi(brk + 2);
4058         } else if ((col = strchr(p, ':')) && col < ls) {
4059             av_strlcpy(hostname, p,
4060                        FFMIN(col + 1 - p, hostname_size));
4061             if (port_ptr)
4062                 *port_ptr = atoi(col + 1);
4063         } else
4064             av_strlcpy(hostname, p,
4065                        FFMIN(ls + 1 - p, hostname_size));
4066     }
4067 }
4068
4069 char *ff_data_to_hex(char *buff, const uint8_t *src, int s, int lowercase)
4070 {
4071     int i;
4072     static const char hex_table_uc[16] = { '0', '1', '2', '3',
4073                                            '4', '5', '6', '7',
4074                                            '8', '9', 'A', 'B',
4075                                            'C', 'D', 'E', 'F' };
4076     static const char hex_table_lc[16] = { '0', '1', '2', '3',
4077                                            '4', '5', '6', '7',
4078                                            '8', '9', 'a', 'b',
4079                                            'c', 'd', 'e', 'f' };
4080     const char *hex_table = lowercase ? hex_table_lc : hex_table_uc;
4081
4082     for (i = 0; i < s; i++) {
4083         buff[i * 2]     = hex_table[src[i] >> 4];
4084         buff[i * 2 + 1] = hex_table[src[i] & 0xF];
4085     }
4086
4087     return buff;
4088 }
4089
4090 int ff_hex_to_data(uint8_t *data, const char *p)
4091 {
4092     int c, len, v;
4093
4094     len = 0;
4095     v   = 1;
4096     for (;;) {
4097         p += strspn(p, SPACE_CHARS);
4098         if (*p == '\0')
4099             break;
4100         c = av_toupper((unsigned char) *p++);
4101         if (c >= '0' && c <= '9')
4102             c = c - '0';
4103         else if (c >= 'A' && c <= 'F')
4104             c = c - 'A' + 10;
4105         else
4106             break;
4107         v = (v << 4) | c;
4108         if (v & 0x100) {
4109             if (data)
4110                 data[len] = v;
4111             len++;
4112             v = 1;
4113         }
4114     }
4115     return len;
4116 }
4117
4118 void avpriv_set_pts_info(AVStream *s, int pts_wrap_bits,
4119                          unsigned int pts_num, unsigned int pts_den)
4120 {
4121     AVRational new_tb;
4122     if (av_reduce(&new_tb.num, &new_tb.den, pts_num, pts_den, INT_MAX)) {
4123         if (new_tb.num != pts_num)
4124             av_log(NULL, AV_LOG_DEBUG,
4125                    "st:%d removing common factor %d from timebase\n",
4126                    s->index, pts_num / new_tb.num);
4127     } else
4128         av_log(NULL, AV_LOG_WARNING,
4129                "st:%d has too large timebase, reducing\n", s->index);
4130
4131     if (new_tb.num <= 0 || new_tb.den <= 0) {
4132         av_log(NULL, AV_LOG_ERROR,
4133                "Ignoring attempt to set invalid timebase %d/%d for st:%d\n",
4134                new_tb.num, new_tb.den,
4135                s->index);
4136         return;
4137     }
4138     s->time_base     = new_tb;
4139     av_codec_set_pkt_timebase(s->codec, new_tb);
4140     s->pts_wrap_bits = pts_wrap_bits;
4141 }
4142
4143 void ff_parse_key_value(const char *str, ff_parse_key_val_cb callback_get_buf,
4144                         void *context)
4145 {
4146     const char *ptr = str;
4147
4148     /* Parse key=value pairs. */
4149     for (;;) {
4150         const char *key;
4151         char *dest = NULL, *dest_end;
4152         int key_len, dest_len = 0;
4153
4154         /* Skip whitespace and potential commas. */
4155         while (*ptr && (av_isspace(*ptr) || *ptr == ','))
4156             ptr++;
4157         if (!*ptr)
4158             break;
4159
4160         key = ptr;
4161
4162         if (!(ptr = strchr(key, '=')))
4163             break;
4164         ptr++;
4165         key_len = ptr - key;
4166
4167         callback_get_buf(context, key, key_len, &dest, &dest_len);
4168         dest_end = dest + dest_len - 1;
4169
4170         if (*ptr == '\"') {
4171             ptr++;
4172             while (*ptr && *ptr != '\"') {
4173                 if (*ptr == '\\') {
4174                     if (!ptr[1])
4175                         break;
4176                     if (dest && dest < dest_end)
4177                         *dest++ = ptr[1];
4178                     ptr += 2;
4179                 } else {
4180                     if (dest && dest < dest_end)
4181                         *dest++ = *ptr;
4182                     ptr++;
4183                 }
4184             }
4185             if (*ptr == '\"')
4186                 ptr++;
4187         } else {
4188             for (; *ptr && !(av_isspace(*ptr) || *ptr == ','); ptr++)
4189                 if (dest && dest < dest_end)
4190                     *dest++ = *ptr;
4191         }
4192         if (dest)
4193             *dest = 0;
4194     }
4195 }
4196
4197 int ff_find_stream_index(AVFormatContext *s, int id)
4198 {
4199     int i;
4200     for (i = 0; i < s->nb_streams; i++)
4201         if (s->streams[i]->id == id)
4202             return i;
4203     return -1;
4204 }
4205
4206 int64_t ff_iso8601_to_unix_time(const char *datestr)
4207 {
4208     struct tm time1 = { 0 }, time2 = { 0 };
4209     const char *ret1, *ret2;
4210     ret1 = av_small_strptime(datestr, "%Y - %m - %d %T", &time1);
4211     ret2 = av_small_strptime(datestr, "%Y - %m - %dT%T", &time2);
4212     if (ret2 && !ret1)
4213         return av_timegm(&time2);
4214     else
4215         return av_timegm(&time1);
4216 }
4217
4218 int avformat_query_codec(const AVOutputFormat *ofmt, enum AVCodecID codec_id,
4219                          int std_compliance)
4220 {
4221     if (ofmt) {
4222         unsigned int codec_tag;
4223         if (ofmt->query_codec)
4224             return ofmt->query_codec(codec_id, std_compliance);
4225         else if (ofmt->codec_tag)
4226             return !!av_codec_get_tag2(ofmt->codec_tag, codec_id, &codec_tag);
4227         else if (codec_id == ofmt->video_codec ||
4228                  codec_id == ofmt->audio_codec ||
4229                  codec_id == ofmt->subtitle_codec)
4230             return 1;
4231     }
4232     return AVERROR_PATCHWELCOME;
4233 }
4234
4235 int avformat_network_init(void)
4236 {
4237 #if CONFIG_NETWORK
4238     int ret;
4239     ff_network_inited_globally = 1;
4240     if ((ret = ff_network_init()) < 0)
4241         return ret;
4242     if ((ret = ff_tls_init()) < 0)
4243         return ret;
4244 #endif
4245     return 0;
4246 }
4247
4248 int avformat_network_deinit(void)
4249 {
4250 #if CONFIG_NETWORK
4251     ff_network_close();
4252     ff_tls_deinit();
4253     ff_network_inited_globally = 0;
4254 #endif
4255     return 0;
4256 }
4257
4258 int ff_add_param_change(AVPacket *pkt, int32_t channels,
4259                         uint64_t channel_layout, int32_t sample_rate,
4260                         int32_t width, int32_t height)
4261 {
4262     uint32_t flags = 0;
4263     int size = 4;
4264     uint8_t *data;
4265     if (!pkt)
4266         return AVERROR(EINVAL);
4267     if (channels) {
4268         size  += 4;
4269         flags |= AV_SIDE_DATA_PARAM_CHANGE_CHANNEL_COUNT;
4270     }
4271     if (channel_layout) {
4272         size  += 8;
4273         flags |= AV_SIDE_DATA_PARAM_CHANGE_CHANNEL_LAYOUT;
4274     }
4275     if (sample_rate) {
4276         size  += 4;
4277         flags |= AV_SIDE_DATA_PARAM_CHANGE_SAMPLE_RATE;
4278     }
4279     if (width || height) {
4280         size  += 8;
4281         flags |= AV_SIDE_DATA_PARAM_CHANGE_DIMENSIONS;
4282     }
4283     data = av_packet_new_side_data(pkt, AV_PKT_DATA_PARAM_CHANGE, size);
4284     if (!data)
4285         return AVERROR(ENOMEM);
4286     bytestream_put_le32(&data, flags);
4287     if (channels)
4288         bytestream_put_le32(&data, channels);
4289     if (channel_layout)
4290         bytestream_put_le64(&data, channel_layout);
4291     if (sample_rate)
4292         bytestream_put_le32(&data, sample_rate);
4293     if (width || height) {
4294         bytestream_put_le32(&data, width);
4295         bytestream_put_le32(&data, height);
4296     }
4297     return 0;
4298 }
4299
4300 AVRational av_guess_sample_aspect_ratio(AVFormatContext *format, AVStream *stream, AVFrame *frame)
4301 {
4302     AVRational undef = {0, 1};
4303     AVRational stream_sample_aspect_ratio = stream ? stream->sample_aspect_ratio : undef;
4304     AVRational codec_sample_aspect_ratio  = stream && stream->codec ? stream->codec->sample_aspect_ratio : undef;
4305     AVRational frame_sample_aspect_ratio  = frame  ? frame->sample_aspect_ratio  : codec_sample_aspect_ratio;
4306
4307     av_reduce(&stream_sample_aspect_ratio.num, &stream_sample_aspect_ratio.den,
4308                stream_sample_aspect_ratio.num,  stream_sample_aspect_ratio.den, INT_MAX);
4309     if (stream_sample_aspect_ratio.num <= 0 || stream_sample_aspect_ratio.den <= 0)
4310         stream_sample_aspect_ratio = undef;
4311
4312     av_reduce(&frame_sample_aspect_ratio.num, &frame_sample_aspect_ratio.den,
4313                frame_sample_aspect_ratio.num,  frame_sample_aspect_ratio.den, INT_MAX);
4314     if (frame_sample_aspect_ratio.num <= 0 || frame_sample_aspect_ratio.den <= 0)
4315         frame_sample_aspect_ratio = undef;
4316
4317     if (stream_sample_aspect_ratio.num)
4318         return stream_sample_aspect_ratio;
4319     else
4320         return frame_sample_aspect_ratio;
4321 }
4322
4323 AVRational av_guess_frame_rate(AVFormatContext *format, AVStream *st, AVFrame *frame)
4324 {
4325     AVRational fr = st->r_frame_rate;
4326     AVRational codec_fr = st->codec->framerate;
4327     AVRational   avg_fr = st->avg_frame_rate;
4328
4329     if (avg_fr.num > 0 && avg_fr.den > 0 && fr.num > 0 && fr.den > 0 &&
4330         av_q2d(avg_fr) < 70 && av_q2d(fr) > 210) {
4331         fr = avg_fr;
4332     }
4333
4334
4335     if (st->codec->ticks_per_frame > 1) {
4336         if (   codec_fr.num > 0 && codec_fr.den > 0 &&
4337             (fr.num == 0 || av_q2d(codec_fr) < av_q2d(fr)*0.7 && fabs(1.0 - av_q2d(av_div_q(avg_fr, fr))) > 0.1))
4338             fr = codec_fr;
4339     }
4340
4341     return fr;
4342 }
4343
4344 int avformat_match_stream_specifier(AVFormatContext *s, AVStream *st,
4345                                     const char *spec)
4346 {
4347     if (*spec <= '9' && *spec >= '0') /* opt:index */
4348         return strtol(spec, NULL, 0) == st->index;
4349     else if (*spec == 'v' || *spec == 'a' || *spec == 's' || *spec == 'd' ||
4350              *spec == 't' || *spec == 'V') { /* opt:[vasdtV] */
4351         enum AVMediaType type;
4352         int nopic = 0;
4353
4354         switch (*spec++) {
4355         case 'v': type = AVMEDIA_TYPE_VIDEO;      break;
4356         case 'a': type = AVMEDIA_TYPE_AUDIO;      break;
4357         case 's': type = AVMEDIA_TYPE_SUBTITLE;   break;
4358         case 'd': type = AVMEDIA_TYPE_DATA;       break;
4359         case 't': type = AVMEDIA_TYPE_ATTACHMENT; break;
4360         case 'V': type = AVMEDIA_TYPE_VIDEO; nopic = 1; break;
4361         default:  av_assert0(0);
4362         }
4363         if (type != st->codec->codec_type)
4364             return 0;
4365         if (nopic && (st->disposition & AV_DISPOSITION_ATTACHED_PIC))
4366             return 0;
4367         if (*spec++ == ':') { /* possibly followed by :index */
4368             int i, index = strtol(spec, NULL, 0);
4369             for (i = 0; i < s->nb_streams; i++)
4370                 if (s->streams[i]->codec->codec_type == type &&
4371                     !(nopic && (st->disposition & AV_DISPOSITION_ATTACHED_PIC)) &&
4372                     index-- == 0)
4373                     return i == st->index;
4374             return 0;
4375         }
4376         return 1;
4377     } else if (*spec == 'p' && *(spec + 1) == ':') {
4378         int prog_id, i, j;
4379         char *endptr;
4380         spec += 2;
4381         prog_id = strtol(spec, &endptr, 0);
4382         for (i = 0; i < s->nb_programs; i++) {
4383             if (s->programs[i]->id != prog_id)
4384                 continue;
4385
4386             if (*endptr++ == ':') {
4387                 int stream_idx = strtol(endptr, NULL, 0);
4388                 return stream_idx >= 0 &&
4389                     stream_idx < s->programs[i]->nb_stream_indexes &&
4390                     st->index == s->programs[i]->stream_index[stream_idx];
4391             }
4392
4393             for (j = 0; j < s->programs[i]->nb_stream_indexes; j++)
4394                 if (st->index == s->programs[i]->stream_index[j])
4395                     return 1;
4396         }
4397         return 0;
4398     } else if (*spec == '#' ||
4399                (*spec == 'i' && *(spec + 1) == ':')) {
4400         int stream_id;
4401         char *endptr;
4402         spec += 1 + (*spec == 'i');
4403         stream_id = strtol(spec, &endptr, 0);
4404         if (!*endptr)
4405             return stream_id == st->id;
4406     } else if (*spec == 'm' && *(spec + 1) == ':') {
4407         AVDictionaryEntry *tag;
4408         char *key, *val;
4409         int ret;
4410
4411         spec += 2;
4412         val = strchr(spec, ':');
4413
4414         key = val ? av_strndup(spec, val - spec) : av_strdup(spec);
4415         if (!key)
4416             return AVERROR(ENOMEM);
4417
4418         tag = av_dict_get(st->metadata, key, NULL, 0);
4419         if (tag) {
4420             if (!val || !strcmp(tag->value, val + 1))
4421                 ret = 1;
4422             else
4423                 ret = 0;
4424         } else
4425             ret = 0;
4426
4427         av_freep(&key);
4428         return ret;
4429     } else if (*spec == 'u') {
4430         AVCodecContext *avctx = st->codec;
4431         int val;
4432         switch (avctx->codec_type) {
4433         case AVMEDIA_TYPE_AUDIO:
4434             val = avctx->sample_rate && avctx->channels;
4435             if (avctx->sample_fmt == AV_SAMPLE_FMT_NONE)
4436                 return 0;
4437             break;
4438         case AVMEDIA_TYPE_VIDEO:
4439             val = avctx->width && avctx->height;
4440             if (avctx->pix_fmt == AV_PIX_FMT_NONE)
4441                 return 0;
4442             break;
4443         case AVMEDIA_TYPE_UNKNOWN:
4444             val = 0;
4445             break;
4446         default:
4447             val = 1;
4448             break;
4449         }
4450         return avctx->codec_id != AV_CODEC_ID_NONE && val != 0;
4451     } else if (!*spec) /* empty specifier, matches everything */
4452         return 1;
4453
4454     av_log(s, AV_LOG_ERROR, "Invalid stream specifier: %s.\n", spec);
4455     return AVERROR(EINVAL);
4456 }
4457
4458 int ff_generate_avci_extradata(AVStream *st)
4459 {
4460     static const uint8_t avci100_1080p_extradata[] = {
4461         // SPS
4462         0x00, 0x00, 0x00, 0x01, 0x67, 0x7a, 0x10, 0x29,
4463         0xb6, 0xd4, 0x20, 0x22, 0x33, 0x19, 0xc6, 0x63,
4464         0x23, 0x21, 0x01, 0x11, 0x98, 0xce, 0x33, 0x19,
4465         0x18, 0x21, 0x02, 0x56, 0xb9, 0x3d, 0x7d, 0x7e,
4466         0x4f, 0xe3, 0x3f, 0x11, 0xf1, 0x9e, 0x08, 0xb8,
4467         0x8c, 0x54, 0x43, 0xc0, 0x78, 0x02, 0x27, 0xe2,
4468         0x70, 0x1e, 0x30, 0x10, 0x10, 0x14, 0x00, 0x00,
4469         0x03, 0x00, 0x04, 0x00, 0x00, 0x03, 0x00, 0xca,
4470         0x10, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
4471         // PPS
4472         0x00, 0x00, 0x00, 0x01, 0x68, 0xce, 0x33, 0x48,
4473         0xd0
4474     };
4475     static const uint8_t avci100_1080i_extradata[] = {
4476         // SPS
4477         0x00, 0x00, 0x00, 0x01, 0x67, 0x7a, 0x10, 0x29,
4478         0xb6, 0xd4, 0x20, 0x22, 0x33, 0x19, 0xc6, 0x63,
4479         0x23, 0x21, 0x01, 0x11, 0x98, 0xce, 0x33, 0x19,
4480         0x18, 0x21, 0x03, 0x3a, 0x46, 0x65, 0x6a, 0x65,
4481         0x24, 0xad, 0xe9, 0x12, 0x32, 0x14, 0x1a, 0x26,
4482         0x34, 0xad, 0xa4, 0x41, 0x82, 0x23, 0x01, 0x50,
4483         0x2b, 0x1a, 0x24, 0x69, 0x48, 0x30, 0x40, 0x2e,
4484         0x11, 0x12, 0x08, 0xc6, 0x8c, 0x04, 0x41, 0x28,
4485         0x4c, 0x34, 0xf0, 0x1e, 0x01, 0x13, 0xf2, 0xe0,
4486         0x3c, 0x60, 0x20, 0x20, 0x28, 0x00, 0x00, 0x03,
4487         0x00, 0x08, 0x00, 0x00, 0x03, 0x01, 0x94, 0x20,
4488         // PPS
4489         0x00, 0x00, 0x00, 0x01, 0x68, 0xce, 0x33, 0x48,
4490         0xd0
4491     };
4492     static const uint8_t avci50_1080p_extradata[] = {
4493         // SPS
4494         0x00, 0x00, 0x00, 0x01, 0x67, 0x6e, 0x10, 0x28,
4495         0xa6, 0xd4, 0x20, 0x32, 0x33, 0x0c, 0x71, 0x18,
4496         0x88, 0x62, 0x10, 0x19, 0x19, 0x86, 0x38, 0x8c,
4497         0x44, 0x30, 0x21, 0x02, 0x56, 0x4e, 0x6f, 0x37,
4498         0xcd, 0xf9, 0xbf, 0x81, 0x6b, 0xf3, 0x7c, 0xde,
4499         0x6e, 0x6c, 0xd3, 0x3c, 0x05, 0xa0, 0x22, 0x7e,
4500         0x5f, 0xfc, 0x00, 0x0c, 0x00, 0x13, 0x8c, 0x04,
4501         0x04, 0x05, 0x00, 0x00, 0x03, 0x00, 0x01, 0x00,
4502         0x00, 0x03, 0x00, 0x32, 0x84, 0x00, 0x00, 0x00,
4503         // PPS
4504         0x00, 0x00, 0x00, 0x01, 0x68, 0xee, 0x31, 0x12,
4505         0x11
4506     };
4507     static const uint8_t avci50_1080i_extradata[] = {
4508         // SPS
4509         0x00, 0x00, 0x00, 0x01, 0x67, 0x6e, 0x10, 0x28,
4510         0xa6, 0xd4, 0x20, 0x32, 0x33, 0x0c, 0x71, 0x18,
4511         0x88, 0x62, 0x10, 0x19, 0x19, 0x86, 0x38, 0x8c,
4512         0x44, 0x30, 0x21, 0x02, 0x56, 0x4e, 0x6e, 0x61,
4513         0x87, 0x3e, 0x73, 0x4d, 0x98, 0x0c, 0x03, 0x06,
4514         0x9c, 0x0b, 0x73, 0xe6, 0xc0, 0xb5, 0x18, 0x63,
4515         0x0d, 0x39, 0xe0, 0x5b, 0x02, 0xd4, 0xc6, 0x19,
4516         0x1a, 0x79, 0x8c, 0x32, 0x34, 0x24, 0xf0, 0x16,
4517         0x81, 0x13, 0xf7, 0xff, 0x80, 0x02, 0x00, 0x01,
4518         0xf1, 0x80, 0x80, 0x80, 0xa0, 0x00, 0x00, 0x03,
4519         0x00, 0x20, 0x00, 0x00, 0x06, 0x50, 0x80, 0x00,
4520         // PPS
4521         0x00, 0x00, 0x00, 0x01, 0x68, 0xee, 0x31, 0x12,
4522         0x11
4523     };
4524     static const uint8_t avci100_720p_extradata[] = {
4525         // SPS
4526         0x00, 0x00, 0x00, 0x01, 0x67, 0x7a, 0x10, 0x29,
4527         0xb6, 0xd4, 0x20, 0x2a, 0x33, 0x1d, 0xc7, 0x62,
4528         0xa1, 0x08, 0x40, 0x54, 0x66, 0x3b, 0x8e, 0xc5,
4529         0x42, 0x02, 0x10, 0x25, 0x64, 0x2c, 0x89, 0xe8,
4530         0x85, 0xe4, 0x21, 0x4b, 0x90, 0x83, 0x06, 0x95,
4531         0xd1, 0x06, 0x46, 0x97, 0x20, 0xc8, 0xd7, 0x43,
4532         0x08, 0x11, 0xc2, 0x1e, 0x4c, 0x91, 0x0f, 0x01,
4533         0x40, 0x16, 0xec, 0x07, 0x8c, 0x04, 0x04, 0x05,
4534         0x00, 0x00, 0x03, 0x00, 0x01, 0x00, 0x00, 0x03,
4535         0x00, 0x64, 0x84, 0x00, 0x00, 0x00, 0x00, 0x00,
4536         // PPS
4537         0x00, 0x00, 0x00, 0x01, 0x68, 0xce, 0x31, 0x12,
4538         0x11
4539     };
4540     static const uint8_t avci50_720p_extradata[] = {
4541         // SPS
4542         0x00, 0x00, 0x00, 0x01, 0x67, 0x6e, 0x10, 0x20,
4543         0xa6, 0xd4, 0x20, 0x32, 0x33, 0x0c, 0x71, 0x18,
4544         0x88, 0x62, 0x10, 0x19, 0x19, 0x86, 0x38, 0x8c,
4545         0x44, 0x30, 0x21, 0x02, 0x56, 0x4e, 0x6f, 0x37,
4546         0xcd, 0xf9, 0xbf, 0x81, 0x6b, 0xf3, 0x7c, 0xde,
4547         0x6e, 0x6c, 0xd3, 0x3c, 0x0f, 0x01, 0x6e, 0xff,
4548         0xc0, 0x00, 0xc0, 0x01, 0x38, 0xc0, 0x40, 0x40,
4549         0x50, 0x00, 0x00, 0x03, 0x00, 0x10, 0x00, 0x00,
4550         0x06, 0x48, 0x40, 0x00, 0x00, 0x00, 0x00, 0x00,
4551         // PPS
4552         0x00, 0x00, 0x00, 0x01, 0x68, 0xee, 0x31, 0x12,
4553         0x11
4554     };
4555
4556     const uint8_t *data = NULL;
4557     int size            = 0;
4558
4559     if (st->codec->width == 1920) {
4560         if (st->codec->field_order == AV_FIELD_PROGRESSIVE) {
4561             data = avci100_1080p_extradata;
4562             size = sizeof(avci100_1080p_extradata);
4563         } else {
4564             data = avci100_1080i_extradata;
4565             size = sizeof(avci100_1080i_extradata);
4566         }
4567     } else if (st->codec->width == 1440) {
4568         if (st->codec->field_order == AV_FIELD_PROGRESSIVE) {
4569             data = avci50_1080p_extradata;
4570             size = sizeof(avci50_1080p_extradata);
4571         } else {
4572             data = avci50_1080i_extradata;
4573             size = sizeof(avci50_1080i_extradata);
4574         }
4575     } else if (st->codec->width == 1280) {
4576         data = avci100_720p_extradata;
4577         size = sizeof(avci100_720p_extradata);
4578     } else if (st->codec->width == 960) {
4579         data = avci50_720p_extradata;
4580         size = sizeof(avci50_720p_extradata);
4581     }
4582
4583     if (!size)
4584         return 0;
4585
4586     av_freep(&st->codec->extradata);
4587     if (ff_alloc_extradata(st->codec, size))
4588         return AVERROR(ENOMEM);
4589     memcpy(st->codec->extradata, data, size);
4590
4591     return 0;
4592 }
4593
4594 uint8_t *av_stream_get_side_data(AVStream *st, enum AVPacketSideDataType type,
4595                                  int *size)
4596 {
4597     int i;
4598
4599     for (i = 0; i < st->nb_side_data; i++) {
4600         if (st->side_data[i].type == type) {
4601             if (size)
4602                 *size = st->side_data[i].size;
4603             return st->side_data[i].data;
4604         }
4605     }
4606     return NULL;
4607 }
4608
4609 uint8_t *av_stream_new_side_data(AVStream *st, enum AVPacketSideDataType type,
4610                                  int size)
4611 {
4612     AVPacketSideData *sd, *tmp;
4613     int i;
4614     uint8_t *data = av_malloc(size);
4615
4616     if (!data)
4617         return NULL;
4618
4619     for (i = 0; i < st->nb_side_data; i++) {
4620         sd = &st->side_data[i];
4621
4622         if (sd->type == type) {
4623             av_freep(&sd->data);
4624             sd->data = data;
4625             sd->size = size;
4626             return sd->data;
4627         }
4628     }
4629
4630     tmp = av_realloc_array(st->side_data, st->nb_side_data + 1, sizeof(*tmp));
4631     if (!tmp) {
4632         av_freep(&data);
4633         return NULL;
4634     }
4635
4636     st->side_data = tmp;
4637     st->nb_side_data++;
4638
4639     sd = &st->side_data[st->nb_side_data - 1];
4640     sd->type = type;
4641     sd->data = data;
4642     sd->size = size;
4643     return data;
4644 }