git.sesse.net Git - ffmpeg/blob - libavformat/utils.c

   1 /*
   2  * various utility functions for use within FFmpeg
   3  * Copyright (c) 2000, 2001, 2002 Fabrice Bellard
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include <stdarg.h>
  23 #include <stdint.h>
  24
  25 #include "config.h"
  26
  27 #include "libavutil/avassert.h"
  28 #include "libavutil/avstring.h"
  29 #include "libavutil/dict.h"
  30 #include "libavutil/internal.h"
  31 #include "libavutil/mathematics.h"
  32 #include "libavutil/opt.h"
  33 #include "libavutil/parseutils.h"
  34 #include "libavutil/pixdesc.h"
  35 #include "libavutil/thread.h"
  36 #include "libavutil/time.h"
  37 #include "libavutil/time_internal.h"
  38 #include "libavutil/timestamp.h"
  39
  40 #include "libavcodec/bytestream.h"
  41 #include "libavcodec/internal.h"
  42 #include "libavcodec/raw.h"
  43
  44 #include "audiointerleave.h"
  45 #include "avformat.h"
  46 #include "avio_internal.h"
  47 #include "id3v2.h"
  48 #include "internal.h"
  49 #include "metadata.h"
  50 #if CONFIG_NETWORK
  51 #include "network.h"
  52 #endif
  53 #include "riff.h"
  54 #include "url.h"
  55
  56 #include "libavutil/ffversion.h"
  57 const char av_format_ffversion[] = "FFmpeg version " FFMPEG_VERSION;
  58
  59 static AVMutex avformat_mutex = AV_MUTEX_INITIALIZER;
  60
  61 /**
  62  * @file
  63  * various utility functions for use within FFmpeg
  64  */
  65
  66 unsigned avformat_version(void)
  67 {
  68     av_assert0(LIBAVFORMAT_VERSION_MICRO >= 100);
  69     return LIBAVFORMAT_VERSION_INT;
  70 }
  71
  72 const char *avformat_configuration(void)
  73 {
  74     return FFMPEG_CONFIGURATION;
  75 }
  76
  77 const char *avformat_license(void)
  78 {
  79 #define LICENSE_PREFIX "libavformat license: "
  80     return &LICENSE_PREFIX FFMPEG_LICENSE[sizeof(LICENSE_PREFIX) - 1];
  81 }
  82
  83 int ff_lock_avformat(void)
  84 {
  85     return ff_mutex_lock(&avformat_mutex) ? -1 : 0;
  86 }
  87
  88 int ff_unlock_avformat(void)
  89 {
  90     return ff_mutex_unlock(&avformat_mutex) ? -1 : 0;
  91 }
  92
  93 #define RELATIVE_TS_BASE (INT64_MAX - (1LL<<48))
  94
  95 static int is_relative(int64_t ts) {
  96     return ts > (RELATIVE_TS_BASE - (1LL<<48));
  97 }
  98
  99 /**
 100  * Wrap a given time stamp, if there is an indication for an overflow
 101  *
 102  * @param st stream
 103  * @param timestamp the time stamp to wrap
 104  * @return resulting time stamp
 105  */
 106 static int64_t wrap_timestamp(const AVStream *st, int64_t timestamp)
 107 {
 108     if (st->pts_wrap_behavior != AV_PTS_WRAP_IGNORE &&
 109         st->pts_wrap_reference != AV_NOPTS_VALUE && timestamp != AV_NOPTS_VALUE) {
 110         if (st->pts_wrap_behavior == AV_PTS_WRAP_ADD_OFFSET &&
 111             timestamp < st->pts_wrap_reference)
 112             return timestamp + (1ULL << st->pts_wrap_bits);
 113         else if (st->pts_wrap_behavior == AV_PTS_WRAP_SUB_OFFSET &&
 114             timestamp >= st->pts_wrap_reference)
 115             return timestamp - (1ULL << st->pts_wrap_bits);
 116     }
 117     return timestamp;
 118 }
 119
 120 #if FF_API_FORMAT_GET_SET
 121 MAKE_ACCESSORS(AVStream, stream, AVRational, r_frame_rate)
 122 #if FF_API_LAVF_FFSERVER
 123 FF_DISABLE_DEPRECATION_WARNINGS
 124 MAKE_ACCESSORS(AVStream, stream, char *, recommended_encoder_configuration)
 125 FF_ENABLE_DEPRECATION_WARNINGS
 126 #endif
 127 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, video_codec)
 128 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, audio_codec)
 129 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, subtitle_codec)
 130 MAKE_ACCESSORS(AVFormatContext, format, AVCodec *, data_codec)
 131 MAKE_ACCESSORS(AVFormatContext, format, int, metadata_header_padding)
 132 MAKE_ACCESSORS(AVFormatContext, format, void *, opaque)
 133 MAKE_ACCESSORS(AVFormatContext, format, av_format_control_message, control_message_cb)
 134 #if FF_API_OLD_OPEN_CALLBACKS
 135 FF_DISABLE_DEPRECATION_WARNINGS
 136 MAKE_ACCESSORS(AVFormatContext, format, AVOpenCallback, open_cb)
 137 FF_ENABLE_DEPRECATION_WARNINGS
 138 #endif
 139 #endif
 140
 141 int64_t av_stream_get_end_pts(const AVStream *st)
 142 {
 143     if (st->internal->priv_pts) {
 144         return st->internal->priv_pts->val;
 145     } else
 146         return AV_NOPTS_VALUE;
 147 }
 148
 149 struct AVCodecParserContext *av_stream_get_parser(const AVStream *st)
 150 {
 151     return st->parser;
 152 }
 153
 154 void av_format_inject_global_side_data(AVFormatContext *s)
 155 {
 156     int i;
 157     s->internal->inject_global_side_data = 1;
 158     for (i = 0; i < s->nb_streams; i++) {
 159         AVStream *st = s->streams[i];
 160         st->inject_global_side_data = 1;
 161     }
 162 }
 163
 164 int ff_copy_whiteblacklists(AVFormatContext *dst, const AVFormatContext *src)
 165 {
 166     av_assert0(!dst->codec_whitelist &&
 167                !dst->format_whitelist &&
 168                !dst->protocol_whitelist &&
 169                !dst->protocol_blacklist);
 170     dst-> codec_whitelist = av_strdup(src->codec_whitelist);
 171     dst->format_whitelist = av_strdup(src->format_whitelist);
 172     dst->protocol_whitelist = av_strdup(src->protocol_whitelist);
 173     dst->protocol_blacklist = av_strdup(src->protocol_blacklist);
 174     if (   (src-> codec_whitelist && !dst-> codec_whitelist)
 175         || (src->  format_whitelist && !dst->  format_whitelist)
 176         || (src->protocol_whitelist && !dst->protocol_whitelist)
 177         || (src->protocol_blacklist && !dst->protocol_blacklist)) {
 178         av_log(dst, AV_LOG_ERROR, "Failed to duplicate black/whitelist\n");
 179         return AVERROR(ENOMEM);
 180     }
 181     return 0;
 182 }
 183
 184 static const AVCodec *find_decoder(AVFormatContext *s, const AVStream *st, enum AVCodecID codec_id)
 185 {
 186 #if FF_API_LAVF_AVCTX
 187 FF_DISABLE_DEPRECATION_WARNINGS
 188     if (st->codec->codec)
 189         return st->codec->codec;
 190 FF_ENABLE_DEPRECATION_WARNINGS
 191 #endif
 192
 193     switch (st->codecpar->codec_type) {
 194     case AVMEDIA_TYPE_VIDEO:
 195         if (s->video_codec)    return s->video_codec;
 196         break;
 197     case AVMEDIA_TYPE_AUDIO:
 198         if (s->audio_codec)    return s->audio_codec;
 199         break;
 200     case AVMEDIA_TYPE_SUBTITLE:
 201         if (s->subtitle_codec) return s->subtitle_codec;
 202         break;
 203     }
 204
 205     return avcodec_find_decoder(codec_id);
 206 }
 207
 208 static const AVCodec *find_probe_decoder(AVFormatContext *s, const AVStream *st, enum AVCodecID codec_id)
 209 {
 210     const AVCodec *codec;
 211
 212 #if CONFIG_H264_DECODER
 213     /* Other parts of the code assume this decoder to be used for h264,
 214      * so force it if possible. */
 215     if (codec_id == AV_CODEC_ID_H264)
 216         return avcodec_find_decoder_by_name("h264");
 217 #endif
 218
 219     codec = find_decoder(s, st, codec_id);
 220     if (!codec)
 221         return NULL;
 222
 223     if (codec->capabilities & AV_CODEC_CAP_AVOID_PROBING) {
 224         const AVCodec *probe_codec = NULL;
 225         while (probe_codec = av_codec_next(probe_codec)) {
 226             if (probe_codec->id == codec_id &&
 227                     av_codec_is_decoder(probe_codec) &&
 228                     !(probe_codec->capabilities & (AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_EXPERIMENTAL))) {
 229                 return probe_codec;
 230             }
 231         }
 232     }
 233
 234     return codec;
 235 }
 236
 237 #if FF_API_FORMAT_GET_SET
 238 int av_format_get_probe_score(const AVFormatContext *s)
 239 {
 240     return s->probe_score;
 241 }
 242 #endif
 243
 244 /* an arbitrarily chosen "sane" max packet size -- 50M */
 245 #define SANE_CHUNK_SIZE (50000000)
 246
 247 int ffio_limit(AVIOContext *s, int size)
 248 {
 249     if (s->maxsize>= 0) {
 250         int64_t remaining= s->maxsize - avio_tell(s);
 251         if (remaining < size) {
 252             int64_t newsize = avio_size(s);
 253             if (!s->maxsize || s->maxsize<newsize)
 254                 s->maxsize = newsize - !newsize;
 255             remaining= s->maxsize - avio_tell(s);
 256             remaining= FFMAX(remaining, 0);
 257         }
 258
 259         if (s->maxsize>= 0 && remaining+1 < size) {
 260             av_log(NULL, remaining ? AV_LOG_ERROR : AV_LOG_DEBUG, "Truncating packet of size %d to %"PRId64"\n", size, remaining+1);
 261             size = remaining+1;
 262         }
 263     }
 264     return size;
 265 }
 266
 267 /* Read the data in sane-sized chunks and append to pkt.
 268  * Return the number of bytes read or an error. */
 269 static int append_packet_chunked(AVIOContext *s, AVPacket *pkt, int size)
 270 {
 271     int orig_size      = pkt->size;
 272     int ret;
 273
 274     do {
 275         int prev_size = pkt->size;
 276         int read_size;
 277
 278         /* When the caller requests a lot of data, limit it to the amount
 279          * left in file or SANE_CHUNK_SIZE when it is not known. */
 280         read_size = size;
 281         if (read_size > SANE_CHUNK_SIZE/10) {
 282             read_size = ffio_limit(s, read_size);
 283             // If filesize/maxsize is unknown, limit to SANE_CHUNK_SIZE
 284             if (s->maxsize < 0)
 285                 read_size = FFMIN(read_size, SANE_CHUNK_SIZE);
 286         }
 287
 288         ret = av_grow_packet(pkt, read_size);
 289         if (ret < 0)
 290             break;
 291
 292         ret = avio_read(s, pkt->data + prev_size, read_size);
 293         if (ret != read_size) {
 294             av_shrink_packet(pkt, prev_size + FFMAX(ret, 0));
 295             break;
 296         }
 297
 298         size -= read_size;
 299     } while (size > 0);
 300     if (size > 0)
 301         pkt->flags |= AV_PKT_FLAG_CORRUPT;
 302
 303     if (!pkt->size)
 304         av_packet_unref(pkt);
 305     return pkt->size > orig_size ? pkt->size - orig_size : ret;
 306 }
 307
 308 int av_get_packet(AVIOContext *s, AVPacket *pkt, int size)
 309 {
 310     av_init_packet(pkt);
 311     pkt->data = NULL;
 312     pkt->size = 0;
 313     pkt->pos  = avio_tell(s);
 314
 315     return append_packet_chunked(s, pkt, size);
 316 }
 317
 318 int av_append_packet(AVIOContext *s, AVPacket *pkt, int size)
 319 {
 320     if (!pkt->size)
 321         return av_get_packet(s, pkt, size);
 322     return append_packet_chunked(s, pkt, size);
 323 }
 324
 325 int av_filename_number_test(const char *filename)
 326 {
 327     char buf[1024];
 328     return filename &&
 329            (av_get_frame_filename(buf, sizeof(buf), filename, 1) >= 0);
 330 }
 331
 332 static int set_codec_from_probe_data(AVFormatContext *s, AVStream *st,
 333                                      AVProbeData *pd)
 334 {
 335     static const struct {
 336         const char *name;
 337         enum AVCodecID id;
 338         enum AVMediaType type;
 339     } fmt_id_type[] = {
 340         { "aac",       AV_CODEC_ID_AAC,        AVMEDIA_TYPE_AUDIO },
 341         { "ac3",       AV_CODEC_ID_AC3,        AVMEDIA_TYPE_AUDIO },
 342         { "aptx",      AV_CODEC_ID_APTX,       AVMEDIA_TYPE_AUDIO },
 343         { "dts",       AV_CODEC_ID_DTS,        AVMEDIA_TYPE_AUDIO },
 344         { "dvbsub",    AV_CODEC_ID_DVB_SUBTITLE,AVMEDIA_TYPE_SUBTITLE },
 345         { "dvbtxt",    AV_CODEC_ID_DVB_TELETEXT,AVMEDIA_TYPE_SUBTITLE },
 346         { "eac3",      AV_CODEC_ID_EAC3,       AVMEDIA_TYPE_AUDIO },
 347         { "h264",      AV_CODEC_ID_H264,       AVMEDIA_TYPE_VIDEO },
 348         { "hevc",      AV_CODEC_ID_HEVC,       AVMEDIA_TYPE_VIDEO },
 349         { "loas",      AV_CODEC_ID_AAC_LATM,   AVMEDIA_TYPE_AUDIO },
 350         { "m4v",       AV_CODEC_ID_MPEG4,      AVMEDIA_TYPE_VIDEO },
 351         { "mjpeg_2000",AV_CODEC_ID_JPEG2000,   AVMEDIA_TYPE_VIDEO },
 352         { "mp3",       AV_CODEC_ID_MP3,        AVMEDIA_TYPE_AUDIO },
 353         { "mpegvideo", AV_CODEC_ID_MPEG2VIDEO, AVMEDIA_TYPE_VIDEO },
 354         { "truehd",    AV_CODEC_ID_TRUEHD,     AVMEDIA_TYPE_AUDIO },
 355         { 0 }
 356     };
 357     int score;
 358     const AVInputFormat *fmt = av_probe_input_format3(pd, 1, &score);
 359
 360     if (fmt) {
 361         int i;
 362         av_log(s, AV_LOG_DEBUG,
 363                "Probe with size=%d, packets=%d detected %s with score=%d\n",
 364                pd->buf_size, s->max_probe_packets - st->probe_packets,
 365                fmt->name, score);
 366         for (i = 0; fmt_id_type[i].name; i++) {
 367             if (!strcmp(fmt->name, fmt_id_type[i].name)) {
 368                 if (fmt_id_type[i].type != AVMEDIA_TYPE_AUDIO &&
 369                     st->codecpar->sample_rate)
 370                     continue;
 371                 if (st->request_probe > score &&
 372                     st->codecpar->codec_id != fmt_id_type[i].id)
 373                     continue;
 374                 st->codecpar->codec_id   = fmt_id_type[i].id;
 375                 st->codecpar->codec_type = fmt_id_type[i].type;
 376                 st->internal->need_context_update = 1;
 377 #if FF_API_LAVF_AVCTX
 378 FF_DISABLE_DEPRECATION_WARNINGS
 379                 st->codec->codec_type = st->codecpar->codec_type;
 380                 st->codec->codec_id   = st->codecpar->codec_id;
 381 FF_ENABLE_DEPRECATION_WARNINGS
 382 #endif
 383                 return score;
 384             }
 385         }
 386     }
 387     return 0;
 388 }
 389
 390 /************************************************************/
 391 /* input media file */
 392
 393 int av_demuxer_open(AVFormatContext *ic) {
 394     int err;
 395
 396     if (ic->format_whitelist && av_match_list(ic->iformat->name, ic->format_whitelist, ',') <= 0) {
 397         av_log(ic, AV_LOG_ERROR, "Format not on whitelist \'%s\'\n", ic->format_whitelist);
 398         return AVERROR(EINVAL);
 399     }
 400
 401     if (ic->iformat->read_header) {
 402         err = ic->iformat->read_header(ic);
 403         if (err < 0)
 404             return err;
 405     }
 406
 407     if (ic->pb && !ic->internal->data_offset)
 408         ic->internal->data_offset = avio_tell(ic->pb);
 409
 410     return 0;
 411 }
 412
 413 /* Open input file and probe the format if necessary. */
 414 static int init_input(AVFormatContext *s, const char *filename,
 415                       AVDictionary **options)
 416 {
 417     int ret;
 418     AVProbeData pd = { filename, NULL, 0 };
 419     int score = AVPROBE_SCORE_RETRY;
 420
 421     if (s->pb) {
 422         s->flags |= AVFMT_FLAG_CUSTOM_IO;
 423         if (!s->iformat)
 424             return av_probe_input_buffer2(s->pb, &s->iformat, filename,
 425                                          s, 0, s->format_probesize);
 426         else if (s->iformat->flags & AVFMT_NOFILE)
 427             av_log(s, AV_LOG_WARNING, "Custom AVIOContext makes no sense and "
 428                                       "will be ignored with AVFMT_NOFILE format.\n");
 429         return 0;
 430     }
 431
 432     if ((s->iformat && s->iformat->flags & AVFMT_NOFILE) ||
 433         (!s->iformat && (s->iformat = av_probe_input_format2(&pd, 0, &score))))
 434         return score;
 435
 436     if ((ret = s->io_open(s, &s->pb, filename, AVIO_FLAG_READ | s->avio_flags, options)) < 0)
 437         return ret;
 438
 439     if (s->iformat)
 440         return 0;
 441     return av_probe_input_buffer2(s->pb, &s->iformat, filename,
 442                                  s, 0, s->format_probesize);
 443 }
 444
 445 int ff_packet_list_put(AVPacketList **packet_buffer,
 446                        AVPacketList **plast_pktl,
 447                        AVPacket      *pkt, int flags)
 448 {
 449     AVPacketList *pktl = av_mallocz(sizeof(AVPacketList));
 450     int ret;
 451
 452     if (!pktl)
 453         return AVERROR(ENOMEM);
 454
 455     if (flags & FF_PACKETLIST_FLAG_REF_PACKET) {
 456         if ((ret = av_packet_ref(&pktl->pkt, pkt)) < 0) {
 457             av_free(pktl);
 458             return ret;
 459         }
 460     } else {
 461         ret = av_packet_make_refcounted(pkt);
 462         if (ret < 0) {
 463             av_free(pktl);
 464             return ret;
 465         }
 466         av_packet_move_ref(&pktl->pkt, pkt);
 467     }
 468
 469     if (*packet_buffer)
 470         (*plast_pktl)->next = pktl;
 471     else
 472         *packet_buffer = pktl;
 473
 474     /* Add the packet in the buffered packet list. */
 475     *plast_pktl = pktl;
 476     return 0;
 477 }
 478
 479 int avformat_queue_attached_pictures(AVFormatContext *s)
 480 {
 481     int i, ret;
 482     for (i = 0; i < s->nb_streams; i++)
 483         if (s->streams[i]->disposition & AV_DISPOSITION_ATTACHED_PIC &&
 484             s->streams[i]->discard < AVDISCARD_ALL) {
 485             if (s->streams[i]->attached_pic.size <= 0) {
 486                 av_log(s, AV_LOG_WARNING,
 487                     "Attached picture on stream %d has invalid size, "
 488                     "ignoring\n", i);
 489                 continue;
 490             }
 491
 492             ret = ff_packet_list_put(&s->internal->raw_packet_buffer,
 493                                      &s->internal->raw_packet_buffer_end,
 494                                      &s->streams[i]->attached_pic,
 495                                      FF_PACKETLIST_FLAG_REF_PACKET);
 496             if (ret < 0)
 497                 return ret;
 498         }
 499     return 0;
 500 }
 501
 502 static int update_stream_avctx(AVFormatContext *s)
 503 {
 504     int i, ret;
 505     for (i = 0; i < s->nb_streams; i++) {
 506         AVStream *st = s->streams[i];
 507
 508         if (!st->internal->need_context_update)
 509             continue;
 510
 511         /* close parser, because it depends on the codec */
 512         if (st->parser && st->internal->avctx->codec_id != st->codecpar->codec_id) {
 513             av_parser_close(st->parser);
 514             st->parser = NULL;
 515         }
 516
 517         /* update internal codec context, for the parser */
 518         ret = avcodec_parameters_to_context(st->internal->avctx, st->codecpar);
 519         if (ret < 0)
 520             return ret;
 521
 522 #if FF_API_LAVF_AVCTX
 523 FF_DISABLE_DEPRECATION_WARNINGS
 524         /* update deprecated public codec context */
 525         ret = avcodec_parameters_to_context(st->codec, st->codecpar);
 526         if (ret < 0)
 527             return ret;
 528 FF_ENABLE_DEPRECATION_WARNINGS
 529 #endif
 530
 531         st->internal->need_context_update = 0;
 532     }
 533     return 0;
 534 }
 535
 536
 537 int avformat_open_input(AVFormatContext **ps, const char *filename,
 538                         ff_const59 AVInputFormat *fmt, AVDictionary **options)
 539 {
 540     AVFormatContext *s = *ps;
 541     int i, ret = 0;
 542     AVDictionary *tmp = NULL;
 543     ID3v2ExtraMeta *id3v2_extra_meta = NULL;
 544
 545     if (!s && !(s = avformat_alloc_context()))
 546         return AVERROR(ENOMEM);
 547     if (!s->av_class) {
 548         av_log(NULL, AV_LOG_ERROR, "Input context has not been properly allocated by avformat_alloc_context() and is not NULL either\n");
 549         return AVERROR(EINVAL);
 550     }
 551     if (fmt)
 552         s->iformat = fmt;
 553
 554     if (options)
 555         av_dict_copy(&tmp, *options, 0);
 556
 557     if (s->pb) // must be before any goto fail
 558         s->flags |= AVFMT_FLAG_CUSTOM_IO;
 559
 560     if ((ret = av_opt_set_dict(s, &tmp)) < 0)
 561         goto fail;
 562
 563     if (!(s->url = av_strdup(filename ? filename : ""))) {
 564         ret = AVERROR(ENOMEM);
 565         goto fail;
 566     }
 567
 568 #if FF_API_FORMAT_FILENAME
 569 FF_DISABLE_DEPRECATION_WARNINGS
 570     av_strlcpy(s->filename, filename ? filename : "", sizeof(s->filename));
 571 FF_ENABLE_DEPRECATION_WARNINGS
 572 #endif
 573     if ((ret = init_input(s, filename, &tmp)) < 0)
 574         goto fail;
 575     s->probe_score = ret;
 576
 577     if (!s->protocol_whitelist && s->pb && s->pb->protocol_whitelist) {
 578         s->protocol_whitelist = av_strdup(s->pb->protocol_whitelist);
 579         if (!s->protocol_whitelist) {
 580             ret = AVERROR(ENOMEM);
 581             goto fail;
 582         }
 583     }
 584
 585     if (!s->protocol_blacklist && s->pb && s->pb->protocol_blacklist) {
 586         s->protocol_blacklist = av_strdup(s->pb->protocol_blacklist);
 587         if (!s->protocol_blacklist) {
 588             ret = AVERROR(ENOMEM);
 589             goto fail;
 590         }
 591     }
 592
 593     if (s->format_whitelist && av_match_list(s->iformat->name, s->format_whitelist, ',') <= 0) {
 594         av_log(s, AV_LOG_ERROR, "Format not on whitelist \'%s\'\n", s->format_whitelist);
 595         ret = AVERROR(EINVAL);
 596         goto fail;
 597     }
 598
 599     avio_skip(s->pb, s->skip_initial_bytes);
 600
 601     /* Check filename in case an image number is expected. */
 602     if (s->iformat->flags & AVFMT_NEEDNUMBER) {
 603         if (!av_filename_number_test(filename)) {
 604             ret = AVERROR(EINVAL);
 605             goto fail;
 606         }
 607     }
 608
 609     s->duration = s->start_time = AV_NOPTS_VALUE;
 610
 611     /* Allocate private data. */
 612     if (s->iformat->priv_data_size > 0) {
 613         if (!(s->priv_data = av_mallocz(s->iformat->priv_data_size))) {
 614             ret = AVERROR(ENOMEM);
 615             goto fail;
 616         }
 617         if (s->iformat->priv_class) {
 618             *(const AVClass **) s->priv_data = s->iformat->priv_class;
 619             av_opt_set_defaults(s->priv_data);
 620             if ((ret = av_opt_set_dict(s->priv_data, &tmp)) < 0)
 621                 goto fail;
 622         }
 623     }
 624
 625     /* e.g. AVFMT_NOFILE formats will not have a AVIOContext */
 626     if (s->pb)
 627         ff_id3v2_read_dict(s->pb, &s->internal->id3v2_meta, ID3v2_DEFAULT_MAGIC, &id3v2_extra_meta);
 628
 629
 630     if (!(s->flags&AVFMT_FLAG_PRIV_OPT) && s->iformat->read_header)
 631         if ((ret = s->iformat->read_header(s)) < 0)
 632             goto fail;
 633
 634     if (!s->metadata) {
 635         s->metadata = s->internal->id3v2_meta;
 636         s->internal->id3v2_meta = NULL;
 637     } else if (s->internal->id3v2_meta) {
 638         int level = AV_LOG_WARNING;
 639         if (s->error_recognition & AV_EF_COMPLIANT)
 640             level = AV_LOG_ERROR;
 641         av_log(s, level, "Discarding ID3 tags because more suitable tags were found.\n");
 642         av_dict_free(&s->internal->id3v2_meta);
 643         if (s->error_recognition & AV_EF_EXPLODE)
 644             return AVERROR_INVALIDDATA;
 645     }
 646
 647     if (id3v2_extra_meta) {
 648         if (!strcmp(s->iformat->name, "mp3") || !strcmp(s->iformat->name, "aac") ||
 649             !strcmp(s->iformat->name, "tta") || !strcmp(s->iformat->name, "wav")) {
 650             if ((ret = ff_id3v2_parse_apic(s, &id3v2_extra_meta)) < 0)
 651                 goto fail;
 652             if ((ret = ff_id3v2_parse_chapters(s, &id3v2_extra_meta)) < 0)
 653                 goto fail;
 654             if ((ret = ff_id3v2_parse_priv(s, &id3v2_extra_meta)) < 0)
 655                 goto fail;
 656         } else
 657             av_log(s, AV_LOG_DEBUG, "demuxer does not support additional id3 data, skipping\n");
 658     }
 659     ff_id3v2_free_extra_meta(&id3v2_extra_meta);
 660
 661     if ((ret = avformat_queue_attached_pictures(s)) < 0)
 662         goto fail;
 663
 664     if (!(s->flags&AVFMT_FLAG_PRIV_OPT) && s->pb && !s->internal->data_offset)
 665         s->internal->data_offset = avio_tell(s->pb);
 666
 667     s->internal->raw_packet_buffer_remaining_size = RAW_PACKET_BUFFER_SIZE;
 668
 669     update_stream_avctx(s);
 670
 671     for (i = 0; i < s->nb_streams; i++)
 672         s->streams[i]->internal->orig_codec_id = s->streams[i]->codecpar->codec_id;
 673
 674     if (options) {
 675         av_dict_free(options);
 676         *options = tmp;
 677     }
 678     *ps = s;
 679     return 0;
 680
 681 fail:
 682     ff_id3v2_free_extra_meta(&id3v2_extra_meta);
 683     av_dict_free(&tmp);
 684     if (s->pb && !(s->flags & AVFMT_FLAG_CUSTOM_IO))
 685         avio_closep(&s->pb);
 686     avformat_free_context(s);
 687     *ps = NULL;
 688     return ret;
 689 }
 690
 691 /*******************************************************/
 692
 693 static void force_codec_ids(AVFormatContext *s, AVStream *st)
 694 {
 695     switch (st->codecpar->codec_type) {
 696     case AVMEDIA_TYPE_VIDEO:
 697         if (s->video_codec_id)
 698             st->codecpar->codec_id = s->video_codec_id;
 699         break;
 700     case AVMEDIA_TYPE_AUDIO:
 701         if (s->audio_codec_id)
 702             st->codecpar->codec_id = s->audio_codec_id;
 703         break;
 704     case AVMEDIA_TYPE_SUBTITLE:
 705         if (s->subtitle_codec_id)
 706             st->codecpar->codec_id = s->subtitle_codec_id;
 707         break;
 708     case AVMEDIA_TYPE_DATA:
 709         if (s->data_codec_id)
 710             st->codecpar->codec_id = s->data_codec_id;
 711         break;
 712     }
 713 }
 714
 715 static int probe_codec(AVFormatContext *s, AVStream *st, const AVPacket *pkt)
 716 {
 717     if (st->request_probe>0) {
 718         AVProbeData *pd = &st->probe_data;
 719         int end;
 720         av_log(s, AV_LOG_DEBUG, "probing stream %d pp:%d\n", st->index, st->probe_packets);
 721         --st->probe_packets;
 722
 723         if (pkt) {
 724             uint8_t *new_buf = av_realloc(pd->buf, pd->buf_size+pkt->size+AVPROBE_PADDING_SIZE);
 725             if (!new_buf) {
 726                 av_log(s, AV_LOG_WARNING,
 727                        "Failed to reallocate probe buffer for stream %d\n",
 728                        st->index);
 729                 goto no_packet;
 730             }
 731             pd->buf = new_buf;
 732             memcpy(pd->buf + pd->buf_size, pkt->data, pkt->size);
 733             pd->buf_size += pkt->size;
 734             memset(pd->buf + pd->buf_size, 0, AVPROBE_PADDING_SIZE);
 735         } else {
 736 no_packet:
 737             st->probe_packets = 0;
 738             if (!pd->buf_size) {
 739                 av_log(s, AV_LOG_WARNING,
 740                        "nothing to probe for stream %d\n", st->index);
 741             }
 742         }
 743
 744         end=    s->internal->raw_packet_buffer_remaining_size <= 0
 745                 || st->probe_packets<= 0;
 746
 747         if (end || av_log2(pd->buf_size) != av_log2(pd->buf_size - pkt->size)) {
 748             int score = set_codec_from_probe_data(s, st, pd);
 749             if (    (st->codecpar->codec_id != AV_CODEC_ID_NONE && score > AVPROBE_SCORE_STREAM_RETRY)
 750                 || end) {
 751                 pd->buf_size = 0;
 752                 av_freep(&pd->buf);
 753                 st->request_probe = -1;
 754                 if (st->codecpar->codec_id != AV_CODEC_ID_NONE) {
 755                     av_log(s, AV_LOG_DEBUG, "probed stream %d\n", st->index);
 756                 } else
 757                     av_log(s, AV_LOG_WARNING, "probed stream %d failed\n", st->index);
 758             }
 759             force_codec_ids(s, st);
 760         }
 761     }
 762     return 0;
 763 }
 764
 765 static int update_wrap_reference(AVFormatContext *s, AVStream *st, int stream_index, AVPacket *pkt)
 766 {
 767     int64_t ref = pkt->dts;
 768     int i, pts_wrap_behavior;
 769     int64_t pts_wrap_reference;
 770     AVProgram *first_program;
 771
 772     if (ref == AV_NOPTS_VALUE)
 773         ref = pkt->pts;
 774     if (st->pts_wrap_reference != AV_NOPTS_VALUE || st->pts_wrap_bits >= 63 || ref == AV_NOPTS_VALUE || !s->correct_ts_overflow)
 775         return 0;
 776     ref &= (1LL << st->pts_wrap_bits)-1;
 777
 778     // reference time stamp should be 60 s before first time stamp
 779     pts_wrap_reference = ref - av_rescale(60, st->time_base.den, st->time_base.num);
 780     // if first time stamp is not more than 1/8 and 60s before the wrap point, subtract rather than add wrap offset
 781     pts_wrap_behavior = (ref < (1LL << st->pts_wrap_bits) - (1LL << st->pts_wrap_bits-3)) ||
 782         (ref < (1LL << st->pts_wrap_bits) - av_rescale(60, st->time_base.den, st->time_base.num)) ?
 783         AV_PTS_WRAP_ADD_OFFSET : AV_PTS_WRAP_SUB_OFFSET;
 784
 785     first_program = av_find_program_from_stream(s, NULL, stream_index);
 786
 787     if (!first_program) {
 788         int default_stream_index = av_find_default_stream_index(s);
 789         if (s->streams[default_stream_index]->pts_wrap_reference == AV_NOPTS_VALUE) {
 790             for (i = 0; i < s->nb_streams; i++) {
 791                 if (av_find_program_from_stream(s, NULL, i))
 792                     continue;
 793                 s->streams[i]->pts_wrap_reference = pts_wrap_reference;
 794                 s->streams[i]->pts_wrap_behavior = pts_wrap_behavior;
 795             }
 796         }
 797         else {
 798             st->pts_wrap_reference = s->streams[default_stream_index]->pts_wrap_reference;
 799             st->pts_wrap_behavior = s->streams[default_stream_index]->pts_wrap_behavior;
 800         }
 801     }
 802     else {
 803         AVProgram *program = first_program;
 804         while (program) {
 805             if (program->pts_wrap_reference != AV_NOPTS_VALUE) {
 806                 pts_wrap_reference = program->pts_wrap_reference;
 807                 pts_wrap_behavior = program->pts_wrap_behavior;
 808                 break;
 809             }
 810             program = av_find_program_from_stream(s, program, stream_index);
 811         }
 812
 813         // update every program with differing pts_wrap_reference
 814         program = first_program;
 815         while (program) {
 816             if (program->pts_wrap_reference != pts_wrap_reference) {
 817                 for (i = 0; i<program->nb_stream_indexes; i++) {
 818                     s->streams[program->stream_index[i]]->pts_wrap_reference = pts_wrap_reference;
 819                     s->streams[program->stream_index[i]]->pts_wrap_behavior = pts_wrap_behavior;
 820                 }
 821
 822                 program->pts_wrap_reference = pts_wrap_reference;
 823                 program->pts_wrap_behavior = pts_wrap_behavior;
 824             }
 825             program = av_find_program_from_stream(s, program, stream_index);
 826         }
 827     }
 828     return 1;
 829 }
 830
 831 int ff_read_packet(AVFormatContext *s, AVPacket *pkt)
 832 {
 833     int ret, i, err;
 834     AVStream *st;
 835
 836     pkt->data = NULL;
 837     pkt->size = 0;
 838     av_init_packet(pkt);
 839
 840     for (;;) {
 841         AVPacketList *pktl = s->internal->raw_packet_buffer;
 842         const AVPacket *pkt1;
 843
 844         if (pktl) {
 845             st = s->streams[pktl->pkt.stream_index];
 846             if (s->internal->raw_packet_buffer_remaining_size <= 0)
 847                 if ((err = probe_codec(s, st, NULL)) < 0)
 848                     return err;
 849             if (st->request_probe <= 0) {
 850                 ff_packet_list_get(&s->internal->raw_packet_buffer,
 851                                    &s->internal->raw_packet_buffer_end, pkt);
 852                 s->internal->raw_packet_buffer_remaining_size += pkt->size;
 853                 return 0;
 854             }
 855         }
 856
 857         ret = s->iformat->read_packet(s, pkt);
 858         if (ret < 0) {
 859             av_packet_unref(pkt);
 860
 861             /* Some demuxers return FFERROR_REDO when they consume
 862                data and discard it (ignored streams, junk, extradata).
 863                We must re-call the demuxer to get the real packet. */
 864             if (ret == FFERROR_REDO)
 865                 continue;
 866             if (!pktl || ret == AVERROR(EAGAIN))
 867                 return ret;
 868             for (i = 0; i < s->nb_streams; i++) {
 869                 st = s->streams[i];
 870                 if (st->probe_packets || st->request_probe > 0)
 871                     if ((err = probe_codec(s, st, NULL)) < 0)
 872                         return err;
 873                 av_assert0(st->request_probe <= 0);
 874             }
 875             continue;
 876         }
 877
 878         err = av_packet_make_refcounted(pkt);
 879         if (err < 0) {
 880             av_packet_unref(pkt);
 881             return err;
 882         }
 883
 884         if (pkt->flags & AV_PKT_FLAG_CORRUPT) {
 885             av_log(s, AV_LOG_WARNING,
 886                    "Packet corrupt (stream = %d, dts = %s)",
 887                    pkt->stream_index, av_ts2str(pkt->dts));
 888             if (s->flags & AVFMT_FLAG_DISCARD_CORRUPT) {
 889                 av_log(s, AV_LOG_WARNING, ", dropping it.\n");
 890                 av_packet_unref(pkt);
 891                 continue;
 892             }
 893             av_log(s, AV_LOG_WARNING, ".\n");
 894         }
 895
 896         av_assert0(pkt->stream_index < (unsigned)s->nb_streams &&
 897                    "Invalid stream index.\n");
 898
 899         st = s->streams[pkt->stream_index];
 900
 901         if (update_wrap_reference(s, st, pkt->stream_index, pkt) && st->pts_wrap_behavior == AV_PTS_WRAP_SUB_OFFSET) {
 902             // correct first time stamps to negative values
 903             if (!is_relative(st->first_dts))
 904                 st->first_dts = wrap_timestamp(st, st->first_dts);
 905             if (!is_relative(st->start_time))
 906                 st->start_time = wrap_timestamp(st, st->start_time);
 907             if (!is_relative(st->cur_dts))
 908                 st->cur_dts = wrap_timestamp(st, st->cur_dts);
 909         }
 910
 911         pkt->dts = wrap_timestamp(st, pkt->dts);
 912         pkt->pts = wrap_timestamp(st, pkt->pts);
 913
 914         force_codec_ids(s, st);
 915
 916         /* TODO: audio: time filter; video: frame reordering (pts != dts) */
 917         if (s->use_wallclock_as_timestamps)
 918             pkt->dts = pkt->pts = av_rescale_q(av_gettime(), AV_TIME_BASE_Q, st->time_base);
 919
 920         if (!pktl && st->request_probe <= 0)
 921             return ret;
 922
 923         err = ff_packet_list_put(&s->internal->raw_packet_buffer,
 924                                  &s->internal->raw_packet_buffer_end,
 925                                  pkt, 0);
 926         if (err < 0) {
 927             av_packet_unref(pkt);
 928             return err;
 929         }
 930         pkt1 = &s->internal->raw_packet_buffer_end->pkt;
 931         s->internal->raw_packet_buffer_remaining_size -= pkt1->size;
 932
 933         if ((err = probe_codec(s, st, pkt1)) < 0)
 934             return err;
 935     }
 936 }
 937
 938
 939 /**********************************************************/
 940
 941 static int determinable_frame_size(AVCodecContext *avctx)
 942 {
 943     switch(avctx->codec_id) {
 944     case AV_CODEC_ID_MP1:
 945     case AV_CODEC_ID_MP2:
 946     case AV_CODEC_ID_MP3:
 947     case AV_CODEC_ID_CODEC2:
 948         return 1;
 949     }
 950
 951     return 0;
 952 }
 953
 954 /**
 955  * Return the frame duration in seconds. Return 0 if not available.
 956  */
 957 void ff_compute_frame_duration(AVFormatContext *s, int *pnum, int *pden, AVStream *st,
 958                                AVCodecParserContext *pc, AVPacket *pkt)
 959 {
 960     AVRational codec_framerate = s->iformat ? st->internal->avctx->framerate :
 961                                               av_mul_q(av_inv_q(st->internal->avctx->time_base), (AVRational){1, st->internal->avctx->ticks_per_frame});
 962     int frame_size, sample_rate;
 963
 964 #if FF_API_LAVF_AVCTX
 965 FF_DISABLE_DEPRECATION_WARNINGS
 966     if ((!codec_framerate.den || !codec_framerate.num) && st->codec->time_base.den && st->codec->time_base.num)
 967         codec_framerate = av_mul_q(av_inv_q(st->codec->time_base), (AVRational){1, st->codec->ticks_per_frame});
 968 FF_ENABLE_DEPRECATION_WARNINGS
 969 #endif
 970
 971     *pnum = 0;
 972     *pden = 0;
 973     switch (st->codecpar->codec_type) {
 974     case AVMEDIA_TYPE_VIDEO:
 975         if (st->r_frame_rate.num && !pc && s->iformat) {
 976             *pnum = st->r_frame_rate.den;
 977             *pden = st->r_frame_rate.num;
 978         } else if (st->time_base.num * 1000LL > st->time_base.den) {
 979             *pnum = st->time_base.num;
 980             *pden = st->time_base.den;
 981         } else if (codec_framerate.den * 1000LL > codec_framerate.num) {
 982             av_assert0(st->internal->avctx->ticks_per_frame);
 983             av_reduce(pnum, pden,
 984                       codec_framerate.den,
 985                       codec_framerate.num * (int64_t)st->internal->avctx->ticks_per_frame,
 986                       INT_MAX);
 987
 988             if (pc && pc->repeat_pict) {
 989                 av_assert0(s->iformat); // this may be wrong for interlaced encoding but its not used for that case
 990                 av_reduce(pnum, pden,
 991                           (*pnum) * (1LL + pc->repeat_pict),
 992                           (*pden),
 993                           INT_MAX);
 994             }
 995             /* If this codec can be interlaced or progressive then we need
 996              * a parser to compute duration of a packet. Thus if we have
 997              * no parser in such case leave duration undefined. */
 998             if (st->internal->avctx->ticks_per_frame > 1 && !pc)
 999                 *pnum = *pden = 0;
1000         }
1001         break;
1002     case AVMEDIA_TYPE_AUDIO:
1003         if (st->internal->avctx_inited) {
1004             frame_size = av_get_audio_frame_duration(st->internal->avctx, pkt->size);
1005             sample_rate = st->internal->avctx->sample_rate;
1006         } else {
1007             frame_size = av_get_audio_frame_duration2(st->codecpar, pkt->size);
1008             sample_rate = st->codecpar->sample_rate;
1009         }
1010         if (frame_size <= 0 || sample_rate <= 0)
1011             break;
1012         *pnum = frame_size;
1013         *pden = sample_rate;
1014         break;
1015     default:
1016         break;
1017     }
1018 }
1019
1020 static int is_intra_only(enum AVCodecID id)
1021 {
1022     const AVCodecDescriptor *d = avcodec_descriptor_get(id);
1023     if (!d)
1024         return 0;
1025     if ((d->type == AVMEDIA_TYPE_VIDEO || d->type == AVMEDIA_TYPE_AUDIO) &&
1026         !(d->props & AV_CODEC_PROP_INTRA_ONLY))
1027         return 0;
1028     return 1;
1029 }
1030
1031 static int has_decode_delay_been_guessed(AVStream *st)
1032 {
1033     if (st->codecpar->codec_id != AV_CODEC_ID_H264) return 1;
1034     if (!st->info) // if we have left find_stream_info then nb_decoded_frames won't increase anymore for stream copy
1035         return 1;
1036 #if CONFIG_H264_DECODER
1037     if (st->internal->avctx->has_b_frames &&
1038        avpriv_h264_has_num_reorder_frames(st->internal->avctx) == st->internal->avctx->has_b_frames)
1039         return 1;
1040 #endif
1041     if (st->internal->avctx->has_b_frames<3)
1042         return st->nb_decoded_frames >= 7;
1043     else if (st->internal->avctx->has_b_frames<4)
1044         return st->nb_decoded_frames >= 18;
1045     else
1046         return st->nb_decoded_frames >= 20;
1047 }
1048
1049 static AVPacketList *get_next_pkt(AVFormatContext *s, AVStream *st, AVPacketList *pktl)
1050 {
1051     if (pktl->next)
1052         return pktl->next;
1053     if (pktl == s->internal->packet_buffer_end)
1054         return s->internal->parse_queue;
1055     return NULL;
1056 }
1057
1058 static int64_t select_from_pts_buffer(AVStream *st, int64_t *pts_buffer, int64_t dts) {
1059     int onein_oneout = st->codecpar->codec_id != AV_CODEC_ID_H264 &&
1060                        st->codecpar->codec_id != AV_CODEC_ID_HEVC;
1061
1062     if(!onein_oneout) {
1063         int delay = st->internal->avctx->has_b_frames;
1064         int i;
1065
1066         if (dts == AV_NOPTS_VALUE) {
1067             int64_t best_score = INT64_MAX;
1068             for (i = 0; i<delay; i++) {
1069                 if (st->pts_reorder_error_count[i]) {
1070                     int64_t score = st->pts_reorder_error[i] / st->pts_reorder_error_count[i];
1071                     if (score < best_score) {
1072                         best_score = score;
1073                         dts = pts_buffer[i];
1074                     }
1075                 }
1076             }
1077         } else {
1078             for (i = 0; i<delay; i++) {
1079                 if (pts_buffer[i] != AV_NOPTS_VALUE) {
1080                     int64_t diff =  FFABS(pts_buffer[i] - dts)
1081                                     + (uint64_t)st->pts_reorder_error[i];
1082                     diff = FFMAX(diff, st->pts_reorder_error[i]);
1083                     st->pts_reorder_error[i] = diff;
1084                     st->pts_reorder_error_count[i]++;
1085                     if (st->pts_reorder_error_count[i] > 250) {
1086                         st->pts_reorder_error[i] >>= 1;
1087                         st->pts_reorder_error_count[i] >>= 1;
1088                     }
1089                 }
1090             }
1091         }
1092     }
1093
1094     if (dts == AV_NOPTS_VALUE)
1095         dts = pts_buffer[0];
1096
1097     return dts;
1098 }
1099
1100 /**
1101  * Updates the dts of packets of a stream in pkt_buffer, by re-ordering the pts
1102  * of the packets in a window.
1103  */
1104 static void update_dts_from_pts(AVFormatContext *s, int stream_index,
1105                                 AVPacketList *pkt_buffer)
1106 {
1107     AVStream *st       = s->streams[stream_index];
1108     int delay          = st->internal->avctx->has_b_frames;
1109     int i;
1110
1111     int64_t pts_buffer[MAX_REORDER_DELAY+1];
1112
1113     for (i = 0; i<MAX_REORDER_DELAY+1; i++)
1114         pts_buffer[i] = AV_NOPTS_VALUE;
1115
1116     for (; pkt_buffer; pkt_buffer = get_next_pkt(s, st, pkt_buffer)) {
1117         if (pkt_buffer->pkt.stream_index != stream_index)
1118             continue;
1119
1120         if (pkt_buffer->pkt.pts != AV_NOPTS_VALUE && delay <= MAX_REORDER_DELAY) {
1121             pts_buffer[0] = pkt_buffer->pkt.pts;
1122             for (i = 0; i<delay && pts_buffer[i] > pts_buffer[i + 1]; i++)
1123                 FFSWAP(int64_t, pts_buffer[i], pts_buffer[i + 1]);
1124
1125             pkt_buffer->pkt.dts = select_from_pts_buffer(st, pts_buffer, pkt_buffer->pkt.dts);
1126         }
1127     }
1128 }
1129
1130 static void update_initial_timestamps(AVFormatContext *s, int stream_index,
1131                                       int64_t dts, int64_t pts, AVPacket *pkt)
1132 {
1133     AVStream *st       = s->streams[stream_index];
1134     AVPacketList *pktl = s->internal->packet_buffer ? s->internal->packet_buffer : s->internal->parse_queue;
1135     AVPacketList *pktl_it;
1136
1137     uint64_t shift;
1138
1139     if (st->first_dts != AV_NOPTS_VALUE ||
1140         dts           == AV_NOPTS_VALUE ||
1141         st->cur_dts   == AV_NOPTS_VALUE ||
1142         st->cur_dts < INT_MIN + RELATIVE_TS_BASE ||
1143         is_relative(dts))
1144         return;
1145
1146     st->first_dts = dts - (st->cur_dts - RELATIVE_TS_BASE);
1147     st->cur_dts   = dts;
1148     shift         = (uint64_t)st->first_dts - RELATIVE_TS_BASE;
1149
1150     if (is_relative(pts))
1151         pts += shift;
1152
1153     for (pktl_it = pktl; pktl_it; pktl_it = get_next_pkt(s, st, pktl_it)) {
1154         if (pktl_it->pkt.stream_index != stream_index)
1155             continue;
1156         if (is_relative(pktl_it->pkt.pts))
1157             pktl_it->pkt.pts += shift;
1158
1159         if (is_relative(pktl_it->pkt.dts))
1160             pktl_it->pkt.dts += shift;
1161
1162         if (st->start_time == AV_NOPTS_VALUE && pktl_it->pkt.pts != AV_NOPTS_VALUE) {
1163             st->start_time = pktl_it->pkt.pts;
1164             if (st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO && st->codecpar->sample_rate)
1165                 st->start_time += av_rescale_q(st->skip_samples, (AVRational){1, st->codecpar->sample_rate}, st->time_base);
1166         }
1167     }
1168
1169     if (has_decode_delay_been_guessed(st)) {
1170         update_dts_from_pts(s, stream_index, pktl);
1171     }
1172
1173     if (st->start_time == AV_NOPTS_VALUE) {
1174         if (st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO || !(pkt->flags & AV_PKT_FLAG_DISCARD)) {
1175             st->start_time = pts;
1176         }
1177         if (st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO && st->codecpar->sample_rate)
1178             st->start_time += av_rescale_q(st->skip_samples, (AVRational){1, st->codecpar->sample_rate}, st->time_base);
1179     }
1180 }
1181
1182 static void update_initial_durations(AVFormatContext *s, AVStream *st,
1183                                      int stream_index, int duration)
1184 {
1185     AVPacketList *pktl = s->internal->packet_buffer ? s->internal->packet_buffer : s->internal->parse_queue;
1186     int64_t cur_dts    = RELATIVE_TS_BASE;
1187
1188     if (st->first_dts != AV_NOPTS_VALUE) {
1189         if (st->update_initial_durations_done)
1190             return;
1191         st->update_initial_durations_done = 1;
1192         cur_dts = st->first_dts;
1193         for (; pktl; pktl = get_next_pkt(s, st, pktl)) {
1194             if (pktl->pkt.stream_index == stream_index) {
1195                 if (pktl->pkt.pts != pktl->pkt.dts  ||
1196                     pktl->pkt.dts != AV_NOPTS_VALUE ||
1197                     pktl->pkt.duration)
1198                     break;
1199                 cur_dts -= duration;
1200             }
1201         }
1202         if (pktl && pktl->pkt.dts != st->first_dts) {
1203             av_log(s, AV_LOG_DEBUG, "first_dts %s not matching first dts %s (pts %s, duration %"PRId64") in the queue\n",
1204                    av_ts2str(st->first_dts), av_ts2str(pktl->pkt.dts), av_ts2str(pktl->pkt.pts), pktl->pkt.duration);
1205             return;
1206         }
1207         if (!pktl) {
1208             av_log(s, AV_LOG_DEBUG, "first_dts %s but no packet with dts in the queue\n", av_ts2str(st->first_dts));
1209             return;
1210         }
1211         pktl          = s->internal->packet_buffer ? s->internal->packet_buffer : s->internal->parse_queue;
1212         st->first_dts = cur_dts;
1213     } else if (st->cur_dts != RELATIVE_TS_BASE)
1214         return;
1215
1216     for (; pktl; pktl = get_next_pkt(s, st, pktl)) {
1217         if (pktl->pkt.stream_index != stream_index)
1218             continue;
1219         if ((pktl->pkt.pts == pktl->pkt.dts ||
1220              pktl->pkt.pts == AV_NOPTS_VALUE) &&
1221             (pktl->pkt.dts == AV_NOPTS_VALUE ||
1222              pktl->pkt.dts == st->first_dts ||
1223              pktl->pkt.dts == RELATIVE_TS_BASE) &&
1224             !pktl->pkt.duration) {
1225             pktl->pkt.dts = cur_dts;
1226             if (!st->internal->avctx->has_b_frames)
1227                 pktl->pkt.pts = cur_dts;
1228 //            if (st->codecpar->codec_type != AVMEDIA_TYPE_AUDIO)
1229                 pktl->pkt.duration = duration;
1230         } else
1231             break;
1232         cur_dts = pktl->pkt.dts + pktl->pkt.duration;
1233     }
1234     if (!pktl)
1235         st->cur_dts = cur_dts;
1236 }
1237
1238 static void compute_pkt_fields(AVFormatContext *s, AVStream *st,
1239                                AVCodecParserContext *pc, AVPacket *pkt,
1240                                int64_t next_dts, int64_t next_pts)
1241 {
1242     int num, den, presentation_delayed, delay, i;
1243     int64_t offset;
1244     AVRational duration;
1245     int onein_oneout = st->codecpar->codec_id != AV_CODEC_ID_H264 &&
1246                        st->codecpar->codec_id != AV_CODEC_ID_HEVC;
1247
1248     if (s->flags & AVFMT_FLAG_NOFILLIN)
1249         return;
1250
1251     if (st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO && pkt->dts != AV_NOPTS_VALUE) {
1252         if (pkt->dts == pkt->pts && st->last_dts_for_order_check != AV_NOPTS_VALUE) {
1253             if (st->last_dts_for_order_check <= pkt->dts) {
1254                 st->dts_ordered++;
1255             } else {
1256                 av_log(s, st->dts_misordered ? AV_LOG_DEBUG : AV_LOG_WARNING,
1257                        "DTS %"PRIi64" < %"PRIi64" out of order\n",
1258                        pkt->dts,
1259                        st->last_dts_for_order_check);
1260                 st->dts_misordered++;
1261             }
1262             if (st->dts_ordered + st->dts_misordered > 250) {
1263                 st->dts_ordered    >>= 1;
1264                 st->dts_misordered >>= 1;
1265             }
1266         }
1267
1268         st->last_dts_for_order_check = pkt->dts;
1269         if (st->dts_ordered < 8*st->dts_misordered && pkt->dts == pkt->pts)
1270             pkt->dts = AV_NOPTS_VALUE;
1271     }
1272
1273     if ((s->flags & AVFMT_FLAG_IGNDTS) && pkt->pts != AV_NOPTS_VALUE)
1274         pkt->dts = AV_NOPTS_VALUE;
1275
1276     if (pc && pc->pict_type == AV_PICTURE_TYPE_B
1277         && !st->internal->avctx->has_b_frames)
1278         //FIXME Set low_delay = 0 when has_b_frames = 1
1279         st->internal->avctx->has_b_frames = 1;
1280
1281     /* do we have a video B-frame ? */
1282     delay = st->internal->avctx->has_b_frames;
1283     presentation_delayed = 0;
1284
1285     /* XXX: need has_b_frame, but cannot get it if the codec is
1286      *  not initialized */
1287     if (delay &&
1288         pc && pc->pict_type != AV_PICTURE_TYPE_B)
1289         presentation_delayed = 1;
1290
1291     if (pkt->pts != AV_NOPTS_VALUE && pkt->dts != AV_NOPTS_VALUE &&
1292         st->pts_wrap_bits < 63 &&
1293         pkt->dts - (1LL << (st->pts_wrap_bits - 1)) > pkt->pts) {
1294         if (is_relative(st->cur_dts) || pkt->dts - (1LL<<(st->pts_wrap_bits - 1)) > st->cur_dts) {
1295             pkt->dts -= 1LL << st->pts_wrap_bits;
1296         } else
1297             pkt->pts += 1LL << st->pts_wrap_bits;
1298     }
1299
1300     /* Some MPEG-2 in MPEG-PS lack dts (issue #171 / input_file.mpg).
1301      * We take the conservative approach and discard both.
1302      * Note: If this is misbehaving for an H.264 file, then possibly
1303      * presentation_delayed is not set correctly. */
1304     if (delay == 1 && pkt->dts == pkt->pts &&
1305         pkt->dts != AV_NOPTS_VALUE && presentation_delayed) {
1306         av_log(s, AV_LOG_DEBUG, "invalid dts/pts combination %"PRIi64"\n", pkt->dts);
1307         if (    strcmp(s->iformat->name, "mov,mp4,m4a,3gp,3g2,mj2")
1308              && strcmp(s->iformat->name, "flv")) // otherwise we discard correct timestamps for vc1-wmapro.ism
1309             pkt->dts = AV_NOPTS_VALUE;
1310     }
1311
1312     duration = av_mul_q((AVRational) {pkt->duration, 1}, st->time_base);
1313     if (pkt->duration <= 0) {
1314         ff_compute_frame_duration(s, &num, &den, st, pc, pkt);
1315         if (den && num) {
1316             duration = (AVRational) {num, den};
1317             pkt->duration = av_rescale_rnd(1,
1318                                            num * (int64_t) st->time_base.den,
1319                                            den * (int64_t) st->time_base.num,
1320                                            AV_ROUND_DOWN);
1321         }
1322     }
1323
1324     if (pkt->duration > 0 && (s->internal->packet_buffer || s->internal->parse_queue))
1325         update_initial_durations(s, st, pkt->stream_index, pkt->duration);
1326
1327     /* Correct timestamps with byte offset if demuxers only have timestamps
1328      * on packet boundaries */
1329     if (pc && st->need_parsing == AVSTREAM_PARSE_TIMESTAMPS && pkt->size) {
1330         /* this will estimate bitrate based on this frame's duration and size */
1331         offset = av_rescale(pc->offset, pkt->duration, pkt->size);
1332         if (pkt->pts != AV_NOPTS_VALUE)
1333             pkt->pts += offset;
1334         if (pkt->dts != AV_NOPTS_VALUE)
1335             pkt->dts += offset;
1336     }
1337
1338     /* This may be redundant, but it should not hurt. */
1339     if (pkt->dts != AV_NOPTS_VALUE &&
1340         pkt->pts != AV_NOPTS_VALUE &&
1341         pkt->pts > pkt->dts)
1342         presentation_delayed = 1;
1343
1344     if (s->debug & FF_FDEBUG_TS)
1345         av_log(s, AV_LOG_DEBUG,
1346             "IN delayed:%d pts:%s, dts:%s cur_dts:%s st:%d pc:%p duration:%"PRId64" delay:%d onein_oneout:%d\n",
1347             presentation_delayed, av_ts2str(pkt->pts), av_ts2str(pkt->dts), av_ts2str(st->cur_dts),
1348             pkt->stream_index, pc, pkt->duration, delay, onein_oneout);
1349
1350     /* Interpolate PTS and DTS if they are not present. We skip H264
1351      * currently because delay and has_b_frames are not reliably set. */
1352     if ((delay == 0 || (delay == 1 && pc)) &&
1353         onein_oneout) {
1354         if (presentation_delayed) {
1355             /* DTS = decompression timestamp */
1356             /* PTS = presentation timestamp */
1357             if (pkt->dts == AV_NOPTS_VALUE)
1358                 pkt->dts = st->last_IP_pts;
1359             update_initial_timestamps(s, pkt->stream_index, pkt->dts, pkt->pts, pkt);
1360             if (pkt->dts == AV_NOPTS_VALUE)
1361                 pkt->dts = st->cur_dts;
1362
1363             /* This is tricky: the dts must be incremented by the duration
1364              * of the frame we are displaying, i.e. the last I- or P-frame. */
1365             if (st->last_IP_duration == 0 && (uint64_t)pkt->duration <= INT32_MAX)
1366                 st->last_IP_duration = pkt->duration;
1367             if (pkt->dts != AV_NOPTS_VALUE)
1368                 st->cur_dts = pkt->dts + st->last_IP_duration;
1369             if (pkt->dts != AV_NOPTS_VALUE &&
1370                 pkt->pts == AV_NOPTS_VALUE &&
1371                 st->last_IP_duration > 0 &&
1372                 ((uint64_t)st->cur_dts - (uint64_t)next_dts + 1) <= 2 &&
1373                 next_dts != next_pts &&
1374                 next_pts != AV_NOPTS_VALUE)
1375                 pkt->pts = next_dts;
1376
1377             if ((uint64_t)pkt->duration <= INT32_MAX)
1378                 st->last_IP_duration = pkt->duration;
1379             st->last_IP_pts      = pkt->pts;
1380             /* Cannot compute PTS if not present (we can compute it only
1381              * by knowing the future. */
1382         } else if (pkt->pts != AV_NOPTS_VALUE ||
1383                    pkt->dts != AV_NOPTS_VALUE ||
1384                    pkt->duration > 0             ) {
1385
1386             /* presentation is not delayed : PTS and DTS are the same */
1387             if (pkt->pts == AV_NOPTS_VALUE)
1388                 pkt->pts = pkt->dts;
1389             update_initial_timestamps(s, pkt->stream_index, pkt->pts,
1390                                       pkt->pts, pkt);
1391             if (pkt->pts == AV_NOPTS_VALUE)
1392                 pkt->pts = st->cur_dts;
1393             pkt->dts = pkt->pts;
1394             if (pkt->pts != AV_NOPTS_VALUE && duration.num >= 0)
1395                 st->cur_dts = av_add_stable(st->time_base, pkt->pts, duration, 1);
1396         }
1397     }
1398
1399     if (pkt->pts != AV_NOPTS_VALUE && delay <= MAX_REORDER_DELAY) {
1400         st->pts_buffer[0] = pkt->pts;
1401         for (i = 0; i<delay && st->pts_buffer[i] > st->pts_buffer[i + 1]; i++)
1402             FFSWAP(int64_t, st->pts_buffer[i], st->pts_buffer[i + 1]);
1403
1404         if(has_decode_delay_been_guessed(st))
1405             pkt->dts = select_from_pts_buffer(st, st->pts_buffer, pkt->dts);
1406     }
1407     // We skipped it above so we try here.
1408     if (!onein_oneout)
1409         // This should happen on the first packet
1410         update_initial_timestamps(s, pkt->stream_index, pkt->dts, pkt->pts, pkt);
1411     if (pkt->dts > st->cur_dts)
1412         st->cur_dts = pkt->dts;
1413
1414     if (s->debug & FF_FDEBUG_TS)
1415         av_log(s, AV_LOG_DEBUG, "OUTdelayed:%d/%d pts:%s, dts:%s cur_dts:%s st:%d (%d)\n",
1416             presentation_delayed, delay, av_ts2str(pkt->pts), av_ts2str(pkt->dts), av_ts2str(st->cur_dts), st->index, st->id);
1417
1418     /* update flags */
1419     if (st->codecpar->codec_type == AVMEDIA_TYPE_DATA || is_intra_only(st->codecpar->codec_id))
1420         pkt->flags |= AV_PKT_FLAG_KEY;
1421 #if FF_API_CONVERGENCE_DURATION
1422 FF_DISABLE_DEPRECATION_WARNINGS
1423     if (pc)
1424         pkt->convergence_duration = pc->convergence_duration;
1425 FF_ENABLE_DEPRECATION_WARNINGS
1426 #endif
1427 }
1428
1429 void ff_packet_list_free(AVPacketList **pkt_buf, AVPacketList **pkt_buf_end)
1430 {
1431     AVPacketList *tmp = *pkt_buf;
1432
1433     while (tmp) {
1434         AVPacketList *pktl = tmp;
1435         tmp = pktl->next;
1436         av_packet_unref(&pktl->pkt);
1437         av_freep(&pktl);
1438     }
1439     *pkt_buf     = NULL;
1440     *pkt_buf_end = NULL;
1441 }
1442
1443 /**
1444  * Parse a packet, add all split parts to parse_queue.
1445  *
1446  * @param pkt   Packet to parse; must not be NULL.
1447  * @param flush Indicates whether to flush. If set, pkt must be blank.
1448  */
1449 static int parse_packet(AVFormatContext *s, AVPacket *pkt,
1450                         int stream_index, int flush)
1451 {
1452     AVPacket out_pkt;
1453     AVStream *st = s->streams[stream_index];
1454     uint8_t *data = pkt->data;
1455     int size      = pkt->size;
1456     int ret = 0, got_output = flush;
1457
1458     if (size || flush) {
1459         av_init_packet(&out_pkt);
1460     } else if (st->parser->flags & PARSER_FLAG_COMPLETE_FRAMES) {
1461         // preserve 0-size sync packets
1462         compute_pkt_fields(s, st, st->parser, pkt, AV_NOPTS_VALUE, AV_NOPTS_VALUE);
1463     }
1464
1465     while (size > 0 || (flush && got_output)) {
1466         int len;
1467         int64_t next_pts = pkt->pts;
1468         int64_t next_dts = pkt->dts;
1469
1470         len = av_parser_parse2(st->parser, st->internal->avctx,
1471                                &out_pkt.data, &out_pkt.size, data, size,
1472                                pkt->pts, pkt->dts, pkt->pos);
1473
1474         pkt->pts = pkt->dts = AV_NOPTS_VALUE;
1475         pkt->pos = -1;
1476         /* increment read pointer */
1477         data += len;
1478         size -= len;
1479
1480         got_output = !!out_pkt.size;
1481
1482         if (!out_pkt.size)
1483             continue;
1484
1485         if (pkt->buf && out_pkt.data == pkt->data) {
1486             /* reference pkt->buf only when out_pkt.data is guaranteed to point
1487              * to data in it and not in the parser's internal buffer. */
1488             /* XXX: Ensure this is the case with all parsers when st->parser->flags
1489              * is PARSER_FLAG_COMPLETE_FRAMES and check for that instead? */
1490             out_pkt.buf = av_buffer_ref(pkt->buf);
1491             if (!out_pkt.buf) {
1492                 ret = AVERROR(ENOMEM);
1493                 goto fail;
1494             }
1495         } else {
1496             ret = av_packet_make_refcounted(&out_pkt);
1497             if (ret < 0)
1498                 goto fail;
1499         }
1500
1501         if (pkt->side_data) {
1502             out_pkt.side_data       = pkt->side_data;
1503             out_pkt.side_data_elems = pkt->side_data_elems;
1504             pkt->side_data          = NULL;
1505             pkt->side_data_elems    = 0;
1506         }
1507
1508         /* set the duration */
1509         out_pkt.duration = (st->parser->flags & PARSER_FLAG_COMPLETE_FRAMES) ? pkt->duration : 0;
1510         if (st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) {
1511             if (st->internal->avctx->sample_rate > 0) {
1512                 out_pkt.duration =
1513                     av_rescale_q_rnd(st->parser->duration,
1514                                      (AVRational) { 1, st->internal->avctx->sample_rate },
1515                                      st->time_base,
1516                                      AV_ROUND_DOWN);
1517             }
1518         }
1519
1520         out_pkt.stream_index = st->index;
1521         out_pkt.pts          = st->parser->pts;
1522         out_pkt.dts          = st->parser->dts;
1523         out_pkt.pos          = st->parser->pos;
1524         out_pkt.flags       |= pkt->flags & AV_PKT_FLAG_DISCARD;
1525
1526         if (st->need_parsing == AVSTREAM_PARSE_FULL_RAW)
1527             out_pkt.pos = st->parser->frame_offset;
1528
1529         if (st->parser->key_frame == 1 ||
1530             (st->parser->key_frame == -1 &&
1531              st->parser->pict_type == AV_PICTURE_TYPE_I))
1532             out_pkt.flags |= AV_PKT_FLAG_KEY;
1533
1534         if (st->parser->key_frame == -1 && st->parser->pict_type ==AV_PICTURE_TYPE_NONE && (pkt->flags&AV_PKT_FLAG_KEY))
1535             out_pkt.flags |= AV_PKT_FLAG_KEY;
1536
1537         compute_pkt_fields(s, st, st->parser, &out_pkt, next_dts, next_pts);
1538
1539         ret = ff_packet_list_put(&s->internal->parse_queue,
1540                                  &s->internal->parse_queue_end,
1541                                  &out_pkt, 0);
1542         if (ret < 0) {
1543             av_packet_unref(&out_pkt);
1544             goto fail;
1545         }
1546     }
1547
1548     /* end of the stream => close and free the parser */
1549     if (flush) {
1550         av_parser_close(st->parser);
1551         st->parser = NULL;
1552     }
1553
1554 fail:
1555     av_packet_unref(pkt);
1556     return ret;
1557 }
1558
1559 int ff_packet_list_get(AVPacketList **pkt_buffer,
1560                        AVPacketList **pkt_buffer_end,
1561                        AVPacket      *pkt)
1562 {
1563     AVPacketList *pktl;
1564     av_assert0(*pkt_buffer);
1565     pktl        = *pkt_buffer;
1566     *pkt        = pktl->pkt;
1567     *pkt_buffer = pktl->next;
1568     if (!pktl->next)
1569         *pkt_buffer_end = NULL;
1570     av_freep(&pktl);
1571     return 0;
1572 }
1573
1574 static int64_t ts_to_samples(AVStream *st, int64_t ts)
1575 {
1576     return av_rescale(ts, st->time_base.num * st->codecpar->sample_rate, st->time_base.den);
1577 }
1578
1579 static int read_frame_internal(AVFormatContext *s, AVPacket *pkt)
1580 {
1581     int ret, i, got_packet = 0;
1582     AVDictionary *metadata = NULL;
1583
1584     while (!got_packet && !s->internal->parse_queue) {
1585         AVStream *st;
1586
1587         /* read next packet */
1588         ret = ff_read_packet(s, pkt);
1589         if (ret < 0) {
1590             if (ret == AVERROR(EAGAIN))
1591                 return ret;
1592             /* flush the parsers */
1593             for (i = 0; i < s->nb_streams; i++) {
1594                 st = s->streams[i];
1595                 if (st->parser && st->need_parsing)
1596                     parse_packet(s, pkt, st->index, 1);
1597             }
1598             /* all remaining packets are now in parse_queue =>
1599              * really terminate parsing */
1600             break;
1601         }
1602         ret = 0;
1603         st  = s->streams[pkt->stream_index];
1604
1605         /* update context if required */
1606         if (st->internal->need_context_update) {
1607             if (avcodec_is_open(st->internal->avctx)) {
1608                 av_log(s, AV_LOG_DEBUG, "Demuxer context update while decoder is open, closing and trying to re-open\n");
1609                 avcodec_close(st->internal->avctx);
1610                 st->info->found_decoder = 0;
1611             }
1612
1613             /* close parser, because it depends on the codec */
1614             if (st->parser && st->internal->avctx->codec_id != st->codecpar->codec_id) {
1615                 av_parser_close(st->parser);
1616                 st->parser = NULL;
1617             }
1618
1619             ret = avcodec_parameters_to_context(st->internal->avctx, st->codecpar);
1620             if (ret < 0) {
1621                 av_packet_unref(pkt);
1622                 return ret;
1623             }
1624
1625 #if FF_API_LAVF_AVCTX
1626 FF_DISABLE_DEPRECATION_WARNINGS
1627             /* update deprecated public codec context */
1628             ret = avcodec_parameters_to_context(st->codec, st->codecpar);
1629             if (ret < 0) {
1630                 av_packet_unref(pkt);
1631                 return ret;
1632             }
1633 FF_ENABLE_DEPRECATION_WARNINGS
1634 #endif
1635
1636             st->internal->need_context_update = 0;
1637         }
1638
1639         if (pkt->pts != AV_NOPTS_VALUE &&
1640             pkt->dts != AV_NOPTS_VALUE &&
1641             pkt->pts < pkt->dts) {
1642             av_log(s, AV_LOG_WARNING,
1643                    "Invalid timestamps stream=%d, pts=%s, dts=%s, size=%d\n",
1644                    pkt->stream_index,
1645                    av_ts2str(pkt->pts),
1646                    av_ts2str(pkt->dts),
1647                    pkt->size);
1648         }
1649         if (s->debug & FF_FDEBUG_TS)
1650             av_log(s, AV_LOG_DEBUG,
1651                    "ff_read_packet stream=%d, pts=%s, dts=%s, size=%d, duration=%"PRId64", flags=%d\n",
1652                    pkt->stream_index,
1653                    av_ts2str(pkt->pts),
1654                    av_ts2str(pkt->dts),
1655                    pkt->size, pkt->duration, pkt->flags);
1656
1657         if (st->need_parsing && !st->parser && !(s->flags & AVFMT_FLAG_NOPARSE)) {
1658             st->parser = av_parser_init(st->codecpar->codec_id);
1659             if (!st->parser) {
1660                 av_log(s, AV_LOG_VERBOSE, "parser not found for codec "
1661                        "%s, packets or times may be invalid.\n",
1662                        avcodec_get_name(st->codecpar->codec_id));
1663                 /* no parser available: just output the raw packets */
1664                 st->need_parsing = AVSTREAM_PARSE_NONE;
1665             } else if (st->need_parsing == AVSTREAM_PARSE_HEADERS)
1666                 st->parser->flags |= PARSER_FLAG_COMPLETE_FRAMES;
1667             else if (st->need_parsing == AVSTREAM_PARSE_FULL_ONCE)
1668                 st->parser->flags |= PARSER_FLAG_ONCE;
1669             else if (st->need_parsing == AVSTREAM_PARSE_FULL_RAW)
1670                 st->parser->flags |= PARSER_FLAG_USE_CODEC_TS;
1671         }
1672
1673         if (!st->need_parsing || !st->parser) {
1674             /* no parsing needed: we just output the packet as is */
1675             compute_pkt_fields(s, st, NULL, pkt, AV_NOPTS_VALUE, AV_NOPTS_VALUE);
1676             if ((s->iformat->flags & AVFMT_GENERIC_INDEX) &&
1677                 (pkt->flags & AV_PKT_FLAG_KEY) && pkt->dts != AV_NOPTS_VALUE) {
1678                 ff_reduce_index(s, st->index);
1679                 av_add_index_entry(st, pkt->pos, pkt->dts,
1680                                    0, 0, AVINDEX_KEYFRAME);
1681             }
1682             got_packet = 1;
1683         } else if (st->discard < AVDISCARD_ALL) {
1684             if ((ret = parse_packet(s, pkt, pkt->stream_index, 0)) < 0)
1685                 return ret;
1686             st->codecpar->sample_rate = st->internal->avctx->sample_rate;
1687             st->codecpar->bit_rate = st->internal->avctx->bit_rate;
1688             st->codecpar->channels = st->internal->avctx->channels;
1689             st->codecpar->channel_layout = st->internal->avctx->channel_layout;
1690             st->codecpar->codec_id = st->internal->avctx->codec_id;
1691         } else {
1692             /* free packet */
1693             av_packet_unref(pkt);
1694         }
1695         if (pkt->flags & AV_PKT_FLAG_KEY)
1696             st->skip_to_keyframe = 0;
1697         if (st->skip_to_keyframe) {
1698             av_packet_unref(pkt);
1699             got_packet = 0;
1700         }
1701     }
1702
1703     if (!got_packet && s->internal->parse_queue)
1704         ret = ff_packet_list_get(&s->internal->parse_queue, &s->internal->parse_queue_end, pkt);
1705
1706     if (ret >= 0) {
1707         AVStream *st = s->streams[pkt->stream_index];
1708         int discard_padding = 0;
1709         if (st->first_discard_sample && pkt->pts != AV_NOPTS_VALUE) {
1710             int64_t pts = pkt->pts - (is_relative(pkt->pts) ? RELATIVE_TS_BASE : 0);
1711             int64_t sample = ts_to_samples(st, pts);
1712             int duration = ts_to_samples(st, pkt->duration);
1713             int64_t end_sample = sample + duration;
1714             if (duration > 0 && end_sample >= st->first_discard_sample &&
1715                 sample < st->last_discard_sample)
1716                 discard_padding = FFMIN(end_sample - st->first_discard_sample, duration);
1717         }
1718         if (st->start_skip_samples && (pkt->pts == 0 || pkt->pts == RELATIVE_TS_BASE))
1719             st->skip_samples = st->start_skip_samples;
1720         if (st->skip_samples || discard_padding) {
1721             uint8_t *p = av_packet_new_side_data(pkt, AV_PKT_DATA_SKIP_SAMPLES, 10);
1722             if (p) {
1723                 AV_WL32(p, st->skip_samples);
1724                 AV_WL32(p + 4, discard_padding);
1725                 av_log(s, AV_LOG_DEBUG, "demuxer injecting skip %d / discard %d\n", st->skip_samples, discard_padding);
1726             }
1727             st->skip_samples = 0;
1728         }
1729
1730         if (st->inject_global_side_data) {
1731             for (i = 0; i < st->nb_side_data; i++) {
1732                 AVPacketSideData *src_sd = &st->side_data[i];
1733                 uint8_t *dst_data;
1734
1735                 if (av_packet_get_side_data(pkt, src_sd->type, NULL))
1736                     continue;
1737
1738                 dst_data = av_packet_new_side_data(pkt, src_sd->type, src_sd->size);
1739                 if (!dst_data) {
1740                     av_log(s, AV_LOG_WARNING, "Could not inject global side data\n");
1741                     continue;
1742                 }
1743
1744                 memcpy(dst_data, src_sd->data, src_sd->size);
1745             }
1746             st->inject_global_side_data = 0;
1747         }
1748     }
1749
1750     av_opt_get_dict_val(s, "metadata", AV_OPT_SEARCH_CHILDREN, &metadata);
1751     if (metadata) {
1752         s->event_flags |= AVFMT_EVENT_FLAG_METADATA_UPDATED;
1753         av_dict_copy(&s->metadata, metadata, 0);
1754         av_dict_free(&metadata);
1755         av_opt_set_dict_val(s, "metadata", NULL, AV_OPT_SEARCH_CHILDREN);
1756     }
1757
1758 #if FF_API_LAVF_AVCTX
1759     update_stream_avctx(s);
1760 #endif
1761
1762     if (s->debug & FF_FDEBUG_TS)
1763         av_log(s, AV_LOG_DEBUG,
1764                "read_frame_internal stream=%d, pts=%s, dts=%s, "
1765                "size=%d, duration=%"PRId64", flags=%d\n",
1766                pkt->stream_index,
1767                av_ts2str(pkt->pts),
1768                av_ts2str(pkt->dts),
1769                pkt->size, pkt->duration, pkt->flags);
1770
1771     /* A demuxer might have returned EOF because of an IO error, let's
1772      * propagate this back to the user. */
1773     if (ret == AVERROR_EOF && s->pb && s->pb->error < 0 && s->pb->error != AVERROR(EAGAIN))
1774         ret = s->pb->error;
1775
1776     return ret;
1777 }
1778
1779 int av_read_frame(AVFormatContext *s, AVPacket *pkt)
1780 {
1781     const int genpts = s->flags & AVFMT_FLAG_GENPTS;
1782     int eof = 0;
1783     int ret;
1784     AVStream *st;
1785
1786     if (!genpts) {
1787         ret = s->internal->packet_buffer
1788               ? ff_packet_list_get(&s->internal->packet_buffer,
1789                                         &s->internal->packet_buffer_end, pkt)
1790               : read_frame_internal(s, pkt);
1791         if (ret < 0)
1792             return ret;
1793         goto return_packet;
1794     }
1795
1796     for (;;) {
1797         AVPacketList *pktl = s->internal->packet_buffer;
1798
1799         if (pktl) {
1800             AVPacket *next_pkt = &pktl->pkt;
1801
1802             if (next_pkt->dts != AV_NOPTS_VALUE) {
1803                 int wrap_bits = s->streams[next_pkt->stream_index]->pts_wrap_bits;
1804                 // last dts seen for this stream. if any of packets following
1805                 // current one had no dts, we will set this to AV_NOPTS_VALUE.
1806                 int64_t last_dts = next_pkt->dts;
1807                 av_assert2(wrap_bits <= 64);
1808                 while (pktl && next_pkt->pts == AV_NOPTS_VALUE) {
1809                     if (pktl->pkt.stream_index == next_pkt->stream_index &&
1810                         av_compare_mod(next_pkt->dts, pktl->pkt.dts, 2ULL << (wrap_bits - 1)) < 0) {
1811                         if (av_compare_mod(pktl->pkt.pts, pktl->pkt.dts, 2ULL << (wrap_bits - 1))) {
1812                             // not B-frame
1813                             next_pkt->pts = pktl->pkt.dts;
1814                         }
1815                         if (last_dts != AV_NOPTS_VALUE) {
1816                             // Once last dts was set to AV_NOPTS_VALUE, we don't change it.
1817                             last_dts = pktl->pkt.dts;
1818                         }
1819                     }
1820                     pktl = pktl->next;
1821                 }
1822                 if (eof && next_pkt->pts == AV_NOPTS_VALUE && last_dts != AV_NOPTS_VALUE) {
1823                     // Fixing the last reference frame had none pts issue (For MXF etc).
1824                     // We only do this when
1825                     // 1. eof.
1826                     // 2. we are not able to resolve a pts value for current packet.
1827                     // 3. the packets for this stream at the end of the files had valid dts.
1828                     next_pkt->pts = last_dts + next_pkt->duration;
1829                 }
1830                 pktl = s->internal->packet_buffer;
1831             }
1832
1833             /* read packet from packet buffer, if there is data */
1834             st = s->streams[next_pkt->stream_index];
1835             if (!(next_pkt->pts == AV_NOPTS_VALUE && st->discard < AVDISCARD_ALL &&
1836                   next_pkt->dts != AV_NOPTS_VALUE && !eof)) {
1837                 ret = ff_packet_list_get(&s->internal->packet_buffer,
1838                                                &s->internal->packet_buffer_end, pkt);
1839                 goto return_packet;
1840             }
1841         }
1842
1843         ret = read_frame_internal(s, pkt);
1844         if (ret < 0) {
1845             if (pktl && ret != AVERROR(EAGAIN)) {
1846                 eof = 1;
1847                 continue;
1848             } else
1849                 return ret;
1850         }
1851
1852         ret = ff_packet_list_put(&s->internal->packet_buffer,
1853                                  &s->internal->packet_buffer_end,
1854                                  pkt, 0);
1855         if (ret < 0) {
1856             av_packet_unref(pkt);
1857             return ret;
1858         }
1859     }
1860
1861 return_packet:
1862
1863     st = s->streams[pkt->stream_index];
1864     if ((s->iformat->flags & AVFMT_GENERIC_INDEX) && pkt->flags & AV_PKT_FLAG_KEY) {
1865         ff_reduce_index(s, st->index);
1866         av_add_index_entry(st, pkt->pos, pkt->dts, 0, 0, AVINDEX_KEYFRAME);
1867     }
1868
1869     if (is_relative(pkt->dts))
1870         pkt->dts -= RELATIVE_TS_BASE;
1871     if (is_relative(pkt->pts))
1872         pkt->pts -= RELATIVE_TS_BASE;
1873
1874     return ret;
1875 }
1876
1877 /* XXX: suppress the packet queue */
1878 static void flush_packet_queue(AVFormatContext *s)
1879 {
1880     if (!s->internal)
1881         return;
1882     ff_packet_list_free(&s->internal->parse_queue,       &s->internal->parse_queue_end);
1883     ff_packet_list_free(&s->internal->packet_buffer,     &s->internal->packet_buffer_end);
1884     ff_packet_list_free(&s->internal->raw_packet_buffer, &s->internal->raw_packet_buffer_end);
1885
1886     s->internal->raw_packet_buffer_remaining_size = RAW_PACKET_BUFFER_SIZE;
1887 }
1888
1889 /*******************************************************/
1890 /* seek support */
1891
1892 int av_find_default_stream_index(AVFormatContext *s)
1893 {
1894     int i;
1895     AVStream *st;
1896     int best_stream = 0;
1897     int best_score = INT_MIN;
1898
1899     if (s->nb_streams <= 0)
1900         return -1;
1901     for (i = 0; i < s->nb_streams; i++) {
1902         int score = 0;
1903         st = s->streams[i];
1904         if (st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
1905             if (st->disposition & AV_DISPOSITION_ATTACHED_PIC)
1906                 score -= 400;
1907             if (st->codecpar->width && st->codecpar->height)
1908                 score += 50;
1909             score+= 25;
1910         }
1911         if (st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) {
1912             if (st->codecpar->sample_rate)
1913                 score += 50;
1914         }
1915         if (st->codec_info_nb_frames)
1916             score += 12;
1917
1918         if (st->discard != AVDISCARD_ALL)
1919             score += 200;
1920
1921         if (score > best_score) {
1922             best_score = score;
1923             best_stream = i;
1924         }
1925     }
1926     return best_stream;
1927 }
1928
1929 /** Flush the frame reader. */
1930 void ff_read_frame_flush(AVFormatContext *s)
1931 {
1932     AVStream *st;
1933     int i, j;
1934
1935     flush_packet_queue(s);
1936
1937     /* Reset read state for each stream. */
1938     for (i = 0; i < s->nb_streams; i++) {
1939         st = s->streams[i];
1940
1941         if (st->parser) {
1942             av_parser_close(st->parser);
1943             st->parser = NULL;
1944         }
1945         st->last_IP_pts = AV_NOPTS_VALUE;
1946         st->last_dts_for_order_check = AV_NOPTS_VALUE;
1947         if (st->first_dts == AV_NOPTS_VALUE)
1948             st->cur_dts = RELATIVE_TS_BASE;
1949         else
1950             /* We set the current DTS to an unspecified origin. */
1951             st->cur_dts = AV_NOPTS_VALUE;
1952
1953         st->probe_packets = s->max_probe_packets;
1954
1955         for (j = 0; j < MAX_REORDER_DELAY + 1; j++)
1956             st->pts_buffer[j] = AV_NOPTS_VALUE;
1957
1958         if (s->internal->inject_global_side_data)
1959             st->inject_global_side_data = 1;
1960
1961         st->skip_samples = 0;
1962     }
1963 }
1964
1965 void ff_update_cur_dts(AVFormatContext *s, AVStream *ref_st, int64_t timestamp)
1966 {
1967     int i;
1968
1969     for (i = 0; i < s->nb_streams; i++) {
1970         AVStream *st = s->streams[i];
1971
1972         st->cur_dts =
1973             av_rescale(timestamp,
1974                        st->time_base.den * (int64_t) ref_st->time_base.num,
1975                        st->time_base.num * (int64_t) ref_st->time_base.den);
1976     }
1977 }
1978
1979 void ff_reduce_index(AVFormatContext *s, int stream_index)
1980 {
1981     AVStream *st             = s->streams[stream_index];
1982     unsigned int max_entries = s->max_index_size / sizeof(AVIndexEntry);
1983
1984     if ((unsigned) st->nb_index_entries >= max_entries) {
1985         int i;
1986         for (i = 0; 2 * i < st->nb_index_entries; i++)
1987             st->index_entries[i] = st->index_entries[2 * i];
1988         st->nb_index_entries = i;
1989     }
1990 }
1991
1992 int ff_add_index_entry(AVIndexEntry **index_entries,
1993                        int *nb_index_entries,
1994                        unsigned int *index_entries_allocated_size,
1995                        int64_t pos, int64_t timestamp,
1996                        int size, int distance, int flags)
1997 {
1998     AVIndexEntry *entries, *ie;
1999     int index;
2000
2001     if ((unsigned) *nb_index_entries + 1 >= UINT_MAX / sizeof(AVIndexEntry))
2002         return -1;
2003
2004     if (timestamp == AV_NOPTS_VALUE)
2005         return AVERROR(EINVAL);
2006
2007     if (size < 0 || size > 0x3FFFFFFF)
2008         return AVERROR(EINVAL);
2009
2010     if (is_relative(timestamp)) //FIXME this maintains previous behavior but we should shift by the correct offset once known
2011         timestamp -= RELATIVE_TS_BASE;
2012
2013     entries = av_fast_realloc(*index_entries,
2014                               index_entries_allocated_size,
2015                               (*nb_index_entries + 1) *
2016                               sizeof(AVIndexEntry));
2017     if (!entries)
2018         return -1;
2019
2020     *index_entries = entries;
2021
2022     index = ff_index_search_timestamp(*index_entries, *nb_index_entries,
2023                                       timestamp, AVSEEK_FLAG_ANY);
2024
2025     if (index < 0) {
2026         index = (*nb_index_entries)++;
2027         ie    = &entries[index];
2028         av_assert0(index == 0 || ie[-1].timestamp < timestamp);
2029     } else {
2030         ie = &entries[index];
2031         if (ie->timestamp != timestamp) {
2032             if (ie->timestamp <= timestamp)
2033                 return -1;
2034             memmove(entries + index + 1, entries + index,
2035                     sizeof(AVIndexEntry) * (*nb_index_entries - index));
2036             (*nb_index_entries)++;
2037         } else if (ie->pos == pos && distance < ie->min_distance)
2038             // do not reduce the distance
2039             distance = ie->min_distance;
2040     }
2041
2042     ie->pos          = pos;
2043     ie->timestamp    = timestamp;
2044     ie->min_distance = distance;
2045     ie->size         = size;
2046     ie->flags        = flags;
2047
2048     return index;
2049 }
2050
2051 int av_add_index_entry(AVStream *st, int64_t pos, int64_t timestamp,
2052                        int size, int distance, int flags)
2053 {
2054     timestamp = wrap_timestamp(st, timestamp);
2055     return ff_add_index_entry(&st->index_entries, &st->nb_index_entries,
2056                               &st->index_entries_allocated_size, pos,
2057                               timestamp, size, distance, flags);
2058 }
2059
2060 int ff_index_search_timestamp(const AVIndexEntry *entries, int nb_entries,
2061                               int64_t wanted_timestamp, int flags)
2062 {
2063     int a, b, m;
2064     int64_t timestamp;
2065
2066     a = -1;
2067     b = nb_entries;
2068
2069     // Optimize appending index entries at the end.
2070     if (b && entries[b - 1].timestamp < wanted_timestamp)
2071         a = b - 1;
2072
2073     while (b - a > 1) {
2074         m         = (a + b) >> 1;
2075
2076         // Search for the next non-discarded packet.
2077         while ((entries[m].flags & AVINDEX_DISCARD_FRAME) && m < b && m < nb_entries - 1) {
2078             m++;
2079             if (m == b && entries[m].timestamp >= wanted_timestamp) {
2080                 m = b - 1;
2081                 break;
2082             }
2083         }
2084
2085         timestamp = entries[m].timestamp;
2086         if (timestamp >= wanted_timestamp)
2087             b = m;
2088         if (timestamp <= wanted_timestamp)
2089             a = m;
2090     }
2091     m = (flags & AVSEEK_FLAG_BACKWARD) ? a : b;
2092
2093     if (!(flags & AVSEEK_FLAG_ANY))
2094         while (m >= 0 && m < nb_entries &&
2095                !(entries[m].flags & AVINDEX_KEYFRAME))
2096             m += (flags & AVSEEK_FLAG_BACKWARD) ? -1 : 1;
2097
2098     if (m == nb_entries)
2099         return -1;
2100     return m;
2101 }
2102
2103 void ff_configure_buffers_for_index(AVFormatContext *s, int64_t time_tolerance)
2104 {
2105     int ist1, ist2;
2106     int64_t pos_delta = 0;
2107     int64_t skip = 0;
2108     //We could use URLProtocol flags here but as many user applications do not use URLProtocols this would be unreliable
2109     const char *proto = avio_find_protocol_name(s->url);
2110
2111     if (!proto) {
2112         av_log(s, AV_LOG_INFO,
2113                "Protocol name not provided, cannot determine if input is local or "
2114                "a network protocol, buffers and access patterns cannot be configured "
2115                "optimally without knowing the protocol\n");
2116     }
2117
2118     if (proto && !(strcmp(proto, "file") && strcmp(proto, "pipe") && strcmp(proto, "cache")))
2119         return;
2120
2121     for (ist1 = 0; ist1 < s->nb_streams; ist1++) {
2122         AVStream *st1 = s->streams[ist1];
2123         for (ist2 = 0; ist2 < s->nb_streams; ist2++) {
2124             AVStream *st2 = s->streams[ist2];
2125             int i1, i2;
2126
2127             if (ist1 == ist2)
2128                 continue;
2129
2130             for (i1 = i2 = 0; i1 < st1->nb_index_entries; i1++) {
2131                 AVIndexEntry *e1 = &st1->index_entries[i1];
2132                 int64_t e1_pts = av_rescale_q(e1->timestamp, st1->time_base, AV_TIME_BASE_Q);
2133
2134                 skip = FFMAX(skip, e1->size);
2135                 for (; i2 < st2->nb_index_entries; i2++) {
2136                     AVIndexEntry *e2 = &st2->index_entries[i2];
2137                     int64_t e2_pts = av_rescale_q(e2->timestamp, st2->time_base, AV_TIME_BASE_Q);
2138                     if (e2_pts - e1_pts < time_tolerance)
2139                         continue;
2140                     pos_delta = FFMAX(pos_delta, e1->pos - e2->pos);
2141                     break;
2142                 }
2143             }
2144         }
2145     }
2146
2147     pos_delta *= 2;
2148     /* XXX This could be adjusted depending on protocol*/
2149     if (s->pb->buffer_size < pos_delta && pos_delta < (1<<24)) {
2150         av_log(s, AV_LOG_VERBOSE, "Reconfiguring buffers to size %"PRId64"\n", pos_delta);
2151
2152         /* realloc the buffer and the original data will be retained */
2153         if (ffio_realloc_buf(s->pb, pos_delta)) {
2154             av_log(s, AV_LOG_ERROR, "Realloc buffer fail.\n");
2155             return;
2156         }
2157
2158         s->pb->short_seek_threshold = FFMAX(s->pb->short_seek_threshold, pos_delta/2);
2159     }
2160
2161     if (skip < (1<<23)) {
2162         s->pb->short_seek_threshold = FFMAX(s->pb->short_seek_threshold, skip);
2163     }
2164 }
2165
2166 int av_index_search_timestamp(AVStream *st, int64_t wanted_timestamp, int flags)
2167 {
2168     return ff_index_search_timestamp(st->index_entries, st->nb_index_entries,
2169                                      wanted_timestamp, flags);
2170 }
2171
2172 static int64_t ff_read_timestamp(AVFormatContext *s, int stream_index, int64_t *ppos, int64_t pos_limit,
2173                                  int64_t (*read_timestamp)(struct AVFormatContext *, int , int64_t *, int64_t ))
2174 {
2175     int64_t ts = read_timestamp(s, stream_index, ppos, pos_limit);
2176     if (stream_index >= 0)
2177         ts = wrap_timestamp(s->streams[stream_index], ts);
2178     return ts;
2179 }
2180
2181 int ff_seek_frame_binary(AVFormatContext *s, int stream_index,
2182                          int64_t target_ts, int flags)
2183 {
2184     const AVInputFormat *avif = s->iformat;
2185     int64_t av_uninit(pos_min), av_uninit(pos_max), pos, pos_limit;
2186     int64_t ts_min, ts_max, ts;
2187     int index;
2188     int64_t ret;
2189     AVStream *st;
2190
2191     if (stream_index < 0)
2192         return -1;
2193
2194     av_log(s, AV_LOG_TRACE, "read_seek: %d %s\n", stream_index, av_ts2str(target_ts));
2195
2196     ts_max =
2197     ts_min = AV_NOPTS_VALUE;
2198     pos_limit = -1; // GCC falsely says it may be uninitialized.
2199
2200     st = s->streams[stream_index];
2201     if (st->index_entries) {
2202         AVIndexEntry *e;
2203
2204         /* FIXME: Whole function must be checked for non-keyframe entries in
2205          * index case, especially read_timestamp(). */
2206         index = av_index_search_timestamp(st, target_ts,
2207                                           flags | AVSEEK_FLAG_BACKWARD);
2208         index = FFMAX(index, 0);
2209         e     = &st->index_entries[index];
2210
2211         if (e->timestamp <= target_ts || e->pos == e->min_distance) {
2212             pos_min = e->pos;
2213             ts_min  = e->timestamp;
2214             av_log(s, AV_LOG_TRACE, "using cached pos_min=0x%"PRIx64" dts_min=%s\n",
2215                     pos_min, av_ts2str(ts_min));
2216         } else {
2217             av_assert1(index == 0);
2218         }
2219
2220         index = av_index_search_timestamp(st, target_ts,
2221                                           flags & ~AVSEEK_FLAG_BACKWARD);
2222         av_assert0(index < st->nb_index_entries);
2223         if (index >= 0) {
2224             e = &st->index_entries[index];
2225             av_assert1(e->timestamp >= target_ts);
2226             pos_max   = e->pos;
2227             ts_max    = e->timestamp;
2228             pos_limit = pos_max - e->min_distance;
2229             av_log(s, AV_LOG_TRACE, "using cached pos_max=0x%"PRIx64" pos_limit=0x%"PRIx64
2230                     " dts_max=%s\n", pos_max, pos_limit, av_ts2str(ts_max));
2231         }
2232     }
2233
2234     pos = ff_gen_search(s, stream_index, target_ts, pos_min, pos_max, pos_limit,
2235                         ts_min, ts_max, flags, &ts, avif->read_timestamp);
2236     if (pos < 0)
2237         return -1;
2238
2239     /* do the seek */
2240     if ((ret = avio_seek(s->pb, pos, SEEK_SET)) < 0)
2241         return ret;
2242
2243     ff_read_frame_flush(s);
2244     ff_update_cur_dts(s, st, ts);
2245
2246     return 0;
2247 }
2248
2249 int ff_find_last_ts(AVFormatContext *s, int stream_index, int64_t *ts, int64_t *pos,
2250                     int64_t (*read_timestamp)(struct AVFormatContext *, int , int64_t *, int64_t ))
2251 {
2252     int64_t step = 1024;
2253     int64_t limit, ts_max;
2254     int64_t filesize = avio_size(s->pb);
2255     int64_t pos_max  = filesize - 1;
2256     do {
2257         limit = pos_max;
2258         pos_max = FFMAX(0, (pos_max) - step);
2259         ts_max  = ff_read_timestamp(s, stream_index,
2260                                     &pos_max, limit, read_timestamp);
2261         step   += step;
2262     } while (ts_max == AV_NOPTS_VALUE && 2*limit > step);
2263     if (ts_max == AV_NOPTS_VALUE)
2264         return -1;
2265
2266     for (;;) {
2267         int64_t tmp_pos = pos_max + 1;
2268         int64_t tmp_ts  = ff_read_timestamp(s, stream_index,
2269                                             &tmp_pos, INT64_MAX, read_timestamp);
2270         if (tmp_ts == AV_NOPTS_VALUE)
2271             break;
2272         av_assert0(tmp_pos > pos_max);
2273         ts_max  = tmp_ts;
2274         pos_max = tmp_pos;
2275         if (tmp_pos >= filesize)
2276             break;
2277     }
2278
2279     if (ts)
2280         *ts = ts_max;
2281     if (pos)
2282         *pos = pos_max;
2283
2284     return 0;
2285 }
2286
2287 int64_t ff_gen_search(AVFormatContext *s, int stream_index, int64_t target_ts,
2288                       int64_t pos_min, int64_t pos_max, int64_t pos_limit,
2289                       int64_t ts_min, int64_t ts_max,
2290                       int flags, int64_t *ts_ret,
2291                       int64_t (*read_timestamp)(struct AVFormatContext *, int,
2292                                                 int64_t *, int64_t))
2293 {
2294     int64_t pos, ts;
2295     int64_t start_pos;
2296     int no_change;
2297     int ret;
2298
2299     av_log(s, AV_LOG_TRACE, "gen_seek: %d %s\n", stream_index, av_ts2str(target_ts));
2300
2301     if (ts_min == AV_NOPTS_VALUE) {
2302         pos_min = s->internal->data_offset;
2303         ts_min  = ff_read_timestamp(s, stream_index, &pos_min, INT64_MAX, read_timestamp);
2304         if (ts_min == AV_NOPTS_VALUE)
2305             return -1;
2306     }
2307
2308     if (ts_min >= target_ts) {
2309         *ts_ret = ts_min;
2310         return pos_min;
2311     }
2312
2313     if (ts_max == AV_NOPTS_VALUE) {
2314         if ((ret = ff_find_last_ts(s, stream_index, &ts_max, &pos_max, read_timestamp)) < 0)
2315             return ret;
2316         pos_limit = pos_max;
2317     }
2318
2319     if (ts_max <= target_ts) {
2320         *ts_ret = ts_max;
2321         return pos_max;
2322     }
2323
2324     av_assert0(ts_min < ts_max);
2325
2326     no_change = 0;
2327     while (pos_min < pos_limit) {
2328         av_log(s, AV_LOG_TRACE,
2329                 "pos_min=0x%"PRIx64" pos_max=0x%"PRIx64" dts_min=%s dts_max=%s\n",
2330                 pos_min, pos_max, av_ts2str(ts_min), av_ts2str(ts_max));
2331         av_assert0(pos_limit <= pos_max);
2332
2333         if (no_change == 0) {
2334             int64_t approximate_keyframe_distance = pos_max - pos_limit;
2335             // interpolate position (better than dichotomy)
2336             pos = av_rescale(target_ts - ts_min, pos_max - pos_min,
2337                              ts_max - ts_min) +
2338                   pos_min - approximate_keyframe_distance;
2339         } else if (no_change == 1) {
2340             // bisection if interpolation did not change min / max pos last time
2341             pos = (pos_min + pos_limit) >> 1;
2342         } else {
2343             /* linear search if bisection failed, can only happen if there
2344              * are very few or no keyframes between min/max */
2345             pos = pos_min;
2346         }
2347         if (pos <= pos_min)
2348             pos = pos_min + 1;
2349         else if (pos > pos_limit)
2350             pos = pos_limit;
2351         start_pos = pos;
2352
2353         // May pass pos_limit instead of -1.
2354         ts = ff_read_timestamp(s, stream_index, &pos, INT64_MAX, read_timestamp);
2355         if (pos == pos_max)
2356             no_change++;
2357         else
2358             no_change = 0;
2359         av_log(s, AV_LOG_TRACE, "%"PRId64" %"PRId64" %"PRId64" / %s %s %s"
2360                 " target:%s limit:%"PRId64" start:%"PRId64" noc:%d\n",
2361                 pos_min, pos, pos_max,
2362                 av_ts2str(ts_min), av_ts2str(ts), av_ts2str(ts_max), av_ts2str(target_ts),
2363                 pos_limit, start_pos, no_change);
2364         if (ts == AV_NOPTS_VALUE) {
2365             av_log(s, AV_LOG_ERROR, "read_timestamp() failed in the middle\n");
2366             return -1;
2367         }
2368         if (target_ts <= ts) {
2369             pos_limit = start_pos - 1;
2370             pos_max   = pos;
2371             ts_max    = ts;
2372         }
2373         if (target_ts >= ts) {
2374             pos_min = pos;
2375             ts_min  = ts;
2376         }
2377     }
2378
2379     pos     = (flags & AVSEEK_FLAG_BACKWARD) ? pos_min : pos_max;
2380     ts      = (flags & AVSEEK_FLAG_BACKWARD) ? ts_min  : ts_max;
2381 #if 0
2382     pos_min = pos;
2383     ts_min  = ff_read_timestamp(s, stream_index, &pos_min, INT64_MAX, read_timestamp);
2384     pos_min++;
2385     ts_max = ff_read_timestamp(s, stream_index, &pos_min, INT64_MAX, read_timestamp);
2386     av_log(s, AV_LOG_TRACE, "pos=0x%"PRIx64" %s<=%s<=%s\n",
2387             pos, av_ts2str(ts_min), av_ts2str(target_ts), av_ts2str(ts_max));
2388 #endif
2389     *ts_ret = ts;
2390     return pos;
2391 }
2392
2393 static int seek_frame_byte(AVFormatContext *s, int stream_index,
2394                            int64_t pos, int flags)
2395 {
2396     int64_t pos_min, pos_max;
2397
2398     pos_min = s->internal->data_offset;
2399     pos_max = avio_size(s->pb) - 1;
2400
2401     if (pos < pos_min)
2402         pos = pos_min;
2403     else if (pos > pos_max)
2404         pos = pos_max;
2405
2406     avio_seek(s->pb, pos, SEEK_SET);
2407
2408     s->io_repositioned = 1;
2409
2410     return 0;
2411 }
2412
2413 static int seek_frame_generic(AVFormatContext *s, int stream_index,
2414                               int64_t timestamp, int flags)
2415 {
2416     int index;
2417     int64_t ret;
2418     AVStream *st;
2419     AVIndexEntry *ie;
2420
2421     st = s->streams[stream_index];
2422
2423     index = av_index_search_timestamp(st, timestamp, flags);
2424
2425     if (index < 0 && st->nb_index_entries &&
2426         timestamp < st->index_entries[0].timestamp)
2427         return -1;
2428
2429     if (index < 0 || index == st->nb_index_entries - 1) {
2430         AVPacket pkt;
2431         int nonkey = 0;
2432
2433         if (st->nb_index_entries) {
2434             av_assert0(st->index_entries);
2435             ie = &st->index_entries[st->nb_index_entries - 1];
2436             if ((ret = avio_seek(s->pb, ie->pos, SEEK_SET)) < 0)
2437                 return ret;
2438             ff_update_cur_dts(s, st, ie->timestamp);
2439         } else {
2440             if ((ret = avio_seek(s->pb, s->internal->data_offset, SEEK_SET)) < 0)
2441                 return ret;
2442         }
2443         for (;;) {
2444             int read_status;
2445             do {
2446                 read_status = av_read_frame(s, &pkt);
2447             } while (read_status == AVERROR(EAGAIN));
2448             if (read_status < 0)
2449                 break;
2450             if (stream_index == pkt.stream_index && pkt.dts > timestamp) {
2451                 if (pkt.flags & AV_PKT_FLAG_KEY) {
2452                     av_packet_unref(&pkt);
2453                     break;
2454                 }
2455                 if (nonkey++ > 1000 && st->codecpar->codec_id != AV_CODEC_ID_CDGRAPHICS) {
2456                     av_log(s, AV_LOG_ERROR,"seek_frame_generic failed as this stream seems to contain no keyframes after the target timestamp, %d non keyframes found\n", nonkey);
2457                     av_packet_unref(&pkt);
2458                     break;
2459                 }
2460             }
2461             av_packet_unref(&pkt);
2462         }
2463         index = av_index_search_timestamp(st, timestamp, flags);
2464     }
2465     if (index < 0)
2466         return -1;
2467
2468     ff_read_frame_flush(s);
2469     if (s->iformat->read_seek)
2470         if (s->iformat->read_seek(s, stream_index, timestamp, flags) >= 0)
2471             return 0;
2472     ie = &st->index_entries[index];
2473     if ((ret = avio_seek(s->pb, ie->pos, SEEK_SET)) < 0)
2474         return ret;
2475     ff_update_cur_dts(s, st, ie->timestamp);
2476
2477     return 0;
2478 }
2479
2480 static int seek_frame_internal(AVFormatContext *s, int stream_index,
2481                                int64_t timestamp, int flags)
2482 {
2483     int ret;
2484     AVStream *st;
2485
2486     if (flags & AVSEEK_FLAG_BYTE) {
2487         if (s->iformat->flags & AVFMT_NO_BYTE_SEEK)
2488             return -1;
2489         ff_read_frame_flush(s);
2490         return seek_frame_byte(s, stream_index, timestamp, flags);
2491     }
2492
2493     if (stream_index < 0) {
2494         stream_index = av_find_default_stream_index(s);
2495         if (stream_index < 0)
2496             return -1;
2497
2498         st = s->streams[stream_index];
2499         /* timestamp for default must be expressed in AV_TIME_BASE units */
2500         timestamp = av_rescale(timestamp, st->time_base.den,
2501                                AV_TIME_BASE * (int64_t) st->time_base.num);
2502     }
2503
2504     /* first, we try the format specific seek */
2505     if (s->iformat->read_seek) {
2506         ff_read_frame_flush(s);
2507         ret = s->iformat->read_seek(s, stream_index, timestamp, flags);
2508     } else
2509         ret = -1;
2510     if (ret >= 0)
2511         return 0;
2512
2513     if (s->iformat->read_timestamp &&
2514         !(s->iformat->flags & AVFMT_NOBINSEARCH)) {
2515         ff_read_frame_flush(s);
2516         return ff_seek_frame_binary(s, stream_index, timestamp, flags);
2517     } else if (!(s->iformat->flags & AVFMT_NOGENSEARCH)) {
2518         ff_read_frame_flush(s);
2519         return seek_frame_generic(s, stream_index, timestamp, flags);
2520     } else
2521         return -1;
2522 }
2523
2524 int av_seek_frame(AVFormatContext *s, int stream_index,
2525                   int64_t timestamp, int flags)
2526 {
2527     int ret;
2528
2529     if (s->iformat->read_seek2 && !s->iformat->read_seek) {
2530         int64_t min_ts = INT64_MIN, max_ts = INT64_MAX;
2531         if ((flags & AVSEEK_FLAG_BACKWARD))
2532             max_ts = timestamp;
2533         else
2534             min_ts = timestamp;
2535         return avformat_seek_file(s, stream_index, min_ts, timestamp, max_ts,
2536                                   flags & ~AVSEEK_FLAG_BACKWARD);
2537     }
2538
2539     ret = seek_frame_internal(s, stream_index, timestamp, flags);
2540
2541     if (ret >= 0)
2542         ret = avformat_queue_attached_pictures(s);
2543
2544     return ret;
2545 }
2546
2547 int avformat_seek_file(AVFormatContext *s, int stream_index, int64_t min_ts,
2548                        int64_t ts, int64_t max_ts, int flags)
2549 {
2550     if (min_ts > ts || max_ts < ts)
2551         return -1;
2552     if (stream_index < -1 || stream_index >= (int)s->nb_streams)
2553         return AVERROR(EINVAL);
2554
2555     if (s->seek2any>0)
2556         flags |= AVSEEK_FLAG_ANY;
2557     flags &= ~AVSEEK_FLAG_BACKWARD;
2558
2559     if (s->iformat->read_seek2) {
2560         int ret;
2561         ff_read_frame_flush(s);
2562
2563         if (stream_index == -1 && s->nb_streams == 1) {
2564             AVRational time_base = s->streams[0]->time_base;
2565             ts = av_rescale_q(ts, AV_TIME_BASE_Q, time_base);
2566             min_ts = av_rescale_rnd(min_ts, time_base.den,
2567                                     time_base.num * (int64_t)AV_TIME_BASE,
2568                                     AV_ROUND_UP   | AV_ROUND_PASS_MINMAX);
2569             max_ts = av_rescale_rnd(max_ts, time_base.den,
2570                                     time_base.num * (int64_t)AV_TIME_BASE,
2571                                     AV_ROUND_DOWN | AV_ROUND_PASS_MINMAX);
2572             stream_index = 0;
2573         }
2574
2575         ret = s->iformat->read_seek2(s, stream_index, min_ts,
2576                                      ts, max_ts, flags);
2577
2578         if (ret >= 0)
2579             ret = avformat_queue_attached_pictures(s);
2580         return ret;
2581     }
2582
2583     if (s->iformat->read_timestamp) {
2584         // try to seek via read_timestamp()
2585     }
2586
2587     // Fall back on old API if new is not implemented but old is.
2588     // Note the old API has somewhat different semantics.
2589     if (s->iformat->read_seek || 1) {
2590         int dir = (ts - (uint64_t)min_ts > (uint64_t)max_ts - ts ? AVSEEK_FLAG_BACKWARD : 0);
2591         int ret = av_seek_frame(s, stream_index, ts, flags | dir);
2592         if (ret<0 && ts != min_ts && max_ts != ts) {
2593             ret = av_seek_frame(s, stream_index, dir ? max_ts : min_ts, flags | dir);
2594             if (ret >= 0)
2595                 ret = av_seek_frame(s, stream_index, ts, flags | (dir^AVSEEK_FLAG_BACKWARD));
2596         }
2597         return ret;
2598     }
2599
2600     // try some generic seek like seek_frame_generic() but with new ts semantics
2601     return -1; //unreachable
2602 }
2603
2604 int avformat_flush(AVFormatContext *s)
2605 {
2606     ff_read_frame_flush(s);
2607     return 0;
2608 }
2609
2610 /*******************************************************/
2611
2612 /**
2613  * Return TRUE if the stream has accurate duration in any stream.
2614  *
2615  * @return TRUE if the stream has accurate duration for at least one component.
2616  */
2617 static int has_duration(AVFormatContext *ic)
2618 {
2619     int i;
2620     AVStream *st;
2621
2622     for (i = 0; i < ic->nb_streams; i++) {
2623         st = ic->streams[i];
2624         if (st->duration != AV_NOPTS_VALUE)
2625             return 1;
2626     }
2627     if (ic->duration != AV_NOPTS_VALUE)
2628         return 1;
2629     return 0;
2630 }
2631
2632 /**
2633  * Estimate the stream timings from the one of each components.
2634  *
2635  * Also computes the global bitrate if possible.
2636  */
2637 static void update_stream_timings(AVFormatContext *ic)
2638 {
2639     int64_t start_time, start_time1, start_time_text, end_time, end_time1, end_time_text;
2640     int64_t duration, duration1, duration_text, filesize;
2641     int i;
2642     AVProgram *p;
2643
2644     start_time = INT64_MAX;
2645     start_time_text = INT64_MAX;
2646     end_time   = INT64_MIN;
2647     end_time_text   = INT64_MIN;
2648     duration   = INT64_MIN;
2649     duration_text = INT64_MIN;
2650
2651     for (i = 0; i < ic->nb_streams; i++) {
2652         AVStream *st = ic->streams[i];
2653         int is_text = st->codecpar->codec_type == AVMEDIA_TYPE_SUBTITLE ||
2654                       st->codecpar->codec_type == AVMEDIA_TYPE_DATA;
2655         if (st->start_time != AV_NOPTS_VALUE && st->time_base.den) {
2656             start_time1 = av_rescale_q(st->start_time, st->time_base,
2657                                        AV_TIME_BASE_Q);
2658             if (is_text)
2659                 start_time_text = FFMIN(start_time_text, start_time1);
2660             else
2661                 start_time = FFMIN(start_time, start_time1);
2662             end_time1 = av_rescale_q_rnd(st->duration, st->time_base,
2663                                          AV_TIME_BASE_Q,
2664                                          AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX);
2665             if (end_time1 != AV_NOPTS_VALUE && (end_time1 > 0 ? start_time1 <= INT64_MAX - end_time1 : start_time1 >= INT64_MIN - end_time1)) {
2666                 end_time1 += start_time1;
2667                 if (is_text)
2668                     end_time_text = FFMAX(end_time_text, end_time1);
2669                 else
2670                     end_time = FFMAX(end_time, end_time1);
2671             }
2672             for (p = NULL; (p = av_find_program_from_stream(ic, p, i)); ) {
2673                 if (p->start_time == AV_NOPTS_VALUE || p->start_time > start_time1)
2674                     p->start_time = start_time1;
2675                 if (p->end_time < end_time1)
2676                     p->end_time = end_time1;
2677             }
2678         }
2679         if (st->duration != AV_NOPTS_VALUE) {
2680             duration1 = av_rescale_q(st->duration, st->time_base,
2681                                      AV_TIME_BASE_Q);
2682             if (is_text)
2683                 duration_text = FFMAX(duration_text, duration1);
2684             else
2685                 duration = FFMAX(duration, duration1);
2686         }
2687     }
2688     if (start_time == INT64_MAX || (start_time > start_time_text && start_time - (uint64_t)start_time_text < AV_TIME_BASE))
2689         start_time = start_time_text;
2690     else if (start_time > start_time_text)
2691         av_log(ic, AV_LOG_VERBOSE, "Ignoring outlier non primary stream starttime %f\n", start_time_text / (float)AV_TIME_BASE);
2692
2693     if (end_time == INT64_MIN || (end_time < end_time_text && end_time_text - (uint64_t)end_time < AV_TIME_BASE))
2694         end_time = end_time_text;
2695     else if (end_time < end_time_text)
2696         av_log(ic, AV_LOG_VERBOSE, "Ignoring outlier non primary stream endtime %f\n", end_time_text / (float)AV_TIME_BASE);
2697
2698      if (duration == INT64_MIN || (duration < duration_text && duration_text - duration < AV_TIME_BASE))
2699          duration = duration_text;
2700      else if (duration < duration_text)
2701          av_log(ic, AV_LOG_VERBOSE, "Ignoring outlier non primary stream duration %f\n", duration_text / (float)AV_TIME_BASE);
2702
2703     if (start_time != INT64_MAX) {
2704         ic->start_time = start_time;
2705         if (end_time != INT64_MIN) {
2706             if (ic->nb_programs > 1) {
2707                 for (i = 0; i < ic->nb_programs; i++) {
2708                     p = ic->programs[i];
2709                     if (p->start_time != AV_NOPTS_VALUE &&
2710                         p->end_time > p->start_time &&
2711                         p->end_time - (uint64_t)p->start_time <= INT64_MAX)
2712                         duration = FFMAX(duration, p->end_time - p->start_time);
2713                 }
2714             } else if (end_time >= start_time && end_time - (uint64_t)start_time <= INT64_MAX) {
2715                 duration = FFMAX(duration, end_time - start_time);
2716             }
2717         }
2718     }
2719     if (duration != INT64_MIN && duration > 0 && ic->duration == AV_NOPTS_VALUE) {
2720         ic->duration = duration;
2721     }
2722     if (ic->pb && (filesize = avio_size(ic->pb)) > 0 && ic->duration > 0) {
2723         /* compute the bitrate */
2724         double bitrate = (double) filesize * 8.0 * AV_TIME_BASE /
2725                          (double) ic->duration;
2726         if (bitrate >= 0 && bitrate <= INT64_MAX)
2727             ic->bit_rate = bitrate;
2728     }
2729 }
2730
2731 static void fill_all_stream_timings(AVFormatContext *ic)
2732 {
2733     int i;
2734     AVStream *st;
2735
2736     update_stream_timings(ic);
2737     for (i = 0; i < ic->nb_streams; i++) {
2738         st = ic->streams[i];
2739         if (st->start_time == AV_NOPTS_VALUE) {
2740             if (ic->start_time != AV_NOPTS_VALUE)
2741                 st->start_time = av_rescale_q(ic->start_time, AV_TIME_BASE_Q,
2742                                               st->time_base);
2743             if (ic->duration != AV_NOPTS_VALUE)
2744                 st->duration = av_rescale_q(ic->duration, AV_TIME_BASE_Q,
2745                                             st->time_base);
2746         }
2747     }
2748 }
2749
2750 static void estimate_timings_from_bit_rate(AVFormatContext *ic)
2751 {
2752     int64_t filesize, duration;
2753     int i, show_warning = 0;
2754     AVStream *st;
2755
2756     /* if bit_rate is already set, we believe it */
2757     if (ic->bit_rate <= 0) {
2758         int64_t bit_rate = 0;
2759         for (i = 0; i < ic->nb_streams; i++) {
2760             st = ic->streams[i];
2761             if (st->codecpar->bit_rate <= 0 && st->internal->avctx->bit_rate > 0)
2762                 st->codecpar->bit_rate = st->internal->avctx->bit_rate;
2763             if (st->codecpar->bit_rate > 0) {
2764                 if (INT64_MAX - st->codecpar->bit_rate < bit_rate) {
2765                     bit_rate = 0;
2766                     break;
2767                 }
2768                 bit_rate += st->codecpar->bit_rate;
2769             } else if (st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO && st->codec_info_nb_frames > 1) {
2770                 // If we have a videostream with packets but without a bitrate
2771                 // then consider the sum not known
2772                 bit_rate = 0;
2773                 break;
2774             }
2775         }
2776         ic->bit_rate = bit_rate;
2777     }
2778
2779     /* if duration is already set, we believe it */
2780     if (ic->duration == AV_NOPTS_VALUE &&
2781         ic->bit_rate != 0) {
2782         filesize = ic->pb ? avio_size(ic->pb) : 0;
2783         if (filesize > ic->internal->data_offset) {
2784             filesize -= ic->internal->data_offset;
2785             for (i = 0; i < ic->nb_streams; i++) {
2786                 st      = ic->streams[i];
2787                 if (   st->time_base.num <= INT64_MAX / ic->bit_rate
2788                     && st->duration == AV_NOPTS_VALUE) {
2789                     duration = av_rescale(8 * filesize, st->time_base.den,
2790                                           ic->bit_rate *
2791                                           (int64_t) st->time_base.num);
2792                     st->duration = duration;
2793                     show_warning = 1;
2794                 }
2795             }
2796         }
2797     }
2798     if (show_warning)
2799         av_log(ic, AV_LOG_WARNING,
2800                "Estimating duration from bitrate, this may be inaccurate\n");
2801 }
2802
2803 #define DURATION_MAX_READ_SIZE 250000LL
2804 #define DURATION_MAX_RETRY 6
2805
2806 /* only usable for MPEG-PS streams */
2807 static void estimate_timings_from_pts(AVFormatContext *ic, int64_t old_offset)
2808 {
2809     AVPacket pkt1, *pkt = &pkt1;
2810     AVStream *st;
2811     int num, den, read_size, i, ret;
2812     int found_duration = 0;
2813     int is_end;
2814     int64_t filesize, offset, duration;
2815     int retry = 0;
2816
2817     /* flush packet queue */
2818     flush_packet_queue(ic);
2819
2820     for (i = 0; i < ic->nb_streams; i++) {
2821         st = ic->streams[i];
2822         if (st->start_time == AV_NOPTS_VALUE &&
2823             st->first_dts == AV_NOPTS_VALUE &&
2824             st->codecpar->codec_type != AVMEDIA_TYPE_UNKNOWN)
2825             av_log(ic, AV_LOG_WARNING,
2826                    "start time for stream %d is not set in estimate_timings_from_pts\n", i);
2827
2828         if (st->parser) {
2829             av_parser_close(st->parser);
2830             st->parser = NULL;
2831         }
2832     }
2833
2834     if (ic->skip_estimate_duration_from_pts) {
2835         av_log(ic, AV_LOG_INFO, "Skipping duration calculation in estimate_timings_from_pts\n");
2836         goto skip_duration_calc;
2837     }
2838
2839     av_opt_set(ic, "skip_changes", "1", AV_OPT_SEARCH_CHILDREN);
2840     /* estimate the end time (duration) */
2841     /* XXX: may need to support wrapping */
2842     filesize = ic->pb ? avio_size(ic->pb) : 0;
2843     do {
2844         is_end = found_duration;
2845         offset = filesize - (DURATION_MAX_READ_SIZE << retry);
2846         if (offset < 0)
2847             offset = 0;
2848
2849         avio_seek(ic->pb, offset, SEEK_SET);
2850         read_size = 0;
2851         for (;;) {
2852             if (read_size >= DURATION_MAX_READ_SIZE << (FFMAX(retry - 1, 0)))
2853                 break;
2854
2855             do {
2856                 ret = ff_read_packet(ic, pkt);
2857             } while (ret == AVERROR(EAGAIN));
2858             if (ret != 0)
2859                 break;
2860             read_size += pkt->size;
2861             st         = ic->streams[pkt->stream_index];
2862             if (pkt->pts != AV_NOPTS_VALUE &&
2863                 (st->start_time != AV_NOPTS_VALUE ||
2864                  st->first_dts  != AV_NOPTS_VALUE)) {
2865                 if (pkt->duration == 0) {
2866                     ff_compute_frame_duration(ic, &num, &den, st, st->parser, pkt);
2867                     if (den && num) {
2868                         pkt->duration = av_rescale_rnd(1,
2869                                            num * (int64_t) st->time_base.den,
2870                                            den * (int64_t) st->time_base.num,
2871                                            AV_ROUND_DOWN);
2872                     }
2873                 }
2874                 duration = pkt->pts + pkt->duration;
2875                 found_duration = 1;
2876                 if (st->start_time != AV_NOPTS_VALUE)
2877                     duration -= st->start_time;
2878                 else
2879                     duration -= st->first_dts;
2880                 if (duration > 0) {
2881                     if (st->duration == AV_NOPTS_VALUE || st->info->last_duration<= 0 ||
2882                         (st->duration < duration && FFABS(duration - st->info->last_duration) < 60LL*st->time_base.den / st->time_base.num))
2883                         st->duration = duration;
2884                     st->info->last_duration = duration;
2885                 }
2886             }
2887             av_packet_unref(pkt);
2888         }
2889
2890         /* check if all audio/video streams have valid duration */
2891         if (!is_end) {
2892             is_end = 1;
2893             for (i = 0; i < ic->nb_streams; i++) {
2894                 st = ic->streams[i];
2895                 switch (st->codecpar->codec_type) {
2896                     case AVMEDIA_TYPE_VIDEO:
2897                     case AVMEDIA_TYPE_AUDIO:
2898                         if (st->duration == AV_NOPTS_VALUE)
2899                             is_end = 0;
2900                 }
2901             }
2902         }
2903     } while (!is_end &&
2904              offset &&
2905              ++retry <= DURATION_MAX_RETRY);
2906
2907     av_opt_set(ic, "skip_changes", "0", AV_OPT_SEARCH_CHILDREN);
2908
2909     /* warn about audio/video streams which duration could not be estimated */
2910     for (i = 0; i < ic->nb_streams; i++) {
2911         st = ic->streams[i];
2912         if (st->duration == AV_NOPTS_VALUE) {
2913             switch (st->codecpar->codec_type) {
2914             case AVMEDIA_TYPE_VIDEO:
2915             case AVMEDIA_TYPE_AUDIO:
2916                 if (st->start_time != AV_NOPTS_VALUE || st->first_dts  != AV_NOPTS_VALUE) {
2917                     av_log(ic, AV_LOG_WARNING, "stream %d : no PTS found at end of file, duration not set\n", i);
2918                 } else
2919                     av_log(ic, AV_LOG_WARNING, "stream %d : no TS found at start of file, duration not set\n", i);
2920             }
2921         }
2922     }
2923 skip_duration_calc:
2924     fill_all_stream_timings(ic);
2925
2926     avio_seek(ic->pb, old_offset, SEEK_SET);
2927     for (i = 0; i < ic->nb_streams; i++) {
2928         int j;
2929
2930         st              = ic->streams[i];
2931         st->cur_dts     = st->first_dts;
2932         st->last_IP_pts = AV_NOPTS_VALUE;
2933         st->last_dts_for_order_check = AV_NOPTS_VALUE;
2934         for (j = 0; j < MAX_REORDER_DELAY + 1; j++)
2935             st->pts_buffer[j] = AV_NOPTS_VALUE;
2936     }
2937 }
2938
2939 /* 1:1 map to AVDurationEstimationMethod */
2940 static const char *duration_name[] = {
2941     [AVFMT_DURATION_FROM_PTS]     = "pts",
2942     [AVFMT_DURATION_FROM_STREAM]  = "stream",
2943     [AVFMT_DURATION_FROM_BITRATE] = "bit rate",
2944 };
2945
2946 static const char *duration_estimate_name(enum AVDurationEstimationMethod method)
2947 {
2948     return duration_name[method];
2949 }
2950
2951 static void estimate_timings(AVFormatContext *ic, int64_t old_offset)
2952 {
2953     int64_t file_size;
2954
2955     /* get the file size, if possible */
2956     if (ic->iformat->flags & AVFMT_NOFILE) {
2957         file_size = 0;
2958     } else {
2959         file_size = avio_size(ic->pb);
2960         file_size = FFMAX(0, file_size);
2961     }
2962
2963     if ((!strcmp(ic->iformat->name, "mpeg") ||
2964          !strcmp(ic->iformat->name, "mpegts")) &&
2965         file_size && (ic->pb->seekable & AVIO_SEEKABLE_NORMAL)) {
2966         /* get accurate estimate from the PTSes */
2967         estimate_timings_from_pts(ic, old_offset);
2968         ic->duration_estimation_method = AVFMT_DURATION_FROM_PTS;
2969     } else if (has_duration(ic)) {
2970         /* at least one component has timings - we use them for all
2971          * the components */
2972         fill_all_stream_timings(ic);
2973         /* nut demuxer estimate the duration from PTS */
2974         if(!strcmp(ic->iformat->name, "nut"))
2975             ic->duration_estimation_method = AVFMT_DURATION_FROM_PTS;
2976         else
2977             ic->duration_estimation_method = AVFMT_DURATION_FROM_STREAM;
2978     } else {
2979         /* less precise: use bitrate info */
2980         estimate_timings_from_bit_rate(ic);
2981         ic->duration_estimation_method = AVFMT_DURATION_FROM_BITRATE;
2982     }
2983     update_stream_timings(ic);
2984
2985     {
2986         int i;
2987         AVStream av_unused *st;
2988         for (i = 0; i < ic->nb_streams; i++) {
2989             st = ic->streams[i];
2990             if (st->time_base.den)
2991                 av_log(ic, AV_LOG_TRACE, "stream %d: start_time: %0.3f duration: %0.3f\n", i,
2992                        (double) st->start_time * av_q2d(st->time_base),
2993                        (double) st->duration   * av_q2d(st->time_base));
2994         }
2995         av_log(ic, AV_LOG_TRACE,
2996                 "format: start_time: %0.3f duration: %0.3f (estimate from %s) bitrate=%"PRId64" kb/s\n",
2997                 (double) ic->start_time / AV_TIME_BASE,
2998                 (double) ic->duration   / AV_TIME_BASE,
2999                 duration_estimate_name(ic->duration_estimation_method),
3000                 (int64_t)ic->bit_rate / 1000);
3001     }
3002 }
3003
3004 static int has_codec_parameters(AVStream *st, const char **errmsg_ptr)
3005 {
3006     AVCodecContext *avctx = st->internal->avctx;
3007
3008 #define FAIL(errmsg) do {                                         \
3009         if (errmsg_ptr)                                           \
3010             *errmsg_ptr = errmsg;                                 \
3011         return 0;                                                 \
3012     } while (0)
3013
3014     if (   avctx->codec_id == AV_CODEC_ID_NONE
3015         && avctx->codec_type != AVMEDIA_TYPE_DATA)
3016         FAIL("unknown codec");
3017     switch (avctx->codec_type) {
3018     case AVMEDIA_TYPE_AUDIO:
3019         if (!avctx->frame_size && determinable_frame_size(avctx))
3020             FAIL("unspecified frame size");
3021         if (st->info->found_decoder >= 0 &&
3022             avctx->sample_fmt == AV_SAMPLE_FMT_NONE)
3023             FAIL("unspecified sample format");
3024         if (!avctx->sample_rate)
3025             FAIL("unspecified sample rate");
3026         if (!avctx->channels)
3027             FAIL("unspecified number of channels");
3028         if (st->info->found_decoder >= 0 && !st->nb_decoded_frames && avctx->codec_id == AV_CODEC_ID_DTS)
3029             FAIL("no decodable DTS frames");
3030         break;
3031     case AVMEDIA_TYPE_VIDEO:
3032         if (!avctx->width)
3033             FAIL("unspecified size");
3034         if (st->info->found_decoder >= 0 && avctx->pix_fmt == AV_PIX_FMT_NONE)
3035             FAIL("unspecified pixel format");
3036         if (st->codecpar->codec_id == AV_CODEC_ID_RV30 || st->codecpar->codec_id == AV_CODEC_ID_RV40)
3037             if (!st->sample_aspect_ratio.num && !st->codecpar->sample_aspect_ratio.num && !st->codec_info_nb_frames)
3038                 FAIL("no frame in rv30/40 and no sar");
3039         break;
3040     case AVMEDIA_TYPE_SUBTITLE:
3041         if (avctx->codec_id == AV_CODEC_ID_HDMV_PGS_SUBTITLE && !avctx->width)
3042             FAIL("unspecified size");
3043         break;
3044     case AVMEDIA_TYPE_DATA:
3045         if (avctx->codec_id == AV_CODEC_ID_NONE) return 1;
3046     }
3047
3048     return 1;
3049 }
3050
3051 /* returns 1 or 0 if or if not decoded data was returned, or a negative error */
3052 static int try_decode_frame(AVFormatContext *s, AVStream *st,
3053                             const AVPacket *avpkt, AVDictionary **options)
3054 {
3055     AVCodecContext *avctx = st->internal->avctx;
3056     const AVCodec *codec;
3057     int got_picture = 1, ret = 0;
3058     AVFrame *frame = av_frame_alloc();
3059     AVSubtitle subtitle;
3060     AVPacket pkt = *avpkt;
3061     int do_skip_frame = 0;
3062     enum AVDiscard skip_frame;
3063
3064     if (!frame)
3065         return AVERROR(ENOMEM);
3066
3067     if (!avcodec_is_open(avctx) &&
3068         st->info->found_decoder <= 0 &&
3069         (st->codecpar->codec_id != -st->info->found_decoder || !st->codecpar->codec_id)) {
3070         AVDictionary *thread_opt = NULL;
3071
3072         codec = find_probe_decoder(s, st, st->codecpar->codec_id);
3073
3074         if (!codec) {
3075             st->info->found_decoder = -st->codecpar->codec_id;
3076             ret                     = -1;
3077             goto fail;
3078         }
3079
3080         /* Force thread count to 1 since the H.264 decoder will not extract
3081          * SPS and PPS to extradata during multi-threaded decoding. */
3082         av_dict_set(options ? options : &thread_opt, "threads", "1", 0);
3083         if (s->codec_whitelist)
3084             av_dict_set(options ? options : &thread_opt, "codec_whitelist", s->codec_whitelist, 0);
3085         ret = avcodec_open2(avctx, codec, options ? options : &thread_opt);
3086         if (!options)
3087             av_dict_free(&thread_opt);
3088         if (ret < 0) {
3089             st->info->found_decoder = -avctx->codec_id;
3090             goto fail;
3091         }
3092         st->info->found_decoder = 1;
3093     } else if (!st->info->found_decoder)
3094         st->info->found_decoder = 1;
3095
3096     if (st->info->found_decoder < 0) {
3097         ret = -1;
3098         goto fail;
3099     }
3100
3101     if (avpriv_codec_get_cap_skip_frame_fill_param(avctx->codec)) {
3102         do_skip_frame = 1;
3103         skip_frame = avctx->skip_frame;
3104         avctx->skip_frame = AVDISCARD_ALL;
3105     }
3106
3107     while ((pkt.size > 0 || (!pkt.data && got_picture)) &&
3108            ret >= 0 &&
3109            (!has_codec_parameters(st, NULL) || !has_decode_delay_been_guessed(st) ||
3110             (!st->codec_info_nb_frames &&
3111              (avctx->codec->capabilities & AV_CODEC_CAP_CHANNEL_CONF)))) {
3112         got_picture = 0;
3113         if (avctx->codec_type == AVMEDIA_TYPE_VIDEO ||
3114             avctx->codec_type == AVMEDIA_TYPE_AUDIO) {
3115             ret = avcodec_send_packet(avctx, &pkt);
3116             if (ret < 0 && ret != AVERROR(EAGAIN) && ret != AVERROR_EOF)
3117                 break;
3118             if (ret >= 0)
3119                 pkt.size = 0;
3120             ret = avcodec_receive_frame(avctx, frame);
3121             if (ret >= 0)
3122                 got_picture = 1;
3123             if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
3124                 ret = 0;
3125         } else if (avctx->codec_type == AVMEDIA_TYPE_SUBTITLE) {
3126             ret = avcodec_decode_subtitle2(avctx, &subtitle,
3127                                            &got_picture, &pkt);
3128             if (ret >= 0)
3129                 pkt.size = 0;
3130         }
3131         if (ret >= 0) {
3132             if (got_picture)
3133                 st->nb_decoded_frames++;
3134             ret       = got_picture;
3135         }
3136     }
3137
3138     if (!pkt.data && !got_picture)
3139         ret = -1;
3140
3141 fail:
3142     if (do_skip_frame) {
3143         avctx->skip_frame = skip_frame;
3144     }
3145
3146     av_frame_free(&frame);
3147     return ret;
3148 }
3149
3150 unsigned int ff_codec_get_tag(const AVCodecTag *tags, enum AVCodecID id)
3151 {
3152     while (tags->id != AV_CODEC_ID_NONE) {
3153         if (tags->id == id)
3154             return tags->tag;
3155         tags++;
3156     }
3157     return 0;
3158 }
3159
3160 enum AVCodecID ff_codec_get_id(const AVCodecTag *tags, unsigned int tag)
3161 {
3162     int i;
3163     for (i = 0; tags[i].id != AV_CODEC_ID_NONE; i++)
3164         if (tag == tags[i].tag)
3165             return tags[i].id;
3166     for (i = 0; tags[i].id != AV_CODEC_ID_NONE; i++)
3167         if (avpriv_toupper4(tag) == avpriv_toupper4(tags[i].tag))
3168             return tags[i].id;
3169     return AV_CODEC_ID_NONE;
3170 }
3171
3172 enum AVCodecID ff_get_pcm_codec_id(int bps, int flt, int be, int sflags)
3173 {
3174     if (bps <= 0 || bps > 64)
3175         return AV_CODEC_ID_NONE;
3176
3177     if (flt) {
3178         switch (bps) {
3179         case 32:
3180             return be ? AV_CODEC_ID_PCM_F32BE : AV_CODEC_ID_PCM_F32LE;
3181         case 64:
3182             return be ? AV_CODEC_ID_PCM_F64BE : AV_CODEC_ID_PCM_F64LE;
3183         default:
3184             return AV_CODEC_ID_NONE;
3185         }
3186     } else {
3187         bps  += 7;
3188         bps >>= 3;
3189         if (sflags & (1 << (bps - 1))) {
3190             switch (bps) {
3191             case 1:
3192                 return AV_CODEC_ID_PCM_S8;
3193             case 2:
3194                 return be ? AV_CODEC_ID_PCM_S16BE : AV_CODEC_ID_PCM_S16LE;
3195             case 3:
3196                 return be ? AV_CODEC_ID_PCM_S24BE : AV_CODEC_ID_PCM_S24LE;
3197             case 4:
3198                 return be ? AV_CODEC_ID_PCM_S32BE : AV_CODEC_ID_PCM_S32LE;
3199             case 8:
3200                 return be ? AV_CODEC_ID_PCM_S64BE : AV_CODEC_ID_PCM_S64LE;
3201             default:
3202                 return AV_CODEC_ID_NONE;
3203             }
3204         } else {
3205             switch (bps) {
3206             case 1:
3207                 return AV_CODEC_ID_PCM_U8;
3208             case 2:
3209                 return be ? AV_CODEC_ID_PCM_U16BE : AV_CODEC_ID_PCM_U16LE;
3210             case 3:
3211                 return be ? AV_CODEC_ID_PCM_U24BE : AV_CODEC_ID_PCM_U24LE;
3212             case 4:
3213                 return be ? AV_CODEC_ID_PCM_U32BE : AV_CODEC_ID_PCM_U32LE;
3214             default:
3215                 return AV_CODEC_ID_NONE;
3216             }
3217         }
3218     }
3219 }
3220
3221 unsigned int av_codec_get_tag(const AVCodecTag *const *tags, enum AVCodecID id)
3222 {
3223     unsigned int tag;
3224     if (!av_codec_get_tag2(tags, id, &tag))
3225         return 0;
3226     return tag;
3227 }
3228
3229 int av_codec_get_tag2(const AVCodecTag * const *tags, enum AVCodecID id,
3230                       unsigned int *tag)
3231 {
3232     int i;
3233     for (i = 0; tags && tags[i]; i++) {
3234         const AVCodecTag *codec_tags = tags[i];
3235         while (codec_tags->id != AV_CODEC_ID_NONE) {
3236             if (codec_tags->id == id) {
3237                 *tag = codec_tags->tag;
3238                 return 1;
3239             }
3240             codec_tags++;
3241         }
3242     }
3243     return 0;
3244 }
3245
3246 enum AVCodecID av_codec_get_id(const AVCodecTag *const *tags, unsigned int tag)
3247 {
3248     int i;
3249     for (i = 0; tags && tags[i]; i++) {
3250         enum AVCodecID id = ff_codec_get_id(tags[i], tag);
3251         if (id != AV_CODEC_ID_NONE)
3252             return id;
3253     }
3254     return AV_CODEC_ID_NONE;
3255 }
3256
3257 static void compute_chapters_end(AVFormatContext *s)
3258 {
3259     unsigned int i, j;
3260     int64_t max_time = 0;
3261
3262     if (s->duration > 0 && s->start_time < INT64_MAX - s->duration)
3263         max_time = s->duration +
3264                        ((s->start_time == AV_NOPTS_VALUE) ? 0 : s->start_time);
3265
3266     for (i = 0; i < s->nb_chapters; i++)
3267         if (s->chapters[i]->end == AV_NOPTS_VALUE) {
3268             AVChapter *ch = s->chapters[i];
3269             int64_t end = max_time ? av_rescale_q(max_time, AV_TIME_BASE_Q,
3270                                                   ch->time_base)
3271                                    : INT64_MAX;
3272
3273             for (j = 0; j < s->nb_chapters; j++) {
3274                 AVChapter *ch1     = s->chapters[j];
3275                 int64_t next_start = av_rescale_q(ch1->start, ch1->time_base,
3276                                                   ch->time_base);
3277                 if (j != i && next_start > ch->start && next_start < end)
3278                     end = next_start;
3279             }
3280             ch->end = (end == INT64_MAX || end < ch->start) ? ch->start : end;
3281         }
3282 }
3283
3284 static int get_std_framerate(int i)
3285 {
3286     if (i < 30*12)
3287         return (i + 1) * 1001;
3288     i -= 30*12;
3289
3290     if (i < 30)
3291         return (i + 31) * 1001 * 12;
3292     i -= 30;
3293
3294     if (i < 3)
3295         return ((const int[]) { 80, 120, 240})[i] * 1001 * 12;
3296
3297     i -= 3;
3298
3299     return ((const int[]) { 24, 30, 60, 12, 15, 48 })[i] * 1000 * 12;
3300 }
3301
3302 /* Is the time base unreliable?
3303  * This is a heuristic to balance between quick acceptance of the values in
3304  * the headers vs. some extra checks.
3305  * Old DivX and Xvid often have nonsense timebases like 1fps or 2fps.
3306  * MPEG-2 commonly misuses field repeat flags to store different framerates.
3307  * And there are "variable" fps files this needs to detect as well. */
3308 static int tb_unreliable(AVCodecContext *c)
3309 {
3310     if (c->time_base.den >= 101LL * c->time_base.num ||
3311         c->time_base.den <    5LL * c->time_base.num ||
3312         // c->codec_tag == AV_RL32("DIVX") ||
3313         // c->codec_tag == AV_RL32("XVID") ||
3314         c->codec_tag == AV_RL32("mp4v") ||
3315         c->codec_id == AV_CODEC_ID_MPEG2VIDEO ||
3316         c->codec_id == AV_CODEC_ID_GIF ||
3317         c->codec_id == AV_CODEC_ID_HEVC ||
3318         c->codec_id == AV_CODEC_ID_H264)
3319         return 1;
3320     return 0;
3321 }
3322
3323 int ff_alloc_extradata(AVCodecParameters *par, int size)
3324 {
3325     av_freep(&par->extradata);
3326     par->extradata_size = 0;
3327
3328     if (size < 0 || size >= INT32_MAX - AV_INPUT_BUFFER_PADDING_SIZE)
3329         return AVERROR(EINVAL);
3330
3331     par->extradata = av_malloc(size + AV_INPUT_BUFFER_PADDING_SIZE);
3332     if (!par->extradata)
3333         return AVERROR(ENOMEM);
3334
3335     memset(par->extradata + size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
3336     par->extradata_size = size;
3337
3338     return 0;
3339 }
3340
3341 int ff_get_extradata(AVFormatContext *s, AVCodecParameters *par, AVIOContext *pb, int size)
3342 {
3343     int ret = ff_alloc_extradata(par, size);
3344     if (ret < 0)
3345         return ret;
3346     ret = avio_read(pb, par->extradata, size);
3347     if (ret != size) {
3348         av_freep(&par->extradata);
3349         par->extradata_size = 0;
3350         av_log(s, AV_LOG_ERROR, "Failed to read extradata of size %d\n", size);
3351         return ret < 0 ? ret : AVERROR_INVALIDDATA;
3352     }
3353
3354     return ret;
3355 }
3356
3357 int ff_rfps_add_frame(AVFormatContext *ic, AVStream *st, int64_t ts)
3358 {
3359     int i, j;
3360     int64_t last = st->info->last_dts;
3361
3362     if (   ts != AV_NOPTS_VALUE && last != AV_NOPTS_VALUE && ts > last
3363        && ts - (uint64_t)last < INT64_MAX) {
3364         double dts = (is_relative(ts) ?  ts - RELATIVE_TS_BASE : ts) * av_q2d(st->time_base);
3365         int64_t duration = ts - last;
3366
3367         if (!st->info->duration_error)
3368             st->info->duration_error = av_mallocz(sizeof(st->info->duration_error[0])*2);
3369         if (!st->info->duration_error)
3370             return AVERROR(ENOMEM);
3371
3372 //         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO)
3373 //             av_log(NULL, AV_LOG_ERROR, "%f\n", dts);
3374         for (i = 0; i<MAX_STD_TIMEBASES; i++) {
3375             if (st->info->duration_error[0][1][i] < 1e10) {
3376                 int framerate = get_std_framerate(i);
3377                 double sdts = dts*framerate/(1001*12);
3378                 for (j= 0; j<2; j++) {
3379                     int64_t ticks = llrint(sdts+j*0.5);
3380                     double error= sdts - ticks + j*0.5;
3381                     st->info->duration_error[j][0][i] += error;
3382                     st->info->duration_error[j][1][i] += error*error;
3383                 }
3384             }
3385         }
3386         if (st->info->rfps_duration_sum <= INT64_MAX - duration) {
3387             st->info->duration_count++;
3388             st->info->rfps_duration_sum += duration;
3389         }
3390
3391         if (st->info->duration_count % 10 == 0) {
3392             int n = st->info->duration_count;
3393             for (i = 0; i<MAX_STD_TIMEBASES; i++) {
3394                 if (st->info->duration_error[0][1][i] < 1e10) {
3395                     double a0     = st->info->duration_error[0][0][i] / n;
3396                     double error0 = st->info->duration_error[0][1][i] / n - a0*a0;
3397                     double a1     = st->info->duration_error[1][0][i] / n;
3398                     double error1 = st->info->duration_error[1][1][i] / n - a1*a1;
3399                     if (error0 > 0.04 && error1 > 0.04) {
3400                         st->info->duration_error[0][1][i] = 2e10;
3401                         st->info->duration_error[1][1][i] = 2e10;
3402                     }
3403                 }
3404             }
3405         }
3406
3407         // ignore the first 4 values, they might have some random jitter
3408         if (st->info->duration_count > 3 && is_relative(ts) == is_relative(last))
3409             st->info->duration_gcd = av_gcd(st->info->duration_gcd, duration);
3410     }
3411     if (ts != AV_NOPTS_VALUE)
3412         st->info->last_dts = ts;
3413
3414     return 0;
3415 }
3416
3417 void ff_rfps_calculate(AVFormatContext *ic)
3418 {
3419     int i, j;
3420
3421     for (i = 0; i < ic->nb_streams; i++) {
3422         AVStream *st = ic->streams[i];
3423
3424         if (st->codecpar->codec_type != AVMEDIA_TYPE_VIDEO)
3425             continue;
3426         // the check for tb_unreliable() is not completely correct, since this is not about handling
3427         // an unreliable/inexact time base, but a time base that is finer than necessary, as e.g.
3428         // ipmovie.c produces.
3429         if (tb_unreliable(st->internal->avctx) && st->info->duration_count > 15 && st->info->duration_gcd > FFMAX(1, st->time_base.den/(500LL*st->time_base.num)) && !st->r_frame_rate.num)
3430             av_reduce(&st->r_frame_rate.num, &st->r_frame_rate.den, st->time_base.den, st->time_base.num * st->info->duration_gcd, INT_MAX);
3431         if (st->info->duration_count>1 && !st->r_frame_rate.num
3432             && tb_unreliable(st->internal->avctx)) {
3433             int num = 0;
3434             double best_error= 0.01;
3435             AVRational ref_rate = st->r_frame_rate.num ? st->r_frame_rate : av_inv_q(st->time_base);
3436
3437             for (j= 0; j<MAX_STD_TIMEBASES; j++) {
3438                 int k;
3439
3440                 if (st->info->codec_info_duration &&
3441                     st->info->codec_info_duration*av_q2d(st->time_base) < (1001*11.5)/get_std_framerate(j))
3442                     continue;
3443                 if (!st->info->codec_info_duration && get_std_framerate(j) < 1001*12)
3444                     continue;
3445
3446                 if (av_q2d(st->time_base) * st->info->rfps_duration_sum / st->info->duration_count < (1001*12.0 * 0.8)/get_std_framerate(j))
3447                     continue;
3448
3449                 for (k= 0; k<2; k++) {
3450                     int n = st->info->duration_count;
3451                     double a= st->info->duration_error[k][0][j] / n;
3452                     double error= st->info->duration_error[k][1][j]/n - a*a;
3453
3454                     if (error < best_error && best_error> 0.000000001) {
3455                         best_error= error;
3456                         num = get_std_framerate(j);
3457                     }
3458                     if (error < 0.02)
3459                         av_log(ic, AV_LOG_DEBUG, "rfps: %f %f\n", get_std_framerate(j) / 12.0/1001, error);
3460                 }
3461             }
3462             // do not increase frame rate by more than 1 % in order to match a standard rate.
3463             if (num && (!ref_rate.num || (double)num/(12*1001) < 1.01 * av_q2d(ref_rate)))
3464                 av_reduce(&st->r_frame_rate.num, &st->r_frame_rate.den, num, 12*1001, INT_MAX);
3465         }
3466         if (   !st->avg_frame_rate.num
3467             && st->r_frame_rate.num && st->info->rfps_duration_sum
3468             && st->info->codec_info_duration <= 0
3469             && st->info->duration_count > 2
3470             && fabs(1.0 / (av_q2d(st->r_frame_rate) * av_q2d(st->time_base)) - st->info->rfps_duration_sum / (double)st->info->duration_count) <= 1.0
3471             ) {
3472             av_log(ic, AV_LOG_DEBUG, "Setting avg frame rate based on r frame rate\n");
3473             st->avg_frame_rate = st->r_frame_rate;
3474         }
3475
3476         av_freep(&st->info->duration_error);
3477         st->info->last_dts = AV_NOPTS_VALUE;
3478         st->info->duration_count = 0;
3479         st->info->rfps_duration_sum = 0;
3480     }
3481 }
3482
3483 static int extract_extradata_check(AVStream *st)
3484 {
3485     const AVBitStreamFilter *f;
3486
3487     f = av_bsf_get_by_name("extract_extradata");
3488     if (!f)
3489         return 0;
3490
3491     if (f->codec_ids) {
3492         const enum AVCodecID *ids;
3493         for (ids = f->codec_ids; *ids != AV_CODEC_ID_NONE; ids++)
3494             if (*ids == st->codecpar->codec_id)
3495                 return 1;
3496     }
3497
3498     return 0;
3499 }
3500
3501 static int extract_extradata_init(AVStream *st)
3502 {
3503     AVStreamInternal *sti = st->internal;
3504     const AVBitStreamFilter *f;
3505     int ret;
3506
3507     f = av_bsf_get_by_name("extract_extradata");
3508     if (!f)
3509         goto finish;
3510
3511     /* check that the codec id is supported */
3512     ret = extract_extradata_check(st);
3513     if (!ret)
3514         goto finish;
3515
3516     sti->extract_extradata.pkt = av_packet_alloc();
3517     if (!sti->extract_extradata.pkt)
3518         return AVERROR(ENOMEM);
3519
3520     ret = av_bsf_alloc(f, &sti->extract_extradata.bsf);
3521     if (ret < 0)
3522         goto fail;
3523
3524     ret = avcodec_parameters_copy(sti->extract_extradata.bsf->par_in,
3525                                   st->codecpar);
3526     if (ret < 0)
3527         goto fail;
3528
3529     sti->extract_extradata.bsf->time_base_in = st->time_base;
3530
3531     ret = av_bsf_init(sti->extract_extradata.bsf);
3532     if (ret < 0)
3533         goto fail;
3534
3535 finish:
3536     sti->extract_extradata.inited = 1;
3537
3538     return 0;
3539 fail:
3540     av_bsf_free(&sti->extract_extradata.bsf);
3541     av_packet_free(&sti->extract_extradata.pkt);
3542     return ret;
3543 }
3544
3545 static int extract_extradata(AVStream *st, const AVPacket *pkt)
3546 {
3547     AVStreamInternal *sti = st->internal;
3548     AVPacket *pkt_ref;
3549     int ret;
3550
3551     if (!sti->extract_extradata.inited) {
3552         ret = extract_extradata_init(st);
3553         if (ret < 0)
3554             return ret;
3555     }
3556
3557     if (sti->extract_extradata.inited && !sti->extract_extradata.bsf)
3558         return 0;
3559
3560     pkt_ref = sti->extract_extradata.pkt;
3561     ret = av_packet_ref(pkt_ref, pkt);
3562     if (ret < 0)
3563         return ret;
3564
3565     ret = av_bsf_send_packet(sti->extract_extradata.bsf, pkt_ref);
3566     if (ret < 0) {
3567         av_packet_unref(pkt_ref);
3568         return ret;
3569     }
3570
3571     while (ret >= 0 && !sti->avctx->extradata) {
3572         int extradata_size;
3573         uint8_t *extradata;
3574
3575         ret = av_bsf_receive_packet(sti->extract_extradata.bsf, pkt_ref);
3576         if (ret < 0) {
3577             if (ret != AVERROR(EAGAIN) && ret != AVERROR_EOF)
3578                 return ret;
3579             continue;
3580         }
3581
3582         extradata = av_packet_get_side_data(pkt_ref, AV_PKT_DATA_NEW_EXTRADATA,
3583                                             &extradata_size);
3584
3585         if (extradata) {
3586             av_assert0(!sti->avctx->extradata);
3587             if ((unsigned)extradata_size < FF_MAX_EXTRADATA_SIZE)
3588                 sti->avctx->extradata = av_mallocz(extradata_size + AV_INPUT_BUFFER_PADDING_SIZE);
3589             if (!sti->avctx->extradata) {
3590                 av_packet_unref(pkt_ref);
3591                 return AVERROR(ENOMEM);
3592             }
3593             memcpy(sti->avctx->extradata, extradata, extradata_size);
3594             sti->avctx->extradata_size = extradata_size;
3595         }
3596         av_packet_unref(pkt_ref);
3597     }
3598
3599     return 0;
3600 }
3601
3602 int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options)
3603 {
3604     int i, count = 0, ret = 0, j;
3605     int64_t read_size;
3606     AVStream *st;
3607     AVCodecContext *avctx;
3608     AVPacket pkt1;
3609     int64_t old_offset  = avio_tell(ic->pb);
3610     // new streams might appear, no options for those
3611     int orig_nb_streams = ic->nb_streams;
3612     int flush_codecs;
3613     int64_t max_analyze_duration = ic->max_analyze_duration;
3614     int64_t max_stream_analyze_duration;
3615     int64_t max_subtitle_analyze_duration;
3616     int64_t probesize = ic->probesize;
3617     int eof_reached = 0;
3618     int *missing_streams = av_opt_ptr(ic->iformat->priv_class, ic->priv_data, "missing_streams");
3619
3620     flush_codecs = probesize > 0;
3621
3622     av_opt_set(ic, "skip_clear", "1", AV_OPT_SEARCH_CHILDREN);
3623
3624     max_stream_analyze_duration = max_analyze_duration;
3625     max_subtitle_analyze_duration = max_analyze_duration;
3626     if (!max_analyze_duration) {
3627         max_stream_analyze_duration =
3628         max_analyze_duration        = 5*AV_TIME_BASE;
3629         max_subtitle_analyze_duration = 30*AV_TIME_BASE;
3630         if (!strcmp(ic->iformat->name, "flv"))
3631             max_stream_analyze_duration = 90*AV_TIME_BASE;
3632         if (!strcmp(ic->iformat->name, "mpeg") || !strcmp(ic->iformat->name, "mpegts"))
3633             max_stream_analyze_duration = 7*AV_TIME_BASE;
3634     }
3635
3636     if (ic->pb)
3637         av_log(ic, AV_LOG_DEBUG, "Before avformat_find_stream_info() pos: %"PRId64" bytes read:%"PRId64" seeks:%d nb_streams:%d\n",
3638                avio_tell(ic->pb), ic->pb->bytes_read, ic->pb->seek_count, ic->nb_streams);
3639
3640     for (i = 0; i < ic->nb_streams; i++) {
3641         const AVCodec *codec;
3642         AVDictionary *thread_opt = NULL;
3643         st = ic->streams[i];
3644         avctx = st->internal->avctx;
3645
3646         if (st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO ||
3647             st->codecpar->codec_type == AVMEDIA_TYPE_SUBTITLE) {
3648 /*            if (!st->time_base.num)
3649                 st->time_base = */
3650             if (!avctx->time_base.num)
3651                 avctx->time_base = st->time_base;
3652         }
3653
3654         /* check if the caller has overridden the codec id */
3655 #if FF_API_LAVF_AVCTX
3656 FF_DISABLE_DEPRECATION_WARNINGS
3657         if (st->codec->codec_id != st->internal->orig_codec_id) {
3658             st->codecpar->codec_id   = st->codec->codec_id;
3659             st->codecpar->codec_type = st->codec->codec_type;
3660             st->internal->orig_codec_id = st->codec->codec_id;
3661         }
3662 FF_ENABLE_DEPRECATION_WARNINGS
3663 #endif
3664         // only for the split stuff
3665         if (!st->parser && !(ic->flags & AVFMT_FLAG_NOPARSE) && st->request_probe <= 0) {
3666             st->parser = av_parser_init(st->codecpar->codec_id);
3667             if (st->parser) {
3668                 if (st->need_parsing == AVSTREAM_PARSE_HEADERS) {
3669                     st->parser->flags |= PARSER_FLAG_COMPLETE_FRAMES;
3670                 } else if (st->need_parsing == AVSTREAM_PARSE_FULL_RAW) {
3671                     st->parser->flags |= PARSER_FLAG_USE_CODEC_TS;
3672                 }
3673             } else if (st->need_parsing) {
3674                 av_log(ic, AV_LOG_VERBOSE, "parser not found for codec "
3675                        "%s, packets or times may be invalid.\n",
3676                        avcodec_get_name(st->codecpar->codec_id));
3677             }
3678         }
3679
3680         if (st->codecpar->codec_id != st->internal->orig_codec_id)
3681             st->internal->orig_codec_id = st->codecpar->codec_id;
3682
3683         ret = avcodec_parameters_to_context(avctx, st->codecpar);
3684         if (ret < 0)
3685             goto find_stream_info_err;
3686         if (st->request_probe <= 0)
3687             st->internal->avctx_inited = 1;
3688
3689         codec = find_probe_decoder(ic, st, st->codecpar->codec_id);
3690
3691         /* Force thread count to 1 since the H.264 decoder will not extract
3692          * SPS and PPS to extradata during multi-threaded decoding. */
3693         av_dict_set(options ? &options[i] : &thread_opt, "threads", "1", 0);
3694
3695         if (ic->codec_whitelist)
3696             av_dict_set(options ? &options[i] : &thread_opt, "codec_whitelist", ic->codec_whitelist, 0);
3697
3698         /* Ensure that subtitle_header is properly set. */
3699         if (st->codecpar->codec_type == AVMEDIA_TYPE_SUBTITLE
3700             && codec && !avctx->codec) {
3701             if (avcodec_open2(avctx, codec, options ? &options[i] : &thread_opt) < 0)
3702                 av_log(ic, AV_LOG_WARNING,
3703                        "Failed to open codec in %s\n",__FUNCTION__);
3704         }
3705
3706         // Try to just open decoders, in case this is enough to get parameters.
3707         if (!has_codec_parameters(st, NULL) && st->request_probe <= 0) {
3708             if (codec && !avctx->codec)
3709                 if (avcodec_open2(avctx, codec, options ? &options[i] : &thread_opt) < 0)
3710                     av_log(ic, AV_LOG_WARNING,
3711                            "Failed to open codec in %s\n",__FUNCTION__);
3712         }
3713         if (!options)
3714             av_dict_free(&thread_opt);
3715     }
3716
3717     for (i = 0; i < ic->nb_streams; i++) {
3718 #if FF_API_R_FRAME_RATE
3719         ic->streams[i]->info->last_dts = AV_NOPTS_VALUE;
3720 #endif
3721         ic->streams[i]->info->fps_first_dts = AV_NOPTS_VALUE;
3722         ic->streams[i]->info->fps_last_dts  = AV_NOPTS_VALUE;
3723     }
3724
3725     read_size = 0;
3726     for (;;) {
3727         const AVPacket *pkt;
3728         int analyzed_all_streams;
3729         if (ff_check_interrupt(&ic->interrupt_callback)) {
3730             ret = AVERROR_EXIT;
3731             av_log(ic, AV_LOG_DEBUG, "interrupted\n");
3732             break;
3733         }
3734
3735         /* check if one codec still needs to be handled */
3736         for (i = 0; i < ic->nb_streams; i++) {
3737             int fps_analyze_framecount = 20;
3738             int count;
3739
3740             st = ic->streams[i];
3741             if (!has_codec_parameters(st, NULL))
3742                 break;
3743             /* If the timebase is coarse (like the usual millisecond precision
3744              * of mkv), we need to analyze more frames to reliably arrive at
3745              * the correct fps. */
3746             if (av_q2d(st->time_base) > 0.0005)
3747                 fps_analyze_framecount *= 2;
3748             if (!tb_unreliable(st->internal->avctx))
3749                 fps_analyze_framecount = 0;
3750             if (ic->fps_probe_size >= 0)
3751                 fps_analyze_framecount = ic->fps_probe_size;
3752             if (st->disposition & AV_DISPOSITION_ATTACHED_PIC)
3753                 fps_analyze_framecount = 0;
3754             /* variable fps and no guess at the real fps */
3755             count = (ic->iformat->flags & AVFMT_NOTIMESTAMPS) ?
3756                        st->info->codec_info_duration_fields/2 :
3757                        st->info->duration_count;
3758             if (!(st->r_frame_rate.num && st->avg_frame_rate.num) &&
3759                 st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
3760                 if (count < fps_analyze_framecount)
3761                     break;
3762             }
3763             // Look at the first 3 frames if there is evidence of frame delay
3764             // but the decoder delay is not set.
3765             if (st->info->frame_delay_evidence && count < 2 && st->internal->avctx->has_b_frames == 0)
3766                 break;
3767             if (!st->internal->avctx->extradata &&
3768                 (!st->internal->extract_extradata.inited ||
3769                  st->internal->extract_extradata.bsf) &&
3770                 extract_extradata_check(st))
3771                 break;
3772             if (st->first_dts == AV_NOPTS_VALUE &&
3773                 !(ic->iformat->flags & AVFMT_NOTIMESTAMPS) &&
3774                 st->codec_info_nb_frames < ((st->disposition & AV_DISPOSITION_ATTACHED_PIC) ? 1 : ic->max_ts_probe) &&
3775                 (st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO ||
3776                  st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO))
3777                 break;
3778         }
3779         analyzed_all_streams = 0;
3780         if (!missing_streams || !*missing_streams)
3781             if (i == ic->nb_streams) {
3782                 analyzed_all_streams = 1;
3783                 /* NOTE: If the format has no header, then we need to read some
3784                  * packets to get most of the streams, so we cannot stop here. */
3785                 if (!(ic->ctx_flags & AVFMTCTX_NOHEADER)) {
3786                     /* If we found the info for all the codecs, we can stop. */
3787                     ret = count;
3788                     av_log(ic, AV_LOG_DEBUG, "All info found\n");
3789                     flush_codecs = 0;
3790                     break;
3791                 }
3792             }
3793         /* We did not get all the codec info, but we read too much data. */
3794         if (read_size >= probesize) {
3795             ret = count;
3796             av_log(ic, AV_LOG_DEBUG,
3797                    "Probe buffer size limit of %"PRId64" bytes reached\n", probesize);
3798             for (i = 0; i < ic->nb_streams; i++)
3799                 if (!ic->streams[i]->r_frame_rate.num &&
3800                     ic->streams[i]->info->duration_count <= 1 &&
3801                     ic->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO &&
3802                     strcmp(ic->iformat->name, "image2"))
3803                     av_log(ic, AV_LOG_WARNING,
3804                            "Stream #%d: not enough frames to estimate rate; "
3805                            "consider increasing probesize\n", i);
3806             break;
3807         }
3808
3809         /* NOTE: A new stream can be added there if no header in file
3810          * (AVFMTCTX_NOHEADER). */
3811         ret = read_frame_internal(ic, &pkt1);
3812         if (ret == AVERROR(EAGAIN))
3813             continue;
3814
3815         if (ret < 0) {
3816             /* EOF or error*/
3817             eof_reached = 1;
3818             break;
3819         }
3820
3821         if (!(ic->flags & AVFMT_FLAG_NOBUFFER)) {
3822             ret = ff_packet_list_put(&ic->internal->packet_buffer,
3823                                      &ic->internal->packet_buffer_end,
3824                                      &pkt1, 0);
3825             if (ret < 0)
3826                 goto unref_then_goto_end;
3827
3828             pkt = &ic->internal->packet_buffer_end->pkt;
3829         } else {
3830             pkt = &pkt1;
3831         }
3832
3833         st = ic->streams[pkt->stream_index];
3834         if (!(st->disposition & AV_DISPOSITION_ATTACHED_PIC))
3835             read_size += pkt->size;
3836
3837         avctx = st->internal->avctx;
3838         if (!st->internal->avctx_inited) {
3839             ret = avcodec_parameters_to_context(avctx, st->codecpar);
3840             if (ret < 0)
3841                 goto unref_then_goto_end;
3842             st->internal->avctx_inited = 1;
3843         }
3844
3845         if (pkt->dts != AV_NOPTS_VALUE && st->codec_info_nb_frames > 1) {
3846             /* check for non-increasing dts */
3847             if (st->info->fps_last_dts != AV_NOPTS_VALUE &&
3848                 st->info->fps_last_dts >= pkt->dts) {
3849                 av_log(ic, AV_LOG_DEBUG,
3850                        "Non-increasing DTS in stream %d: packet %d with DTS "
3851                        "%"PRId64", packet %d with DTS %"PRId64"\n",
3852                        st->index, st->info->fps_last_dts_idx,
3853                        st->info->fps_last_dts, st->codec_info_nb_frames,
3854                        pkt->dts);
3855                 st->info->fps_first_dts =
3856                 st->info->fps_last_dts  = AV_NOPTS_VALUE;
3857             }
3858             /* Check for a discontinuity in dts. If the difference in dts
3859              * is more than 1000 times the average packet duration in the
3860              * sequence, we treat it as a discontinuity. */
3861             if (st->info->fps_last_dts != AV_NOPTS_VALUE &&
3862                 st->info->fps_last_dts_idx > st->info->fps_first_dts_idx &&
3863                 (pkt->dts - (uint64_t)st->info->fps_last_dts) / 1000 >
3864                 (st->info->fps_last_dts     - (uint64_t)st->info->fps_first_dts) /
3865                 (st->info->fps_last_dts_idx - st->info->fps_first_dts_idx)) {
3866                 av_log(ic, AV_LOG_WARNING,
3867                        "DTS discontinuity in stream %d: packet %d with DTS "
3868                        "%"PRId64", packet %d with DTS %"PRId64"\n",
3869                        st->index, st->info->fps_last_dts_idx,
3870                        st->info->fps_last_dts, st->codec_info_nb_frames,
3871                        pkt->dts);
3872                 st->info->fps_first_dts =
3873                 st->info->fps_last_dts  = AV_NOPTS_VALUE;
3874             }
3875
3876             /* update stored dts values */
3877             if (st->info->fps_first_dts == AV_NOPTS_VALUE) {
3878                 st->info->fps_first_dts     = pkt->dts;
3879                 st->info->fps_first_dts_idx = st->codec_info_nb_frames;
3880             }
3881             st->info->fps_last_dts     = pkt->dts;
3882             st->info->fps_last_dts_idx = st->codec_info_nb_frames;
3883         }
3884         if (st->codec_info_nb_frames>1) {
3885             int64_t t = 0;
3886             int64_t limit;
3887
3888             if (st->time_base.den > 0)
3889                 t = av_rescale_q(st->info->codec_info_duration, st->time_base, AV_TIME_BASE_Q);
3890             if (st->avg_frame_rate.num > 0)
3891                 t = FFMAX(t, av_rescale_q(st->codec_info_nb_frames, av_inv_q(st->avg_frame_rate), AV_TIME_BASE_Q));
3892
3893             if (   t == 0
3894                 && st->codec_info_nb_frames>30
3895                 && st->info->fps_first_dts != AV_NOPTS_VALUE
3896                 && st->info->fps_last_dts  != AV_NOPTS_VALUE)
3897                 t = FFMAX(t, av_rescale_q(st->info->fps_last_dts - st->info->fps_first_dts, st->time_base, AV_TIME_BASE_Q));
3898
3899             if (analyzed_all_streams)                                limit = max_analyze_duration;
3900             else if (avctx->codec_type == AVMEDIA_TYPE_SUBTITLE) limit = max_subtitle_analyze_duration;
3901             else                                                     limit = max_stream_analyze_duration;
3902
3903             if (t >= limit) {
3904                 av_log(ic, AV_LOG_VERBOSE, "max_analyze_duration %"PRId64" reached at %"PRId64" microseconds st:%d\n",
3905                        limit,
3906                        t, pkt->stream_index);
3907                 if (ic->flags & AVFMT_FLAG_NOBUFFER)
3908                     av_packet_unref(&pkt1);
3909                 break;
3910             }
3911             if (pkt->duration) {
3912                 if (avctx->codec_type == AVMEDIA_TYPE_SUBTITLE && pkt->pts != AV_NOPTS_VALUE && st->start_time != AV_NOPTS_VALUE && pkt->pts >= st->start_time) {
3913                     st->info->codec_info_duration = FFMIN(pkt->pts - st->start_time, st->info->codec_info_duration + pkt->duration);
3914                 } else
3915                     st->info->codec_info_duration += pkt->duration;
3916                 st->info->codec_info_duration_fields += st->parser && st->need_parsing && avctx->ticks_per_frame ==2 ? st->parser->repeat_pict + 1 : 2;
3917             }
3918         }
3919         if (st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
3920 #if FF_API_R_FRAME_RATE
3921             ff_rfps_add_frame(ic, st, pkt->dts);
3922 #endif
3923             if (pkt->dts != pkt->pts && pkt->dts != AV_NOPTS_VALUE && pkt->pts != AV_NOPTS_VALUE)
3924                 st->info->frame_delay_evidence = 1;
3925         }
3926         if (!st->internal->avctx->extradata) {
3927             ret = extract_extradata(st, pkt);
3928             if (ret < 0)
3929                 goto unref_then_goto_end;
3930         }
3931
3932         /* If still no information, we try to open the codec and to
3933          * decompress the frame. We try to avoid that in most cases as
3934          * it takes longer and uses more memory. For MPEG-4, we need to
3935          * decompress for QuickTime.
3936          *
3937          * If AV_CODEC_CAP_CHANNEL_CONF is set this will force decoding of at
3938          * least one frame of codec data, this makes sure the codec initializes
3939          * the channel configuration and does not only trust the values from
3940          * the container. */
3941         try_decode_frame(ic, st, pkt,
3942                          (options && i < orig_nb_streams) ? &options[i] : NULL);
3943
3944         if (ic->flags & AVFMT_FLAG_NOBUFFER)
3945             av_packet_unref(&pkt1);
3946
3947         st->codec_info_nb_frames++;
3948         count++;
3949     }
3950
3951     if (eof_reached) {
3952         int stream_index;
3953         for (stream_index = 0; stream_index < ic->nb_streams; stream_index++) {
3954             st = ic->streams[stream_index];
3955             avctx = st->internal->avctx;
3956             if (!has_codec_parameters(st, NULL)) {
3957                 const AVCodec *codec = find_probe_decoder(ic, st, st->codecpar->codec_id);
3958                 if (codec && !avctx->codec) {
3959                     AVDictionary *opts = NULL;
3960                     if (ic->codec_whitelist)
3961                         av_dict_set(&opts, "codec_whitelist", ic->codec_whitelist, 0);
3962                     if (avcodec_open2(avctx, codec, (options && stream_index < orig_nb_streams) ? &options[stream_index] : &opts) < 0)
3963                         av_log(ic, AV_LOG_WARNING,
3964                                "Failed to open codec in %s\n",__FUNCTION__);
3965                     av_dict_free(&opts);
3966                 }
3967             }
3968
3969             // EOF already reached while reading the stream above.
3970             // So continue with reoordering DTS with whatever delay we have.
3971             if (ic->internal->packet_buffer && !has_decode_delay_been_guessed(st)) {
3972                 update_dts_from_pts(ic, stream_index, ic->internal->packet_buffer);
3973             }
3974         }
3975     }
3976
3977     if (flush_codecs) {
3978         AVPacket empty_pkt = { 0 };
3979         int err = 0;
3980         av_init_packet(&empty_pkt);
3981
3982         for (i = 0; i < ic->nb_streams; i++) {
3983
3984             st = ic->streams[i];
3985
3986             /* flush the decoders */
3987             if (st->info->found_decoder == 1) {
3988                 do {
3989                     err = try_decode_frame(ic, st, &empty_pkt,
3990                                             (options && i < orig_nb_streams)
3991                                             ? &options[i] : NULL);
3992                 } while (err > 0 && !has_codec_parameters(st, NULL));
3993
3994                 if (err < 0) {
3995                     av_log(ic, AV_LOG_INFO,
3996                         "decoding for stream %d failed\n", st->index);
3997                 }
3998             }
3999         }
4000     }
4001
4002     ff_rfps_calculate(ic);
4003
4004     for (i = 0; i < ic->nb_streams; i++) {
4005         st = ic->streams[i];
4006         avctx = st->internal->avctx;
4007         if (avctx->codec_type == AVMEDIA_TYPE_VIDEO) {
4008             if (avctx->codec_id == AV_CODEC_ID_RAWVIDEO && !avctx->codec_tag && !avctx->bits_per_coded_sample) {
4009                 uint32_t tag= avcodec_pix_fmt_to_codec_tag(avctx->pix_fmt);
4010                 if (avpriv_find_pix_fmt(avpriv_get_raw_pix_fmt_tags(), tag) == avctx->pix_fmt)
4011                     avctx->codec_tag= tag;
4012             }
4013
4014             /* estimate average framerate if not set by demuxer */
4015             if (st->info->codec_info_duration_fields &&
4016                 !st->avg_frame_rate.num &&
4017                 st->info->codec_info_duration) {
4018                 int best_fps      = 0;
4019                 double best_error = 0.01;
4020                 AVRational codec_frame_rate = avctx->framerate;
4021
4022                 if (st->info->codec_info_duration        >= INT64_MAX / st->time_base.num / 2||
4023                     st->info->codec_info_duration_fields >= INT64_MAX / st->time_base.den ||
4024                     st->info->codec_info_duration        < 0)
4025                     continue;
4026                 av_reduce(&st->avg_frame_rate.num, &st->avg_frame_rate.den,
4027                           st->info->codec_info_duration_fields * (int64_t) st->time_base.den,
4028                           st->info->codec_info_duration * 2 * (int64_t) st->time_base.num, 60000);
4029
4030                 /* Round guessed framerate to a "standard" framerate if it's
4031                  * within 1% of the original estimate. */
4032                 for (j = 0; j < MAX_STD_TIMEBASES; j++) {
4033                     AVRational std_fps = { get_std_framerate(j), 12 * 1001 };
4034                     double error       = fabs(av_q2d(st->avg_frame_rate) /
4035                                               av_q2d(std_fps) - 1);
4036
4037                     if (error < best_error) {
4038                         best_error = error;
4039                         best_fps   = std_fps.num;
4040                     }
4041
4042                     if (ic->internal->prefer_codec_framerate && codec_frame_rate.num > 0 && codec_frame_rate.den > 0) {
4043                         error       = fabs(av_q2d(codec_frame_rate) /
4044                                            av_q2d(std_fps) - 1);
4045                         if (error < best_error) {
4046                             best_error = error;
4047                             best_fps   = std_fps.num;
4048                         }
4049                     }
4050                 }
4051                 if (best_fps)
4052                     av_reduce(&st->avg_frame_rate.num, &st->avg_frame_rate.den,
4053                               best_fps, 12 * 1001, INT_MAX);
4054             }
4055
4056             if (!st->r_frame_rate.num) {
4057                 if (    avctx->time_base.den * (int64_t) st->time_base.num
4058                     <= avctx->time_base.num * avctx->ticks_per_frame * (int64_t) st->time_base.den) {
4059                     av_reduce(&st->r_frame_rate.num, &st->r_frame_rate.den,
4060                               avctx->time_base.den, (int64_t)avctx->time_base.num * avctx->ticks_per_frame, INT_MAX);
4061                 } else {
4062                     st->r_frame_rate.num = st->time_base.den;
4063                     st->r_frame_rate.den = st->time_base.num;
4064                 }
4065             }
4066             if (st->display_aspect_ratio.num && st->display_aspect_ratio.den) {
4067                 AVRational hw_ratio = { avctx->height, avctx->width };
4068                 st->sample_aspect_ratio = av_mul_q(st->display_aspect_ratio,
4069                                                    hw_ratio);
4070             }
4071         } else if (avctx->codec_type == AVMEDIA_TYPE_AUDIO) {
4072             if (!avctx->bits_per_coded_sample)
4073                 avctx->bits_per_coded_sample =
4074                     av_get_bits_per_sample(avctx->codec_id);
4075             // set stream disposition based on audio service type
4076             switch (avctx->audio_service_type) {
4077             case AV_AUDIO_SERVICE_TYPE_EFFECTS:
4078                 st->disposition = AV_DISPOSITION_CLEAN_EFFECTS;
4079                 break;
4080             case AV_AUDIO_SERVICE_TYPE_VISUALLY_IMPAIRED:
4081                 st->disposition = AV_DISPOSITION_VISUAL_IMPAIRED;
4082                 break;
4083             case AV_AUDIO_SERVICE_TYPE_HEARING_IMPAIRED:
4084                 st->disposition = AV_DISPOSITION_HEARING_IMPAIRED;
4085                 break;
4086             case AV_AUDIO_SERVICE_TYPE_COMMENTARY:
4087                 st->disposition = AV_DISPOSITION_COMMENT;
4088                 break;
4089             case AV_AUDIO_SERVICE_TYPE_KARAOKE:
4090                 st->disposition = AV_DISPOSITION_KARAOKE;
4091                 break;
4092             }
4093         }
4094     }
4095
4096     if (probesize)
4097         estimate_timings(ic, old_offset);
4098
4099     av_opt_set(ic, "skip_clear", "0", AV_OPT_SEARCH_CHILDREN);
4100
4101     if (ret >= 0 && ic->nb_streams)
4102         /* We could not have all the codec parameters before EOF. */
4103         ret = -1;
4104     for (i = 0; i < ic->nb_streams; i++) {
4105         const char *errmsg;
4106         st = ic->streams[i];
4107
4108         /* if no packet was ever seen, update context now for has_codec_parameters */
4109         if (!st->internal->avctx_inited) {
4110             if (st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO &&
4111                 st->codecpar->format == AV_SAMPLE_FMT_NONE)
4112                 st->codecpar->format = st->internal->avctx->sample_fmt;
4113             ret = avcodec_parameters_to_context(st->internal->avctx, st->codecpar);
4114             if (ret < 0)
4115                 goto find_stream_info_err;
4116         }
4117         if (!has_codec_parameters(st, &errmsg)) {
4118             char buf[256];
4119             avcodec_string(buf, sizeof(buf), st->internal->avctx, 0);
4120             av_log(ic, AV_LOG_WARNING,
4121                    "Could not find codec parameters for stream %d (%s): %s\n"
4122                    "Consider increasing the value for the 'analyzeduration' and 'probesize' options\n",
4123                    i, buf, errmsg);
4124         } else {
4125             ret = 0;
4126         }
4127     }
4128
4129     compute_chapters_end(ic);
4130
4131     /* update the stream parameters from the internal codec contexts */
4132     for (i = 0; i < ic->nb_streams; i++) {
4133         st = ic->streams[i];
4134
4135         if (st->internal->avctx_inited) {
4136             int orig_w = st->codecpar->width;
4137             int orig_h = st->codecpar->height;
4138             ret = avcodec_parameters_from_context(st->codecpar, st->internal->avctx);
4139             if (ret < 0)
4140                 goto find_stream_info_err;
4141 #if FF_API_LOWRES
4142             // The decoder might reduce the video size by the lowres factor.
4143             if (st->internal->avctx->lowres && orig_w) {
4144                 st->codecpar->width = orig_w;
4145                 st->codecpar->height = orig_h;
4146             }
4147 #endif
4148         }
4149
4150 #if FF_API_LAVF_AVCTX
4151 FF_DISABLE_DEPRECATION_WARNINGS
4152         ret = avcodec_parameters_to_context(st->codec, st->codecpar);
4153         if (ret < 0)
4154             goto find_stream_info_err;
4155
4156 #if FF_API_LOWRES
4157         // The old API (AVStream.codec) "requires" the resolution to be adjusted
4158         // by the lowres factor.
4159         if (st->internal->avctx->lowres && st->internal->avctx->width) {
4160             st->codec->lowres = st->internal->avctx->lowres;
4161             st->codec->width = st->internal->avctx->width;
4162             st->codec->height = st->internal->avctx->height;
4163         }
4164 #endif
4165
4166         if (st->codec->codec_tag != MKTAG('t','m','c','d')) {
4167             st->codec->time_base = st->internal->avctx->time_base;
4168             st->codec->ticks_per_frame = st->internal->avctx->ticks_per_frame;
4169         }
4170         st->codec->framerate = st->avg_frame_rate;
4171
4172         if (st->internal->avctx->subtitle_header) {
4173             st->codec->subtitle_header = av_malloc(st->internal->avctx->subtitle_header_size);
4174             if (!st->codec->subtitle_header)
4175                 goto find_stream_info_err;
4176             st->codec->subtitle_header_size = st->internal->avctx->subtitle_header_size;
4177             memcpy(st->codec->subtitle_header, st->internal->avctx->subtitle_header,
4178                    st->codec->subtitle_header_size);
4179         }
4180
4181         // Fields unavailable in AVCodecParameters
4182         st->codec->coded_width = st->internal->avctx->coded_width;
4183         st->codec->coded_height = st->internal->avctx->coded_height;
4184         st->codec->properties = st->internal->avctx->properties;
4185 FF_ENABLE_DEPRECATION_WARNINGS
4186 #endif
4187
4188         st->internal->avctx_inited = 0;
4189     }
4190
4191 find_stream_info_err:
4192     for (i = 0; i < ic->nb_streams; i++) {
4193         st = ic->streams[i];
4194         if (st->info)
4195             av_freep(&st->info->duration_error);
4196         avcodec_close(ic->streams[i]->internal->avctx);
4197         av_freep(&ic->streams[i]->info);
4198         av_bsf_free(&ic->streams[i]->internal->extract_extradata.bsf);
4199         av_packet_free(&ic->streams[i]->internal->extract_extradata.pkt);
4200     }
4201     if (ic->pb)
4202         av_log(ic, AV_LOG_DEBUG, "After avformat_find_stream_info() pos: %"PRId64" bytes read:%"PRId64" seeks:%d frames:%d\n",
4203                avio_tell(ic->pb), ic->pb->bytes_read, ic->pb->seek_count, count);
4204     return ret;
4205
4206 unref_then_goto_end:
4207     av_packet_unref(&pkt1);
4208     goto find_stream_info_err;
4209 }
4210
4211 AVProgram *av_find_program_from_stream(AVFormatContext *ic, AVProgram *last, int s)
4212 {
4213     int i, j;
4214
4215     for (i = 0; i < ic->nb_programs; i++) {
4216         if (ic->programs[i] == last) {
4217             last = NULL;
4218         } else {
4219             if (!last)
4220                 for (j = 0; j < ic->programs[i]->nb_stream_indexes; j++)
4221                     if (ic->programs[i]->stream_index[j] == s)
4222                         return ic->programs[i];
4223         }
4224     }
4225     return NULL;
4226 }
4227
4228 int av_find_best_stream(AVFormatContext *ic, enum AVMediaType type,
4229                         int wanted_stream_nb, int related_stream,
4230                         AVCodec **decoder_ret, int flags)
4231 {
4232     int i, nb_streams = ic->nb_streams;
4233     int ret = AVERROR_STREAM_NOT_FOUND;
4234     int best_count = -1, best_multiframe = -1, best_disposition = -1;
4235     int count, multiframe, disposition;
4236     int64_t best_bitrate = -1;
4237     int64_t bitrate;
4238     unsigned *program = NULL;
4239     const AVCodec *decoder = NULL, *best_decoder = NULL;
4240
4241     if (related_stream >= 0 && wanted_stream_nb < 0) {
4242         AVProgram *p = av_find_program_from_stream(ic, NULL, related_stream);
4243         if (p) {
4244             program    = p->stream_index;
4245             nb_streams = p->nb_stream_indexes;
4246         }
4247     }
4248     for (i = 0; i < nb_streams; i++) {
4249         int real_stream_index = program ? program[i] : i;
4250         AVStream *st          = ic->streams[real_stream_index];
4251         AVCodecParameters *par = st->codecpar;
4252         if (par->codec_type != type)
4253             continue;
4254         if (wanted_stream_nb >= 0 && real_stream_index != wanted_stream_nb)
4255             continue;
4256         if (type == AVMEDIA_TYPE_AUDIO && !(par->channels && par->sample_rate))
4257             continue;
4258         if (decoder_ret) {
4259             decoder = find_decoder(ic, st, par->codec_id);
4260             if (!decoder) {
4261                 if (ret < 0)
4262                     ret = AVERROR_DECODER_NOT_FOUND;
4263                 continue;
4264             }
4265         }
4266         disposition = !(st->disposition & (AV_DISPOSITION_HEARING_IMPAIRED | AV_DISPOSITION_VISUAL_IMPAIRED))
4267                       + !! (st->disposition & AV_DISPOSITION_DEFAULT);
4268         count = st->codec_info_nb_frames;
4269         bitrate = par->bit_rate;
4270         multiframe = FFMIN(5, count);
4271         if ((best_disposition >  disposition) ||
4272             (best_disposition == disposition && best_multiframe >  multiframe) ||
4273             (best_disposition == disposition && best_multiframe == multiframe && best_bitrate >  bitrate) ||
4274             (best_disposition == disposition && best_multiframe == multiframe && best_bitrate == bitrate && best_count >= count))
4275             continue;
4276         best_disposition = disposition;
4277         best_count   = count;
4278         best_bitrate = bitrate;
4279         best_multiframe = multiframe;
4280         ret          = real_stream_index;
4281         best_decoder = decoder;
4282         if (program && i == nb_streams - 1 && ret < 0) {
4283             program    = NULL;
4284             nb_streams = ic->nb_streams;
4285             /* no related stream found, try again with everything */
4286             i = 0;
4287         }
4288     }
4289     if (decoder_ret)
4290         *decoder_ret = (AVCodec*)best_decoder;
4291     return ret;
4292 }
4293
4294 /*******************************************************/
4295
4296 int av_read_play(AVFormatContext *s)
4297 {
4298     if (s->iformat->read_play)
4299         return s->iformat->read_play(s);
4300     if (s->pb)
4301         return avio_pause(s->pb, 0);
4302     return AVERROR(ENOSYS);
4303 }
4304
4305 int av_read_pause(AVFormatContext *s)
4306 {
4307     if (s->iformat->read_pause)
4308         return s->iformat->read_pause(s);
4309     if (s->pb)
4310         return avio_pause(s->pb, 1);
4311     return AVERROR(ENOSYS);
4312 }
4313
4314 int ff_stream_encode_params_copy(AVStream *dst, const AVStream *src)
4315 {
4316     int ret, i;
4317
4318     dst->id                  = src->id;
4319     dst->time_base           = src->time_base;
4320     dst->nb_frames           = src->nb_frames;
4321     dst->disposition         = src->disposition;
4322     dst->sample_aspect_ratio = src->sample_aspect_ratio;
4323     dst->avg_frame_rate      = src->avg_frame_rate;
4324     dst->r_frame_rate        = src->r_frame_rate;
4325
4326     av_dict_free(&dst->metadata);
4327     ret = av_dict_copy(&dst->metadata, src->metadata, 0);
4328     if (ret < 0)
4329         return ret;
4330
4331     ret = avcodec_parameters_copy(dst->codecpar, src->codecpar);
4332     if (ret < 0)
4333         return ret;
4334
4335     /* Free existing side data*/
4336     for (i = 0; i < dst->nb_side_data; i++)
4337         av_free(dst->side_data[i].data);
4338     av_freep(&dst->side_data);
4339     dst->nb_side_data = 0;
4340
4341     /* Copy side data if present */
4342     if (src->nb_side_data) {
4343         dst->side_data = av_mallocz_array(src->nb_side_data,
4344                                           sizeof(AVPacketSideData));
4345         if (!dst->side_data)
4346             return AVERROR(ENOMEM);
4347         dst->nb_side_data = src->nb_side_data;
4348
4349         for (i = 0; i < src->nb_side_data; i++) {
4350             uint8_t *data = av_memdup(src->side_data[i].data,
4351                                       src->side_data[i].size);
4352             if (!data)
4353                 return AVERROR(ENOMEM);
4354             dst->side_data[i].type = src->side_data[i].type;
4355             dst->side_data[i].size = src->side_data[i].size;
4356             dst->side_data[i].data = data;
4357         }
4358     }
4359
4360 #if FF_API_LAVF_FFSERVER
4361 FF_DISABLE_DEPRECATION_WARNINGS
4362     av_freep(&dst->recommended_encoder_configuration);
4363     if (src->recommended_encoder_configuration) {
4364         const char *conf_str = src->recommended_encoder_configuration;
4365         dst->recommended_encoder_configuration = av_strdup(conf_str);
4366         if (!dst->recommended_encoder_configuration)
4367             return AVERROR(ENOMEM);
4368     }
4369 FF_ENABLE_DEPRECATION_WARNINGS
4370 #endif
4371
4372     return 0;
4373 }
4374
4375 static void free_stream(AVStream **pst)
4376 {
4377     AVStream *st = *pst;
4378     int i;
4379
4380     if (!st)
4381         return;
4382
4383     for (i = 0; i < st->nb_side_data; i++)
4384         av_freep(&st->side_data[i].data);
4385     av_freep(&st->side_data);
4386
4387     if (st->parser)
4388         av_parser_close(st->parser);
4389
4390     if (st->attached_pic.data)
4391         av_packet_unref(&st->attached_pic);
4392
4393     if (st->internal) {
4394         avcodec_free_context(&st->internal->avctx);
4395         for (i = 0; i < st->internal->nb_bsfcs; i++) {
4396             av_bsf_free(&st->internal->bsfcs[i]);
4397             av_freep(&st->internal->bsfcs);
4398         }
4399         av_freep(&st->internal->priv_pts);
4400         av_bsf_free(&st->internal->extract_extradata.bsf);
4401         av_packet_free(&st->internal->extract_extradata.pkt);
4402     }
4403     av_freep(&st->internal);
4404
4405     av_dict_free(&st->metadata);
4406     avcodec_parameters_free(&st->codecpar);
4407     av_freep(&st->probe_data.buf);
4408     av_freep(&st->index_entries);
4409 #if FF_API_LAVF_AVCTX
4410 FF_DISABLE_DEPRECATION_WARNINGS
4411     avcodec_free_context(&st->codec);
4412 FF_ENABLE_DEPRECATION_WARNINGS
4413 #endif
4414     av_freep(&st->priv_data);
4415     if (st->info)
4416         av_freep(&st->info->duration_error);
4417     av_freep(&st->info);
4418 #if FF_API_LAVF_FFSERVER
4419 FF_DISABLE_DEPRECATION_WARNINGS
4420     av_freep(&st->recommended_encoder_configuration);
4421 FF_ENABLE_DEPRECATION_WARNINGS
4422 #endif
4423
4424     av_freep(pst);
4425 }
4426
4427 void ff_free_stream(AVFormatContext *s, AVStream *st)
4428 {
4429     av_assert0(s->nb_streams>0);
4430     av_assert0(s->streams[ s->nb_streams - 1 ] == st);
4431
4432     free_stream(&s->streams[ --s->nb_streams ]);
4433 }
4434
4435 void avformat_free_context(AVFormatContext *s)
4436 {
4437     int i;
4438
4439     if (!s)
4440         return;
4441
4442     if (s->oformat && s->oformat->deinit && s->internal->initialized)
4443         s->oformat->deinit(s);
4444
4445     av_opt_free(s);
4446     if (s->iformat && s->iformat->priv_class && s->priv_data)
4447         av_opt_free(s->priv_data);
4448     if (s->oformat && s->oformat->priv_class && s->priv_data)
4449         av_opt_free(s->priv_data);
4450
4451     for (i = s->nb_streams - 1; i >= 0; i--)
4452         ff_free_stream(s, s->streams[i]);
4453
4454
4455     for (i = s->nb_programs - 1; i >= 0; i--) {
4456         av_dict_free(&s->programs[i]->metadata);
4457         av_freep(&s->programs[i]->stream_index);
4458         av_freep(&s->programs[i]);
4459     }
4460     av_freep(&s->programs);
4461     av_freep(&s->priv_data);
4462     while (s->nb_chapters--) {
4463         av_dict_free(&s->chapters[s->nb_chapters]->metadata);
4464         av_freep(&s->chapters[s->nb_chapters]);
4465     }
4466     av_freep(&s->chapters);
4467     av_dict_free(&s->metadata);
4468     av_dict_free(&s->internal->id3v2_meta);
4469     av_freep(&s->streams);
4470     flush_packet_queue(s);
4471     av_freep(&s->internal);
4472     av_freep(&s->url);
4473     av_free(s);
4474 }
4475
4476 void avformat_close_input(AVFormatContext **ps)
4477 {
4478     AVFormatContext *s;
4479     AVIOContext *pb;
4480
4481     if (!ps || !*ps)
4482         return;
4483
4484     s  = *ps;
4485     pb = s->pb;
4486
4487     if ((s->iformat && strcmp(s->iformat->name, "image2") && s->iformat->flags & AVFMT_NOFILE) ||
4488         (s->flags & AVFMT_FLAG_CUSTOM_IO))
4489         pb = NULL;
4490
4491     flush_packet_queue(s);
4492
4493     if (s->iformat)
4494         if (s->iformat->read_close)
4495             s->iformat->read_close(s);
4496
4497     avformat_free_context(s);
4498
4499     *ps = NULL;
4500
4501     avio_close(pb);
4502 }
4503
4504 AVStream *avformat_new_stream(AVFormatContext *s, const AVCodec *c)
4505 {
4506     AVStream *st;
4507     int i;
4508     AVStream **streams;
4509
4510     if (s->nb_streams >= FFMIN(s->max_streams, INT_MAX/sizeof(*streams))) {
4511         if (s->max_streams < INT_MAX/sizeof(*streams))
4512             av_log(s, AV_LOG_ERROR, "Number of streams exceeds max_streams parameter (%d), see the documentation if you wish to increase it\n", s->max_streams);
4513         return NULL;
4514     }
4515     streams = av_realloc_array(s->streams, s->nb_streams + 1, sizeof(*streams));
4516     if (!streams)
4517         return NULL;
4518     s->streams = streams;
4519
4520     st = av_mallocz(sizeof(AVStream));
4521     if (!st)
4522         return NULL;
4523     if (!(st->info = av_mallocz(sizeof(*st->info)))) {
4524         av_free(st);
4525         return NULL;
4526     }
4527     st->info->last_dts = AV_NOPTS_VALUE;
4528
4529 #if FF_API_LAVF_AVCTX
4530 FF_DISABLE_DEPRECATION_WARNINGS
4531     st->codec = avcodec_alloc_context3(c);
4532     if (!st->codec) {
4533         av_free(st->info);
4534         av_free(st);
4535         return NULL;
4536     }
4537 FF_ENABLE_DEPRECATION_WARNINGS
4538 #endif
4539
4540     st->internal = av_mallocz(sizeof(*st->internal));
4541     if (!st->internal)
4542         goto fail;
4543
4544     st->codecpar = avcodec_parameters_alloc();
4545     if (!st->codecpar)
4546         goto fail;
4547
4548     st->internal->avctx = avcodec_alloc_context3(NULL);
4549     if (!st->internal->avctx)
4550         goto fail;
4551
4552     if (s->iformat) {
4553 #if FF_API_LAVF_AVCTX
4554 FF_DISABLE_DEPRECATION_WARNINGS
4555         /* no default bitrate if decoding */
4556         st->codec->bit_rate = 0;
4557 FF_ENABLE_DEPRECATION_WARNINGS
4558 #endif
4559
4560         /* default pts setting is MPEG-like */
4561         avpriv_set_pts_info(st, 33, 1, 90000);
4562         /* we set the current DTS to 0 so that formats without any timestamps
4563          * but durations get some timestamps, formats with some unknown
4564          * timestamps have their first few packets buffered and the
4565          * timestamps corrected before they are returned to the user */
4566         st->cur_dts = RELATIVE_TS_BASE;
4567     } else {
4568         st->cur_dts = AV_NOPTS_VALUE;
4569     }
4570
4571     st->index      = s->nb_streams;
4572     st->start_time = AV_NOPTS_VALUE;
4573     st->duration   = AV_NOPTS_VALUE;
4574     st->first_dts     = AV_NOPTS_VALUE;
4575     st->probe_packets = s->max_probe_packets;
4576     st->pts_wrap_reference = AV_NOPTS_VALUE;
4577     st->pts_wrap_behavior = AV_PTS_WRAP_IGNORE;
4578
4579     st->last_IP_pts = AV_NOPTS_VALUE;
4580     st->last_dts_for_order_check = AV_NOPTS_VALUE;
4581     for (i = 0; i < MAX_REORDER_DELAY + 1; i++)
4582         st->pts_buffer[i] = AV_NOPTS_VALUE;
4583
4584     st->sample_aspect_ratio = (AVRational) { 0, 1 };
4585
4586 #if FF_API_R_FRAME_RATE
4587     st->info->last_dts      = AV_NOPTS_VALUE;
4588 #endif
4589     st->info->fps_first_dts = AV_NOPTS_VALUE;
4590     st->info->fps_last_dts  = AV_NOPTS_VALUE;
4591
4592     st->inject_global_side_data = s->internal->inject_global_side_data;
4593
4594     st->internal->need_context_update = 1;
4595
4596     s->streams[s->nb_streams++] = st;
4597     return st;
4598 fail:
4599     free_stream(&st);
4600     return NULL;
4601 }
4602
4603 AVProgram *av_new_program(AVFormatContext *ac, int id)
4604 {
4605     AVProgram *program = NULL;
4606     int i;
4607
4608     av_log(ac, AV_LOG_TRACE, "new_program: id=0x%04x\n", id);
4609
4610     for (i = 0; i < ac->nb_programs; i++)
4611         if (ac->programs[i]->id == id)
4612             program = ac->programs[i];
4613
4614     if (!program) {
4615         program = av_mallocz(sizeof(AVProgram));
4616         if (!program)
4617             return NULL;
4618         dynarray_add(&ac->programs, &ac->nb_programs, program);
4619         program->discard = AVDISCARD_NONE;
4620         program->pmt_version = -1;
4621     }
4622     program->id = id;
4623     program->pts_wrap_reference = AV_NOPTS_VALUE;
4624     program->pts_wrap_behavior = AV_PTS_WRAP_IGNORE;
4625
4626     program->start_time =
4627     program->end_time   = AV_NOPTS_VALUE;
4628
4629     return program;
4630 }
4631
4632 AVChapter *avpriv_new_chapter(AVFormatContext *s, int id, AVRational time_base,
4633                               int64_t start, int64_t end, const char *title)
4634 {
4635     AVChapter *chapter = NULL;
4636     int i;
4637
4638     if (end != AV_NOPTS_VALUE && start > end) {
4639         av_log(s, AV_LOG_ERROR, "Chapter end time %"PRId64" before start %"PRId64"\n", end, start);
4640         return NULL;
4641     }
4642
4643     for (i = 0; i < s->nb_chapters; i++)
4644         if (s->chapters[i]->id == id)
4645             chapter = s->chapters[i];
4646
4647     if (!chapter) {
4648         chapter = av_mallocz(sizeof(AVChapter));
4649         if (!chapter)
4650             return NULL;
4651         dynarray_add(&s->chapters, &s->nb_chapters, chapter);
4652     }
4653     av_dict_set(&chapter->metadata, "title", title, 0);
4654     chapter->id        = id;
4655     chapter->time_base = time_base;
4656     chapter->start     = start;
4657     chapter->end       = end;
4658
4659     return chapter;
4660 }
4661
4662 void av_program_add_stream_index(AVFormatContext *ac, int progid, unsigned idx)
4663 {
4664     int i, j;
4665     AVProgram *program = NULL;
4666     void *tmp;
4667
4668     if (idx >= ac->nb_streams) {
4669         av_log(ac, AV_LOG_ERROR, "stream index %d is not valid\n", idx);
4670         return;
4671     }
4672
4673     for (i = 0; i < ac->nb_programs; i++) {
4674         if (ac->programs[i]->id != progid)
4675             continue;
4676         program = ac->programs[i];
4677         for (j = 0; j < program->nb_stream_indexes; j++)
4678             if (program->stream_index[j] == idx)
4679                 return;
4680
4681         tmp = av_realloc_array(program->stream_index, program->nb_stream_indexes+1, sizeof(unsigned int));
4682         if (!tmp)
4683             return;
4684         program->stream_index = tmp;
4685         program->stream_index[program->nb_stream_indexes++] = idx;
4686         return;
4687     }
4688 }
4689
4690 uint64_t ff_ntp_time(void)
4691 {
4692     return (av_gettime() / 1000) * 1000 + NTP_OFFSET_US;
4693 }
4694
4695 uint64_t ff_get_formatted_ntp_time(uint64_t ntp_time_us)
4696 {
4697     uint64_t ntp_ts, frac_part, sec;
4698     uint32_t usec;
4699
4700     //current ntp time in seconds and micro seconds
4701     sec = ntp_time_us / 1000000;
4702     usec = ntp_time_us % 1000000;
4703
4704     //encoding in ntp timestamp format
4705     frac_part = usec * 0xFFFFFFFFULL;
4706     frac_part /= 1000000;
4707
4708     if (sec > 0xFFFFFFFFULL)
4709         av_log(NULL, AV_LOG_WARNING, "NTP time format roll over detected\n");
4710
4711     ntp_ts = sec << 32;
4712     ntp_ts |= frac_part;
4713
4714     return ntp_ts;
4715 }
4716
4717 int av_get_frame_filename2(char *buf, int buf_size, const char *path, int number, int flags)
4718 {
4719     const char *p;
4720     char *q, buf1[20], c;
4721     int nd, len, percentd_found;
4722
4723     q = buf;
4724     p = path;
4725     percentd_found = 0;
4726     for (;;) {
4727         c = *p++;
4728         if (c == '\0')
4729             break;
4730         if (c == '%') {
4731             do {
4732                 nd = 0;
4733                 while (av_isdigit(*p))
4734                     nd = nd * 10 + *p++ - '0';
4735                 c = *p++;
4736             } while (av_isdigit(c));
4737
4738             switch (c) {
4739             case '%':
4740                 goto addchar;
4741             case 'd':
4742                 if (!(flags & AV_FRAME_FILENAME_FLAGS_MULTIPLE) && percentd_found)
4743                     goto fail;
4744                 percentd_found = 1;
4745                 if (number < 0)
4746                     nd += 1;
4747                 snprintf(buf1, sizeof(buf1), "%0*d", nd, number);
4748                 len = strlen(buf1);
4749                 if ((q - buf + len) > buf_size - 1)
4750                     goto fail;
4751                 memcpy(q, buf1, len);
4752                 q += len;
4753                 break;
4754             default:
4755                 goto fail;
4756             }
4757         } else {
4758 addchar:
4759             if ((q - buf) < buf_size - 1)
4760                 *q++ = c;
4761         }
4762     }
4763     if (!percentd_found)
4764         goto fail;
4765     *q = '\0';
4766     return 0;
4767 fail:
4768     *q = '\0';
4769     return -1;
4770 }
4771
4772 int av_get_frame_filename(char *buf, int buf_size, const char *path, int number)
4773 {
4774     return av_get_frame_filename2(buf, buf_size, path, number, 0);
4775 }
4776
4777 void av_url_split(char *proto, int proto_size,
4778                   char *authorization, int authorization_size,
4779                   char *hostname, int hostname_size,
4780                   int *port_ptr, char *path, int path_size, const char *url)
4781 {
4782     const char *p, *ls, *ls2, *at, *at2, *col, *brk;
4783
4784     if (port_ptr)
4785         *port_ptr = -1;
4786     if (proto_size > 0)
4787         proto[0] = 0;
4788     if (authorization_size > 0)
4789         authorization[0] = 0;
4790     if (hostname_size > 0)
4791         hostname[0] = 0;
4792     if (path_size > 0)
4793         path[0] = 0;
4794
4795     /* parse protocol */
4796     if ((p = strchr(url, ':'))) {
4797         av_strlcpy(proto, url, FFMIN(proto_size, p + 1 - url));
4798         p++; /* skip ':' */
4799         if (*p == '/')
4800             p++;
4801         if (*p == '/')
4802             p++;
4803     } else {
4804         /* no protocol means plain filename */
4805         av_strlcpy(path, url, path_size);
4806         return;
4807     }
4808
4809     /* separate path from hostname */
4810     ls = strchr(p, '/');
4811     ls2 = strchr(p, '?');
4812     if (!ls)
4813         ls = ls2;
4814     else if (ls && ls2)
4815         ls = FFMIN(ls, ls2);
4816     if (ls)
4817         av_strlcpy(path, ls, path_size);
4818     else
4819         ls = &p[strlen(p)];  // XXX
4820
4821     /* the rest is hostname, use that to parse auth/port */
4822     if (ls != p) {
4823         /* authorization (user[:pass]@hostname) */
4824         at2 = p;
4825         while ((at = strchr(p, '@')) && at < ls) {
4826             av_strlcpy(authorization, at2,
4827                        FFMIN(authorization_size, at + 1 - at2));
4828             p = at + 1; /* skip '@' */
4829         }
4830
4831         if (*p == '[' && (brk = strchr(p, ']')) && brk < ls) {
4832             /* [host]:port */
4833             av_strlcpy(hostname, p + 1,
4834                        FFMIN(hostname_size, brk - p));
4835             if (brk[1] == ':' && port_ptr)
4836                 *port_ptr = atoi(brk + 2);
4837         } else if ((col = strchr(p, ':')) && col < ls) {
4838             av_strlcpy(hostname, p,
4839                        FFMIN(col + 1 - p, hostname_size));
4840             if (port_ptr)
4841                 *port_ptr = atoi(col + 1);
4842         } else
4843             av_strlcpy(hostname, p,
4844                        FFMIN(ls + 1 - p, hostname_size));
4845     }
4846 }
4847
4848 int ff_mkdir_p(const char *path)
4849 {
4850     int ret = 0;
4851     char *temp = av_strdup(path);
4852     char *pos = temp;
4853     char tmp_ch = '\0';
4854
4855     if (!path || !temp) {
4856         return -1;
4857     }
4858
4859     if (!av_strncasecmp(temp, "/", 1) || !av_strncasecmp(temp, "\\", 1)) {
4860         pos++;
4861     } else if (!av_strncasecmp(temp, "./", 2) || !av_strncasecmp(temp, ".\\", 2)) {
4862         pos += 2;
4863     }
4864
4865     for ( ; *pos != '\0'; ++pos) {
4866         if (*pos == '/' || *pos == '\\') {
4867             tmp_ch = *pos;
4868             *pos = '\0';
4869             ret = mkdir(temp, 0755);
4870             *pos = tmp_ch;
4871         }
4872     }
4873
4874     if ((*(pos - 1) != '/') || (*(pos - 1) != '\\')) {
4875         ret = mkdir(temp, 0755);
4876     }
4877
4878     av_free(temp);
4879     return ret;
4880 }
4881
4882 char *ff_data_to_hex(char *buff, const uint8_t *src, int s, int lowercase)
4883 {
4884     int i;
4885     static const char hex_table_uc[16] = { '0', '1', '2', '3',
4886                                            '4', '5', '6', '7',
4887                                            '8', '9', 'A', 'B',
4888                                            'C', 'D', 'E', 'F' };
4889     static const char hex_table_lc[16] = { '0', '1', '2', '3',
4890                                            '4', '5', '6', '7',
4891                                            '8', '9', 'a', 'b',
4892                                            'c', 'd', 'e', 'f' };
4893     const char *hex_table = lowercase ? hex_table_lc : hex_table_uc;
4894
4895     for (i = 0; i < s; i++) {
4896         buff[i * 2]     = hex_table[src[i] >> 4];
4897         buff[i * 2 + 1] = hex_table[src[i] & 0xF];
4898     }
4899
4900     return buff;
4901 }
4902
4903 int ff_hex_to_data(uint8_t *data, const char *p)
4904 {
4905     int c, len, v;
4906
4907     len = 0;
4908     v   = 1;
4909     for (;;) {
4910         p += strspn(p, SPACE_CHARS);
4911         if (*p == '\0')
4912             break;
4913         c = av_toupper((unsigned char) *p++);
4914         if (c >= '0' && c <= '9')
4915             c = c - '0';
4916         else if (c >= 'A' && c <= 'F')
4917             c = c - 'A' + 10;
4918         else
4919             break;
4920         v = (v << 4) | c;
4921         if (v & 0x100) {
4922             if (data)
4923                 data[len] = v;
4924             len++;
4925             v = 1;
4926         }
4927     }
4928     return len;
4929 }
4930
4931 void avpriv_set_pts_info(AVStream *s, int pts_wrap_bits,
4932                          unsigned int pts_num, unsigned int pts_den)
4933 {
4934     AVRational new_tb;
4935     if (av_reduce(&new_tb.num, &new_tb.den, pts_num, pts_den, INT_MAX)) {
4936         if (new_tb.num != pts_num)
4937             av_log(NULL, AV_LOG_DEBUG,
4938                    "st:%d removing common factor %d from timebase\n",
4939                    s->index, pts_num / new_tb.num);
4940     } else
4941         av_log(NULL, AV_LOG_WARNING,
4942                "st:%d has too large timebase, reducing\n", s->index);
4943
4944     if (new_tb.num <= 0 || new_tb.den <= 0) {
4945         av_log(NULL, AV_LOG_ERROR,
4946                "Ignoring attempt to set invalid timebase %d/%d for st:%d\n",
4947                new_tb.num, new_tb.den,
4948                s->index);
4949         return;
4950     }
4951     s->time_base     = new_tb;
4952 #if FF_API_LAVF_AVCTX
4953 FF_DISABLE_DEPRECATION_WARNINGS
4954     s->codec->pkt_timebase = new_tb;
4955 FF_ENABLE_DEPRECATION_WARNINGS
4956 #endif
4957     s->internal->avctx->pkt_timebase = new_tb;
4958     s->pts_wrap_bits = pts_wrap_bits;
4959 }
4960
4961 void ff_parse_key_value(const char *str, ff_parse_key_val_cb callback_get_buf,
4962                         void *context)
4963 {
4964     const char *ptr = str;
4965
4966     /* Parse key=value pairs. */
4967     for (;;) {
4968         const char *key;
4969         char *dest = NULL, *dest_end;
4970         int key_len, dest_len = 0;
4971
4972         /* Skip whitespace and potential commas. */
4973         while (*ptr && (av_isspace(*ptr) || *ptr == ','))
4974             ptr++;
4975         if (!*ptr)
4976             break;
4977
4978         key = ptr;
4979
4980         if (!(ptr = strchr(key, '=')))
4981             break;
4982         ptr++;
4983         key_len = ptr - key;
4984
4985         callback_get_buf(context, key, key_len, &dest, &dest_len);
4986         dest_end = dest + dest_len - 1;
4987
4988         if (*ptr == '\"') {
4989             ptr++;
4990             while (*ptr && *ptr != '\"') {
4991                 if (*ptr == '\\') {
4992                     if (!ptr[1])
4993                         break;
4994                     if (dest && dest < dest_end)
4995                         *dest++ = ptr[1];
4996                     ptr += 2;
4997                 } else {
4998                     if (dest && dest < dest_end)
4999                         *dest++ = *ptr;
5000                     ptr++;
5001                 }
5002             }
5003             if (*ptr == '\"')
5004                 ptr++;
5005         } else {
5006             for (; *ptr && !(av_isspace(*ptr) || *ptr == ','); ptr++)
5007                 if (dest && dest < dest_end)
5008                     *dest++ = *ptr;
5009         }
5010         if (dest)
5011             *dest = 0;
5012     }
5013 }
5014
5015 int ff_find_stream_index(AVFormatContext *s, int id)
5016 {
5017     int i;
5018     for (i = 0; i < s->nb_streams; i++)
5019         if (s->streams[i]->id == id)
5020             return i;
5021     return -1;
5022 }
5023
5024 int avformat_query_codec(const AVOutputFormat *ofmt, enum AVCodecID codec_id,
5025                          int std_compliance)
5026 {
5027     if (ofmt) {
5028         unsigned int codec_tag;
5029         if (ofmt->query_codec)
5030             return ofmt->query_codec(codec_id, std_compliance);
5031         else if (ofmt->codec_tag)
5032             return !!av_codec_get_tag2(ofmt->codec_tag, codec_id, &codec_tag);
5033         else if (codec_id == ofmt->video_codec ||
5034                  codec_id == ofmt->audio_codec ||
5035                  codec_id == ofmt->subtitle_codec ||
5036                  codec_id == ofmt->data_codec)
5037             return 1;
5038     }
5039     return AVERROR_PATCHWELCOME;
5040 }
5041
5042 int avformat_network_init(void)
5043 {
5044 #if CONFIG_NETWORK
5045     int ret;
5046     if ((ret = ff_network_init()) < 0)
5047         return ret;
5048     if ((ret = ff_tls_init()) < 0)
5049         return ret;
5050 #endif
5051     return 0;
5052 }
5053
5054 int avformat_network_deinit(void)
5055 {
5056 #if CONFIG_NETWORK
5057     ff_network_close();
5058     ff_tls_deinit();
5059 #endif
5060     return 0;
5061 }
5062
5063 int ff_add_param_change(AVPacket *pkt, int32_t channels,
5064                         uint64_t channel_layout, int32_t sample_rate,
5065                         int32_t width, int32_t height)
5066 {
5067     uint32_t flags = 0;
5068     int size = 4;
5069     uint8_t *data;
5070     if (!pkt)
5071         return AVERROR(EINVAL);
5072     if (channels) {
5073         size  += 4;
5074         flags |= AV_SIDE_DATA_PARAM_CHANGE_CHANNEL_COUNT;
5075     }
5076     if (channel_layout) {
5077         size  += 8;
5078         flags |= AV_SIDE_DATA_PARAM_CHANGE_CHANNEL_LAYOUT;
5079     }
5080     if (sample_rate) {
5081         size  += 4;
5082         flags |= AV_SIDE_DATA_PARAM_CHANGE_SAMPLE_RATE;
5083     }
5084     if (width || height) {
5085         size  += 8;
5086         flags |= AV_SIDE_DATA_PARAM_CHANGE_DIMENSIONS;
5087     }
5088     data = av_packet_new_side_data(pkt, AV_PKT_DATA_PARAM_CHANGE, size);
5089     if (!data)
5090         return AVERROR(ENOMEM);
5091     bytestream_put_le32(&data, flags);
5092     if (channels)
5093         bytestream_put_le32(&data, channels);
5094     if (channel_layout)
5095         bytestream_put_le64(&data, channel_layout);
5096     if (sample_rate)
5097         bytestream_put_le32(&data, sample_rate);
5098     if (width || height) {
5099         bytestream_put_le32(&data, width);
5100         bytestream_put_le32(&data, height);
5101     }
5102     return 0;
5103 }
5104
5105 AVRational av_guess_sample_aspect_ratio(AVFormatContext *format, AVStream *stream, AVFrame *frame)
5106 {
5107     AVRational undef = {0, 1};
5108     AVRational stream_sample_aspect_ratio = stream ? stream->sample_aspect_ratio : undef;
5109     AVRational codec_sample_aspect_ratio  = stream && stream->codecpar ? stream->codecpar->sample_aspect_ratio : undef;
5110     AVRational frame_sample_aspect_ratio  = frame  ? frame->sample_aspect_ratio  : codec_sample_aspect_ratio;
5111
5112     av_reduce(&stream_sample_aspect_ratio.num, &stream_sample_aspect_ratio.den,
5113                stream_sample_aspect_ratio.num,  stream_sample_aspect_ratio.den, INT_MAX);
5114     if (stream_sample_aspect_ratio.num <= 0 || stream_sample_aspect_ratio.den <= 0)
5115         stream_sample_aspect_ratio = undef;
5116
5117     av_reduce(&frame_sample_aspect_ratio.num, &frame_sample_aspect_ratio.den,
5118                frame_sample_aspect_ratio.num,  frame_sample_aspect_ratio.den, INT_MAX);
5119     if (frame_sample_aspect_ratio.num <= 0 || frame_sample_aspect_ratio.den <= 0)
5120         frame_sample_aspect_ratio = undef;
5121
5122     if (stream_sample_aspect_ratio.num)
5123         return stream_sample_aspect_ratio;
5124     else
5125         return frame_sample_aspect_ratio;
5126 }
5127
5128 AVRational av_guess_frame_rate(AVFormatContext *format, AVStream *st, AVFrame *frame)
5129 {
5130     AVRational fr = st->r_frame_rate;
5131     AVRational codec_fr = st->internal->avctx->framerate;
5132     AVRational   avg_fr = st->avg_frame_rate;
5133
5134     if (avg_fr.num > 0 && avg_fr.den > 0 && fr.num > 0 && fr.den > 0 &&
5135         av_q2d(avg_fr) < 70 && av_q2d(fr) > 210) {
5136         fr = avg_fr;
5137     }
5138
5139
5140     if (st->internal->avctx->ticks_per_frame > 1) {
5141         if (   codec_fr.num > 0 && codec_fr.den > 0 &&
5142             (fr.num == 0 || av_q2d(codec_fr) < av_q2d(fr)*0.7 && fabs(1.0 - av_q2d(av_div_q(avg_fr, fr))) > 0.1))
5143             fr = codec_fr;
5144     }
5145
5146     return fr;
5147 }
5148
5149 /**
5150  * Matches a stream specifier (but ignores requested index).
5151  *
5152  * @param indexptr set to point to the requested stream index if there is one
5153  *
5154  * @return <0 on error
5155  *         0  if st is NOT a matching stream
5156  *         >0 if st is a matching stream
5157  */
5158 static int match_stream_specifier(AVFormatContext *s, AVStream *st,
5159                                   const char *spec, const char **indexptr, AVProgram **p)
5160 {
5161     int match = 1;                      /* Stores if the specifier matches so far. */
5162     while (*spec) {
5163         if (*spec <= '9' && *spec >= '0') { /* opt:index */
5164             if (indexptr)
5165                 *indexptr = spec;
5166             return match;
5167         } else if (*spec == 'v' || *spec == 'a' || *spec == 's' || *spec == 'd' ||
5168                    *spec == 't' || *spec == 'V') { /* opt:[vasdtV] */
5169             enum AVMediaType type;
5170             int nopic = 0;
5171
5172             switch (*spec++) {
5173             case 'v': type = AVMEDIA_TYPE_VIDEO;      break;
5174             case 'a': type = AVMEDIA_TYPE_AUDIO;      break;
5175             case 's': type = AVMEDIA_TYPE_SUBTITLE;   break;
5176             case 'd': type = AVMEDIA_TYPE_DATA;       break;
5177             case 't': type = AVMEDIA_TYPE_ATTACHMENT; break;
5178             case 'V': type = AVMEDIA_TYPE_VIDEO; nopic = 1; break;
5179             default:  av_assert0(0);
5180             }
5181             if (*spec && *spec++ != ':')         /* If we are not at the end, then another specifier must follow. */
5182                 return AVERROR(EINVAL);
5183
5184 #if FF_API_LAVF_AVCTX
5185 FF_DISABLE_DEPRECATION_WARNINGS
5186             if (type != st->codecpar->codec_type
5187                && (st->codecpar->codec_type != AVMEDIA_TYPE_UNKNOWN || st->codec->codec_type != type))
5188                 match = 0;
5189     FF_ENABLE_DEPRECATION_WARNINGS
5190 #else
5191             if (type != st->codecpar->codec_type)
5192                 match = 0;
5193 #endif
5194             if (nopic && (st->disposition & AV_DISPOSITION_ATTACHED_PIC))
5195                 match = 0;
5196         } else if (*spec == 'p' && *(spec + 1) == ':') {
5197             int prog_id, i, j;
5198             int found = 0;
5199             char *endptr;
5200             spec += 2;
5201             prog_id = strtol(spec, &endptr, 0);
5202             /* Disallow empty id and make sure that if we are not at the end, then another specifier must follow. */
5203             if (spec == endptr || (*endptr && *endptr++ != ':'))
5204                 return AVERROR(EINVAL);
5205             spec = endptr;
5206             if (match) {
5207                 for (i = 0; i < s->nb_programs; i++) {
5208                     if (s->programs[i]->id != prog_id)
5209                         continue;
5210
5211                     for (j = 0; j < s->programs[i]->nb_stream_indexes; j++) {
5212                         if (st->index == s->programs[i]->stream_index[j]) {
5213                             found = 1;
5214                             if (p)
5215                                 *p = s->programs[i];
5216                             i = s->nb_programs;
5217                             break;
5218                         }
5219                     }
5220                 }
5221             }
5222             if (!found)
5223                 match = 0;
5224         } else if (*spec == '#' ||
5225                    (*spec == 'i' && *(spec + 1) == ':')) {
5226             int stream_id;
5227             char *endptr;
5228             spec += 1 + (*spec == 'i');
5229             stream_id = strtol(spec, &endptr, 0);
5230             if (spec == endptr || *endptr)                /* Disallow empty id and make sure we are at the end. */
5231                 return AVERROR(EINVAL);
5232             return match && (stream_id == st->id);
5233         } else if (*spec == 'm' && *(spec + 1) == ':') {
5234             AVDictionaryEntry *tag;
5235             char *key, *val;
5236             int ret;
5237
5238             if (match) {
5239                spec += 2;
5240                val = strchr(spec, ':');
5241
5242                key = val ? av_strndup(spec, val - spec) : av_strdup(spec);
5243                if (!key)
5244                    return AVERROR(ENOMEM);
5245
5246                tag = av_dict_get(st->metadata, key, NULL, 0);
5247                if (tag) {
5248                    if (!val || !strcmp(tag->value, val + 1))
5249                        ret = 1;
5250                    else
5251                        ret = 0;
5252                } else
5253                    ret = 0;
5254
5255                av_freep(&key);
5256             }
5257             return match && ret;
5258         } else if (*spec == 'u' && *(spec + 1) == '\0') {
5259             AVCodecParameters *par = st->codecpar;
5260 #if FF_API_LAVF_AVCTX
5261 FF_DISABLE_DEPRECATION_WARNINGS
5262             AVCodecContext *codec = st->codec;
5263 FF_ENABLE_DEPRECATION_WARNINGS
5264 #endif
5265             int val;
5266             switch (par->codec_type) {
5267             case AVMEDIA_TYPE_AUDIO:
5268                 val = par->sample_rate && par->channels;
5269 #if FF_API_LAVF_AVCTX
5270                 val = val || (codec->sample_rate && codec->channels);
5271 #endif
5272                 if (par->format == AV_SAMPLE_FMT_NONE
5273 #if FF_API_LAVF_AVCTX
5274                     && codec->sample_fmt == AV_SAMPLE_FMT_NONE
5275 #endif
5276                     )
5277                     return 0;
5278                 break;
5279             case AVMEDIA_TYPE_VIDEO:
5280                 val = par->width && par->height;
5281 #if FF_API_LAVF_AVCTX
5282                 val = val || (codec->width && codec->height);
5283 #endif
5284                 if (par->format == AV_PIX_FMT_NONE
5285 #if FF_API_LAVF_AVCTX
5286                     && codec->pix_fmt == AV_PIX_FMT_NONE
5287 #endif
5288                     )
5289                     return 0;
5290                 break;
5291             case AVMEDIA_TYPE_UNKNOWN:
5292                 val = 0;
5293                 break;
5294             default:
5295                 val = 1;
5296                 break;
5297             }
5298 #if FF_API_LAVF_AVCTX
5299             return match && ((par->codec_id != AV_CODEC_ID_NONE || codec->codec_id != AV_CODEC_ID_NONE) && val != 0);
5300 #else
5301             return match && (par->codec_id != AV_CODEC_ID_NONE && val != 0);
5302 #endif
5303         } else {
5304             return AVERROR(EINVAL);
5305         }
5306     }
5307
5308     return match;
5309 }
5310
5311
5312 int avformat_match_stream_specifier(AVFormatContext *s, AVStream *st,
5313                                     const char *spec)
5314 {
5315     int ret, index;
5316     char *endptr;
5317     const char *indexptr = NULL;
5318     AVProgram *p = NULL;
5319     int nb_streams;
5320
5321     ret = match_stream_specifier(s, st, spec, &indexptr, &p);
5322     if (ret < 0)
5323         goto error;
5324
5325     if (!indexptr)
5326         return ret;
5327
5328     index = strtol(indexptr, &endptr, 0);
5329     if (*endptr) {                  /* We can't have anything after the requested index. */
5330         ret = AVERROR(EINVAL);
5331         goto error;
5332     }
5333
5334     /* This is not really needed but saves us a loop for simple stream index specifiers. */
5335     if (spec == indexptr)
5336         return (index == st->index);
5337
5338     /* If we requested a matching stream index, we have to ensure st is that. */
5339     nb_streams = p ? p->nb_stream_indexes : s->nb_streams;
5340     for (int i = 0; i < nb_streams && index >= 0; i++) {
5341         AVStream *candidate = p ? s->streams[p->stream_index[i]] : s->streams[i];
5342         ret = match_stream_specifier(s, candidate, spec, NULL, NULL);
5343         if (ret < 0)
5344             goto error;
5345         if (ret > 0 && index-- == 0 && st == candidate)
5346             return 1;
5347     }
5348     return 0;
5349
5350 error:
5351     if (ret == AVERROR(EINVAL))
5352         av_log(s, AV_LOG_ERROR, "Invalid stream specifier: %s.\n", spec);
5353     return ret;
5354 }
5355
5356 int ff_generate_avci_extradata(AVStream *st)
5357 {
5358     static const uint8_t avci100_1080p_extradata[] = {
5359         // SPS
5360         0x00, 0x00, 0x00, 0x01, 0x67, 0x7a, 0x10, 0x29,
5361         0xb6, 0xd4, 0x20, 0x22, 0x33, 0x19, 0xc6, 0x63,
5362         0x23, 0x21, 0x01, 0x11, 0x98, 0xce, 0x33, 0x19,
5363         0x18, 0x21, 0x02, 0x56, 0xb9, 0x3d, 0x7d, 0x7e,
5364         0x4f, 0xe3, 0x3f, 0x11, 0xf1, 0x9e, 0x08, 0xb8,
5365         0x8c, 0x54, 0x43, 0xc0, 0x78, 0x02, 0x27, 0xe2,
5366         0x70, 0x1e, 0x30, 0x10, 0x10, 0x14, 0x00, 0x00,
5367         0x03, 0x00, 0x04, 0x00, 0x00, 0x03, 0x00, 0xca,
5368         0x10, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
5369         // PPS
5370         0x00, 0x00, 0x00, 0x01, 0x68, 0xce, 0x33, 0x48,
5371         0xd0
5372     };
5373     static const uint8_t avci100_1080i_extradata[] = {
5374         // SPS
5375         0x00, 0x00, 0x00, 0x01, 0x67, 0x7a, 0x10, 0x29,
5376         0xb6, 0xd4, 0x20, 0x22, 0x33, 0x19, 0xc6, 0x63,
5377         0x23, 0x21, 0x01, 0x11, 0x98, 0xce, 0x33, 0x19,
5378         0x18, 0x21, 0x03, 0x3a, 0x46, 0x65, 0x6a, 0x65,
5379         0x24, 0xad, 0xe9, 0x12, 0x32, 0x14, 0x1a, 0x26,
5380         0x34, 0xad, 0xa4, 0x41, 0x82, 0x23, 0x01, 0x50,
5381         0x2b, 0x1a, 0x24, 0x69, 0x48, 0x30, 0x40, 0x2e,
5382         0x11, 0x12, 0x08, 0xc6, 0x8c, 0x04, 0x41, 0x28,
5383         0x4c, 0x34, 0xf0, 0x1e, 0x01, 0x13, 0xf2, 0xe0,
5384         0x3c, 0x60, 0x20, 0x20, 0x28, 0x00, 0x00, 0x03,
5385         0x00, 0x08, 0x00, 0x00, 0x03, 0x01, 0x94, 0x20,
5386         // PPS
5387         0x00, 0x00, 0x00, 0x01, 0x68, 0xce, 0x33, 0x48,
5388         0xd0
5389     };
5390     static const uint8_t avci50_1080p_extradata[] = {
5391         // SPS
5392         0x00, 0x00, 0x00, 0x01, 0x67, 0x6e, 0x10, 0x28,
5393         0xa6, 0xd4, 0x20, 0x32, 0x33, 0x0c, 0x71, 0x18,
5394         0x88, 0x62, 0x10, 0x19, 0x19, 0x86, 0x38, 0x8c,
5395         0x44, 0x30, 0x21, 0x02, 0x56, 0x4e, 0x6f, 0x37,
5396         0xcd, 0xf9, 0xbf, 0x81, 0x6b, 0xf3, 0x7c, 0xde,
5397         0x6e, 0x6c, 0xd3, 0x3c, 0x05, 0xa0, 0x22, 0x7e,
5398         0x5f, 0xfc, 0x00, 0x0c, 0x00, 0x13, 0x8c, 0x04,
5399         0x04, 0x05, 0x00, 0x00, 0x03, 0x00, 0x01, 0x00,
5400         0x00, 0x03, 0x00, 0x32, 0x84, 0x00, 0x00, 0x00,
5401         // PPS
5402         0x00, 0x00, 0x00, 0x01, 0x68, 0xee, 0x31, 0x12,
5403         0x11
5404     };
5405     static const uint8_t avci50_1080i_extradata[] = {
5406         // SPS
5407         0x00, 0x00, 0x00, 0x01, 0x67, 0x6e, 0x10, 0x28,
5408         0xa6, 0xd4, 0x20, 0x32, 0x33, 0x0c, 0x71, 0x18,
5409         0x88, 0x62, 0x10, 0x19, 0x19, 0x86, 0x38, 0x8c,
5410         0x44, 0x30, 0x21, 0x02, 0x56, 0x4e, 0x6e, 0x61,
5411         0x87, 0x3e, 0x73, 0x4d, 0x98, 0x0c, 0x03, 0x06,
5412         0x9c, 0x0b, 0x73, 0xe6, 0xc0, 0xb5, 0x18, 0x63,
5413         0x0d, 0x39, 0xe0, 0x5b, 0x02, 0xd4, 0xc6, 0x19,
5414         0x1a, 0x79, 0x8c, 0x32, 0x34, 0x24, 0xf0, 0x16,
5415         0x81, 0x13, 0xf7, 0xff, 0x80, 0x02, 0x00, 0x01,
5416         0xf1, 0x80, 0x80, 0x80, 0xa0, 0x00, 0x00, 0x03,
5417         0x00, 0x20, 0x00, 0x00, 0x06, 0x50, 0x80, 0x00,
5418         // PPS
5419         0x00, 0x00, 0x00, 0x01, 0x68, 0xee, 0x31, 0x12,
5420         0x11
5421     };
5422     static const uint8_t avci100_720p_extradata[] = {
5423         // SPS
5424         0x00, 0x00, 0x00, 0x01, 0x67, 0x7a, 0x10, 0x29,
5425         0xb6, 0xd4, 0x20, 0x2a, 0x33, 0x1d, 0xc7, 0x62,
5426         0xa1, 0x08, 0x40, 0x54, 0x66, 0x3b, 0x8e, 0xc5,
5427         0x42, 0x02, 0x10, 0x25, 0x64, 0x2c, 0x89, 0xe8,
5428         0x85, 0xe4, 0x21, 0x4b, 0x90, 0x83, 0x06, 0x95,
5429         0xd1, 0x06, 0x46, 0x97, 0x20, 0xc8, 0xd7, 0x43,
5430         0x08, 0x11, 0xc2, 0x1e, 0x4c, 0x91, 0x0f, 0x01,
5431         0x40, 0x16, 0xec, 0x07, 0x8c, 0x04, 0x04, 0x05,
5432         0x00, 0x00, 0x03, 0x00, 0x01, 0x00, 0x00, 0x03,
5433         0x00, 0x64, 0x84, 0x00, 0x00, 0x00, 0x00, 0x00,
5434         // PPS
5435         0x00, 0x00, 0x00, 0x01, 0x68, 0xce, 0x31, 0x12,
5436         0x11
5437     };
5438     static const uint8_t avci50_720p_extradata[] = {
5439         // SPS
5440         0x00, 0x00, 0x00, 0x01, 0x67, 0x6e, 0x10, 0x20,
5441         0xa6, 0xd4, 0x20, 0x32, 0x33, 0x0c, 0x71, 0x18,
5442         0x88, 0x62, 0x10, 0x19, 0x19, 0x86, 0x38, 0x8c,
5443         0x44, 0x30, 0x21, 0x02, 0x56, 0x4e, 0x6f, 0x37,
5444         0xcd, 0xf9, 0xbf, 0x81, 0x6b, 0xf3, 0x7c, 0xde,
5445         0x6e, 0x6c, 0xd3, 0x3c, 0x0f, 0x01, 0x6e, 0xff,
5446         0xc0, 0x00, 0xc0, 0x01, 0x38, 0xc0, 0x40, 0x40,
5447         0x50, 0x00, 0x00, 0x03, 0x00, 0x10, 0x00, 0x00,
5448         0x06, 0x48, 0x40, 0x00, 0x00, 0x00, 0x00, 0x00,
5449         // PPS
5450         0x00, 0x00, 0x00, 0x01, 0x68, 0xee, 0x31, 0x12,
5451         0x11
5452     };
5453
5454     const uint8_t *data = NULL;
5455     int ret, size       = 0;
5456
5457     if (st->codecpar->width == 1920) {
5458         if (st->codecpar->field_order == AV_FIELD_PROGRESSIVE) {
5459             data = avci100_1080p_extradata;
5460             size = sizeof(avci100_1080p_extradata);
5461         } else {
5462             data = avci100_1080i_extradata;
5463             size = sizeof(avci100_1080i_extradata);
5464         }
5465     } else if (st->codecpar->width == 1440) {
5466         if (st->codecpar->field_order == AV_FIELD_PROGRESSIVE) {
5467             data = avci50_1080p_extradata;
5468             size = sizeof(avci50_1080p_extradata);
5469         } else {
5470             data = avci50_1080i_extradata;
5471             size = sizeof(avci50_1080i_extradata);
5472         }
5473     } else if (st->codecpar->width == 1280) {
5474         data = avci100_720p_extradata;
5475         size = sizeof(avci100_720p_extradata);
5476     } else if (st->codecpar->width == 960) {
5477         data = avci50_720p_extradata;
5478         size = sizeof(avci50_720p_extradata);
5479     }
5480
5481     if (!size)
5482         return 0;
5483
5484     if ((ret = ff_alloc_extradata(st->codecpar, size)) < 0)
5485         return ret;
5486     memcpy(st->codecpar->extradata, data, size);
5487
5488     return 0;
5489 }
5490
5491 uint8_t *av_stream_get_side_data(const AVStream *st,
5492                                  enum AVPacketSideDataType type, int *size)
5493 {
5494     int i;
5495
5496     for (i = 0; i < st->nb_side_data; i++) {
5497         if (st->side_data[i].type == type) {
5498             if (size)
5499                 *size = st->side_data[i].size;
5500             return st->side_data[i].data;
5501         }
5502     }
5503     return NULL;
5504 }
5505
5506 int av_stream_add_side_data(AVStream *st, enum AVPacketSideDataType type,
5507                             uint8_t *data, size_t size)
5508 {
5509     AVPacketSideData *sd, *tmp;
5510     int i;
5511
5512     for (i = 0; i < st->nb_side_data; i++) {
5513         sd = &st->side_data[i];
5514
5515         if (sd->type == type) {
5516             av_freep(&sd->data);
5517             sd->data = data;
5518             sd->size = size;
5519             return 0;
5520         }
5521     }
5522
5523     if ((unsigned)st->nb_side_data + 1 >= INT_MAX / sizeof(*st->side_data))
5524         return AVERROR(ERANGE);
5525
5526     tmp = av_realloc(st->side_data, (st->nb_side_data + 1) * sizeof(*tmp));
5527     if (!tmp) {
5528         return AVERROR(ENOMEM);
5529     }
5530
5531     st->side_data = tmp;
5532     st->nb_side_data++;
5533
5534     sd = &st->side_data[st->nb_side_data - 1];
5535     sd->type = type;
5536     sd->data = data;
5537     sd->size = size;
5538
5539     return 0;
5540 }
5541
5542 uint8_t *av_stream_new_side_data(AVStream *st, enum AVPacketSideDataType type,
5543                                  int size)
5544 {
5545     int ret;
5546     uint8_t *data = av_malloc(size);
5547
5548     if (!data)
5549         return NULL;
5550
5551     ret = av_stream_add_side_data(st, type, data, size);
5552     if (ret < 0) {
5553         av_freep(&data);
5554         return NULL;
5555     }
5556
5557     return data;
5558 }
5559
5560 int ff_stream_add_bitstream_filter(AVStream *st, const char *name, const char *args)
5561 {
5562     int ret;
5563     const AVBitStreamFilter *bsf;
5564     AVBSFContext *bsfc;
5565     AVCodecParameters *in_par;
5566
5567     if (!(bsf = av_bsf_get_by_name(name))) {
5568         av_log(NULL, AV_LOG_ERROR, "Unknown bitstream filter '%s'\n", name);
5569         return AVERROR_BSF_NOT_FOUND;
5570     }
5571
5572     if ((ret = av_bsf_alloc(bsf, &bsfc)) < 0)
5573         return ret;
5574
5575     if (st->internal->nb_bsfcs) {
5576         in_par = st->internal->bsfcs[st->internal->nb_bsfcs - 1]->par_out;
5577         bsfc->time_base_in = st->internal->bsfcs[st->internal->nb_bsfcs - 1]->time_base_out;
5578     } else {
5579         in_par = st->codecpar;
5580         bsfc->time_base_in = st->time_base;
5581     }
5582
5583     if ((ret = avcodec_parameters_copy(bsfc->par_in, in_par)) < 0) {
5584         av_bsf_free(&bsfc);
5585         return ret;
5586     }
5587
5588     if (args && bsfc->filter->priv_class) {
5589         const AVOption *opt = av_opt_next(bsfc->priv_data, NULL);
5590         const char * shorthand[2] = {NULL};
5591
5592         if (opt)
5593             shorthand[0] = opt->name;
5594
5595         if ((ret = av_opt_set_from_string(bsfc->priv_data, args, shorthand, "=", ":")) < 0) {
5596             av_bsf_free(&bsfc);
5597             return ret;
5598         }
5599     }
5600
5601     if ((ret = av_bsf_init(bsfc)) < 0) {
5602         av_bsf_free(&bsfc);
5603         return ret;
5604     }
5605
5606     if ((ret = av_dynarray_add_nofree(&st->internal->bsfcs, &st->internal->nb_bsfcs, bsfc))) {
5607         av_bsf_free(&bsfc);
5608         return ret;
5609     }
5610
5611     av_log(NULL, AV_LOG_VERBOSE,
5612            "Automatically inserted bitstream filter '%s'; args='%s'\n",
5613            name, args ? args : "");
5614     return 1;
5615 }
5616
5617 #if FF_API_OLD_BSF
5618 FF_DISABLE_DEPRECATION_WARNINGS
5619 int av_apply_bitstream_filters(AVCodecContext *codec, AVPacket *pkt,
5620                                AVBitStreamFilterContext *bsfc)
5621 {
5622     int ret = 0;
5623     while (bsfc) {
5624         AVPacket new_pkt = *pkt;
5625         int a = av_bitstream_filter_filter(bsfc, codec, NULL,
5626                                            &new_pkt.data, &new_pkt.size,
5627                                            pkt->data, pkt->size,
5628                                            pkt->flags & AV_PKT_FLAG_KEY);
5629         if (a == 0 && new_pkt.size == 0 && new_pkt.side_data_elems == 0) {
5630             av_packet_unref(pkt);
5631             memset(pkt, 0, sizeof(*pkt));
5632             return 0;
5633         }
5634         if(a == 0 && new_pkt.data != pkt->data) {
5635             uint8_t *t = av_malloc(new_pkt.size + AV_INPUT_BUFFER_PADDING_SIZE); //the new should be a subset of the old so cannot overflow
5636             if (t) {
5637                 memcpy(t, new_pkt.data, new_pkt.size);
5638                 memset(t + new_pkt.size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
5639                 new_pkt.data = t;
5640                 new_pkt.buf = NULL;
5641                 a = 1;
5642             } else {
5643                 a = AVERROR(ENOMEM);
5644             }
5645         }
5646         if (a > 0) {
5647             new_pkt.buf = av_buffer_create(new_pkt.data, new_pkt.size,
5648                                            av_buffer_default_free, NULL, 0);
5649             if (new_pkt.buf) {
5650                 pkt->side_data = NULL;
5651                 pkt->side_data_elems = 0;
5652                 av_packet_unref(pkt);
5653             } else {
5654                 av_freep(&new_pkt.data);
5655                 a = AVERROR(ENOMEM);
5656             }
5657         }
5658         if (a < 0) {
5659             av_log(codec, AV_LOG_ERROR,
5660                    "Failed to open bitstream filter %s for stream %d with codec %s",
5661                    bsfc->filter->name, pkt->stream_index,
5662                    codec->codec ? codec->codec->name : "copy");
5663             ret = a;
5664             break;
5665         }
5666         *pkt = new_pkt;
5667
5668         bsfc = bsfc->next;
5669     }
5670     return ret;
5671 }
5672 FF_ENABLE_DEPRECATION_WARNINGS
5673 #endif
5674
5675 int ff_format_output_open(AVFormatContext *s, const char *url, AVDictionary **options)
5676 {
5677     if (!s->oformat)
5678         return AVERROR(EINVAL);
5679
5680     if (!(s->oformat->flags & AVFMT_NOFILE))
5681         return s->io_open(s, &s->pb, url, AVIO_FLAG_WRITE, options);
5682     return 0;
5683 }
5684
5685 void ff_format_io_close(AVFormatContext *s, AVIOContext **pb)
5686 {
5687     if (*pb)
5688         s->io_close(s, *pb);
5689     *pb = NULL;
5690 }
5691
5692 int ff_is_http_proto(char *filename) {
5693     const char *proto = avio_find_protocol_name(filename);
5694     return proto ? (!av_strcasecmp(proto, "http") || !av_strcasecmp(proto, "https")) : 0;
5695 }
5696
5697 int ff_parse_creation_time_metadata(AVFormatContext *s, int64_t *timestamp, int return_seconds)
5698 {
5699     AVDictionaryEntry *entry;
5700     int64_t parsed_timestamp;
5701     int ret;
5702     if ((entry = av_dict_get(s->metadata, "creation_time", NULL, 0))) {
5703         if ((ret = av_parse_time(&parsed_timestamp, entry->value, 0)) >= 0) {
5704             *timestamp = return_seconds ? parsed_timestamp / 1000000 : parsed_timestamp;
5705             return 1;
5706         } else {
5707             av_log(s, AV_LOG_WARNING, "Failed to parse creation_time %s\n", entry->value);
5708             return ret;
5709         }
5710     }
5711     return 0;
5712 }
5713
5714 int ff_standardize_creation_time(AVFormatContext *s)
5715 {
5716     int64_t timestamp;
5717     int ret = ff_parse_creation_time_metadata(s, &timestamp, 0);
5718     if (ret == 1)
5719         return avpriv_dict_set_timestamp(&s->metadata, "creation_time", timestamp);
5720     return ret;
5721 }
5722
5723 int ff_get_packet_palette(AVFormatContext *s, AVPacket *pkt, int ret, uint32_t *palette)
5724 {
5725     uint8_t *side_data;
5726     int size;
5727
5728     side_data = av_packet_get_side_data(pkt, AV_PKT_DATA_PALETTE, &size);
5729     if (side_data) {
5730         if (size != AVPALETTE_SIZE) {
5731             av_log(s, AV_LOG_ERROR, "Invalid palette side data\n");
5732             return AVERROR_INVALIDDATA;
5733         }
5734         memcpy(palette, side_data, AVPALETTE_SIZE);
5735         return 1;
5736     }
5737
5738     if (ret == CONTAINS_PAL) {
5739         int i;
5740         for (i = 0; i < AVPALETTE_COUNT; i++)
5741             palette[i] = AV_RL32(pkt->data + pkt->size - AVPALETTE_SIZE + i*4);
5742         return 1;
5743     }
5744
5745     return 0;
5746 }
5747
5748 int ff_bprint_to_codecpar_extradata(AVCodecParameters *par, struct AVBPrint *buf)
5749 {
5750     int ret;
5751     char *str;
5752
5753     ret = av_bprint_finalize(buf, &str);
5754     if (ret < 0)
5755         return ret;
5756     if (!av_bprint_is_complete(buf)) {
5757         av_free(str);
5758         return AVERROR(ENOMEM);
5759     }
5760
5761     par->extradata = str;
5762     /* Note: the string is NUL terminated (so extradata can be read as a
5763      * string), but the ending character is not accounted in the size (in
5764      * binary formats you are likely not supposed to mux that character). When
5765      * extradata is copied, it is also padded with AV_INPUT_BUFFER_PADDING_SIZE
5766      * zeros. */
5767     par->extradata_size = buf->len;
5768     return 0;
5769 }
5770
5771 int avformat_transfer_internal_stream_timing_info(const AVOutputFormat *ofmt,
5772                                                   AVStream *ost, const AVStream *ist,
5773                                                   enum AVTimebaseSource copy_tb)
5774 {
5775     //TODO: use [io]st->internal->avctx
5776     const AVCodecContext *dec_ctx = ist->codec;
5777     AVCodecContext       *enc_ctx = ost->codec;
5778
5779     enc_ctx->time_base = ist->time_base;
5780     /*
5781      * Avi is a special case here because it supports variable fps but
5782      * having the fps and timebase differe significantly adds quite some
5783      * overhead
5784      */
5785     if (!strcmp(ofmt->name, "avi")) {
5786 #if FF_API_R_FRAME_RATE
5787         if (copy_tb == AVFMT_TBCF_AUTO && ist->r_frame_rate.num
5788             && av_q2d(ist->r_frame_rate) >= av_q2d(ist->avg_frame_rate)
5789             && 0.5/av_q2d(ist->r_frame_rate) > av_q2d(ist->time_base)
5790             && 0.5/av_q2d(ist->r_frame_rate) > av_q2d(dec_ctx->time_base)
5791             && av_q2d(ist->time_base) < 1.0/500 && av_q2d(dec_ctx->time_base) < 1.0/500
5792             || copy_tb == AVFMT_TBCF_R_FRAMERATE) {
5793             enc_ctx->time_base.num = ist->r_frame_rate.den;
5794             enc_ctx->time_base.den = 2*ist->r_frame_rate.num;
5795             enc_ctx->ticks_per_frame = 2;
5796         } else
5797 #endif
5798             if (copy_tb == AVFMT_TBCF_AUTO && av_q2d(dec_ctx->time_base)*dec_ctx->ticks_per_frame > 2*av_q2d(ist->time_base)
5799                    && av_q2d(ist->time_base) < 1.0/500
5800                    || copy_tb == AVFMT_TBCF_DECODER) {
5801             enc_ctx->time_base = dec_ctx->time_base;
5802             enc_ctx->time_base.num *= dec_ctx->ticks_per_frame;
5803             enc_ctx->time_base.den *= 2;
5804             enc_ctx->ticks_per_frame = 2;
5805         }
5806     } else if (!(ofmt->flags & AVFMT_VARIABLE_FPS)
5807                && !av_match_name(ofmt->name, "mov,mp4,3gp,3g2,psp,ipod,ismv,f4v")) {
5808         if (copy_tb == AVFMT_TBCF_AUTO && dec_ctx->time_base.den
5809             && av_q2d(dec_ctx->time_base)*dec_ctx->ticks_per_frame > av_q2d(ist->time_base)
5810             && av_q2d(ist->time_base) < 1.0/500
5811             || copy_tb == AVFMT_TBCF_DECODER) {
5812             enc_ctx->time_base = dec_ctx->time_base;
5813             enc_ctx->time_base.num *= dec_ctx->ticks_per_frame;
5814         }
5815     }
5816
5817     if ((enc_ctx->codec_tag == AV_RL32("tmcd") || ost->codecpar->codec_tag == AV_RL32("tmcd"))
5818         && dec_ctx->time_base.num < dec_ctx->time_base.den
5819         && dec_ctx->time_base.num > 0
5820         && 121LL*dec_ctx->time_base.num > dec_ctx->time_base.den) {
5821         enc_ctx->time_base = dec_ctx->time_base;
5822     }
5823
5824     if (ost->avg_frame_rate.num)
5825         enc_ctx->time_base = av_inv_q(ost->avg_frame_rate);
5826
5827     av_reduce(&enc_ctx->time_base.num, &enc_ctx->time_base.den,
5828               enc_ctx->time_base.num, enc_ctx->time_base.den, INT_MAX);
5829
5830     return 0;
5831 }
5832
5833 AVRational av_stream_get_codec_timebase(const AVStream *st)
5834 {
5835     // See avformat_transfer_internal_stream_timing_info() TODO.
5836 #if FF_API_LAVF_AVCTX
5837 FF_DISABLE_DEPRECATION_WARNINGS
5838     return st->codec->time_base;
5839 FF_ENABLE_DEPRECATION_WARNINGS
5840 #else
5841     return st->internal->avctx->time_base;
5842 #endif
5843 }
5844
5845 void ff_format_set_url(AVFormatContext *s, char *url)
5846 {
5847     av_assert0(url);
5848     av_freep(&s->url);
5849     s->url = url;
5850 #if FF_API_FORMAT_FILENAME
5851 FF_DISABLE_DEPRECATION_WARNINGS
5852     av_strlcpy(s->filename, url, sizeof(s->filename));
5853 FF_ENABLE_DEPRECATION_WARNINGS
5854 #endif
5855 }