git.sesse.net Git - ffmpeg/blob - libavformat/mxfdec.c

   1 /*
   2  * MXF demuxer.
   3  * Copyright (c) 2006 SmartJog S.A., Baptiste Coudurier <baptiste dot coudurier at smartjog dot com>
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /*
  23  * References
  24  * SMPTE 336M KLV Data Encoding Protocol Using Key-Length-Value
  25  * SMPTE 377M MXF File Format Specifications
  26  * SMPTE 378M Operational Pattern 1a
  27  * SMPTE 379M MXF Generic Container
  28  * SMPTE 381M Mapping MPEG Streams into the MXF Generic Container
  29  * SMPTE 382M Mapping AES3 and Broadcast Wave Audio into the MXF Generic Container
  30  * SMPTE 383M Mapping DV-DIF Data to the MXF Generic Container
  31  *
  32  * Principle
  33  * Search for Track numbers which will identify essence element KLV packets.
  34  * Search for SourcePackage which define tracks which contains Track numbers.
  35  * Material Package contains tracks with reference to SourcePackage tracks.
  36  * Search for Descriptors (Picture, Sound) which contains codec info and parameters.
  37  * Assign Descriptors to correct Tracks.
  38  *
  39  * Metadata reading functions read Local Tags, get InstanceUID(0x3C0A) then add MetaDataSet to MXFContext.
  40  * Metadata parsing resolves Strong References to objects.
  41  *
  42  * Simple demuxer, only OP1A supported and some files might not work at all.
  43  * Only tracks with associated descriptors will be decoded. "Highly Desirable" SMPTE 377M D.1
  44  */
  45
  46 #include "libavutil/aes.h"
  47 #include "libavutil/avassert.h"
  48 #include "libavutil/mathematics.h"
  49 #include "libavcodec/bytestream.h"
  50 #include "libavutil/timecode.h"
  51 #include "avformat.h"
  52 #include "internal.h"
  53 #include "mxf.h"
  54
  55 typedef enum {
  56     Header,
  57     BodyPartition,
  58     Footer
  59 } MXFPartitionType;
  60
  61 typedef enum {
  62     OP1a = 1,
  63     OP1b,
  64     OP1c,
  65     OP2a,
  66     OP2b,
  67     OP2c,
  68     OP3a,
  69     OP3b,
  70     OP3c,
  71     OPAtom,
  72     OPSONYOpt,  /* FATE sample, violates the spec in places */
  73 } MXFOP;
  74
  75 typedef struct {
  76     int closed;
  77     int complete;
  78     MXFPartitionType type;
  79     uint64_t previous_partition;
  80     int index_sid;
  81     int body_sid;
  82     int64_t this_partition;
  83     int64_t essence_offset;         ///< absolute offset of essence
  84     int64_t essence_length;
  85     int32_t kag_size;
  86     int64_t header_byte_count;
  87     int64_t index_byte_count;
  88     int pack_length;
  89 } MXFPartition;
  90
  91 typedef struct {
  92     UID uid;
  93     enum MXFMetadataSetType type;
  94     UID source_container_ul;
  95 } MXFCryptoContext;
  96
  97 typedef struct {
  98     UID uid;
  99     enum MXFMetadataSetType type;
 100     UID source_package_uid;
 101     UID data_definition_ul;
 102     int64_t duration;
 103     int64_t start_position;
 104     int source_track_id;
 105 } MXFStructuralComponent;
 106
 107 typedef struct {
 108     UID uid;
 109     enum MXFMetadataSetType type;
 110     UID data_definition_ul;
 111     UID *structural_components_refs;
 112     int structural_components_count;
 113     int64_t duration;
 114 } MXFSequence;
 115
 116 typedef struct {
 117     UID uid;
 118     enum MXFMetadataSetType type;
 119     int drop_frame;
 120     int start_frame;
 121     struct AVRational rate;
 122     AVTimecode tc;
 123 } MXFTimecodeComponent;
 124
 125 typedef struct {
 126     UID uid;
 127     enum MXFMetadataSetType type;
 128     MXFSequence *sequence; /* mandatory, and only one */
 129     UID sequence_ref;
 130     int track_id;
 131     uint8_t track_number[4];
 132     AVRational edit_rate;
 133     int intra_only;
 134     uint64_t sample_count;
 135     int64_t original_duration;  ///< duration before multiplying st->duration by SampleRate/EditRate
 136 } MXFTrack;
 137
 138 typedef struct {
 139     UID uid;
 140     enum MXFMetadataSetType type;
 141     UID essence_container_ul;
 142     UID essence_codec_ul;
 143     AVRational sample_rate;
 144     AVRational aspect_ratio;
 145     int width;
 146     int height; /* Field height, not frame height */
 147     int frame_layout; /* See MXFFrameLayout enum */
 148     int channels;
 149     int bits_per_sample;
 150     int field_dominance;
 151     unsigned int component_depth;
 152     unsigned int horiz_subsampling;
 153     unsigned int vert_subsampling;
 154     UID *sub_descriptors_refs;
 155     int sub_descriptors_count;
 156     int linked_track_id;
 157     uint8_t *extradata;
 158     int extradata_size;
 159     enum AVPixelFormat pix_fmt;
 160 } MXFDescriptor;
 161
 162 typedef struct {
 163     UID uid;
 164     enum MXFMetadataSetType type;
 165     int edit_unit_byte_count;
 166     int index_sid;
 167     int body_sid;
 168     AVRational index_edit_rate;
 169     uint64_t index_start_position;
 170     uint64_t index_duration;
 171     int8_t *temporal_offset_entries;
 172     int *flag_entries;
 173     uint64_t *stream_offset_entries;
 174     int nb_index_entries;
 175 } MXFIndexTableSegment;
 176
 177 typedef struct {
 178     UID uid;
 179     enum MXFMetadataSetType type;
 180     UID package_uid;
 181     UID *tracks_refs;
 182     int tracks_count;
 183     MXFDescriptor *descriptor; /* only one */
 184     UID descriptor_ref;
 185 } MXFPackage;
 186
 187 typedef struct {
 188     UID uid;
 189     enum MXFMetadataSetType type;
 190 } MXFMetadataSet;
 191
 192 /* decoded index table */
 193 typedef struct {
 194     int index_sid;
 195     int body_sid;
 196     int nb_ptses;               /* number of PTSes or total duration of index */
 197     int64_t first_dts;          /* DTS = EditUnit + first_dts */
 198     int64_t *ptses;             /* maps EditUnit -> PTS */
 199     int nb_segments;
 200     MXFIndexTableSegment **segments;    /* sorted by IndexStartPosition */
 201     AVIndexEntry *fake_index;   /* used for calling ff_index_search_timestamp() */
 202 } MXFIndexTable;
 203
 204 typedef struct {
 205     MXFPartition *partitions;
 206     unsigned partitions_count;
 207     MXFOP op;
 208     UID *packages_refs;
 209     int packages_count;
 210     MXFMetadataSet **metadata_sets;
 211     int metadata_sets_count;
 212     AVFormatContext *fc;
 213     struct AVAES *aesc;
 214     uint8_t *local_tags;
 215     int local_tags_count;
 216     uint64_t footer_partition;
 217     KLVPacket current_klv_data;
 218     int current_klv_index;
 219     int run_in;
 220     MXFPartition *current_partition;
 221     int parsing_backward;
 222     int64_t last_forward_tell;
 223     int last_forward_partition;
 224     int current_edit_unit;
 225     int nb_index_tables;
 226     MXFIndexTable *index_tables;
 227     int edit_units_per_packet;      ///< how many edit units to read at a time (PCM, OPAtom)
 228 } MXFContext;
 229
 230 enum MXFWrappingScheme {
 231     Frame,
 232     Clip,
 233 };
 234
 235 /* NOTE: klv_offset is not set (-1) for local keys */
 236 typedef int MXFMetadataReadFunc(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset);
 237
 238 typedef struct {
 239     const UID key;
 240     MXFMetadataReadFunc *read;
 241     int ctx_size;
 242     enum MXFMetadataSetType type;
 243 } MXFMetadataReadTableEntry;
 244
 245 static int mxf_read_close(AVFormatContext *s);
 246
 247 /* partial keys to match */
 248 static const uint8_t mxf_header_partition_pack_key[]       = { 0x06,0x0e,0x2b,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02 };
 249 static const uint8_t mxf_essence_element_key[]             = { 0x06,0x0e,0x2b,0x34,0x01,0x02,0x01,0x01,0x0d,0x01,0x03,0x01 };
 250 static const uint8_t mxf_avid_essence_element_key[]        = { 0x06,0x0e,0x2b,0x34,0x01,0x02,0x01,0x01,0x0e,0x04,0x03,0x01 };
 251 static const uint8_t mxf_system_item_key[]                 = { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0D,0x01,0x03,0x01,0x04 };
 252 static const uint8_t mxf_klv_key[]                         = { 0x06,0x0e,0x2b,0x34 };
 253 /* complete keys to match */
 254 static const uint8_t mxf_crypto_source_container_ul[]      = { 0x06,0x0e,0x2b,0x34,0x01,0x01,0x01,0x09,0x06,0x01,0x01,0x02,0x02,0x00,0x00,0x00 };
 255 static const uint8_t mxf_encrypted_triplet_key[]           = { 0x06,0x0e,0x2b,0x34,0x02,0x04,0x01,0x07,0x0d,0x01,0x03,0x01,0x02,0x7e,0x01,0x00 };
 256 static const uint8_t mxf_encrypted_essence_container[]     = { 0x06,0x0e,0x2b,0x34,0x04,0x01,0x01,0x07,0x0d,0x01,0x03,0x01,0x02,0x0b,0x01,0x00 };
 257 static const uint8_t mxf_sony_mpeg4_extradata[]            = { 0x06,0x0e,0x2b,0x34,0x04,0x01,0x01,0x01,0x0e,0x06,0x06,0x02,0x02,0x01,0x00,0x00 };
 258
 259 #define IS_KLV_KEY(x, y) (!memcmp(x, y, sizeof(y)))
 260
 261 static int64_t klv_decode_ber_length(AVIOContext *pb)
 262 {
 263     uint64_t size = avio_r8(pb);
 264     if (size & 0x80) { /* long form */
 265         int bytes_num = size & 0x7f;
 266         /* SMPTE 379M 5.3.4 guarantee that bytes_num must not exceed 8 bytes */
 267         if (bytes_num > 8)
 268             return AVERROR_INVALIDDATA;
 269         size = 0;
 270         while (bytes_num--)
 271             size = size << 8 | avio_r8(pb);
 272     }
 273     return size;
 274 }
 275
 276 static int mxf_read_sync(AVIOContext *pb, const uint8_t *key, unsigned size)
 277 {
 278     int i, b;
 279     for (i = 0; i < size && !url_feof(pb); i++) {
 280         b = avio_r8(pb);
 281         if (b == key[0])
 282             i = 0;
 283         else if (b != key[i])
 284             i = -1;
 285     }
 286     return i == size;
 287 }
 288
 289 static int klv_read_packet(KLVPacket *klv, AVIOContext *pb)
 290 {
 291     if (!mxf_read_sync(pb, mxf_klv_key, 4))
 292         return AVERROR_INVALIDDATA;
 293     klv->offset = avio_tell(pb) - 4;
 294     memcpy(klv->key, mxf_klv_key, 4);
 295     avio_read(pb, klv->key + 4, 12);
 296     klv->length = klv_decode_ber_length(pb);
 297     return klv->length == -1 ? -1 : 0;
 298 }
 299
 300 static int mxf_get_stream_index(AVFormatContext *s, KLVPacket *klv)
 301 {
 302     int i;
 303
 304     for (i = 0; i < s->nb_streams; i++) {
 305         MXFTrack *track = s->streams[i]->priv_data;
 306         /* SMPTE 379M 7.3 */
 307         if (!memcmp(klv->key + sizeof(mxf_essence_element_key), track->track_number, sizeof(track->track_number)))
 308             return i;
 309     }
 310     /* return 0 if only one stream, for OP Atom files with 0 as track number */
 311     return s->nb_streams == 1 ? 0 : -1;
 312 }
 313
 314 /* XXX: use AVBitStreamFilter */
 315 static int mxf_get_d10_aes3_packet(AVIOContext *pb, AVStream *st, AVPacket *pkt, int64_t length)
 316 {
 317     const uint8_t *buf_ptr, *end_ptr;
 318     uint8_t *data_ptr;
 319     int i;
 320
 321     if (length > 61444) /* worst case PAL 1920 samples 8 channels */
 322         return AVERROR_INVALIDDATA;
 323     length = av_get_packet(pb, pkt, length);
 324     if (length < 0)
 325         return length;
 326     data_ptr = pkt->data;
 327     end_ptr = pkt->data + length;
 328     buf_ptr = pkt->data + 4; /* skip SMPTE 331M header */
 329     for (; buf_ptr + st->codec->channels*4 <= end_ptr; ) {
 330         for (i = 0; i < st->codec->channels; i++) {
 331             uint32_t sample = bytestream_get_le32(&buf_ptr);
 332             if (st->codec->bits_per_coded_sample == 24)
 333                 bytestream_put_le24(&data_ptr, (sample >> 4) & 0xffffff);
 334             else
 335                 bytestream_put_le16(&data_ptr, (sample >> 12) & 0xffff);
 336         }
 337         buf_ptr += 32 - st->codec->channels*4; // always 8 channels stored SMPTE 331M
 338     }
 339     av_shrink_packet(pkt, data_ptr - pkt->data);
 340     return 0;
 341 }
 342
 343 static int mxf_decrypt_triplet(AVFormatContext *s, AVPacket *pkt, KLVPacket *klv)
 344 {
 345     static const uint8_t checkv[16] = {0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b};
 346     MXFContext *mxf = s->priv_data;
 347     AVIOContext *pb = s->pb;
 348     int64_t end = avio_tell(pb) + klv->length;
 349     int64_t size;
 350     uint64_t orig_size;
 351     uint64_t plaintext_size;
 352     uint8_t ivec[16];
 353     uint8_t tmpbuf[16];
 354     int index;
 355
 356     if (!mxf->aesc && s->key && s->keylen == 16) {
 357         mxf->aesc = av_aes_alloc();
 358         if (!mxf->aesc)
 359             return AVERROR(ENOMEM);
 360         av_aes_init(mxf->aesc, s->key, 128, 1);
 361     }
 362     // crypto context
 363     avio_skip(pb, klv_decode_ber_length(pb));
 364     // plaintext offset
 365     klv_decode_ber_length(pb);
 366     plaintext_size = avio_rb64(pb);
 367     // source klv key
 368     klv_decode_ber_length(pb);
 369     avio_read(pb, klv->key, 16);
 370     if (!IS_KLV_KEY(klv, mxf_essence_element_key))
 371         return AVERROR_INVALIDDATA;
 372     index = mxf_get_stream_index(s, klv);
 373     if (index < 0)
 374         return AVERROR_INVALIDDATA;
 375     // source size
 376     klv_decode_ber_length(pb);
 377     orig_size = avio_rb64(pb);
 378     if (orig_size < plaintext_size)
 379         return AVERROR_INVALIDDATA;
 380     // enc. code
 381     size = klv_decode_ber_length(pb);
 382     if (size < 32 || size - 32 < orig_size)
 383         return AVERROR_INVALIDDATA;
 384     avio_read(pb, ivec, 16);
 385     avio_read(pb, tmpbuf, 16);
 386     if (mxf->aesc)
 387         av_aes_crypt(mxf->aesc, tmpbuf, tmpbuf, 1, ivec, 1);
 388     if (memcmp(tmpbuf, checkv, 16))
 389         av_log(s, AV_LOG_ERROR, "probably incorrect decryption key\n");
 390     size -= 32;
 391     size = av_get_packet(pb, pkt, size);
 392     if (size < 0)
 393         return size;
 394     else if (size < plaintext_size)
 395         return AVERROR_INVALIDDATA;
 396     size -= plaintext_size;
 397     if (mxf->aesc)
 398         av_aes_crypt(mxf->aesc, &pkt->data[plaintext_size],
 399                      &pkt->data[plaintext_size], size >> 4, ivec, 1);
 400     av_shrink_packet(pkt, orig_size);
 401     pkt->stream_index = index;
 402     avio_skip(pb, end - avio_tell(pb));
 403     return 0;
 404 }
 405
 406 static int mxf_read_primer_pack(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 407 {
 408     MXFContext *mxf = arg;
 409     int item_num = avio_rb32(pb);
 410     int item_len = avio_rb32(pb);
 411
 412     if (item_len != 18) {
 413         avpriv_request_sample(pb, "Primer pack item length %d", item_len);
 414         return AVERROR_PATCHWELCOME;
 415     }
 416     if (item_num > 65536) {
 417         av_log(mxf->fc, AV_LOG_ERROR, "item_num %d is too large\n", item_num);
 418         return AVERROR_INVALIDDATA;
 419     }
 420     mxf->local_tags = av_calloc(item_num, item_len);
 421     if (!mxf->local_tags)
 422         return AVERROR(ENOMEM);
 423     mxf->local_tags_count = item_num;
 424     avio_read(pb, mxf->local_tags, item_num*item_len);
 425     return 0;
 426 }
 427
 428 static int mxf_read_partition_pack(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 429 {
 430     MXFContext *mxf = arg;
 431     MXFPartition *partition, *tmp_part;
 432     UID op;
 433     uint64_t footer_partition;
 434     uint32_t nb_essence_containers;
 435
 436     tmp_part = av_realloc_array(mxf->partitions, mxf->partitions_count + 1, sizeof(*mxf->partitions));
 437     if (!tmp_part)
 438         return AVERROR(ENOMEM);
 439     mxf->partitions = tmp_part;
 440
 441     if (mxf->parsing_backward) {
 442         /* insert the new partition pack in the middle
 443          * this makes the entries in mxf->partitions sorted by offset */
 444         memmove(&mxf->partitions[mxf->last_forward_partition+1],
 445                 &mxf->partitions[mxf->last_forward_partition],
 446                 (mxf->partitions_count - mxf->last_forward_partition)*sizeof(*mxf->partitions));
 447         partition = mxf->current_partition = &mxf->partitions[mxf->last_forward_partition];
 448     } else {
 449         mxf->last_forward_partition++;
 450         partition = mxf->current_partition = &mxf->partitions[mxf->partitions_count];
 451     }
 452
 453     memset(partition, 0, sizeof(*partition));
 454     mxf->partitions_count++;
 455     partition->pack_length = avio_tell(pb) - klv_offset + size;
 456
 457     switch(uid[13]) {
 458     case 2:
 459         partition->type = Header;
 460         break;
 461     case 3:
 462         partition->type = BodyPartition;
 463         break;
 464     case 4:
 465         partition->type = Footer;
 466         break;
 467     default:
 468         av_log(mxf->fc, AV_LOG_ERROR, "unknown partition type %i\n", uid[13]);
 469         return AVERROR_INVALIDDATA;
 470     }
 471
 472     /* consider both footers to be closed (there is only Footer and CompleteFooter) */
 473     partition->closed = partition->type == Footer || !(uid[14] & 1);
 474     partition->complete = uid[14] > 2;
 475     avio_skip(pb, 4);
 476     partition->kag_size = avio_rb32(pb);
 477     partition->this_partition = avio_rb64(pb);
 478     partition->previous_partition = avio_rb64(pb);
 479     footer_partition = avio_rb64(pb);
 480     partition->header_byte_count = avio_rb64(pb);
 481     partition->index_byte_count = avio_rb64(pb);
 482     partition->index_sid = avio_rb32(pb);
 483     avio_skip(pb, 8);
 484     partition->body_sid = avio_rb32(pb);
 485     avio_read(pb, op, sizeof(UID));
 486     nb_essence_containers = avio_rb32(pb);
 487
 488     /* some files don'thave FooterPartition set in every partition */
 489     if (footer_partition) {
 490         if (mxf->footer_partition && mxf->footer_partition != footer_partition) {
 491             av_log(mxf->fc, AV_LOG_ERROR,
 492                    "inconsistent FooterPartition value: %"PRIu64" != %"PRIu64"\n",
 493                    mxf->footer_partition, footer_partition);
 494         } else {
 495             mxf->footer_partition = footer_partition;
 496         }
 497     }
 498
 499     av_dlog(mxf->fc,
 500             "PartitionPack: ThisPartition = 0x%"PRIX64
 501             ", PreviousPartition = 0x%"PRIX64", "
 502             "FooterPartition = 0x%"PRIX64", IndexSID = %i, BodySID = %i\n",
 503             partition->this_partition,
 504             partition->previous_partition, footer_partition,
 505             partition->index_sid, partition->body_sid);
 506
 507     /* sanity check PreviousPartition if set */
 508     if (partition->previous_partition &&
 509         mxf->run_in + partition->previous_partition >= klv_offset) {
 510         av_log(mxf->fc, AV_LOG_ERROR,
 511                "PreviousPartition points to this partition or forward\n");
 512         return AVERROR_INVALIDDATA;
 513     }
 514
 515     if      (op[12] == 1 && op[13] == 1) mxf->op = OP1a;
 516     else if (op[12] == 1 && op[13] == 2) mxf->op = OP1b;
 517     else if (op[12] == 1 && op[13] == 3) mxf->op = OP1c;
 518     else if (op[12] == 2 && op[13] == 1) mxf->op = OP2a;
 519     else if (op[12] == 2 && op[13] == 2) mxf->op = OP2b;
 520     else if (op[12] == 2 && op[13] == 3) mxf->op = OP2c;
 521     else if (op[12] == 3 && op[13] == 1) mxf->op = OP3a;
 522     else if (op[12] == 3 && op[13] == 2) mxf->op = OP3b;
 523     else if (op[12] == 3 && op[13] == 3) mxf->op = OP3c;
 524     else if (op[12] == 64&& op[13] == 1) mxf->op = OPSONYOpt;
 525     else if (op[12] == 0x10) {
 526         /* SMPTE 390m: "There shall be exactly one essence container"
 527          * The following block deals with files that violate this, namely:
 528          * 2011_DCPTEST_24FPS.V.mxf - two ECs, OP1a
 529          * abcdefghiv016f56415e.mxf - zero ECs, OPAtom, output by Avid AirSpeed */
 530         if (nb_essence_containers != 1) {
 531             MXFOP op = nb_essence_containers ? OP1a : OPAtom;
 532
 533             /* only nag once */
 534             if (!mxf->op)
 535                 av_log(mxf->fc, AV_LOG_WARNING, "\"OPAtom\" with %u ECs - assuming %s\n",
 536                        nb_essence_containers, op == OP1a ? "OP1a" : "OPAtom");
 537
 538             mxf->op = op;
 539         } else
 540             mxf->op = OPAtom;
 541     } else {
 542         av_log(mxf->fc, AV_LOG_ERROR, "unknown operational pattern: %02xh %02xh - guessing OP1a\n", op[12], op[13]);
 543         mxf->op = OP1a;
 544     }
 545
 546     if (partition->kag_size <= 0 || partition->kag_size > (1 << 20)) {
 547         av_log(mxf->fc, AV_LOG_WARNING, "invalid KAGSize %i - guessing ", partition->kag_size);
 548
 549         if (mxf->op == OPSONYOpt)
 550             partition->kag_size = 512;
 551         else
 552             partition->kag_size = 1;
 553
 554         av_log(mxf->fc, AV_LOG_WARNING, "%i\n", partition->kag_size);
 555     }
 556
 557     return 0;
 558 }
 559
 560 static int mxf_add_metadata_set(MXFContext *mxf, void *metadata_set)
 561 {
 562     MXFMetadataSet **tmp;
 563
 564     tmp = av_realloc_array(mxf->metadata_sets, mxf->metadata_sets_count + 1, sizeof(*mxf->metadata_sets));
 565     if (!tmp)
 566         return AVERROR(ENOMEM);
 567     mxf->metadata_sets = tmp;
 568     mxf->metadata_sets[mxf->metadata_sets_count] = metadata_set;
 569     mxf->metadata_sets_count++;
 570     return 0;
 571 }
 572
 573 static int mxf_read_cryptographic_context(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 574 {
 575     MXFCryptoContext *cryptocontext = arg;
 576     if (size != 16)
 577         return AVERROR_INVALIDDATA;
 578     if (IS_KLV_KEY(uid, mxf_crypto_source_container_ul))
 579         avio_read(pb, cryptocontext->source_container_ul, 16);
 580     return 0;
 581 }
 582
 583 static int mxf_read_content_storage(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 584 {
 585     MXFContext *mxf = arg;
 586     switch (tag) {
 587     case 0x1901:
 588         mxf->packages_count = avio_rb32(pb);
 589         mxf->packages_refs = av_calloc(mxf->packages_count, sizeof(UID));
 590         if (!mxf->packages_refs)
 591             return AVERROR(ENOMEM);
 592         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 593         avio_read(pb, (uint8_t *)mxf->packages_refs, mxf->packages_count * sizeof(UID));
 594         break;
 595     }
 596     return 0;
 597 }
 598
 599 static int mxf_read_source_clip(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 600 {
 601     MXFStructuralComponent *source_clip = arg;
 602     switch(tag) {
 603     case 0x0202:
 604         source_clip->duration = avio_rb64(pb);
 605         break;
 606     case 0x1201:
 607         source_clip->start_position = avio_rb64(pb);
 608         break;
 609     case 0x1101:
 610         /* UMID, only get last 16 bytes */
 611         avio_skip(pb, 16);
 612         avio_read(pb, source_clip->source_package_uid, 16);
 613         break;
 614     case 0x1102:
 615         source_clip->source_track_id = avio_rb32(pb);
 616         break;
 617     }
 618     return 0;
 619 }
 620
 621 static int mxf_read_material_package(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 622 {
 623     MXFPackage *package = arg;
 624     switch(tag) {
 625     case 0x4403:
 626         package->tracks_count = avio_rb32(pb);
 627         package->tracks_refs = av_calloc(package->tracks_count, sizeof(UID));
 628         if (!package->tracks_refs)
 629             return AVERROR(ENOMEM);
 630         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 631         avio_read(pb, (uint8_t *)package->tracks_refs, package->tracks_count * sizeof(UID));
 632         break;
 633     }
 634     return 0;
 635 }
 636
 637 static int mxf_read_timecode_component(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 638 {
 639     MXFTimecodeComponent *mxf_timecode = arg;
 640     switch(tag) {
 641     case 0x1501:
 642         mxf_timecode->start_frame = avio_rb64(pb);
 643         break;
 644     case 0x1502:
 645         mxf_timecode->rate = (AVRational){avio_rb16(pb), 1};
 646         break;
 647     case 0x1503:
 648         mxf_timecode->drop_frame = avio_r8(pb);
 649         break;
 650     }
 651     return 0;
 652 }
 653
 654 static int mxf_read_track(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 655 {
 656     MXFTrack *track = arg;
 657     switch(tag) {
 658     case 0x4801:
 659         track->track_id = avio_rb32(pb);
 660         break;
 661     case 0x4804:
 662         avio_read(pb, track->track_number, 4);
 663         break;
 664     case 0x4B01:
 665         track->edit_rate.num = avio_rb32(pb);
 666         track->edit_rate.den = avio_rb32(pb);
 667         break;
 668     case 0x4803:
 669         avio_read(pb, track->sequence_ref, 16);
 670         break;
 671     }
 672     return 0;
 673 }
 674
 675 static int mxf_read_sequence(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 676 {
 677     MXFSequence *sequence = arg;
 678     switch(tag) {
 679     case 0x0202:
 680         sequence->duration = avio_rb64(pb);
 681         break;
 682     case 0x0201:
 683         avio_read(pb, sequence->data_definition_ul, 16);
 684         break;
 685     case 0x1001:
 686         sequence->structural_components_count = avio_rb32(pb);
 687         sequence->structural_components_refs = av_calloc(sequence->structural_components_count, sizeof(UID));
 688         if (!sequence->structural_components_refs)
 689             return AVERROR(ENOMEM);
 690         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 691         avio_read(pb, (uint8_t *)sequence->structural_components_refs, sequence->structural_components_count * sizeof(UID));
 692         break;
 693     }
 694     return 0;
 695 }
 696
 697 static int mxf_read_source_package(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 698 {
 699     MXFPackage *package = arg;
 700     switch(tag) {
 701     case 0x4403:
 702         package->tracks_count = avio_rb32(pb);
 703         package->tracks_refs = av_calloc(package->tracks_count, sizeof(UID));
 704         if (!package->tracks_refs)
 705             return AVERROR(ENOMEM);
 706         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 707         avio_read(pb, (uint8_t *)package->tracks_refs, package->tracks_count * sizeof(UID));
 708         break;
 709     case 0x4401:
 710         /* UMID, only get last 16 bytes */
 711         avio_skip(pb, 16);
 712         avio_read(pb, package->package_uid, 16);
 713         break;
 714     case 0x4701:
 715         avio_read(pb, package->descriptor_ref, 16);
 716         break;
 717     }
 718     return 0;
 719 }
 720
 721 static int mxf_read_index_entry_array(AVIOContext *pb, MXFIndexTableSegment *segment)
 722 {
 723     int i, length;
 724
 725     segment->nb_index_entries = avio_rb32(pb);
 726
 727     length = avio_rb32(pb);
 728
 729     if (!(segment->temporal_offset_entries=av_calloc(segment->nb_index_entries, sizeof(*segment->temporal_offset_entries))) ||
 730         !(segment->flag_entries          = av_calloc(segment->nb_index_entries, sizeof(*segment->flag_entries))) ||
 731         !(segment->stream_offset_entries = av_calloc(segment->nb_index_entries, sizeof(*segment->stream_offset_entries))))
 732         return AVERROR(ENOMEM);
 733
 734     for (i = 0; i < segment->nb_index_entries; i++) {
 735         segment->temporal_offset_entries[i] = avio_r8(pb);
 736         avio_r8(pb);                                        /* KeyFrameOffset */
 737         segment->flag_entries[i] = avio_r8(pb);
 738         segment->stream_offset_entries[i] = avio_rb64(pb);
 739         avio_skip(pb, length - 11);
 740     }
 741     return 0;
 742 }
 743
 744 static int mxf_read_index_table_segment(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 745 {
 746     MXFIndexTableSegment *segment = arg;
 747     switch(tag) {
 748     case 0x3F05:
 749         segment->edit_unit_byte_count = avio_rb32(pb);
 750         av_dlog(NULL, "EditUnitByteCount %d\n", segment->edit_unit_byte_count);
 751         break;
 752     case 0x3F06:
 753         segment->index_sid = avio_rb32(pb);
 754         av_dlog(NULL, "IndexSID %d\n", segment->index_sid);
 755         break;
 756     case 0x3F07:
 757         segment->body_sid = avio_rb32(pb);
 758         av_dlog(NULL, "BodySID %d\n", segment->body_sid);
 759         break;
 760     case 0x3F0A:
 761         av_dlog(NULL, "IndexEntryArray found\n");
 762         return mxf_read_index_entry_array(pb, segment);
 763     case 0x3F0B:
 764         segment->index_edit_rate.num = avio_rb32(pb);
 765         segment->index_edit_rate.den = avio_rb32(pb);
 766         av_dlog(NULL, "IndexEditRate %d/%d\n", segment->index_edit_rate.num,
 767                 segment->index_edit_rate.den);
 768         break;
 769     case 0x3F0C:
 770         segment->index_start_position = avio_rb64(pb);
 771         av_dlog(NULL, "IndexStartPosition %"PRId64"\n", segment->index_start_position);
 772         break;
 773     case 0x3F0D:
 774         segment->index_duration = avio_rb64(pb);
 775         av_dlog(NULL, "IndexDuration %"PRId64"\n", segment->index_duration);
 776         break;
 777     }
 778     return 0;
 779 }
 780
 781 static void mxf_read_pixel_layout(AVIOContext *pb, MXFDescriptor *descriptor)
 782 {
 783     int code, value, ofs = 0;
 784     char layout[16] = {0}; /* not for printing, may end up not terminated on purpose */
 785
 786     do {
 787         code = avio_r8(pb);
 788         value = avio_r8(pb);
 789         av_dlog(NULL, "pixel layout: code %#x\n", code);
 790
 791         if (ofs <= 14) {
 792             layout[ofs++] = code;
 793             layout[ofs++] = value;
 794         } else
 795             break;  /* don't read byte by byte on sneaky files filled with lots of non-zeroes */
 796     } while (code != 0); /* SMPTE 377M E.2.46 */
 797
 798     ff_mxf_decode_pixel_layout(layout, &descriptor->pix_fmt);
 799 }
 800
 801 static int mxf_read_generic_descriptor(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 802 {
 803     MXFDescriptor *descriptor = arg;
 804     descriptor->pix_fmt = AV_PIX_FMT_NONE;
 805     switch(tag) {
 806     case 0x3F01:
 807         descriptor->sub_descriptors_count = avio_rb32(pb);
 808         descriptor->sub_descriptors_refs = av_calloc(descriptor->sub_descriptors_count, sizeof(UID));
 809         if (!descriptor->sub_descriptors_refs)
 810             return AVERROR(ENOMEM);
 811         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 812         avio_read(pb, (uint8_t *)descriptor->sub_descriptors_refs, descriptor->sub_descriptors_count * sizeof(UID));
 813         break;
 814     case 0x3004:
 815         avio_read(pb, descriptor->essence_container_ul, 16);
 816         break;
 817     case 0x3006:
 818         descriptor->linked_track_id = avio_rb32(pb);
 819         break;
 820     case 0x3201: /* PictureEssenceCoding */
 821         avio_read(pb, descriptor->essence_codec_ul, 16);
 822         break;
 823     case 0x3203:
 824         descriptor->width = avio_rb32(pb);
 825         break;
 826     case 0x3202:
 827         descriptor->height = avio_rb32(pb);
 828         break;
 829     case 0x320C:
 830         descriptor->frame_layout = avio_r8(pb);
 831         break;
 832     case 0x320E:
 833         descriptor->aspect_ratio.num = avio_rb32(pb);
 834         descriptor->aspect_ratio.den = avio_rb32(pb);
 835         break;
 836     case 0x3212:
 837         descriptor->field_dominance = avio_r8(pb);
 838         break;
 839     case 0x3301:
 840         descriptor->component_depth = avio_rb32(pb);
 841         break;
 842     case 0x3302:
 843         descriptor->horiz_subsampling = avio_rb32(pb);
 844         break;
 845     case 0x3308:
 846         descriptor->vert_subsampling = avio_rb32(pb);
 847         break;
 848     case 0x3D03:
 849         descriptor->sample_rate.num = avio_rb32(pb);
 850         descriptor->sample_rate.den = avio_rb32(pb);
 851         break;
 852     case 0x3D06: /* SoundEssenceCompression */
 853         avio_read(pb, descriptor->essence_codec_ul, 16);
 854         break;
 855     case 0x3D07:
 856         descriptor->channels = avio_rb32(pb);
 857         break;
 858     case 0x3D01:
 859         descriptor->bits_per_sample = avio_rb32(pb);
 860         break;
 861     case 0x3401:
 862         mxf_read_pixel_layout(pb, descriptor);
 863         break;
 864     default:
 865         /* Private uid used by SONY C0023S01.mxf */
 866         if (IS_KLV_KEY(uid, mxf_sony_mpeg4_extradata)) {
 867             if (descriptor->extradata)
 868                 av_log(NULL, AV_LOG_WARNING, "Duplicate sony_mpeg4_extradata\n");
 869             av_free(descriptor->extradata);
 870             descriptor->extradata_size = 0;
 871             descriptor->extradata = av_malloc(size);
 872             if (!descriptor->extradata)
 873                 return AVERROR(ENOMEM);
 874             descriptor->extradata_size = size;
 875             avio_read(pb, descriptor->extradata, size);
 876         }
 877         break;
 878     }
 879     return 0;
 880 }
 881
 882 /*
 883  * Match an uid independently of the version byte and up to len common bytes
 884  * Returns: boolean
 885  */
 886 static int mxf_match_uid(const UID key, const UID uid, int len)
 887 {
 888     int i;
 889     for (i = 0; i < len; i++) {
 890         if (i != 7 && key[i] != uid[i])
 891             return 0;
 892     }
 893     return 1;
 894 }
 895
 896 static const MXFCodecUL *mxf_get_codec_ul(const MXFCodecUL *uls, UID *uid)
 897 {
 898     while (uls->uid[0]) {
 899         if(mxf_match_uid(uls->uid, *uid, uls->matching_len))
 900             break;
 901         uls++;
 902     }
 903     return uls;
 904 }
 905
 906 static void *mxf_resolve_strong_ref(MXFContext *mxf, UID *strong_ref, enum MXFMetadataSetType type)
 907 {
 908     int i;
 909
 910     if (!strong_ref)
 911         return NULL;
 912     for (i = 0; i < mxf->metadata_sets_count; i++) {
 913         if (!memcmp(*strong_ref, mxf->metadata_sets[i]->uid, 16) &&
 914             (type == AnyType || mxf->metadata_sets[i]->type == type)) {
 915             return mxf->metadata_sets[i];
 916         }
 917     }
 918     return NULL;
 919 }
 920
 921 static const MXFCodecUL mxf_picture_essence_container_uls[] = {
 922     // video essence container uls
 923     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x02,0x0D,0x01,0x03,0x01,0x02,0x04,0x60,0x01 }, 14, AV_CODEC_ID_MPEG2VIDEO }, /* MPEG-ES Frame wrapped */
 924     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x02,0x41,0x01 }, 14,    AV_CODEC_ID_DVVIDEO }, /* DV 625 25mbps */
 925     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x05,0x00,0x00 }, 14,   AV_CODEC_ID_RAWVIDEO }, /* Uncompressed Picture */
 926     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,      AV_CODEC_ID_NONE },
 927 };
 928
 929 /* EC ULs for intra-only formats */
 930 static const MXFCodecUL mxf_intra_only_essence_container_uls[] = {
 931     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x01,0x00,0x00 }, 14, AV_CODEC_ID_MPEG2VIDEO }, /* MXF-GC SMPTE D-10 Mappings */
 932     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,       AV_CODEC_ID_NONE },
 933 };
 934
 935 /* intra-only PictureEssenceCoding ULs, where no corresponding EC UL exists */
 936 static const MXFCodecUL mxf_intra_only_picture_essence_coding_uls[] = {
 937     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x0A,0x04,0x01,0x02,0x02,0x01,0x32,0x00,0x00 }, 14,       AV_CODEC_ID_H264 }, /* H.264/MPEG-4 AVC Intra Profiles */
 938     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x07,0x04,0x01,0x02,0x02,0x03,0x01,0x01,0x00 }, 14,   AV_CODEC_ID_JPEG2000 }, /* JPEG2000 Codestream */
 939     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,       AV_CODEC_ID_NONE },
 940 };
 941
 942 static const MXFCodecUL mxf_sound_essence_container_uls[] = {
 943     // sound essence container uls
 944     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x06,0x01,0x00 }, 14, AV_CODEC_ID_PCM_S16LE }, /* BWF Frame wrapped */
 945     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x02,0x0D,0x01,0x03,0x01,0x02,0x04,0x40,0x01 }, 14,       AV_CODEC_ID_MP2 }, /* MPEG-ES Frame wrapped, 0x40 ??? stream id */
 946     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x01,0x01,0x01 }, 14, AV_CODEC_ID_PCM_S16LE }, /* D-10 Mapping 50Mbps PAL Extended Template */
 947     { { 0x06,0x0E,0x2B,0x34,0x01,0x01,0x01,0xFF,0x4B,0x46,0x41,0x41,0x00,0x0D,0x4D,0x4F }, 14, AV_CODEC_ID_PCM_S16LE }, /* 0001GL00.MXF.A1.mxf_opatom.mxf */
 948     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,      AV_CODEC_ID_NONE },
 949 };
 950
 951 static int mxf_get_sorted_table_segments(MXFContext *mxf, int *nb_sorted_segments, MXFIndexTableSegment ***sorted_segments)
 952 {
 953     int i, j, nb_segments = 0;
 954     MXFIndexTableSegment **unsorted_segments;
 955     int last_body_sid = -1, last_index_sid = -1, last_index_start = -1;
 956
 957     /* count number of segments, allocate arrays and copy unsorted segments */
 958     for (i = 0; i < mxf->metadata_sets_count; i++)
 959         if (mxf->metadata_sets[i]->type == IndexTableSegment)
 960             nb_segments++;
 961
 962     if (!nb_segments)
 963         return AVERROR_INVALIDDATA;
 964
 965     if (!(unsorted_segments = av_calloc(nb_segments, sizeof(*unsorted_segments))) ||
 966         !(*sorted_segments  = av_calloc(nb_segments, sizeof(**sorted_segments)))) {
 967         av_freep(sorted_segments);
 968         av_free(unsorted_segments);
 969         return AVERROR(ENOMEM);
 970     }
 971
 972     for (i = j = 0; i < mxf->metadata_sets_count; i++)
 973         if (mxf->metadata_sets[i]->type == IndexTableSegment)
 974             unsorted_segments[j++] = (MXFIndexTableSegment*)mxf->metadata_sets[i];
 975
 976     *nb_sorted_segments = 0;
 977
 978     /* sort segments by {BodySID, IndexSID, IndexStartPosition}, remove duplicates while we're at it */
 979     for (i = 0; i < nb_segments; i++) {
 980         int best = -1, best_body_sid = -1, best_index_sid = -1, best_index_start = -1;
 981         uint64_t best_index_duration = 0;
 982
 983         for (j = 0; j < nb_segments; j++) {
 984             MXFIndexTableSegment *s = unsorted_segments[j];
 985
 986             /* Require larger BosySID, IndexSID or IndexStartPosition then the previous entry. This removes duplicates.
 987              * We want the smallest values for the keys than what we currently have, unless this is the first such entry this time around.
 988              * If we come across an entry with the same IndexStartPosition but larger IndexDuration, then we'll prefer it over the one we currently have.
 989              */
 990             if ((i == 0     || s->body_sid > last_body_sid || s->index_sid > last_index_sid || s->index_start_position > last_index_start) &&
 991                 (best == -1 || s->body_sid < best_body_sid || s->index_sid < best_index_sid || s->index_start_position < best_index_start ||
 992                 (s->index_start_position == best_index_start && s->index_duration > best_index_duration))) {
 993                 best             = j;
 994                 best_body_sid    = s->body_sid;
 995                 best_index_sid   = s->index_sid;
 996                 best_index_start = s->index_start_position;
 997                 best_index_duration = s->index_duration;
 998             }
 999         }
1000
1001         /* no suitable entry found -> we're done */
1002         if (best == -1)
1003             break;
1004
1005         (*sorted_segments)[(*nb_sorted_segments)++] = unsorted_segments[best];
1006         last_body_sid    = best_body_sid;
1007         last_index_sid   = best_index_sid;
1008         last_index_start = best_index_start;
1009     }
1010
1011     av_free(unsorted_segments);
1012
1013     return 0;
1014 }
1015
1016 /**
1017  * Computes the absolute file offset of the given essence container offset
1018  */
1019 static int mxf_absolute_bodysid_offset(MXFContext *mxf, int body_sid, int64_t offset, int64_t *offset_out)
1020 {
1021     int x;
1022     int64_t offset_in = offset;     /* for logging */
1023
1024     for (x = 0; x < mxf->partitions_count; x++) {
1025         MXFPartition *p = &mxf->partitions[x];
1026
1027         if (p->body_sid != body_sid)
1028             continue;
1029
1030         if (offset < p->essence_length || !p->essence_length) {
1031             *offset_out = p->essence_offset + offset;
1032             return 0;
1033         }
1034
1035         offset -= p->essence_length;
1036     }
1037
1038     av_log(mxf->fc, AV_LOG_ERROR,
1039            "failed to find absolute offset of %"PRIX64" in BodySID %i - partial file?\n",
1040            offset_in, body_sid);
1041
1042     return AVERROR_INVALIDDATA;
1043 }
1044
1045 /**
1046  * Returns the end position of the essence container with given BodySID, or zero if unknown
1047  */
1048 static int64_t mxf_essence_container_end(MXFContext *mxf, int body_sid)
1049 {
1050     int x;
1051     int64_t ret = 0;
1052
1053     for (x = 0; x < mxf->partitions_count; x++) {
1054         MXFPartition *p = &mxf->partitions[x];
1055
1056         if (p->body_sid != body_sid)
1057             continue;
1058
1059         if (!p->essence_length)
1060             return 0;
1061
1062         ret = p->essence_offset + p->essence_length;
1063     }
1064
1065     return ret;
1066 }
1067
1068 /* EditUnit -> absolute offset */
1069 static int mxf_edit_unit_absolute_offset(MXFContext *mxf, MXFIndexTable *index_table, int64_t edit_unit, int64_t *edit_unit_out, int64_t *offset_out, int nag)
1070 {
1071     int i;
1072     int64_t offset_temp = 0;
1073
1074     for (i = 0; i < index_table->nb_segments; i++) {
1075         MXFIndexTableSegment *s = index_table->segments[i];
1076
1077         edit_unit = FFMAX(edit_unit, s->index_start_position);  /* clamp if trying to seek before start */
1078
1079         if (edit_unit < s->index_start_position + s->index_duration) {
1080             int64_t index = edit_unit - s->index_start_position;
1081
1082             if (s->edit_unit_byte_count)
1083                 offset_temp += s->edit_unit_byte_count * index;
1084             else if (s->nb_index_entries) {
1085                 if (s->nb_index_entries == 2 * s->index_duration + 1)
1086                     index *= 2;     /* Avid index */
1087
1088                 if (index < 0 || index >= s->nb_index_entries) {
1089                     av_log(mxf->fc, AV_LOG_ERROR, "IndexSID %i segment at %"PRId64" IndexEntryArray too small\n",
1090                            index_table->index_sid, s->index_start_position);
1091                     return AVERROR_INVALIDDATA;
1092                 }
1093
1094                 offset_temp = s->stream_offset_entries[index];
1095             } else {
1096                 av_log(mxf->fc, AV_LOG_ERROR, "IndexSID %i segment at %"PRId64" missing EditUnitByteCount and IndexEntryArray\n",
1097                        index_table->index_sid, s->index_start_position);
1098                 return AVERROR_INVALIDDATA;
1099             }
1100
1101             if (edit_unit_out)
1102                 *edit_unit_out = edit_unit;
1103
1104             return mxf_absolute_bodysid_offset(mxf, index_table->body_sid, offset_temp, offset_out);
1105         } else {
1106             /* EditUnitByteCount == 0 for VBR indexes, which is fine since they use explicit StreamOffsets */
1107             offset_temp += s->edit_unit_byte_count * s->index_duration;
1108         }
1109     }
1110
1111     if (nag)
1112         av_log(mxf->fc, AV_LOG_ERROR, "failed to map EditUnit %"PRId64" in IndexSID %i to an offset\n", edit_unit, index_table->index_sid);
1113
1114     return AVERROR_INVALIDDATA;
1115 }
1116
1117 static int mxf_compute_ptses_fake_index(MXFContext *mxf, MXFIndexTable *index_table)
1118 {
1119     int i, j, x;
1120     int8_t max_temporal_offset = -128;
1121
1122     /* first compute how many entries we have */
1123     for (i = 0; i < index_table->nb_segments; i++) {
1124         MXFIndexTableSegment *s = index_table->segments[i];
1125
1126         if (!s->nb_index_entries) {
1127             index_table->nb_ptses = 0;
1128             return 0;                               /* no TemporalOffsets */
1129         }
1130
1131         index_table->nb_ptses += s->index_duration;
1132     }
1133
1134     /* paranoid check */
1135     if (index_table->nb_ptses <= 0)
1136         return 0;
1137
1138     if (!(index_table->ptses      = av_calloc(index_table->nb_ptses, sizeof(int64_t))) ||
1139         !(index_table->fake_index = av_calloc(index_table->nb_ptses, sizeof(AVIndexEntry)))) {
1140         av_freep(&index_table->ptses);
1141         return AVERROR(ENOMEM);
1142     }
1143
1144     /* we may have a few bad TemporalOffsets
1145      * make sure the corresponding PTSes don't have the bogus value 0 */
1146     for (x = 0; x < index_table->nb_ptses; x++)
1147         index_table->ptses[x] = AV_NOPTS_VALUE;
1148
1149     /**
1150      * We have this:
1151      *
1152      * x  TemporalOffset
1153      * 0:  0
1154      * 1:  1
1155      * 2:  1
1156      * 3: -2
1157      * 4:  1
1158      * 5:  1
1159      * 6: -2
1160      *
1161      * We want to transform it into this:
1162      *
1163      * x  DTS PTS
1164      * 0: -1   0
1165      * 1:  0   3
1166      * 2:  1   1
1167      * 3:  2   2
1168      * 4:  3   6
1169      * 5:  4   4
1170      * 6:  5   5
1171      *
1172      * We do this by bucket sorting x by x+TemporalOffset[x] into mxf->ptses,
1173      * then settings mxf->first_dts = -max(TemporalOffset[x]).
1174      * The latter makes DTS <= PTS.
1175      */
1176     for (i = x = 0; i < index_table->nb_segments; i++) {
1177         MXFIndexTableSegment *s = index_table->segments[i];
1178         int index_delta = 1;
1179         int n = s->nb_index_entries;
1180
1181         if (s->nb_index_entries == 2 * s->index_duration + 1) {
1182             index_delta = 2;    /* Avid index */
1183             /* ignore the last entry - it's the size of the essence container */
1184             n--;
1185         }
1186
1187         for (j = 0; j < n; j += index_delta, x++) {
1188             int offset = s->temporal_offset_entries[j] / index_delta;
1189             int index  = x + offset;
1190
1191             if (x >= index_table->nb_ptses) {
1192                 av_log(mxf->fc, AV_LOG_ERROR,
1193                        "x >= nb_ptses - IndexEntryCount %i < IndexDuration %"PRId64"?\n",
1194                        s->nb_index_entries, s->index_duration);
1195                 break;
1196             }
1197
1198             index_table->fake_index[x].timestamp = x;
1199             index_table->fake_index[x].flags = !(s->flag_entries[j] & 0x30) ? AVINDEX_KEYFRAME : 0;
1200
1201             if (index < 0 || index >= index_table->nb_ptses) {
1202                 av_log(mxf->fc, AV_LOG_ERROR,
1203                        "index entry %i + TemporalOffset %i = %i, which is out of bounds\n",
1204                        x, offset, index);
1205                 continue;
1206             }
1207
1208             index_table->ptses[index] = x;
1209             max_temporal_offset = FFMAX(max_temporal_offset, offset);
1210         }
1211     }
1212
1213     index_table->first_dts = -max_temporal_offset;
1214
1215     return 0;
1216 }
1217
1218 /**
1219  * Sorts and collects index table segments into index tables.
1220  * Also computes PTSes if possible.
1221  */
1222 static int mxf_compute_index_tables(MXFContext *mxf)
1223 {
1224     int i, j, k, ret, nb_sorted_segments;
1225     MXFIndexTableSegment **sorted_segments = NULL;
1226
1227     if ((ret = mxf_get_sorted_table_segments(mxf, &nb_sorted_segments, &sorted_segments)) ||
1228         nb_sorted_segments <= 0) {
1229         av_log(mxf->fc, AV_LOG_WARNING, "broken or empty index\n");
1230         return 0;
1231     }
1232
1233     /* sanity check and count unique BodySIDs/IndexSIDs */
1234     for (i = 0; i < nb_sorted_segments; i++) {
1235         if (i == 0 || sorted_segments[i-1]->index_sid != sorted_segments[i]->index_sid)
1236             mxf->nb_index_tables++;
1237         else if (sorted_segments[i-1]->body_sid != sorted_segments[i]->body_sid) {
1238             av_log(mxf->fc, AV_LOG_ERROR, "found inconsistent BodySID\n");
1239             ret = AVERROR_INVALIDDATA;
1240             goto finish_decoding_index;
1241         }
1242     }
1243
1244     if (!(mxf->index_tables = av_calloc(mxf->nb_index_tables, sizeof(MXFIndexTable)))) {
1245         av_log(mxf->fc, AV_LOG_ERROR, "failed to allocate index tables\n");
1246         ret = AVERROR(ENOMEM);
1247         goto finish_decoding_index;
1248     }
1249
1250     /* distribute sorted segments to index tables */
1251     for (i = j = 0; i < nb_sorted_segments; i++) {
1252         if (i != 0 && sorted_segments[i-1]->index_sid != sorted_segments[i]->index_sid) {
1253             /* next IndexSID */
1254             j++;
1255         }
1256
1257         mxf->index_tables[j].nb_segments++;
1258     }
1259
1260     for (i = j = 0; j < mxf->nb_index_tables; i += mxf->index_tables[j++].nb_segments) {
1261         MXFIndexTable *t = &mxf->index_tables[j];
1262
1263         if (!(t->segments = av_calloc(t->nb_segments, sizeof(MXFIndexTableSegment*)))) {
1264             av_log(mxf->fc, AV_LOG_ERROR, "failed to allocate IndexTableSegment pointer array\n");
1265             ret = AVERROR(ENOMEM);
1266             goto finish_decoding_index;
1267         }
1268
1269         if (sorted_segments[i]->index_start_position)
1270             av_log(mxf->fc, AV_LOG_WARNING, "IndexSID %i starts at EditUnit %"PRId64" - seeking may not work as expected\n",
1271                    sorted_segments[i]->index_sid, sorted_segments[i]->index_start_position);
1272
1273         memcpy(t->segments, &sorted_segments[i], t->nb_segments * sizeof(MXFIndexTableSegment*));
1274         t->index_sid = sorted_segments[i]->index_sid;
1275         t->body_sid = sorted_segments[i]->body_sid;
1276
1277         if ((ret = mxf_compute_ptses_fake_index(mxf, t)) < 0)
1278             goto finish_decoding_index;
1279
1280         /* fix zero IndexDurations */
1281         for (k = 0; k < t->nb_segments; k++) {
1282             if (t->segments[k]->index_duration)
1283                 continue;
1284
1285             if (t->nb_segments > 1)
1286                 av_log(mxf->fc, AV_LOG_WARNING, "IndexSID %i segment %i has zero IndexDuration and there's more than one segment\n",
1287                        t->index_sid, k);
1288
1289             if (mxf->fc->nb_streams <= 0) {
1290                 av_log(mxf->fc, AV_LOG_WARNING, "no streams?\n");
1291                 break;
1292             }
1293
1294             /* assume the first stream's duration is reasonable
1295              * leave index_duration = 0 on further segments in case we have any (unlikely)
1296              */
1297             t->segments[k]->index_duration = mxf->fc->streams[0]->duration;
1298             break;
1299         }
1300     }
1301
1302     ret = 0;
1303 finish_decoding_index:
1304     av_free(sorted_segments);
1305     return ret;
1306 }
1307
1308 static int mxf_is_intra_only(MXFDescriptor *descriptor)
1309 {
1310     return mxf_get_codec_ul(mxf_intra_only_essence_container_uls,
1311                             &descriptor->essence_container_ul)->id != AV_CODEC_ID_NONE ||
1312            mxf_get_codec_ul(mxf_intra_only_picture_essence_coding_uls,
1313                             &descriptor->essence_codec_ul)->id     != AV_CODEC_ID_NONE;
1314 }
1315
1316 static int mxf_add_timecode_metadata(AVDictionary **pm, const char *key, AVTimecode *tc)
1317 {
1318     char buf[AV_TIMECODE_STR_SIZE];
1319     av_dict_set(pm, key, av_timecode_make_string(tc, buf, 0), 0);
1320
1321     return 0;
1322 }
1323
1324 static int mxf_parse_structural_metadata(MXFContext *mxf)
1325 {
1326     MXFPackage *material_package = NULL;
1327     MXFPackage *temp_package = NULL;
1328     int i, j, k, ret;
1329
1330     av_dlog(mxf->fc, "metadata sets count %d\n", mxf->metadata_sets_count);
1331     /* TODO: handle multiple material packages (OP3x) */
1332     for (i = 0; i < mxf->packages_count; i++) {
1333         material_package = mxf_resolve_strong_ref(mxf, &mxf->packages_refs[i], MaterialPackage);
1334         if (material_package) break;
1335     }
1336     if (!material_package) {
1337         av_log(mxf->fc, AV_LOG_ERROR, "no material package found\n");
1338         return AVERROR_INVALIDDATA;
1339     }
1340
1341     for (i = 0; i < material_package->tracks_count; i++) {
1342         MXFPackage *source_package = NULL;
1343         MXFTrack *material_track = NULL;
1344         MXFTrack *source_track = NULL;
1345         MXFTrack *temp_track = NULL;
1346         MXFDescriptor *descriptor = NULL;
1347         MXFStructuralComponent *component = NULL;
1348         MXFTimecodeComponent *mxf_tc = NULL;
1349         UID *essence_container_ul = NULL;
1350         const MXFCodecUL *codec_ul = NULL;
1351         const MXFCodecUL *container_ul = NULL;
1352         const MXFCodecUL *pix_fmt_ul = NULL;
1353         AVStream *st;
1354         AVTimecode tc;
1355         int flags;
1356
1357         if (!(material_track = mxf_resolve_strong_ref(mxf, &material_package->tracks_refs[i], Track))) {
1358             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve material track strong ref\n");
1359             continue;
1360         }
1361
1362         if ((component = mxf_resolve_strong_ref(mxf, &material_track->sequence_ref, TimecodeComponent))) {
1363             mxf_tc = (MXFTimecodeComponent*)component;
1364             flags = mxf_tc->drop_frame == 1 ? AV_TIMECODE_FLAG_DROPFRAME : 0;
1365             if (av_timecode_init(&tc, mxf_tc->rate, flags, mxf_tc->start_frame, mxf->fc) == 0) {
1366                 mxf_add_timecode_metadata(&mxf->fc->metadata, "timecode", &tc);
1367             }
1368         }
1369
1370         if (!(material_track->sequence = mxf_resolve_strong_ref(mxf, &material_track->sequence_ref, Sequence))) {
1371             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve material track sequence strong ref\n");
1372             continue;
1373         }
1374
1375         for (j = 0; j < material_track->sequence->structural_components_count; j++) {
1376             component = mxf_resolve_strong_ref(mxf, &material_track->sequence->structural_components_refs[j], TimecodeComponent);
1377             if (!component)
1378                 continue;
1379
1380             mxf_tc = (MXFTimecodeComponent*)component;
1381             flags = mxf_tc->drop_frame == 1 ? AV_TIMECODE_FLAG_DROPFRAME : 0;
1382             if (av_timecode_init(&tc, mxf_tc->rate, flags, mxf_tc->start_frame, mxf->fc) == 0) {
1383                 mxf_add_timecode_metadata(&mxf->fc->metadata, "timecode", &tc);
1384                 break;
1385             }
1386         }
1387
1388         /* TODO: handle multiple source clips */
1389         for (j = 0; j < material_track->sequence->structural_components_count; j++) {
1390             component = mxf_resolve_strong_ref(mxf, &material_track->sequence->structural_components_refs[j], SourceClip);
1391             if (!component)
1392                 continue;
1393
1394             for (k = 0; k < mxf->packages_count; k++) {
1395                 temp_package = mxf_resolve_strong_ref(mxf, &mxf->packages_refs[k], SourcePackage);
1396                 if (!temp_package)
1397                     continue;
1398                 if (!memcmp(temp_package->package_uid, component->source_package_uid, 16)) {
1399                     source_package = temp_package;
1400                     break;
1401                 }
1402             }
1403             if (!source_package) {
1404                 av_dlog(mxf->fc, "material track %d: no corresponding source package found\n", material_track->track_id);
1405                 break;
1406             }
1407             for (k = 0; k < source_package->tracks_count; k++) {
1408                 if (!(temp_track = mxf_resolve_strong_ref(mxf, &source_package->tracks_refs[k], Track))) {
1409                     av_log(mxf->fc, AV_LOG_ERROR, "could not resolve source track strong ref\n");
1410                     ret = AVERROR_INVALIDDATA;
1411                     goto fail_and_free;
1412                 }
1413                 if (temp_track->track_id == component->source_track_id) {
1414                     source_track = temp_track;
1415                     break;
1416                 }
1417             }
1418             if (!source_track) {
1419                 av_log(mxf->fc, AV_LOG_ERROR, "material track %d: no corresponding source track found\n", material_track->track_id);
1420                 break;
1421             }
1422         }
1423         if (!source_track || !component)
1424             continue;
1425
1426         if (!(source_track->sequence = mxf_resolve_strong_ref(mxf, &source_track->sequence_ref, Sequence))) {
1427             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve source track sequence strong ref\n");
1428             ret = AVERROR_INVALIDDATA;
1429             goto fail_and_free;
1430         }
1431
1432         /* 0001GL00.MXF.A1.mxf_opatom.mxf has the same SourcePackageID as 0001GL.MXF.V1.mxf_opatom.mxf
1433          * This would result in both files appearing to have two streams. Work around this by sanity checking DataDefinition */
1434         if (memcmp(material_track->sequence->data_definition_ul, source_track->sequence->data_definition_ul, 16)) {
1435             av_log(mxf->fc, AV_LOG_ERROR, "material track %d: DataDefinition mismatch\n", material_track->track_id);
1436             continue;
1437         }
1438
1439         st = avformat_new_stream(mxf->fc, NULL);
1440         if (!st) {
1441             av_log(mxf->fc, AV_LOG_ERROR, "could not allocate stream\n");
1442             ret = AVERROR(ENOMEM);
1443             goto fail_and_free;
1444         }
1445         st->id = source_track->track_id;
1446         st->priv_data = source_track;
1447         source_track->original_duration = st->duration = component->duration;
1448         if (st->duration == -1)
1449             st->duration = AV_NOPTS_VALUE;
1450         st->start_time = component->start_position;
1451         if (material_track->edit_rate.num <= 0 || material_track->edit_rate.den <= 0) {
1452             av_log(mxf->fc, AV_LOG_WARNING,
1453                    "invalid edit rate (%d/%d) found on stream #%d, defaulting to 25/1\n",
1454                    material_track->edit_rate.num, material_track->edit_rate.den, st->index);
1455             material_track->edit_rate = (AVRational){25, 1};
1456         }
1457         avpriv_set_pts_info(st, 64, material_track->edit_rate.den, material_track->edit_rate.num);
1458
1459         /* ensure SourceTrack EditRate == MaterialTrack EditRate since only the former is accessible via st->priv_data */
1460         source_track->edit_rate = material_track->edit_rate;
1461
1462         PRINT_KEY(mxf->fc, "data definition   ul", source_track->sequence->data_definition_ul);
1463         codec_ul = mxf_get_codec_ul(ff_mxf_data_definition_uls, &source_track->sequence->data_definition_ul);
1464         st->codec->codec_type = codec_ul->id;
1465
1466         source_package->descriptor = mxf_resolve_strong_ref(mxf, &source_package->descriptor_ref, AnyType);
1467         if (source_package->descriptor) {
1468             if (source_package->descriptor->type == MultipleDescriptor) {
1469                 for (j = 0; j < source_package->descriptor->sub_descriptors_count; j++) {
1470                     MXFDescriptor *sub_descriptor = mxf_resolve_strong_ref(mxf, &source_package->descriptor->sub_descriptors_refs[j], Descriptor);
1471
1472                     if (!sub_descriptor) {
1473                         av_log(mxf->fc, AV_LOG_ERROR, "could not resolve sub descriptor strong ref\n");
1474                         continue;
1475                     }
1476                     if (sub_descriptor->linked_track_id == source_track->track_id) {
1477                         descriptor = sub_descriptor;
1478                         break;
1479                     }
1480                 }
1481             } else if (source_package->descriptor->type == Descriptor)
1482                 descriptor = source_package->descriptor;
1483         }
1484         if (!descriptor) {
1485             av_log(mxf->fc, AV_LOG_INFO, "source track %d: stream %d, no descriptor found\n", source_track->track_id, st->index);
1486             continue;
1487         }
1488         PRINT_KEY(mxf->fc, "essence codec     ul", descriptor->essence_codec_ul);
1489         PRINT_KEY(mxf->fc, "essence container ul", descriptor->essence_container_ul);
1490         essence_container_ul = &descriptor->essence_container_ul;
1491         /* HACK: replacing the original key with mxf_encrypted_essence_container
1492          * is not allowed according to s429-6, try to find correct information anyway */
1493         if (IS_KLV_KEY(essence_container_ul, mxf_encrypted_essence_container)) {
1494             av_log(mxf->fc, AV_LOG_INFO, "broken encrypted mxf file\n");
1495             for (k = 0; k < mxf->metadata_sets_count; k++) {
1496                 MXFMetadataSet *metadata = mxf->metadata_sets[k];
1497                 if (metadata->type == CryptoContext) {
1498                     essence_container_ul = &((MXFCryptoContext *)metadata)->source_container_ul;
1499                     break;
1500                 }
1501             }
1502         }
1503
1504         /* TODO: drop PictureEssenceCoding and SoundEssenceCompression, only check EssenceContainer */
1505         codec_ul = mxf_get_codec_ul(ff_mxf_codec_uls, &descriptor->essence_codec_ul);
1506         st->codec->codec_id = (enum AVCodecID)codec_ul->id;
1507         av_log(mxf->fc, AV_LOG_VERBOSE, "%s: Universal Label: ",
1508                avcodec_get_name(st->codec->codec_id));
1509         for (k = 0; k < 16; k++) {
1510             av_log(mxf->fc, AV_LOG_VERBOSE, "%.2x",
1511                    descriptor->essence_codec_ul[k]);
1512             if (!(k+1 & 19) || k == 5)
1513                 av_log(mxf->fc, AV_LOG_VERBOSE, ".");
1514         }
1515         av_log(mxf->fc, AV_LOG_VERBOSE, "\n");
1516         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
1517             source_track->intra_only = mxf_is_intra_only(descriptor);
1518             container_ul = mxf_get_codec_ul(mxf_picture_essence_container_uls, essence_container_ul);
1519             if (st->codec->codec_id == AV_CODEC_ID_NONE)
1520                 st->codec->codec_id = container_ul->id;
1521             st->codec->width = descriptor->width;
1522             st->codec->height = descriptor->height; /* Field height, not frame height */
1523             switch (descriptor->frame_layout) {
1524                 case SegmentedFrame:
1525                     /* This one is a weird layout I don't fully understand. */
1526                     av_log(mxf->fc, AV_LOG_INFO, "SegmentedFrame layout isn't currently supported\n");
1527                     break;
1528                 case FullFrame:
1529                     st->codec->field_order = AV_FIELD_PROGRESSIVE;
1530                     break;
1531                 case OneField:
1532                     /* Every other line is stored and needs to be duplicated. */
1533                     av_log(mxf->fc, AV_LOG_INFO, "OneField frame layout isn't currently supported\n");
1534                     break; /* The correct thing to do here is fall through, but by breaking we might be
1535                               able to decode some streams at half the vertical resolution, rather than not al all.
1536                               It's also for compatibility with the old behavior. */
1537                 case MixedFields:
1538                     break;
1539                 case SeparateFields:
1540                     st->codec->height *= 2; /* Turn field height into frame height. */
1541                     break;
1542                 default:
1543                     av_log(mxf->fc, AV_LOG_INFO, "Unknown frame layout type: %d\n", descriptor->frame_layout);
1544             }
1545             if (st->codec->codec_id == AV_CODEC_ID_RAWVIDEO) {
1546                 st->codec->pix_fmt = descriptor->pix_fmt;
1547                 if (st->codec->pix_fmt == AV_PIX_FMT_NONE) {
1548                     pix_fmt_ul = mxf_get_codec_ul(ff_mxf_pixel_format_uls,
1549                                                   &descriptor->essence_codec_ul);
1550                     st->codec->pix_fmt = (enum AVPixelFormat)pix_fmt_ul->id;
1551                     if (st->codec->pix_fmt == AV_PIX_FMT_NONE) {
1552                         /* support files created before RP224v10 by defaulting to UYVY422
1553                            if subsampling is 4:2:2 and component depth is 8-bit */
1554                         if (descriptor->horiz_subsampling == 2 &&
1555                             descriptor->vert_subsampling == 1 &&
1556                             descriptor->component_depth == 8) {
1557                             st->codec->pix_fmt = AV_PIX_FMT_UYVY422;
1558                         }
1559                     }
1560                 }
1561             }
1562             st->need_parsing = AVSTREAM_PARSE_HEADERS;
1563         } else if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
1564             container_ul = mxf_get_codec_ul(mxf_sound_essence_container_uls, essence_container_ul);
1565             /* Only overwrite existing codec ID if it is unset or A-law, which is the default according to SMPTE RP 224. */
1566             if (st->codec->codec_id == AV_CODEC_ID_NONE || (st->codec->codec_id == AV_CODEC_ID_PCM_ALAW && (enum AVCodecID)container_ul->id != AV_CODEC_ID_NONE))
1567                 st->codec->codec_id = (enum AVCodecID)container_ul->id;
1568             st->codec->channels = descriptor->channels;
1569             st->codec->bits_per_coded_sample = descriptor->bits_per_sample;
1570
1571             if (descriptor->sample_rate.den > 0) {
1572                 st->codec->sample_rate = descriptor->sample_rate.num / descriptor->sample_rate.den;
1573                 avpriv_set_pts_info(st, 64, descriptor->sample_rate.den, descriptor->sample_rate.num);
1574             } else {
1575                 av_log(mxf->fc, AV_LOG_WARNING, "invalid sample rate (%d/%d) "
1576                        "found for stream #%d, time base forced to 1/48000\n",
1577                        descriptor->sample_rate.num, descriptor->sample_rate.den,
1578                        st->index);
1579                 avpriv_set_pts_info(st, 64, 1, 48000);
1580             }
1581
1582             /* if duration is set, rescale it from EditRate to SampleRate */
1583             if (st->duration != AV_NOPTS_VALUE)
1584                 st->duration = av_rescale_q(st->duration, av_inv_q(material_track->edit_rate), st->time_base);
1585
1586             /* TODO: implement AV_CODEC_ID_RAWAUDIO */
1587             if (st->codec->codec_id == AV_CODEC_ID_PCM_S16LE) {
1588                 if (descriptor->bits_per_sample > 16 && descriptor->bits_per_sample <= 24)
1589                     st->codec->codec_id = AV_CODEC_ID_PCM_S24LE;
1590                 else if (descriptor->bits_per_sample == 32)
1591                     st->codec->codec_id = AV_CODEC_ID_PCM_S32LE;
1592             } else if (st->codec->codec_id == AV_CODEC_ID_PCM_S16BE) {
1593                 if (descriptor->bits_per_sample > 16 && descriptor->bits_per_sample <= 24)
1594                     st->codec->codec_id = AV_CODEC_ID_PCM_S24BE;
1595                 else if (descriptor->bits_per_sample == 32)
1596                     st->codec->codec_id = AV_CODEC_ID_PCM_S32BE;
1597             } else if (st->codec->codec_id == AV_CODEC_ID_MP2) {
1598                 st->need_parsing = AVSTREAM_PARSE_FULL;
1599             }
1600         }
1601         if (descriptor->extradata) {
1602             if (!ff_alloc_extradata(st->codec, descriptor->extradata_size)) {
1603                 memcpy(st->codec->extradata, descriptor->extradata, descriptor->extradata_size);
1604             }
1605         } else if(st->codec->codec_id == AV_CODEC_ID_H264) {
1606             ff_generate_avci_extradata(st);
1607         }
1608         if (st->codec->codec_type != AVMEDIA_TYPE_DATA && (*essence_container_ul)[15] > 0x01) {
1609             /* TODO: decode timestamps */
1610             st->need_parsing = AVSTREAM_PARSE_TIMESTAMPS;
1611         }
1612     }
1613
1614     ret = 0;
1615 fail_and_free:
1616     return ret;
1617 }
1618
1619 static int mxf_read_utf16_string(AVIOContext *pb, int size, char** str)
1620 {
1621     int ret;
1622     size_t buf_size;
1623
1624     if (size < 0)
1625         return AVERROR(EINVAL);
1626
1627     buf_size = size + size/2 + 1;
1628     *str = av_malloc(buf_size);
1629     if (!*str)
1630         return AVERROR(ENOMEM);
1631
1632     if ((ret = avio_get_str16be(pb, size, *str, buf_size)) < 0) {
1633         av_freep(str);
1634         return ret;
1635     }
1636
1637     return ret;
1638 }
1639
1640 static int mxf_uid_to_str(UID uid, char **str)
1641 {
1642     int i;
1643     char *p;
1644     p = *str = av_mallocz(sizeof(UID) * 2 + 4 + 1);
1645     if (!p)
1646         return AVERROR(ENOMEM);
1647     for (i = 0; i < sizeof(UID); i++) {
1648         snprintf(p, 2 + 1, "%.2x", uid[i]);
1649         p += 2;
1650         if (i == 3 || i == 5 || i == 7 || i == 9) {
1651             snprintf(p, 1 + 1, "-");
1652             p++;
1653         }
1654     }
1655     return 0;
1656 }
1657
1658 static int mxf_timestamp_to_str(uint64_t timestamp, char **str)
1659 {
1660     struct tm time = {0};
1661     time.tm_year = (timestamp >> 48) - 1900;
1662     time.tm_mon  = (timestamp >> 40 & 0xFF) - 1;
1663     time.tm_mday = (timestamp >> 32 & 0xFF);
1664     time.tm_hour = (timestamp >> 24 & 0xFF);
1665     time.tm_min  = (timestamp >> 16 & 0xFF);
1666     time.tm_sec  = (timestamp >> 8  & 0xFF);
1667
1668     /* ensure month/day are valid */
1669     time.tm_mon  = FFMAX(time.tm_mon, 0);
1670     time.tm_mday = FFMAX(time.tm_mday, 1);
1671
1672     *str = av_mallocz(32);
1673     if (!*str)
1674         return AVERROR(ENOMEM);
1675     strftime(*str, 32, "%Y-%m-%d %H:%M:%S", &time);
1676
1677     return 0;
1678 }
1679
1680 #define SET_STR_METADATA(pb, name, str) do { \
1681     if ((ret = mxf_read_utf16_string(pb, size, &str)) < 0) \
1682         return ret; \
1683     av_dict_set(&s->metadata, name, str, AV_DICT_DONT_STRDUP_VAL); \
1684 } while (0)
1685
1686 #define SET_UID_METADATA(pb, name, var, str) do { \
1687     avio_read(pb, var, 16); \
1688     if ((ret = mxf_uid_to_str(var, &str)) < 0) \
1689         return ret; \
1690     av_dict_set(&s->metadata, name, str, AV_DICT_DONT_STRDUP_VAL); \
1691 } while (0)
1692
1693 #define SET_TS_METADATA(pb, name, var, str) do { \
1694     var = avio_rb64(pb); \
1695     if ((ret = mxf_timestamp_to_str(var, &str)) < 0) \
1696         return ret; \
1697     av_dict_set(&s->metadata, name, str, AV_DICT_DONT_STRDUP_VAL); \
1698 } while (0)
1699
1700 static int mxf_read_identification_metadata(void *arg, AVIOContext *pb, int tag, int size, UID _uid, int64_t klv_offset)
1701 {
1702     MXFContext *mxf = arg;
1703     AVFormatContext *s = mxf->fc;
1704     int ret;
1705     UID uid = { 0 };
1706     char *str = NULL;
1707     uint64_t ts;
1708     switch (tag) {
1709     case 0x3C01:
1710         SET_STR_METADATA(pb, "company_name", str);
1711         break;
1712     case 0x3C02:
1713         SET_STR_METADATA(pb, "product_name", str);
1714         break;
1715     case 0x3C04:
1716         SET_STR_METADATA(pb, "product_version", str);
1717         break;
1718     case 0x3C05:
1719         SET_UID_METADATA(pb, "product_uid", uid, str);
1720         break;
1721     case 0x3C06:
1722         SET_TS_METADATA(pb, "modification_date", ts, str);
1723         break;
1724     case 0x3C08:
1725         SET_STR_METADATA(pb, "application_platform", str);
1726         break;
1727     case 0x3C09:
1728         SET_UID_METADATA(pb, "generation_uid", uid, str);
1729         break;
1730     case 0x3C0A:
1731         SET_UID_METADATA(pb, "uid", uid, str);
1732         break;
1733     }
1734     return 0;
1735 }
1736
1737 static const MXFMetadataReadTableEntry mxf_metadata_read_table[] = {
1738     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x05,0x01,0x00 }, mxf_read_primer_pack },
1739     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x01,0x00 }, mxf_read_partition_pack },
1740     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x02,0x00 }, mxf_read_partition_pack },
1741     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x03,0x00 }, mxf_read_partition_pack },
1742     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x04,0x00 }, mxf_read_partition_pack },
1743     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x01,0x00 }, mxf_read_partition_pack },
1744     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x02,0x00 }, mxf_read_partition_pack },
1745     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x03,0x00 }, mxf_read_partition_pack },
1746     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x04,0x00 }, mxf_read_partition_pack },
1747     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x04,0x02,0x00 }, mxf_read_partition_pack },
1748     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x04,0x04,0x00 }, mxf_read_partition_pack },
1749     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0D,0x01,0x01,0x01,0x01,0x01,0x30,0x00 }, mxf_read_identification_metadata },
1750     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x18,0x00 }, mxf_read_content_storage, 0, AnyType },
1751     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x37,0x00 }, mxf_read_source_package, sizeof(MXFPackage), SourcePackage },
1752     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x36,0x00 }, mxf_read_material_package, sizeof(MXFPackage), MaterialPackage },
1753     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x0F,0x00 }, mxf_read_sequence, sizeof(MXFSequence), Sequence },
1754     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x11,0x00 }, mxf_read_source_clip, sizeof(MXFStructuralComponent), SourceClip },
1755     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x44,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), MultipleDescriptor },
1756     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x42,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* Generic Sound */
1757     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x28,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* CDCI */
1758     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x29,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* RGBA */
1759     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x51,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* MPEG 2 Video */
1760     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x48,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* Wave */
1761     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x47,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* AES3 */
1762     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x3A,0x00 }, mxf_read_track, sizeof(MXFTrack), Track }, /* Static Track */
1763     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x3B,0x00 }, mxf_read_track, sizeof(MXFTrack), Track }, /* Generic Track */
1764     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x14,0x00 }, mxf_read_timecode_component, sizeof(MXFTimecodeComponent), TimecodeComponent },
1765     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x04,0x01,0x02,0x02,0x00,0x00 }, mxf_read_cryptographic_context, sizeof(MXFCryptoContext), CryptoContext },
1766     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x10,0x01,0x00 }, mxf_read_index_table_segment, sizeof(MXFIndexTableSegment), IndexTableSegment },
1767     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 }, NULL, 0, AnyType },
1768 };
1769
1770 static int mxf_read_local_tags(MXFContext *mxf, KLVPacket *klv, MXFMetadataReadFunc *read_child, int ctx_size, enum MXFMetadataSetType type)
1771 {
1772     AVIOContext *pb = mxf->fc->pb;
1773     MXFMetadataSet *ctx = ctx_size ? av_mallocz(ctx_size) : mxf;
1774     uint64_t klv_end = avio_tell(pb) + klv->length;
1775
1776     if (!ctx)
1777         return AVERROR(ENOMEM);
1778     while (avio_tell(pb) + 4 < klv_end && !url_feof(pb)) {
1779         int ret;
1780         int tag = avio_rb16(pb);
1781         int size = avio_rb16(pb); /* KLV specified by 0x53 */
1782         uint64_t next = avio_tell(pb) + size;
1783         UID uid = {0};
1784
1785         av_dlog(mxf->fc, "local tag %#04x size %d\n", tag, size);
1786         if (!size) { /* ignore empty tag, needed for some files with empty UMID tag */
1787             av_log(mxf->fc, AV_LOG_ERROR, "local tag %#04x with 0 size\n", tag);
1788             continue;
1789         }
1790         if (tag > 0x7FFF) { /* dynamic tag */
1791             int i;
1792             for (i = 0; i < mxf->local_tags_count; i++) {
1793                 int local_tag = AV_RB16(mxf->local_tags+i*18);
1794                 if (local_tag == tag) {
1795                     memcpy(uid, mxf->local_tags+i*18+2, 16);
1796                     av_dlog(mxf->fc, "local tag %#04x\n", local_tag);
1797                     PRINT_KEY(mxf->fc, "uid", uid);
1798                 }
1799             }
1800         }
1801         if (ctx_size && tag == 0x3C0A)
1802             avio_read(pb, ctx->uid, 16);
1803         else if ((ret = read_child(ctx, pb, tag, size, uid, -1)) < 0)
1804             return ret;
1805
1806         /* Accept the 64k local set limit being exceeded (Avid). Don't accept
1807          * it extending past the end of the KLV though (zzuf5.mxf). */
1808         if (avio_tell(pb) > klv_end) {
1809             if (ctx_size)
1810                 av_free(ctx);
1811
1812             av_log(mxf->fc, AV_LOG_ERROR,
1813                    "local tag %#04x extends past end of local set @ %#"PRIx64"\n",
1814                    tag, klv->offset);
1815             return AVERROR_INVALIDDATA;
1816         } else if (avio_tell(pb) <= next)   /* only seek forward, else this can loop for a long time */
1817             avio_seek(pb, next, SEEK_SET);
1818     }
1819     if (ctx_size) ctx->type = type;
1820     return ctx_size ? mxf_add_metadata_set(mxf, ctx) : 0;
1821 }
1822
1823 /**
1824  * Seeks to the previous partition, if possible
1825  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1826  */
1827 static int mxf_seek_to_previous_partition(MXFContext *mxf)
1828 {
1829     AVIOContext *pb = mxf->fc->pb;
1830
1831     if (!mxf->current_partition ||
1832         mxf->run_in + mxf->current_partition->previous_partition <= mxf->last_forward_tell)
1833         return 0;   /* we've parsed all partitions */
1834
1835     /* seek to previous partition */
1836     avio_seek(pb, mxf->run_in + mxf->current_partition->previous_partition, SEEK_SET);
1837     mxf->current_partition = NULL;
1838
1839     av_dlog(mxf->fc, "seeking to previous partition\n");
1840
1841     return 1;
1842 }
1843
1844 /**
1845  * Called when essence is encountered
1846  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1847  */
1848 static int mxf_parse_handle_essence(MXFContext *mxf)
1849 {
1850     AVIOContext *pb = mxf->fc->pb;
1851     int64_t ret;
1852
1853     if (mxf->parsing_backward) {
1854         return mxf_seek_to_previous_partition(mxf);
1855     } else {
1856         if (!mxf->footer_partition) {
1857             av_dlog(mxf->fc, "no footer\n");
1858             return 0;
1859         }
1860
1861         av_dlog(mxf->fc, "seeking to footer\n");
1862
1863         /* remember where we were so we don't end up seeking further back than this */
1864         mxf->last_forward_tell = avio_tell(pb);
1865
1866         if (!pb->seekable) {
1867             av_log(mxf->fc, AV_LOG_INFO, "file is not seekable - not parsing footer\n");
1868             return -1;
1869         }
1870
1871         /* seek to footer partition and parse backward */
1872         if ((ret = avio_seek(pb, mxf->run_in + mxf->footer_partition, SEEK_SET)) < 0) {
1873             av_log(mxf->fc, AV_LOG_ERROR, "failed to seek to footer @ 0x%"PRIx64" (%"PRId64") - partial file?\n",
1874                    mxf->run_in + mxf->footer_partition, ret);
1875             return ret;
1876         }
1877
1878         mxf->current_partition = NULL;
1879         mxf->parsing_backward = 1;
1880     }
1881
1882     return 1;
1883 }
1884
1885 /**
1886  * Called when the next partition or EOF is encountered
1887  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1888  */
1889 static int mxf_parse_handle_partition_or_eof(MXFContext *mxf)
1890 {
1891     return mxf->parsing_backward ? mxf_seek_to_previous_partition(mxf) : 1;
1892 }
1893
1894 /**
1895  * Figures out the proper offset and length of the essence container in each partition
1896  */
1897 static void mxf_compute_essence_containers(MXFContext *mxf)
1898 {
1899     int x;
1900
1901     /* everything is already correct */
1902     if (mxf->op == OPAtom)
1903         return;
1904
1905     for (x = 0; x < mxf->partitions_count; x++) {
1906         MXFPartition *p = &mxf->partitions[x];
1907
1908         if (!p->body_sid)
1909             continue;       /* BodySID == 0 -> no essence */
1910
1911         if (x >= mxf->partitions_count - 1)
1912             break;          /* last partition - can't compute length (and we don't need to) */
1913
1914         /* essence container spans to the next partition */
1915         p->essence_length = mxf->partitions[x+1].this_partition - p->essence_offset;
1916
1917         if (p->essence_length < 0) {
1918             /* next ThisPartition < essence_offset */
1919             p->essence_length = 0;
1920             av_log(mxf->fc, AV_LOG_ERROR,
1921                    "partition %i: bad ThisPartition = %"PRIX64"\n",
1922                    x+1, mxf->partitions[x+1].this_partition);
1923         }
1924     }
1925 }
1926
1927 static int64_t round_to_kag(int64_t position, int kag_size)
1928 {
1929     /* TODO: account for run-in? the spec isn't clear whether KAG should account for it */
1930     /* NOTE: kag_size may be any integer between 1 - 2^10 */
1931     int64_t ret = (position / kag_size) * kag_size;
1932     return ret == position ? ret : ret + kag_size;
1933 }
1934
1935 static int is_pcm(enum AVCodecID codec_id)
1936 {
1937     /* we only care about "normal" PCM codecs until we get samples */
1938     return codec_id >= AV_CODEC_ID_PCM_S16LE && codec_id < AV_CODEC_ID_PCM_S24DAUD;
1939 }
1940
1941 /**
1942  * Deal with the case where for some audio atoms EditUnitByteCount is
1943  * very small (2, 4..). In those cases we should read more than one
1944  * sample per call to mxf_read_packet().
1945  */
1946 static void mxf_handle_small_eubc(AVFormatContext *s)
1947 {
1948     MXFContext *mxf = s->priv_data;
1949
1950     /* assuming non-OPAtom == frame wrapped
1951      * no sane writer would wrap 2 byte PCM packets with 20 byte headers.. */
1952     if (mxf->op != OPAtom)
1953         return;
1954
1955     /* expect PCM with exactly one index table segment and a small (< 32) EUBC */
1956     if (s->nb_streams != 1                                     ||
1957         s->streams[0]->codec->codec_type != AVMEDIA_TYPE_AUDIO ||
1958         !is_pcm(s->streams[0]->codec->codec_id)                ||
1959         mxf->nb_index_tables != 1                              ||
1960         mxf->index_tables[0].nb_segments != 1                  ||
1961         mxf->index_tables[0].segments[0]->edit_unit_byte_count >= 32)
1962         return;
1963
1964     /* arbitrarily default to 48 kHz PAL audio frame size */
1965     /* TODO: We could compute this from the ratio between the audio
1966      *       and video edit rates for 48 kHz NTSC we could use the
1967      *       1802-1802-1802-1802-1801 pattern. */
1968     mxf->edit_units_per_packet = 1920;
1969 }
1970
1971 static int mxf_read_header(AVFormatContext *s)
1972 {
1973     MXFContext *mxf = s->priv_data;
1974     KLVPacket klv;
1975     int64_t essence_offset = 0;
1976     int ret;
1977
1978     mxf->last_forward_tell = INT64_MAX;
1979     mxf->edit_units_per_packet = 1;
1980
1981     if (!mxf_read_sync(s->pb, mxf_header_partition_pack_key, 14)) {
1982         av_log(s, AV_LOG_ERROR, "could not find header partition pack key\n");
1983         return AVERROR_INVALIDDATA;
1984     }
1985     avio_seek(s->pb, -14, SEEK_CUR);
1986     mxf->fc = s;
1987     mxf->run_in = avio_tell(s->pb);
1988
1989     while (!url_feof(s->pb)) {
1990         const MXFMetadataReadTableEntry *metadata;
1991
1992         if (klv_read_packet(&klv, s->pb) < 0) {
1993             /* EOF - seek to previous partition or stop */
1994             if(mxf_parse_handle_partition_or_eof(mxf) <= 0)
1995                 break;
1996             else
1997                 continue;
1998         }
1999
2000         PRINT_KEY(s, "read header", klv.key);
2001         av_dlog(s, "size %"PRIu64" offset %#"PRIx64"\n", klv.length, klv.offset);
2002         if (IS_KLV_KEY(klv.key, mxf_encrypted_triplet_key) ||
2003             IS_KLV_KEY(klv.key, mxf_essence_element_key) ||
2004             IS_KLV_KEY(klv.key, mxf_avid_essence_element_key) ||
2005             IS_KLV_KEY(klv.key, mxf_system_item_key)) {
2006
2007             if (!mxf->current_partition) {
2008                 av_log(mxf->fc, AV_LOG_ERROR, "found essence prior to first PartitionPack\n");
2009                 return AVERROR_INVALIDDATA;
2010             }
2011
2012             if (!mxf->current_partition->essence_offset) {
2013                 /* for OP1a we compute essence_offset
2014                  * for OPAtom we point essence_offset after the KL (usually op1a_essence_offset + 20 or 25)
2015                  * TODO: for OP1a we could eliminate this entire if statement, always stopping parsing at op1a_essence_offset
2016                  *       for OPAtom we still need the actual essence_offset though (the KL's length can vary)
2017                  */
2018                 int64_t op1a_essence_offset =
2019                     round_to_kag(mxf->current_partition->this_partition +
2020                                  mxf->current_partition->pack_length,       mxf->current_partition->kag_size) +
2021                     round_to_kag(mxf->current_partition->header_byte_count, mxf->current_partition->kag_size) +
2022                     round_to_kag(mxf->current_partition->index_byte_count,  mxf->current_partition->kag_size);
2023
2024                 if (mxf->op == OPAtom) {
2025                     /* point essence_offset to the actual data
2026                     * OPAtom has all the essence in one big KLV
2027                     */
2028                     mxf->current_partition->essence_offset = avio_tell(s->pb);
2029                     mxf->current_partition->essence_length = klv.length;
2030                 } else {
2031                     /* NOTE: op1a_essence_offset may be less than to klv.offset (C0023S01.mxf)  */
2032                     mxf->current_partition->essence_offset = op1a_essence_offset;
2033                 }
2034             }
2035
2036             if (!essence_offset)
2037                 essence_offset = klv.offset;
2038
2039             /* seek to footer, previous partition or stop */
2040             if (mxf_parse_handle_essence(mxf) <= 0)
2041                 break;
2042             continue;
2043         } else if (!memcmp(klv.key, mxf_header_partition_pack_key, 13) &&
2044                    klv.key[13] >= 2 && klv.key[13] <= 4 && mxf->current_partition) {
2045             /* next partition pack - keep going, seek to previous partition or stop */
2046             if(mxf_parse_handle_partition_or_eof(mxf) <= 0)
2047                 break;
2048             else if (mxf->parsing_backward)
2049                 continue;
2050             /* we're still parsing forward. proceed to parsing this partition pack */
2051         }
2052
2053         for (metadata = mxf_metadata_read_table; metadata->read; metadata++) {
2054             if (IS_KLV_KEY(klv.key, metadata->key)) {
2055                 int res;
2056                 if (klv.key[5] == 0x53) {
2057                     res = mxf_read_local_tags(mxf, &klv, metadata->read, metadata->ctx_size, metadata->type);
2058                 } else {
2059                     uint64_t next = avio_tell(s->pb) + klv.length;
2060                     res = metadata->read(mxf, s->pb, 0, klv.length, klv.key, klv.offset);
2061
2062                     /* only seek forward, else this can loop for a long time */
2063                     if (avio_tell(s->pb) > next) {
2064                         av_log(s, AV_LOG_ERROR, "read past end of KLV @ %#"PRIx64"\n",
2065                                klv.offset);
2066                         return AVERROR_INVALIDDATA;
2067                     }
2068
2069                     avio_seek(s->pb, next, SEEK_SET);
2070                 }
2071                 if (res < 0) {
2072                     av_log(s, AV_LOG_ERROR, "error reading header metadata\n");
2073                     return res;
2074                 }
2075                 break;
2076             }
2077         }
2078         if (!metadata->read)
2079             avio_skip(s->pb, klv.length);
2080     }
2081     /* FIXME avoid seek */
2082     if (!essence_offset)  {
2083         av_log(s, AV_LOG_ERROR, "no essence\n");
2084         return AVERROR_INVALIDDATA;
2085     }
2086     avio_seek(s->pb, essence_offset, SEEK_SET);
2087
2088     mxf_compute_essence_containers(mxf);
2089
2090     /* we need to do this before computing the index tables
2091      * to be able to fill in zero IndexDurations with st->duration */
2092     if ((ret = mxf_parse_structural_metadata(mxf)) < 0)
2093         goto fail;
2094
2095     if ((ret = mxf_compute_index_tables(mxf)) < 0)
2096         goto fail;
2097
2098     if (mxf->nb_index_tables > 1) {
2099         /* TODO: look up which IndexSID to use via EssenceContainerData */
2100         av_log(mxf->fc, AV_LOG_INFO, "got %i index tables - only the first one (IndexSID %i) will be used\n",
2101                mxf->nb_index_tables, mxf->index_tables[0].index_sid);
2102     } else if (mxf->nb_index_tables == 0 && mxf->op == OPAtom) {
2103         av_log(mxf->fc, AV_LOG_ERROR, "cannot demux OPAtom without an index\n");
2104         ret = AVERROR_INVALIDDATA;
2105         goto fail;
2106     }
2107
2108     mxf_handle_small_eubc(s);
2109
2110     return 0;
2111 fail:
2112     mxf_read_close(s);
2113
2114     return ret;
2115 }
2116
2117 /**
2118  * Sets mxf->current_edit_unit based on what offset we're currently at.
2119  * @return next_ofs if OK, <0 on error
2120  */
2121 static int64_t mxf_set_current_edit_unit(MXFContext *mxf, int64_t current_offset)
2122 {
2123     int64_t last_ofs = -1, next_ofs = -1;
2124     MXFIndexTable *t = &mxf->index_tables[0];
2125
2126     /* this is called from the OP1a demuxing logic, which means there
2127      * may be no index tables */
2128     if (mxf->nb_index_tables <= 0)
2129         return -1;
2130
2131     /* find mxf->current_edit_unit so that the next edit unit starts ahead of current_offset */
2132     while (mxf->current_edit_unit >= 0) {
2133         if (mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit + 1, NULL, &next_ofs, 0) < 0)
2134             return -1;
2135
2136         if (next_ofs <= last_ofs) {
2137             /* large next_ofs didn't change or current_edit_unit wrapped
2138              * around this fixes the infinite loop on zzuf3.mxf */
2139             av_log(mxf->fc, AV_LOG_ERROR,
2140                    "next_ofs didn't change. not deriving packet timestamps\n");
2141             return -1;
2142         }
2143
2144         if (next_ofs > current_offset)
2145             break;
2146
2147         last_ofs = next_ofs;
2148         mxf->current_edit_unit++;
2149     }
2150
2151     /* not checking mxf->current_edit_unit >= t->nb_ptses here since CBR files may lack IndexEntryArrays */
2152     if (mxf->current_edit_unit < 0)
2153         return -1;
2154
2155     return next_ofs;
2156 }
2157
2158 static int mxf_compute_sample_count(MXFContext *mxf, int stream_index, uint64_t *sample_count)
2159 {
2160     int i, total = 0, size = 0;
2161     AVStream *st = mxf->fc->streams[stream_index];
2162     MXFTrack *track = st->priv_data;
2163     AVRational time_base = av_inv_q(track->edit_rate);
2164     AVRational sample_rate = av_inv_q(st->time_base);
2165     const MXFSamplesPerFrame *spf = NULL;
2166
2167     if ((sample_rate.num / sample_rate.den) == 48000)
2168         spf = ff_mxf_get_samples_per_frame(mxf->fc, time_base);
2169     if (!spf) {
2170         int remainder = (sample_rate.num * time_base.num) % (time_base.den * sample_rate.den);
2171         *sample_count = av_q2d(av_mul_q((AVRational){mxf->current_edit_unit, 1},
2172                                         av_mul_q(sample_rate, time_base)));
2173         if (remainder)
2174             av_log(mxf->fc, AV_LOG_WARNING,
2175                    "seeking detected on stream #%d with time base (%d/%d) and sample rate (%d/%d), audio pts won't be accurate.\n",
2176                    stream_index, time_base.num, time_base.den, sample_rate.num, sample_rate.den);
2177         return 0;
2178     }
2179
2180     while (spf->samples_per_frame[size]) {
2181         total += spf->samples_per_frame[size];
2182         size++;
2183     }
2184
2185     av_assert2(size);
2186
2187     *sample_count = (mxf->current_edit_unit / size) * (uint64_t)total;
2188     for (i = 0; i < mxf->current_edit_unit % size; i++) {
2189         *sample_count += spf->samples_per_frame[i];
2190     }
2191
2192     return 0;
2193 }
2194
2195 static int mxf_set_audio_pts(MXFContext *mxf, AVCodecContext *codec, AVPacket *pkt)
2196 {
2197     MXFTrack *track = mxf->fc->streams[pkt->stream_index]->priv_data;
2198     pkt->pts = track->sample_count;
2199     if (   codec->channels <= 0
2200         || av_get_bits_per_sample(codec->codec_id) <= 0
2201         || codec->channels * (int64_t)av_get_bits_per_sample(codec->codec_id) < 8)
2202         return AVERROR(EINVAL);
2203     track->sample_count += pkt->size / (codec->channels * (int64_t)av_get_bits_per_sample(codec->codec_id) / 8);
2204     return 0;
2205 }
2206
2207 static int mxf_read_packet_old(AVFormatContext *s, AVPacket *pkt)
2208 {
2209     KLVPacket klv;
2210     MXFContext *mxf = s->priv_data;
2211
2212     while (klv_read_packet(&klv, s->pb) == 0) {
2213         int ret;
2214         PRINT_KEY(s, "read packet", klv.key);
2215         av_dlog(s, "size %"PRIu64" offset %#"PRIx64"\n", klv.length, klv.offset);
2216         if (IS_KLV_KEY(klv.key, mxf_encrypted_triplet_key)) {
2217             ret = mxf_decrypt_triplet(s, pkt, &klv);
2218             if (ret < 0) {
2219                 av_log(s, AV_LOG_ERROR, "invalid encoded triplet\n");
2220                 return AVERROR_INVALIDDATA;
2221             }
2222             return 0;
2223         }
2224         if (IS_KLV_KEY(klv.key, mxf_essence_element_key) ||
2225             IS_KLV_KEY(klv.key, mxf_avid_essence_element_key)) {
2226             int index = mxf_get_stream_index(s, &klv);
2227             int64_t next_ofs, next_klv;
2228             AVStream *st;
2229             MXFTrack *track;
2230             AVCodecContext *codec;
2231
2232             if (index < 0) {
2233                 av_log(s, AV_LOG_ERROR, "error getting stream index %d\n", AV_RB32(klv.key+12));
2234                 goto skip;
2235             }
2236
2237             st = s->streams[index];
2238             track = st->priv_data;
2239
2240             if (s->streams[index]->discard == AVDISCARD_ALL)
2241                 goto skip;
2242
2243             next_klv = avio_tell(s->pb) + klv.length;
2244             next_ofs = mxf_set_current_edit_unit(mxf, klv.offset);
2245
2246             if (next_ofs >= 0 && next_klv > next_ofs) {
2247                 /* if this check is hit then it's possible OPAtom was treated as OP1a
2248                  * truncate the packet since it's probably very large (>2 GiB is common) */
2249                 avpriv_request_sample(s,
2250                                       "OPAtom misinterpreted as OP1a?"
2251                                       "KLV for edit unit %i extending into "
2252                                       "next edit unit",
2253                                       mxf->current_edit_unit);
2254                 klv.length = next_ofs - avio_tell(s->pb);
2255             }
2256
2257             /* check for 8 channels AES3 element */
2258             if (klv.key[12] == 0x06 && klv.key[13] == 0x01 && klv.key[14] == 0x10) {
2259                 if (mxf_get_d10_aes3_packet(s->pb, s->streams[index], pkt, klv.length) < 0) {
2260                     av_log(s, AV_LOG_ERROR, "error reading D-10 aes3 frame\n");
2261                     return AVERROR_INVALIDDATA;
2262                 }
2263             } else {
2264                 ret = av_get_packet(s->pb, pkt, klv.length);
2265                 if (ret < 0)
2266                     return ret;
2267             }
2268             pkt->stream_index = index;
2269             pkt->pos = klv.offset;
2270
2271             codec = s->streams[index]->codec;
2272             if (codec->codec_type == AVMEDIA_TYPE_VIDEO && next_ofs >= 0) {
2273                 /* mxf->current_edit_unit good - see if we have an index table to derive timestamps from */
2274                 MXFIndexTable *t = &mxf->index_tables[0];
2275
2276                 if (mxf->nb_index_tables >= 1 && mxf->current_edit_unit < t->nb_ptses) {
2277                     pkt->dts = mxf->current_edit_unit + t->first_dts;
2278                     pkt->pts = t->ptses[mxf->current_edit_unit];
2279                 } else if (track->intra_only) {
2280                     /* intra-only -> PTS = EditUnit.
2281                      * let utils.c figure out DTS since it can be < PTS if low_delay = 0 (Sony IMX30) */
2282                     pkt->pts = mxf->current_edit_unit;
2283                 }
2284             } else if (codec->codec_type == AVMEDIA_TYPE_AUDIO) {
2285                 int ret = mxf_set_audio_pts(mxf, codec, pkt);
2286                 if (ret < 0)
2287                     return ret;
2288             }
2289
2290             /* seek for truncated packets */
2291             avio_seek(s->pb, next_klv, SEEK_SET);
2292
2293             return 0;
2294         } else
2295         skip:
2296             avio_skip(s->pb, klv.length);
2297     }
2298     return url_feof(s->pb) ? AVERROR_EOF : -1;
2299 }
2300
2301 static int mxf_read_packet(AVFormatContext *s, AVPacket *pkt)
2302 {
2303     MXFContext *mxf = s->priv_data;
2304     int ret, size;
2305     int64_t ret64, pos, next_pos;
2306     AVStream *st;
2307     MXFIndexTable *t;
2308     int edit_units;
2309
2310     if (mxf->op != OPAtom)
2311         return mxf_read_packet_old(s, pkt);
2312
2313     /* OPAtom - clip wrapped demuxing */
2314     /* NOTE: mxf_read_header() makes sure nb_index_tables > 0 for OPAtom */
2315     st = s->streams[0];
2316     t = &mxf->index_tables[0];
2317
2318     if (mxf->current_edit_unit >= st->duration)
2319         return AVERROR_EOF;
2320
2321     edit_units = FFMIN(mxf->edit_units_per_packet, st->duration - mxf->current_edit_unit);
2322
2323     if ((ret = mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit, NULL, &pos, 1)) < 0)
2324         return ret;
2325
2326     /* compute size by finding the next edit unit or the end of the essence container
2327      * not pretty, but it works */
2328     if ((ret = mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit + edit_units, NULL, &next_pos, 0)) < 0 &&
2329         (next_pos = mxf_essence_container_end(mxf, t->body_sid)) <= 0) {
2330         av_log(s, AV_LOG_ERROR, "unable to compute the size of the last packet\n");
2331         return AVERROR_INVALIDDATA;
2332     }
2333
2334     if ((size = next_pos - pos) <= 0) {
2335         av_log(s, AV_LOG_ERROR, "bad size: %i\n", size);
2336         return AVERROR_INVALIDDATA;
2337     }
2338
2339     if ((ret64 = avio_seek(s->pb, pos, SEEK_SET)) < 0)
2340         return ret64;
2341
2342     if ((size = av_get_packet(s->pb, pkt, size)) < 0)
2343         return size;
2344
2345     pkt->stream_index = 0;
2346
2347     if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO && t->ptses &&
2348         mxf->current_edit_unit >= 0 && mxf->current_edit_unit < t->nb_ptses) {
2349         pkt->dts = mxf->current_edit_unit + t->first_dts;
2350         pkt->pts = t->ptses[mxf->current_edit_unit];
2351     } else if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
2352         int ret = mxf_set_audio_pts(mxf, st->codec, pkt);
2353         if (ret < 0)
2354             return ret;
2355     }
2356
2357     mxf->current_edit_unit += edit_units;
2358
2359     return 0;
2360 }
2361
2362 static int mxf_read_close(AVFormatContext *s)
2363 {
2364     MXFContext *mxf = s->priv_data;
2365     MXFIndexTableSegment *seg;
2366     int i;
2367
2368     av_freep(&mxf->packages_refs);
2369
2370     for (i = 0; i < s->nb_streams; i++)
2371         s->streams[i]->priv_data = NULL;
2372
2373     for (i = 0; i < mxf->metadata_sets_count; i++) {
2374         switch (mxf->metadata_sets[i]->type) {
2375         case Descriptor:
2376             av_freep(&((MXFDescriptor *)mxf->metadata_sets[i])->extradata);
2377             break;
2378         case MultipleDescriptor:
2379             av_freep(&((MXFDescriptor *)mxf->metadata_sets[i])->sub_descriptors_refs);
2380             break;
2381         case Sequence:
2382             av_freep(&((MXFSequence *)mxf->metadata_sets[i])->structural_components_refs);
2383             break;
2384         case SourcePackage:
2385         case MaterialPackage:
2386             av_freep(&((MXFPackage *)mxf->metadata_sets[i])->tracks_refs);
2387             break;
2388         case IndexTableSegment:
2389             seg = (MXFIndexTableSegment *)mxf->metadata_sets[i];
2390             av_freep(&seg->temporal_offset_entries);
2391             av_freep(&seg->flag_entries);
2392             av_freep(&seg->stream_offset_entries);
2393             break;
2394         default:
2395             break;
2396         }
2397         av_freep(&mxf->metadata_sets[i]);
2398     }
2399     av_freep(&mxf->partitions);
2400     av_freep(&mxf->metadata_sets);
2401     av_freep(&mxf->aesc);
2402     av_freep(&mxf->local_tags);
2403
2404     if (mxf->index_tables) {
2405         for (i = 0; i < mxf->nb_index_tables; i++) {
2406             av_freep(&mxf->index_tables[i].segments);
2407             av_freep(&mxf->index_tables[i].ptses);
2408             av_freep(&mxf->index_tables[i].fake_index);
2409         }
2410     }
2411     av_freep(&mxf->index_tables);
2412
2413     return 0;
2414 }
2415
2416 static int mxf_probe(AVProbeData *p) {
2417     const uint8_t *bufp = p->buf;
2418     const uint8_t *end = p->buf + p->buf_size;
2419
2420     if (p->buf_size < sizeof(mxf_header_partition_pack_key))
2421         return 0;
2422
2423     /* Must skip Run-In Sequence and search for MXF header partition pack key SMPTE 377M 5.5 */
2424     end -= sizeof(mxf_header_partition_pack_key);
2425     for (; bufp < end; bufp++) {
2426         if (IS_KLV_KEY(bufp, mxf_header_partition_pack_key))
2427             return AVPROBE_SCORE_MAX;
2428     }
2429     return 0;
2430 }
2431
2432 /* rudimentary byte seek */
2433 /* XXX: use MXF Index */
2434 static int mxf_read_seek(AVFormatContext *s, int stream_index, int64_t sample_time, int flags)
2435 {
2436     AVStream *st = s->streams[stream_index];
2437     int64_t seconds;
2438     MXFContext* mxf = s->priv_data;
2439     int64_t seekpos;
2440     int i, ret;
2441     int64_t ret64;
2442     MXFIndexTable *t;
2443     MXFTrack *source_track = st->priv_data;
2444
2445     /* if audio then truncate sample_time to EditRate */
2446     if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO)
2447         sample_time = av_rescale_q(sample_time, st->time_base, av_inv_q(source_track->edit_rate));
2448
2449     if (mxf->nb_index_tables <= 0) {
2450     if (!s->bit_rate)
2451         return AVERROR_INVALIDDATA;
2452     if (sample_time < 0)
2453         sample_time = 0;
2454     seconds = av_rescale(sample_time, st->time_base.num, st->time_base.den);
2455
2456     if ((ret64 = avio_seek(s->pb, (s->bit_rate * seconds) >> 3, SEEK_SET)) < 0)
2457         return ret64;
2458     ff_update_cur_dts(s, st, sample_time);
2459     mxf->current_edit_unit = sample_time;
2460     } else {
2461         t = &mxf->index_tables[0];
2462
2463         /* clamp above zero, else ff_index_search_timestamp() returns negative
2464          * this also means we allow seeking before the start */
2465         sample_time = FFMAX(sample_time, 0);
2466
2467         if (t->fake_index) {
2468             /* behave as if we have a proper index */
2469             if ((sample_time = ff_index_search_timestamp(t->fake_index, t->nb_ptses, sample_time, flags)) < 0)
2470                 return sample_time;
2471         } else {
2472             /* no IndexEntryArray (one or more CBR segments)
2473              * make sure we don't seek past the end */
2474             sample_time = FFMIN(sample_time, source_track->original_duration - 1);
2475         }
2476
2477         if ((ret = mxf_edit_unit_absolute_offset(mxf, t, sample_time, &sample_time, &seekpos, 1)) << 0)
2478             return ret;
2479
2480         ff_update_cur_dts(s, st, sample_time);
2481         mxf->current_edit_unit = sample_time;
2482         avio_seek(s->pb, seekpos, SEEK_SET);
2483     }
2484
2485     // Update all tracks sample count
2486     for (i = 0; i < s->nb_streams; i++) {
2487         AVStream *cur_st = s->streams[i];
2488         MXFTrack *cur_track = cur_st->priv_data;
2489         uint64_t current_sample_count = 0;
2490         if (cur_st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
2491             ret = mxf_compute_sample_count(mxf, i, &current_sample_count);
2492             if (ret < 0)
2493                 return ret;
2494
2495             cur_track->sample_count = current_sample_count;
2496         }
2497     }
2498     return 0;
2499 }
2500
2501 AVInputFormat ff_mxf_demuxer = {
2502     .name           = "mxf",
2503     .long_name      = NULL_IF_CONFIG_SMALL("MXF (Material eXchange Format)"),
2504     .priv_data_size = sizeof(MXFContext),
2505     .read_probe     = mxf_probe,
2506     .read_header    = mxf_read_header,
2507     .read_packet    = mxf_read_packet,
2508     .read_close     = mxf_read_close,
2509     .read_seek      = mxf_read_seek,
2510 };