git.sesse.net Git - ffmpeg/blob - libavformat/mxfdec.c

   1 /*
   2  * MXF demuxer.
   3  * Copyright (c) 2006 SmartJog S.A., Baptiste Coudurier <baptiste dot coudurier at smartjog dot com>
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /*
  23  * References
  24  * SMPTE 336M KLV Data Encoding Protocol Using Key-Length-Value
  25  * SMPTE 377M MXF File Format Specifications
  26  * SMPTE 378M Operational Pattern 1a
  27  * SMPTE 379M MXF Generic Container
  28  * SMPTE 381M Mapping MPEG Streams into the MXF Generic Container
  29  * SMPTE 382M Mapping AES3 and Broadcast Wave Audio into the MXF Generic Container
  30  * SMPTE 383M Mapping DV-DIF Data to the MXF Generic Container
  31  *
  32  * Principle
  33  * Search for Track numbers which will identify essence element KLV packets.
  34  * Search for SourcePackage which define tracks which contains Track numbers.
  35  * Material Package contains tracks with reference to SourcePackage tracks.
  36  * Search for Descriptors (Picture, Sound) which contains codec info and parameters.
  37  * Assign Descriptors to correct Tracks.
  38  *
  39  * Metadata reading functions read Local Tags, get InstanceUID(0x3C0A) then add MetaDataSet to MXFContext.
  40  * Metadata parsing resolves Strong References to objects.
  41  *
  42  * Simple demuxer, only OP1A supported and some files might not work at all.
  43  * Only tracks with associated descriptors will be decoded. "Highly Desirable" SMPTE 377M D.1
  44  */
  45
  46 //#define DEBUG
  47
  48 #include "libavutil/aes.h"
  49 #include "libavutil/mathematics.h"
  50 #include "libavcodec/bytestream.h"
  51 #include "libavutil/timecode.h"
  52 #include "avformat.h"
  53 #include "internal.h"
  54 #include "mxf.h"
  55
  56 typedef enum {
  57     Header,
  58     BodyPartition,
  59     Footer
  60 } MXFPartitionType;
  61
  62 typedef enum {
  63     OP1a = 1,
  64     OP1b,
  65     OP1c,
  66     OP2a,
  67     OP2b,
  68     OP2c,
  69     OP3a,
  70     OP3b,
  71     OP3c,
  72     OPAtom,
  73     OPSONYOpt,  /* FATE sample, violates the spec in places */
  74 } MXFOP;
  75
  76 typedef struct {
  77     int closed;
  78     int complete;
  79     MXFPartitionType type;
  80     uint64_t previous_partition;
  81     int index_sid;
  82     int body_sid;
  83     int64_t this_partition;
  84     int64_t essence_offset;         ///< absolute offset of essence
  85     int64_t essence_length;
  86     int32_t kag_size;
  87     int64_t header_byte_count;
  88     int64_t index_byte_count;
  89     int pack_length;
  90 } MXFPartition;
  91
  92 typedef struct {
  93     UID uid;
  94     enum MXFMetadataSetType type;
  95     UID source_container_ul;
  96 } MXFCryptoContext;
  97
  98 typedef struct {
  99     UID uid;
 100     enum MXFMetadataSetType type;
 101     UID source_package_uid;
 102     UID data_definition_ul;
 103     int64_t duration;
 104     int64_t start_position;
 105     int source_track_id;
 106 } MXFStructuralComponent;
 107
 108 typedef struct {
 109     UID uid;
 110     enum MXFMetadataSetType type;
 111     UID data_definition_ul;
 112     UID *structural_components_refs;
 113     int structural_components_count;
 114     int64_t duration;
 115 } MXFSequence;
 116
 117 typedef struct {
 118     UID uid;
 119     enum MXFMetadataSetType type;
 120     int drop_frame;
 121     int start_frame;
 122     struct AVRational rate;
 123     AVTimecode tc;
 124 } MXFTimecodeComponent;
 125
 126 typedef struct {
 127     UID uid;
 128     enum MXFMetadataSetType type;
 129     MXFSequence *sequence; /* mandatory, and only one */
 130     UID sequence_ref;
 131     int track_id;
 132     uint8_t track_number[4];
 133     AVRational edit_rate;
 134     int intra_only;
 135 } MXFTrack;
 136
 137 typedef struct {
 138     UID uid;
 139     enum MXFMetadataSetType type;
 140     UID essence_container_ul;
 141     UID essence_codec_ul;
 142     AVRational sample_rate;
 143     AVRational aspect_ratio;
 144     int width;
 145     int height; /* Field height, not frame height */
 146     int frame_layout; /* See MXFFrameLayout enum */
 147     int channels;
 148     int bits_per_sample;
 149     unsigned int component_depth;
 150     unsigned int horiz_subsampling;
 151     unsigned int vert_subsampling;
 152     UID *sub_descriptors_refs;
 153     int sub_descriptors_count;
 154     int linked_track_id;
 155     uint8_t *extradata;
 156     int extradata_size;
 157     enum PixelFormat pix_fmt;
 158 } MXFDescriptor;
 159
 160 typedef struct {
 161     UID uid;
 162     enum MXFMetadataSetType type;
 163     int edit_unit_byte_count;
 164     int index_sid;
 165     int body_sid;
 166     AVRational index_edit_rate;
 167     uint64_t index_start_position;
 168     uint64_t index_duration;
 169     int8_t *temporal_offset_entries;
 170     int *flag_entries;
 171     uint64_t *stream_offset_entries;
 172     int nb_index_entries;
 173 } MXFIndexTableSegment;
 174
 175 typedef struct {
 176     UID uid;
 177     enum MXFMetadataSetType type;
 178     UID package_uid;
 179     UID *tracks_refs;
 180     int tracks_count;
 181     MXFDescriptor *descriptor; /* only one */
 182     UID descriptor_ref;
 183 } MXFPackage;
 184
 185 typedef struct {
 186     UID uid;
 187     enum MXFMetadataSetType type;
 188 } MXFMetadataSet;
 189
 190 /* decoded index table */
 191 typedef struct {
 192     int index_sid;
 193     int body_sid;
 194     int nb_ptses;               /* number of PTSes or total duration of index */
 195     int64_t first_dts;          /* DTS = EditUnit + first_dts */
 196     int64_t *ptses;             /* maps EditUnit -> PTS */
 197     int nb_segments;
 198     MXFIndexTableSegment **segments;    /* sorted by IndexStartPosition */
 199     AVIndexEntry *fake_index;   /* used for calling ff_index_search_timestamp() */
 200 } MXFIndexTable;
 201
 202 typedef struct {
 203     MXFPartition *partitions;
 204     unsigned partitions_count;
 205     MXFOP op;
 206     UID *packages_refs;
 207     int packages_count;
 208     MXFMetadataSet **metadata_sets;
 209     int metadata_sets_count;
 210     AVFormatContext *fc;
 211     struct AVAES *aesc;
 212     uint8_t *local_tags;
 213     int local_tags_count;
 214     uint64_t footer_partition;
 215     KLVPacket current_klv_data;
 216     int current_klv_index;
 217     int run_in;
 218     MXFPartition *current_partition;
 219     int parsing_backward;
 220     int64_t last_forward_tell;
 221     int last_forward_partition;
 222     int current_edit_unit;
 223     int nb_index_tables;
 224     MXFIndexTable *index_tables;
 225     int edit_units_per_packet;      ///< how many edit units to read at a time (PCM, OPAtom)
 226 } MXFContext;
 227
 228 enum MXFWrappingScheme {
 229     Frame,
 230     Clip,
 231 };
 232
 233 /* NOTE: klv_offset is not set (-1) for local keys */
 234 typedef int MXFMetadataReadFunc(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset);
 235
 236 typedef struct {
 237     const UID key;
 238     MXFMetadataReadFunc *read;
 239     int ctx_size;
 240     enum MXFMetadataSetType type;
 241 } MXFMetadataReadTableEntry;
 242
 243 /* partial keys to match */
 244 static const uint8_t mxf_header_partition_pack_key[]       = { 0x06,0x0e,0x2b,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02 };
 245 static const uint8_t mxf_essence_element_key[]             = { 0x06,0x0e,0x2b,0x34,0x01,0x02,0x01,0x01,0x0d,0x01,0x03,0x01 };
 246 static const uint8_t mxf_avid_essence_element_key[]        = { 0x06,0x0e,0x2b,0x34,0x01,0x02,0x01,0x01,0x0e,0x04,0x03,0x01 };
 247 static const uint8_t mxf_system_item_key[]                 = { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0D,0x01,0x03,0x01,0x04 };
 248 static const uint8_t mxf_klv_key[]                         = { 0x06,0x0e,0x2b,0x34 };
 249 /* complete keys to match */
 250 static const uint8_t mxf_crypto_source_container_ul[]      = { 0x06,0x0e,0x2b,0x34,0x01,0x01,0x01,0x09,0x06,0x01,0x01,0x02,0x02,0x00,0x00,0x00 };
 251 static const uint8_t mxf_encrypted_triplet_key[]           = { 0x06,0x0e,0x2b,0x34,0x02,0x04,0x01,0x07,0x0d,0x01,0x03,0x01,0x02,0x7e,0x01,0x00 };
 252 static const uint8_t mxf_encrypted_essence_container[]     = { 0x06,0x0e,0x2b,0x34,0x04,0x01,0x01,0x07,0x0d,0x01,0x03,0x01,0x02,0x0b,0x01,0x00 };
 253 static const uint8_t mxf_sony_mpeg4_extradata[]            = { 0x06,0x0e,0x2b,0x34,0x04,0x01,0x01,0x01,0x0e,0x06,0x06,0x02,0x02,0x01,0x00,0x00 };
 254
 255 #define IS_KLV_KEY(x, y) (!memcmp(x, y, sizeof(y)))
 256
 257 static int64_t klv_decode_ber_length(AVIOContext *pb)
 258 {
 259     uint64_t size = avio_r8(pb);
 260     if (size & 0x80) { /* long form */
 261         int bytes_num = size & 0x7f;
 262         /* SMPTE 379M 5.3.4 guarantee that bytes_num must not exceed 8 bytes */
 263         if (bytes_num > 8)
 264             return AVERROR_INVALIDDATA;
 265         size = 0;
 266         while (bytes_num--)
 267             size = size << 8 | avio_r8(pb);
 268     }
 269     return size;
 270 }
 271
 272 static int mxf_read_sync(AVIOContext *pb, const uint8_t *key, unsigned size)
 273 {
 274     int i, b;
 275     for (i = 0; i < size && !url_feof(pb); i++) {
 276         b = avio_r8(pb);
 277         if (b == key[0])
 278             i = 0;
 279         else if (b != key[i])
 280             i = -1;
 281     }
 282     return i == size;
 283 }
 284
 285 static int klv_read_packet(KLVPacket *klv, AVIOContext *pb)
 286 {
 287     if (!mxf_read_sync(pb, mxf_klv_key, 4))
 288         return AVERROR_INVALIDDATA;
 289     klv->offset = avio_tell(pb) - 4;
 290     memcpy(klv->key, mxf_klv_key, 4);
 291     avio_read(pb, klv->key + 4, 12);
 292     klv->length = klv_decode_ber_length(pb);
 293     return klv->length == -1 ? -1 : 0;
 294 }
 295
 296 static int mxf_get_stream_index(AVFormatContext *s, KLVPacket *klv)
 297 {
 298     int i;
 299
 300     for (i = 0; i < s->nb_streams; i++) {
 301         MXFTrack *track = s->streams[i]->priv_data;
 302         /* SMPTE 379M 7.3 */
 303         if (!memcmp(klv->key + sizeof(mxf_essence_element_key), track->track_number, sizeof(track->track_number)))
 304             return i;
 305     }
 306     /* return 0 if only one stream, for OP Atom files with 0 as track number */
 307     return s->nb_streams == 1 ? 0 : -1;
 308 }
 309
 310 /* XXX: use AVBitStreamFilter */
 311 static int mxf_get_d10_aes3_packet(AVIOContext *pb, AVStream *st, AVPacket *pkt, int64_t length)
 312 {
 313     const uint8_t *buf_ptr, *end_ptr;
 314     uint8_t *data_ptr;
 315     int i;
 316
 317     if (length > 61444) /* worst case PAL 1920 samples 8 channels */
 318         return AVERROR_INVALIDDATA;
 319     length = av_get_packet(pb, pkt, length);
 320     if (length < 0)
 321         return length;
 322     data_ptr = pkt->data;
 323     end_ptr = pkt->data + length;
 324     buf_ptr = pkt->data + 4; /* skip SMPTE 331M header */
 325     for (; buf_ptr + st->codec->channels*4 <= end_ptr; ) {
 326         for (i = 0; i < st->codec->channels; i++) {
 327             uint32_t sample = bytestream_get_le32(&buf_ptr);
 328             if (st->codec->bits_per_coded_sample == 24)
 329                 bytestream_put_le24(&data_ptr, (sample >> 4) & 0xffffff);
 330             else
 331                 bytestream_put_le16(&data_ptr, (sample >> 12) & 0xffff);
 332         }
 333         buf_ptr += 32 - st->codec->channels*4; // always 8 channels stored SMPTE 331M
 334     }
 335     av_shrink_packet(pkt, data_ptr - pkt->data);
 336     return 0;
 337 }
 338
 339 static int mxf_decrypt_triplet(AVFormatContext *s, AVPacket *pkt, KLVPacket *klv)
 340 {
 341     static const uint8_t checkv[16] = {0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b};
 342     MXFContext *mxf = s->priv_data;
 343     AVIOContext *pb = s->pb;
 344     int64_t end = avio_tell(pb) + klv->length;
 345     int64_t size;
 346     uint64_t orig_size;
 347     uint64_t plaintext_size;
 348     uint8_t ivec[16];
 349     uint8_t tmpbuf[16];
 350     int index;
 351
 352     if (!mxf->aesc && s->key && s->keylen == 16) {
 353         mxf->aesc = av_malloc(av_aes_size);
 354         if (!mxf->aesc)
 355             return AVERROR(ENOMEM);
 356         av_aes_init(mxf->aesc, s->key, 128, 1);
 357     }
 358     // crypto context
 359     avio_skip(pb, klv_decode_ber_length(pb));
 360     // plaintext offset
 361     klv_decode_ber_length(pb);
 362     plaintext_size = avio_rb64(pb);
 363     // source klv key
 364     klv_decode_ber_length(pb);
 365     avio_read(pb, klv->key, 16);
 366     if (!IS_KLV_KEY(klv, mxf_essence_element_key))
 367         return AVERROR_INVALIDDATA;
 368     index = mxf_get_stream_index(s, klv);
 369     if (index < 0)
 370         return AVERROR_INVALIDDATA;
 371     // source size
 372     klv_decode_ber_length(pb);
 373     orig_size = avio_rb64(pb);
 374     if (orig_size < plaintext_size)
 375         return AVERROR_INVALIDDATA;
 376     // enc. code
 377     size = klv_decode_ber_length(pb);
 378     if (size < 32 || size - 32 < orig_size)
 379         return AVERROR_INVALIDDATA;
 380     avio_read(pb, ivec, 16);
 381     avio_read(pb, tmpbuf, 16);
 382     if (mxf->aesc)
 383         av_aes_crypt(mxf->aesc, tmpbuf, tmpbuf, 1, ivec, 1);
 384     if (memcmp(tmpbuf, checkv, 16))
 385         av_log(s, AV_LOG_ERROR, "probably incorrect decryption key\n");
 386     size -= 32;
 387     size = av_get_packet(pb, pkt, size);
 388     if (size < 0)
 389         return size;
 390     else if (size < plaintext_size)
 391         return AVERROR_INVALIDDATA;
 392     size -= plaintext_size;
 393     if (mxf->aesc)
 394         av_aes_crypt(mxf->aesc, &pkt->data[plaintext_size],
 395                      &pkt->data[plaintext_size], size >> 4, ivec, 1);
 396     av_shrink_packet(pkt, orig_size);
 397     pkt->stream_index = index;
 398     avio_skip(pb, end - avio_tell(pb));
 399     return 0;
 400 }
 401
 402 static int mxf_read_primer_pack(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 403 {
 404     MXFContext *mxf = arg;
 405     int item_num = avio_rb32(pb);
 406     int item_len = avio_rb32(pb);
 407
 408     if (item_len != 18) {
 409         av_log_ask_for_sample(pb, "unsupported primer pack item length %d\n",
 410                               item_len);
 411         return AVERROR_PATCHWELCOME;
 412     }
 413     if (item_num > 65536) {
 414         av_log(mxf->fc, AV_LOG_ERROR, "item_num %d is too large\n", item_num);
 415         return AVERROR_INVALIDDATA;
 416     }
 417     mxf->local_tags = av_calloc(item_num, item_len);
 418     if (!mxf->local_tags)
 419         return AVERROR(ENOMEM);
 420     mxf->local_tags_count = item_num;
 421     avio_read(pb, mxf->local_tags, item_num*item_len);
 422     return 0;
 423 }
 424
 425 static int mxf_read_partition_pack(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 426 {
 427     MXFContext *mxf = arg;
 428     MXFPartition *partition, *tmp_part;
 429     UID op;
 430     uint64_t footer_partition;
 431     uint32_t nb_essence_containers;
 432
 433     if (mxf->partitions_count+1 >= UINT_MAX / sizeof(*mxf->partitions))
 434         return AVERROR(ENOMEM);
 435
 436     tmp_part = av_realloc(mxf->partitions, (mxf->partitions_count + 1) * sizeof(*mxf->partitions));
 437     if (!tmp_part)
 438         return AVERROR(ENOMEM);
 439     mxf->partitions = tmp_part;
 440
 441     if (mxf->parsing_backward) {
 442         /* insert the new partition pack in the middle
 443          * this makes the entries in mxf->partitions sorted by offset */
 444         memmove(&mxf->partitions[mxf->last_forward_partition+1],
 445                 &mxf->partitions[mxf->last_forward_partition],
 446                 (mxf->partitions_count - mxf->last_forward_partition)*sizeof(*mxf->partitions));
 447         partition = mxf->current_partition = &mxf->partitions[mxf->last_forward_partition];
 448     } else {
 449         mxf->last_forward_partition++;
 450         partition = mxf->current_partition = &mxf->partitions[mxf->partitions_count];
 451     }
 452
 453     memset(partition, 0, sizeof(*partition));
 454     mxf->partitions_count++;
 455     partition->pack_length = avio_tell(pb) - klv_offset + size;
 456
 457     switch(uid[13]) {
 458     case 2:
 459         partition->type = Header;
 460         break;
 461     case 3:
 462         partition->type = BodyPartition;
 463         break;
 464     case 4:
 465         partition->type = Footer;
 466         break;
 467     default:
 468         av_log(mxf->fc, AV_LOG_ERROR, "unknown partition type %i\n", uid[13]);
 469         return AVERROR_INVALIDDATA;
 470     }
 471
 472     /* consider both footers to be closed (there is only Footer and CompleteFooter) */
 473     partition->closed = partition->type == Footer || !(uid[14] & 1);
 474     partition->complete = uid[14] > 2;
 475     avio_skip(pb, 4);
 476     partition->kag_size = avio_rb32(pb);
 477     partition->this_partition = avio_rb64(pb);
 478     partition->previous_partition = avio_rb64(pb);
 479     footer_partition = avio_rb64(pb);
 480     partition->header_byte_count = avio_rb64(pb);
 481     partition->index_byte_count = avio_rb64(pb);
 482     partition->index_sid = avio_rb32(pb);
 483     avio_skip(pb, 8);
 484     partition->body_sid = avio_rb32(pb);
 485     avio_read(pb, op, sizeof(UID));
 486     nb_essence_containers = avio_rb32(pb);
 487
 488     /* some files don'thave FooterPartition set in every partition */
 489     if (footer_partition) {
 490         if (mxf->footer_partition && mxf->footer_partition != footer_partition) {
 491             av_log(mxf->fc, AV_LOG_ERROR,
 492                    "inconsistent FooterPartition value: %"PRIu64" != %"PRIu64"\n",
 493                    mxf->footer_partition, footer_partition);
 494         } else {
 495             mxf->footer_partition = footer_partition;
 496         }
 497     }
 498
 499     av_dlog(mxf->fc,
 500             "PartitionPack: ThisPartition = 0x%"PRIX64
 501             ", PreviousPartition = 0x%"PRIX64", "
 502             "FooterPartition = 0x%"PRIX64", IndexSID = %i, BodySID = %i\n",
 503             partition->this_partition,
 504             partition->previous_partition, footer_partition,
 505             partition->index_sid, partition->body_sid);
 506
 507     /* sanity check PreviousPartition if set */
 508     if (partition->previous_partition &&
 509         mxf->run_in + partition->previous_partition >= klv_offset) {
 510         av_log(mxf->fc, AV_LOG_ERROR,
 511                "PreviousPartition points to this partition or forward\n");
 512         return AVERROR_INVALIDDATA;
 513     }
 514
 515     if      (op[12] == 1 && op[13] == 1) mxf->op = OP1a;
 516     else if (op[12] == 1 && op[13] == 2) mxf->op = OP1b;
 517     else if (op[12] == 1 && op[13] == 3) mxf->op = OP1c;
 518     else if (op[12] == 2 && op[13] == 1) mxf->op = OP2a;
 519     else if (op[12] == 2 && op[13] == 2) mxf->op = OP2b;
 520     else if (op[12] == 2 && op[13] == 3) mxf->op = OP2c;
 521     else if (op[12] == 3 && op[13] == 1) mxf->op = OP3a;
 522     else if (op[12] == 3 && op[13] == 2) mxf->op = OP3b;
 523     else if (op[12] == 3 && op[13] == 3) mxf->op = OP3c;
 524     else if (op[12] == 64&& op[13] == 1) mxf->op = OPSONYOpt;
 525     else if (op[12] == 0x10) {
 526         /* SMPTE 390m: "There shall be exactly one essence container"
 527          * The following block deals with files that violate this, namely:
 528          * 2011_DCPTEST_24FPS.V.mxf - two ECs, OP1a
 529          * abcdefghiv016f56415e.mxf - zero ECs, OPAtom, output by Avid AirSpeed */
 530         if (nb_essence_containers != 1) {
 531             MXFOP op = nb_essence_containers ? OP1a : OPAtom;
 532
 533             /* only nag once */
 534             if (!mxf->op)
 535                 av_log(mxf->fc, AV_LOG_WARNING, "\"OPAtom\" with %u ECs - assuming %s\n",
 536                        nb_essence_containers, op == OP1a ? "OP1a" : "OPAtom");
 537
 538             mxf->op = op;
 539         } else
 540             mxf->op = OPAtom;
 541     } else {
 542         av_log(mxf->fc, AV_LOG_ERROR, "unknown operational pattern: %02xh %02xh - guessing OP1a\n", op[12], op[13]);
 543         mxf->op = OP1a;
 544     }
 545
 546     if (partition->kag_size <= 0 || partition->kag_size > (1 << 20)) {
 547         av_log(mxf->fc, AV_LOG_WARNING, "invalid KAGSize %i - guessing ", partition->kag_size);
 548
 549         if (mxf->op == OPSONYOpt)
 550             partition->kag_size = 512;
 551         else
 552             partition->kag_size = 1;
 553
 554         av_log(mxf->fc, AV_LOG_WARNING, "%i\n", partition->kag_size);
 555     }
 556
 557     return 0;
 558 }
 559
 560 static int mxf_add_metadata_set(MXFContext *mxf, void *metadata_set)
 561 {
 562     MXFMetadataSet **tmp;
 563     if (mxf->metadata_sets_count+1 >= UINT_MAX / sizeof(*mxf->metadata_sets))
 564         return AVERROR(ENOMEM);
 565     tmp = av_realloc(mxf->metadata_sets, (mxf->metadata_sets_count + 1) * sizeof(*mxf->metadata_sets));
 566     if (!tmp)
 567         return AVERROR(ENOMEM);
 568     mxf->metadata_sets = tmp;
 569     mxf->metadata_sets[mxf->metadata_sets_count] = metadata_set;
 570     mxf->metadata_sets_count++;
 571     return 0;
 572 }
 573
 574 static int mxf_read_cryptographic_context(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 575 {
 576     MXFCryptoContext *cryptocontext = arg;
 577     if (size != 16)
 578         return AVERROR_INVALIDDATA;
 579     if (IS_KLV_KEY(uid, mxf_crypto_source_container_ul))
 580         avio_read(pb, cryptocontext->source_container_ul, 16);
 581     return 0;
 582 }
 583
 584 static int mxf_read_content_storage(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 585 {
 586     MXFContext *mxf = arg;
 587     switch (tag) {
 588     case 0x1901:
 589         mxf->packages_count = avio_rb32(pb);
 590         mxf->packages_refs = av_calloc(mxf->packages_count, sizeof(UID));
 591         if (!mxf->packages_refs)
 592             return AVERROR(ENOMEM);
 593         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 594         avio_read(pb, (uint8_t *)mxf->packages_refs, mxf->packages_count * sizeof(UID));
 595         break;
 596     }
 597     return 0;
 598 }
 599
 600 static int mxf_read_source_clip(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 601 {
 602     MXFStructuralComponent *source_clip = arg;
 603     switch(tag) {
 604     case 0x0202:
 605         source_clip->duration = avio_rb64(pb);
 606         break;
 607     case 0x1201:
 608         source_clip->start_position = avio_rb64(pb);
 609         break;
 610     case 0x1101:
 611         /* UMID, only get last 16 bytes */
 612         avio_skip(pb, 16);
 613         avio_read(pb, source_clip->source_package_uid, 16);
 614         break;
 615     case 0x1102:
 616         source_clip->source_track_id = avio_rb32(pb);
 617         break;
 618     }
 619     return 0;
 620 }
 621
 622 static int mxf_read_material_package(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 623 {
 624     MXFPackage *package = arg;
 625     switch(tag) {
 626     case 0x4403:
 627         package->tracks_count = avio_rb32(pb);
 628         package->tracks_refs = av_calloc(package->tracks_count, sizeof(UID));
 629         if (!package->tracks_refs)
 630             return AVERROR(ENOMEM);
 631         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 632         avio_read(pb, (uint8_t *)package->tracks_refs, package->tracks_count * sizeof(UID));
 633         break;
 634     }
 635     return 0;
 636 }
 637
 638 static int mxf_read_timecode_component(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 639 {
 640     MXFTimecodeComponent *mxf_timecode = arg;
 641     switch(tag) {
 642     case 0x1501:
 643         mxf_timecode->start_frame = avio_rb64(pb);
 644         break;
 645     case 0x1502:
 646         mxf_timecode->rate = (AVRational){avio_rb16(pb), 1};
 647         break;
 648     case 0x1503:
 649         mxf_timecode->drop_frame = avio_r8(pb);
 650         break;
 651     }
 652     return 0;
 653 }
 654
 655 static int mxf_read_track(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 656 {
 657     MXFTrack *track = arg;
 658     switch(tag) {
 659     case 0x4801:
 660         track->track_id = avio_rb32(pb);
 661         break;
 662     case 0x4804:
 663         avio_read(pb, track->track_number, 4);
 664         break;
 665     case 0x4B01:
 666         track->edit_rate.num = avio_rb32(pb);
 667         track->edit_rate.den = avio_rb32(pb);
 668         break;
 669     case 0x4803:
 670         avio_read(pb, track->sequence_ref, 16);
 671         break;
 672     }
 673     return 0;
 674 }
 675
 676 static int mxf_read_sequence(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 677 {
 678     MXFSequence *sequence = arg;
 679     switch(tag) {
 680     case 0x0202:
 681         sequence->duration = avio_rb64(pb);
 682         break;
 683     case 0x0201:
 684         avio_read(pb, sequence->data_definition_ul, 16);
 685         break;
 686     case 0x1001:
 687         sequence->structural_components_count = avio_rb32(pb);
 688         sequence->structural_components_refs = av_calloc(sequence->structural_components_count, sizeof(UID));
 689         if (!sequence->structural_components_refs)
 690             return AVERROR(ENOMEM);
 691         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 692         avio_read(pb, (uint8_t *)sequence->structural_components_refs, sequence->structural_components_count * sizeof(UID));
 693         break;
 694     }
 695     return 0;
 696 }
 697
 698 static int mxf_read_source_package(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 699 {
 700     MXFPackage *package = arg;
 701     switch(tag) {
 702     case 0x4403:
 703         package->tracks_count = avio_rb32(pb);
 704         package->tracks_refs = av_calloc(package->tracks_count, sizeof(UID));
 705         if (!package->tracks_refs)
 706             return AVERROR(ENOMEM);
 707         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 708         avio_read(pb, (uint8_t *)package->tracks_refs, package->tracks_count * sizeof(UID));
 709         break;
 710     case 0x4401:
 711         /* UMID, only get last 16 bytes */
 712         avio_skip(pb, 16);
 713         avio_read(pb, package->package_uid, 16);
 714         break;
 715     case 0x4701:
 716         avio_read(pb, package->descriptor_ref, 16);
 717         break;
 718     }
 719     return 0;
 720 }
 721
 722 static int mxf_read_index_entry_array(AVIOContext *pb, MXFIndexTableSegment *segment)
 723 {
 724     int i, length;
 725
 726     segment->nb_index_entries = avio_rb32(pb);
 727
 728     length = avio_rb32(pb);
 729
 730     if (!(segment->temporal_offset_entries=av_calloc(segment->nb_index_entries, sizeof(*segment->temporal_offset_entries))) ||
 731         !(segment->flag_entries          = av_calloc(segment->nb_index_entries, sizeof(*segment->flag_entries))) ||
 732         !(segment->stream_offset_entries = av_calloc(segment->nb_index_entries, sizeof(*segment->stream_offset_entries))))
 733         return AVERROR(ENOMEM);
 734
 735     for (i = 0; i < segment->nb_index_entries; i++) {
 736         segment->temporal_offset_entries[i] = avio_r8(pb);
 737         avio_r8(pb);                                        /* KeyFrameOffset */
 738         segment->flag_entries[i] = avio_r8(pb);
 739         segment->stream_offset_entries[i] = avio_rb64(pb);
 740         avio_skip(pb, length - 11);
 741     }
 742     return 0;
 743 }
 744
 745 static int mxf_read_index_table_segment(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 746 {
 747     MXFIndexTableSegment *segment = arg;
 748     switch(tag) {
 749     case 0x3F05:
 750         segment->edit_unit_byte_count = avio_rb32(pb);
 751         av_dlog(NULL, "EditUnitByteCount %d\n", segment->edit_unit_byte_count);
 752         break;
 753     case 0x3F06:
 754         segment->index_sid = avio_rb32(pb);
 755         av_dlog(NULL, "IndexSID %d\n", segment->index_sid);
 756         break;
 757     case 0x3F07:
 758         segment->body_sid = avio_rb32(pb);
 759         av_dlog(NULL, "BodySID %d\n", segment->body_sid);
 760         break;
 761     case 0x3F0A:
 762         av_dlog(NULL, "IndexEntryArray found\n");
 763         return mxf_read_index_entry_array(pb, segment);
 764     case 0x3F0B:
 765         segment->index_edit_rate.num = avio_rb32(pb);
 766         segment->index_edit_rate.den = avio_rb32(pb);
 767         av_dlog(NULL, "IndexEditRate %d/%d\n", segment->index_edit_rate.num,
 768                 segment->index_edit_rate.den);
 769         break;
 770     case 0x3F0C:
 771         segment->index_start_position = avio_rb64(pb);
 772         av_dlog(NULL, "IndexStartPosition %"PRId64"\n", segment->index_start_position);
 773         break;
 774     case 0x3F0D:
 775         segment->index_duration = avio_rb64(pb);
 776         av_dlog(NULL, "IndexDuration %"PRId64"\n", segment->index_duration);
 777         break;
 778     }
 779     return 0;
 780 }
 781
 782 static void mxf_read_pixel_layout(AVIOContext *pb, MXFDescriptor *descriptor)
 783 {
 784     int code, value, ofs = 0;
 785     char layout[16] = {0};
 786
 787     do {
 788         code = avio_r8(pb);
 789         value = avio_r8(pb);
 790         av_dlog(NULL, "pixel layout: code %#x\n", code);
 791
 792         if (ofs < 16) {
 793             layout[ofs++] = code;
 794             layout[ofs++] = value;
 795         }
 796     } while (code != 0); /* SMPTE 377M E.2.46 */
 797
 798     ff_mxf_decode_pixel_layout(layout, &descriptor->pix_fmt);
 799 }
 800
 801 static int mxf_read_generic_descriptor(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 802 {
 803     MXFDescriptor *descriptor = arg;
 804     descriptor->pix_fmt = PIX_FMT_NONE;
 805     switch(tag) {
 806     case 0x3F01:
 807         descriptor->sub_descriptors_count = avio_rb32(pb);
 808         descriptor->sub_descriptors_refs = av_calloc(descriptor->sub_descriptors_count, sizeof(UID));
 809         if (!descriptor->sub_descriptors_refs)
 810             return AVERROR(ENOMEM);
 811         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 812         avio_read(pb, (uint8_t *)descriptor->sub_descriptors_refs, descriptor->sub_descriptors_count * sizeof(UID));
 813         break;
 814     case 0x3004:
 815         avio_read(pb, descriptor->essence_container_ul, 16);
 816         break;
 817     case 0x3006:
 818         descriptor->linked_track_id = avio_rb32(pb);
 819         break;
 820     case 0x3201: /* PictureEssenceCoding */
 821         avio_read(pb, descriptor->essence_codec_ul, 16);
 822         break;
 823     case 0x3203:
 824         descriptor->width = avio_rb32(pb);
 825         break;
 826     case 0x3202:
 827         descriptor->height = avio_rb32(pb);
 828         break;
 829     case 0x320C:
 830         descriptor->frame_layout = avio_r8(pb);
 831         break;
 832     case 0x320E:
 833         descriptor->aspect_ratio.num = avio_rb32(pb);
 834         descriptor->aspect_ratio.den = avio_rb32(pb);
 835         break;
 836     case 0x3301:
 837         descriptor->component_depth = avio_rb32(pb);
 838         break;
 839     case 0x3302:
 840         descriptor->horiz_subsampling = avio_rb32(pb);
 841         break;
 842     case 0x3308:
 843         descriptor->vert_subsampling = avio_rb32(pb);
 844         break;
 845     case 0x3D03:
 846         descriptor->sample_rate.num = avio_rb32(pb);
 847         descriptor->sample_rate.den = avio_rb32(pb);
 848         break;
 849     case 0x3D06: /* SoundEssenceCompression */
 850         avio_read(pb, descriptor->essence_codec_ul, 16);
 851         break;
 852     case 0x3D07:
 853         descriptor->channels = avio_rb32(pb);
 854         break;
 855     case 0x3D01:
 856         descriptor->bits_per_sample = avio_rb32(pb);
 857         break;
 858     case 0x3401:
 859         mxf_read_pixel_layout(pb, descriptor);
 860         break;
 861     default:
 862         /* Private uid used by SONY C0023S01.mxf */
 863         if (IS_KLV_KEY(uid, mxf_sony_mpeg4_extradata)) {
 864             descriptor->extradata = av_malloc(size + FF_INPUT_BUFFER_PADDING_SIZE);
 865             if (!descriptor->extradata)
 866                 return AVERROR(ENOMEM);
 867             descriptor->extradata_size = size;
 868             avio_read(pb, descriptor->extradata, size);
 869         }
 870         break;
 871     }
 872     return 0;
 873 }
 874
 875 /*
 876  * Match an uid independently of the version byte and up to len common bytes
 877  * Returns: boolean
 878  */
 879 static int mxf_match_uid(const UID key, const UID uid, int len)
 880 {
 881     int i;
 882     for (i = 0; i < len; i++) {
 883         if (i != 7 && key[i] != uid[i])
 884             return 0;
 885     }
 886     return 1;
 887 }
 888
 889 static const MXFCodecUL *mxf_get_codec_ul(const MXFCodecUL *uls, UID *uid)
 890 {
 891     while (uls->uid[0]) {
 892         if(mxf_match_uid(uls->uid, *uid, uls->matching_len))
 893             break;
 894         uls++;
 895     }
 896     return uls;
 897 }
 898
 899 static void *mxf_resolve_strong_ref(MXFContext *mxf, UID *strong_ref, enum MXFMetadataSetType type)
 900 {
 901     int i;
 902
 903     if (!strong_ref)
 904         return NULL;
 905     for (i = 0; i < mxf->metadata_sets_count; i++) {
 906         if (!memcmp(*strong_ref, mxf->metadata_sets[i]->uid, 16) &&
 907             (type == AnyType || mxf->metadata_sets[i]->type == type)) {
 908             return mxf->metadata_sets[i];
 909         }
 910     }
 911     return NULL;
 912 }
 913
 914 static const MXFCodecUL mxf_picture_essence_container_uls[] = {
 915     // video essence container uls
 916     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x02,0x0D,0x01,0x03,0x01,0x02,0x04,0x60,0x01 }, 14, AV_CODEC_ID_MPEG2VIDEO }, /* MPEG-ES Frame wrapped */
 917     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x02,0x41,0x01 }, 14,    AV_CODEC_ID_DVVIDEO }, /* DV 625 25mbps */
 918     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x05,0x00,0x00 }, 14,   AV_CODEC_ID_RAWVIDEO }, /* Uncompressed Picture */
 919     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,      AV_CODEC_ID_NONE },
 920 };
 921
 922 /* EC ULs for intra-only formats */
 923 static const MXFCodecUL mxf_intra_only_essence_container_uls[] = {
 924     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x01,0x00,0x00 }, 14, AV_CODEC_ID_MPEG2VIDEO }, /* MXF-GC SMPTE D-10 Mappings */
 925     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,       AV_CODEC_ID_NONE },
 926 };
 927
 928 /* intra-only PictureEssenceCoding ULs, where no corresponding EC UL exists */
 929 static const MXFCodecUL mxf_intra_only_picture_essence_coding_uls[] = {
 930     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x0A,0x04,0x01,0x02,0x02,0x01,0x32,0x00,0x00 }, 14,       AV_CODEC_ID_H264 }, /* H.264/MPEG-4 AVC Intra Profiles */
 931     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,       AV_CODEC_ID_NONE },
 932 };
 933
 934 static const MXFCodecUL mxf_sound_essence_container_uls[] = {
 935     // sound essence container uls
 936     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x06,0x01,0x00 }, 14, AV_CODEC_ID_PCM_S16LE }, /* BWF Frame wrapped */
 937     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x02,0x0D,0x01,0x03,0x01,0x02,0x04,0x40,0x01 }, 14,       AV_CODEC_ID_MP2 }, /* MPEG-ES Frame wrapped, 0x40 ??? stream id */
 938     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x01,0x01,0x01 }, 14, AV_CODEC_ID_PCM_S16LE }, /* D-10 Mapping 50Mbps PAL Extended Template */
 939     { { 0x06,0x0E,0x2B,0x34,0x01,0x01,0x01,0xFF,0x4B,0x46,0x41,0x41,0x00,0x0D,0x4D,0x4F }, 14, AV_CODEC_ID_PCM_S16LE }, /* 0001GL00.MXF.A1.mxf_opatom.mxf */
 940     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,      AV_CODEC_ID_NONE },
 941 };
 942
 943 static int mxf_get_sorted_table_segments(MXFContext *mxf, int *nb_sorted_segments, MXFIndexTableSegment ***sorted_segments)
 944 {
 945     int i, j, nb_segments = 0;
 946     MXFIndexTableSegment **unsorted_segments;
 947     int last_body_sid = -1, last_index_sid = -1, last_index_start = -1;
 948
 949     /* count number of segments, allocate arrays and copy unsorted segments */
 950     for (i = 0; i < mxf->metadata_sets_count; i++)
 951         if (mxf->metadata_sets[i]->type == IndexTableSegment)
 952             nb_segments++;
 953
 954     if (!(unsorted_segments = av_calloc(nb_segments, sizeof(*unsorted_segments))) ||
 955         !(*sorted_segments  = av_calloc(nb_segments, sizeof(**sorted_segments)))) {
 956         av_freep(sorted_segments);
 957         av_free(unsorted_segments);
 958         return AVERROR(ENOMEM);
 959     }
 960
 961     for (i = j = 0; i < mxf->metadata_sets_count; i++)
 962         if (mxf->metadata_sets[i]->type == IndexTableSegment)
 963             unsorted_segments[j++] = (MXFIndexTableSegment*)mxf->metadata_sets[i];
 964
 965     *nb_sorted_segments = 0;
 966
 967     /* sort segments by {BodySID, IndexSID, IndexStartPosition}, remove duplicates while we're at it */
 968     for (i = 0; i < nb_segments; i++) {
 969         int best = -1, best_body_sid = -1, best_index_sid = -1, best_index_start = -1;
 970         uint64_t best_index_duration = 0;
 971
 972         for (j = 0; j < nb_segments; j++) {
 973             MXFIndexTableSegment *s = unsorted_segments[j];
 974
 975             /* Require larger BosySID, IndexSID or IndexStartPosition then the previous entry. This removes duplicates.
 976              * We want the smallest values for the keys than what we currently have, unless this is the first such entry this time around.
 977              * If we come across an entry with the same IndexStartPosition but larger IndexDuration, then we'll prefer it over the one we currently have.
 978              */
 979             if ((i == 0     || s->body_sid > last_body_sid || s->index_sid > last_index_sid || s->index_start_position > last_index_start) &&
 980                 (best == -1 || s->body_sid < best_body_sid || s->index_sid < best_index_sid || s->index_start_position < best_index_start ||
 981                 (s->index_start_position == best_index_start && s->index_duration > best_index_duration))) {
 982                 best             = j;
 983                 best_body_sid    = s->body_sid;
 984                 best_index_sid   = s->index_sid;
 985                 best_index_start = s->index_start_position;
 986                 best_index_duration = s->index_duration;
 987             }
 988         }
 989
 990         /* no suitable entry found -> we're done */
 991         if (best == -1)
 992             break;
 993
 994         (*sorted_segments)[(*nb_sorted_segments)++] = unsorted_segments[best];
 995         last_body_sid    = best_body_sid;
 996         last_index_sid   = best_index_sid;
 997         last_index_start = best_index_start;
 998     }
 999
1000     av_free(unsorted_segments);
1001
1002     return 0;
1003 }
1004
1005 /**
1006  * Computes the absolute file offset of the given essence container offset
1007  */
1008 static int mxf_absolute_bodysid_offset(MXFContext *mxf, int body_sid, int64_t offset, int64_t *offset_out)
1009 {
1010     int x;
1011     int64_t offset_in = offset;     /* for logging */
1012
1013     for (x = 0; x < mxf->partitions_count; x++) {
1014         MXFPartition *p = &mxf->partitions[x];
1015
1016         if (p->body_sid != body_sid)
1017             continue;
1018
1019         if (offset < p->essence_length || !p->essence_length) {
1020             *offset_out = p->essence_offset + offset;
1021             return 0;
1022         }
1023
1024         offset -= p->essence_length;
1025     }
1026
1027     av_log(mxf->fc, AV_LOG_ERROR,
1028            "failed to find absolute offset of %"PRIX64" in BodySID %i - partial file?\n",
1029            offset_in, body_sid);
1030
1031     return AVERROR_INVALIDDATA;
1032 }
1033
1034 /**
1035  * Returns the end position of the essence container with given BodySID, or zero if unknown
1036  */
1037 static int64_t mxf_essence_container_end(MXFContext *mxf, int body_sid)
1038 {
1039     int x;
1040     int64_t ret = 0;
1041
1042     for (x = 0; x < mxf->partitions_count; x++) {
1043         MXFPartition *p = &mxf->partitions[x];
1044
1045         if (p->body_sid != body_sid)
1046             continue;
1047
1048         if (!p->essence_length)
1049             return 0;
1050
1051         ret = p->essence_offset + p->essence_length;
1052     }
1053
1054     return ret;
1055 }
1056
1057 /* EditUnit -> absolute offset */
1058 static int mxf_edit_unit_absolute_offset(MXFContext *mxf, MXFIndexTable *index_table, int64_t edit_unit, int64_t *edit_unit_out, int64_t *offset_out, int nag)
1059 {
1060     int i;
1061     int64_t offset_temp = 0;
1062
1063     for (i = 0; i < index_table->nb_segments; i++) {
1064         MXFIndexTableSegment *s = index_table->segments[i];
1065
1066         edit_unit = FFMAX(edit_unit, s->index_start_position);  /* clamp if trying to seek before start */
1067
1068         if (edit_unit < s->index_start_position + s->index_duration) {
1069             int64_t index = edit_unit - s->index_start_position;
1070
1071             if (s->edit_unit_byte_count)
1072                 offset_temp += s->edit_unit_byte_count * index;
1073             else if (s->nb_index_entries) {
1074                 if (s->nb_index_entries == 2 * s->index_duration + 1)
1075                     index *= 2;     /* Avid index */
1076
1077                 if (index < 0 || index >= s->nb_index_entries) {
1078                     av_log(mxf->fc, AV_LOG_ERROR, "IndexSID %i segment at %"PRId64" IndexEntryArray too small\n",
1079                            index_table->index_sid, s->index_start_position);
1080                     return AVERROR_INVALIDDATA;
1081                 }
1082
1083                 offset_temp = s->stream_offset_entries[index];
1084             } else {
1085                 av_log(mxf->fc, AV_LOG_ERROR, "IndexSID %i segment at %"PRId64" missing EditUnitByteCount and IndexEntryArray\n",
1086                        index_table->index_sid, s->index_start_position);
1087                 return AVERROR_INVALIDDATA;
1088             }
1089
1090             if (edit_unit_out)
1091                 *edit_unit_out = edit_unit;
1092
1093             return mxf_absolute_bodysid_offset(mxf, index_table->body_sid, offset_temp, offset_out);
1094         } else {
1095             /* EditUnitByteCount == 0 for VBR indexes, which is fine since they use explicit StreamOffsets */
1096             offset_temp += s->edit_unit_byte_count * s->index_duration;
1097         }
1098     }
1099
1100     if (nag)
1101         av_log(mxf->fc, AV_LOG_ERROR, "failed to map EditUnit %"PRId64" in IndexSID %i to an offset\n", edit_unit, index_table->index_sid);
1102
1103     return AVERROR_INVALIDDATA;
1104 }
1105
1106 static int mxf_compute_ptses_fake_index(MXFContext *mxf, MXFIndexTable *index_table)
1107 {
1108     int i, j, x;
1109     int8_t max_temporal_offset = -128;
1110
1111     /* first compute how many entries we have */
1112     for (i = 0; i < index_table->nb_segments; i++) {
1113         MXFIndexTableSegment *s = index_table->segments[i];
1114
1115         if (!s->nb_index_entries) {
1116             index_table->nb_ptses = 0;
1117             return 0;                               /* no TemporalOffsets */
1118         }
1119
1120         index_table->nb_ptses += s->index_duration;
1121     }
1122
1123     /* paranoid check */
1124     if (index_table->nb_ptses <= 0)
1125         return 0;
1126
1127     if (!(index_table->ptses      = av_calloc(index_table->nb_ptses, sizeof(int64_t))) ||
1128         !(index_table->fake_index = av_calloc(index_table->nb_ptses, sizeof(AVIndexEntry)))) {
1129         av_freep(&index_table->ptses);
1130         return AVERROR(ENOMEM);
1131     }
1132
1133     /* we may have a few bad TemporalOffsets
1134      * make sure the corresponding PTSes don't have the bogus value 0 */
1135     for (x = 0; x < index_table->nb_ptses; x++)
1136         index_table->ptses[x] = AV_NOPTS_VALUE;
1137
1138     /**
1139      * We have this:
1140      *
1141      * x  TemporalOffset
1142      * 0:  0
1143      * 1:  1
1144      * 2:  1
1145      * 3: -2
1146      * 4:  1
1147      * 5:  1
1148      * 6: -2
1149      *
1150      * We want to transform it into this:
1151      *
1152      * x  DTS PTS
1153      * 0: -1   0
1154      * 1:  0   3
1155      * 2:  1   1
1156      * 3:  2   2
1157      * 4:  3   6
1158      * 5:  4   4
1159      * 6:  5   5
1160      *
1161      * We do this by bucket sorting x by x+TemporalOffset[x] into mxf->ptses,
1162      * then settings mxf->first_dts = -max(TemporalOffset[x]).
1163      * The latter makes DTS <= PTS.
1164      */
1165     for (i = x = 0; i < index_table->nb_segments; i++) {
1166         MXFIndexTableSegment *s = index_table->segments[i];
1167         int index_delta = 1;
1168         int n = s->nb_index_entries;
1169
1170         if (s->nb_index_entries == 2 * s->index_duration + 1) {
1171             index_delta = 2;    /* Avid index */
1172             /* ignore the last entry - it's the size of the essence container */
1173             n--;
1174         }
1175
1176         for (j = 0; j < n; j += index_delta, x++) {
1177             int offset = s->temporal_offset_entries[j] / index_delta;
1178             int index  = x + offset;
1179
1180             if (x >= index_table->nb_ptses) {
1181                 av_log(mxf->fc, AV_LOG_ERROR,
1182                        "x >= nb_ptses - IndexEntryCount %i < IndexDuration %"PRId64"?\n",
1183                        s->nb_index_entries, s->index_duration);
1184                 break;
1185             }
1186
1187             index_table->fake_index[x].timestamp = x;
1188             index_table->fake_index[x].flags = !(s->flag_entries[j] & 0x30) ? AVINDEX_KEYFRAME : 0;
1189
1190             if (index < 0 || index >= index_table->nb_ptses) {
1191                 av_log(mxf->fc, AV_LOG_ERROR,
1192                        "index entry %i + TemporalOffset %i = %i, which is out of bounds\n",
1193                        x, offset, index);
1194                 continue;
1195             }
1196
1197             index_table->ptses[index] = x;
1198             max_temporal_offset = FFMAX(max_temporal_offset, offset);
1199         }
1200     }
1201
1202     index_table->first_dts = -max_temporal_offset;
1203
1204     return 0;
1205 }
1206
1207 /**
1208  * Sorts and collects index table segments into index tables.
1209  * Also computes PTSes if possible.
1210  */
1211 static int mxf_compute_index_tables(MXFContext *mxf)
1212 {
1213     int i, j, k, ret, nb_sorted_segments;
1214     MXFIndexTableSegment **sorted_segments = NULL;
1215
1216     if ((ret = mxf_get_sorted_table_segments(mxf, &nb_sorted_segments, &sorted_segments)) ||
1217         nb_sorted_segments <= 0) {
1218         av_log(mxf->fc, AV_LOG_WARNING, "broken or empty index\n");
1219         return 0;
1220     }
1221
1222     /* sanity check and count unique BodySIDs/IndexSIDs */
1223     for (i = 0; i < nb_sorted_segments; i++) {
1224         if (i == 0 || sorted_segments[i-1]->index_sid != sorted_segments[i]->index_sid)
1225             mxf->nb_index_tables++;
1226         else if (sorted_segments[i-1]->body_sid != sorted_segments[i]->body_sid) {
1227             av_log(mxf->fc, AV_LOG_ERROR, "found inconsistent BodySID\n");
1228             ret = AVERROR_INVALIDDATA;
1229             goto finish_decoding_index;
1230         }
1231     }
1232
1233     if (!(mxf->index_tables = av_calloc(mxf->nb_index_tables, sizeof(MXFIndexTable)))) {
1234         av_log(mxf->fc, AV_LOG_ERROR, "failed to allocate index tables\n");
1235         ret = AVERROR(ENOMEM);
1236         goto finish_decoding_index;
1237     }
1238
1239     /* distribute sorted segments to index tables */
1240     for (i = j = 0; i < nb_sorted_segments; i++) {
1241         if (i != 0 && sorted_segments[i-1]->index_sid != sorted_segments[i]->index_sid) {
1242             /* next IndexSID */
1243             j++;
1244         }
1245
1246         mxf->index_tables[j].nb_segments++;
1247     }
1248
1249     for (i = j = 0; j < mxf->nb_index_tables; i += mxf->index_tables[j++].nb_segments) {
1250         MXFIndexTable *t = &mxf->index_tables[j];
1251
1252         if (!(t->segments = av_calloc(t->nb_segments, sizeof(MXFIndexTableSegment*)))) {
1253             av_log(mxf->fc, AV_LOG_ERROR, "failed to allocate IndexTableSegment pointer array\n");
1254             ret = AVERROR(ENOMEM);
1255             goto finish_decoding_index;
1256         }
1257
1258         if (sorted_segments[i]->index_start_position)
1259             av_log(mxf->fc, AV_LOG_WARNING, "IndexSID %i starts at EditUnit %"PRId64" - seeking may not work as expected\n",
1260                    sorted_segments[i]->index_sid, sorted_segments[i]->index_start_position);
1261
1262         memcpy(t->segments, &sorted_segments[i], t->nb_segments * sizeof(MXFIndexTableSegment*));
1263         t->index_sid = sorted_segments[i]->index_sid;
1264         t->body_sid = sorted_segments[i]->body_sid;
1265
1266         if ((ret = mxf_compute_ptses_fake_index(mxf, t)) < 0)
1267             goto finish_decoding_index;
1268
1269         /* fix zero IndexDurations */
1270         for (k = 0; k < t->nb_segments; k++) {
1271             if (t->segments[k]->index_duration)
1272                 continue;
1273
1274             if (t->nb_segments > 1)
1275                 av_log(mxf->fc, AV_LOG_WARNING, "IndexSID %i segment %i has zero IndexDuration and there's more than one segment\n",
1276                        t->index_sid, k);
1277
1278             if (mxf->fc->nb_streams <= 0) {
1279                 av_log(mxf->fc, AV_LOG_WARNING, "no streams?\n");
1280                 break;
1281             }
1282
1283             /* assume the first stream's duration is reasonable
1284              * leave index_duration = 0 on further segments in case we have any (unlikely)
1285              */
1286             t->segments[k]->index_duration = mxf->fc->streams[0]->duration;
1287             break;
1288         }
1289     }
1290
1291     ret = 0;
1292 finish_decoding_index:
1293     av_free(sorted_segments);
1294     return ret;
1295 }
1296
1297 static int mxf_is_intra_only(MXFDescriptor *descriptor)
1298 {
1299     return mxf_get_codec_ul(mxf_intra_only_essence_container_uls,
1300                             &descriptor->essence_container_ul)->id != AV_CODEC_ID_NONE ||
1301            mxf_get_codec_ul(mxf_intra_only_picture_essence_coding_uls,
1302                             &descriptor->essence_codec_ul)->id     != AV_CODEC_ID_NONE;
1303 }
1304
1305 static int mxf_add_timecode_metadata(AVDictionary **pm, const char *key, AVTimecode *tc)
1306 {
1307     char buf[AV_TIMECODE_STR_SIZE];
1308     av_dict_set(pm, key, av_timecode_make_string(tc, buf, 0), 0);
1309
1310     return 0;
1311 }
1312
1313 static int mxf_parse_structural_metadata(MXFContext *mxf)
1314 {
1315     MXFPackage *material_package = NULL;
1316     MXFPackage *temp_package = NULL;
1317     int i, j, k, ret;
1318
1319     av_dlog(mxf->fc, "metadata sets count %d\n", mxf->metadata_sets_count);
1320     /* TODO: handle multiple material packages (OP3x) */
1321     for (i = 0; i < mxf->packages_count; i++) {
1322         material_package = mxf_resolve_strong_ref(mxf, &mxf->packages_refs[i], MaterialPackage);
1323         if (material_package) break;
1324     }
1325     if (!material_package) {
1326         av_log(mxf->fc, AV_LOG_ERROR, "no material package found\n");
1327         return AVERROR_INVALIDDATA;
1328     }
1329
1330     for (i = 0; i < material_package->tracks_count; i++) {
1331         MXFPackage *source_package = NULL;
1332         MXFTrack *material_track = NULL;
1333         MXFTrack *source_track = NULL;
1334         MXFTrack *temp_track = NULL;
1335         MXFDescriptor *descriptor = NULL;
1336         MXFStructuralComponent *component = NULL;
1337         MXFTimecodeComponent *mxf_tc = NULL;
1338         UID *essence_container_ul = NULL;
1339         const MXFCodecUL *codec_ul = NULL;
1340         const MXFCodecUL *container_ul = NULL;
1341         const MXFCodecUL *pix_fmt_ul = NULL;
1342         AVStream *st;
1343         AVTimecode tc;
1344         int flags;
1345
1346         if (!(material_track = mxf_resolve_strong_ref(mxf, &material_package->tracks_refs[i], Track))) {
1347             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve material track strong ref\n");
1348             continue;
1349         }
1350
1351         if ((component = mxf_resolve_strong_ref(mxf, &material_track->sequence_ref, TimecodeComponent))) {
1352             mxf_tc = (MXFTimecodeComponent*)component;
1353             flags = mxf_tc->drop_frame == 1 ? AV_TIMECODE_FLAG_DROPFRAME : 0;
1354             if (av_timecode_init(&tc, mxf_tc->rate, flags, mxf_tc->start_frame, mxf->fc) == 0) {
1355                 mxf_add_timecode_metadata(&mxf->fc->metadata, "timecode", &tc);
1356             }
1357         }
1358
1359         if (!(material_track->sequence = mxf_resolve_strong_ref(mxf, &material_track->sequence_ref, Sequence))) {
1360             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve material track sequence strong ref\n");
1361             continue;
1362         }
1363
1364         for (j = 0; j < material_track->sequence->structural_components_count; j++) {
1365             component = mxf_resolve_strong_ref(mxf, &material_track->sequence->structural_components_refs[j], TimecodeComponent);
1366             if (!component)
1367                 continue;
1368
1369             mxf_tc = (MXFTimecodeComponent*)component;
1370             flags = mxf_tc->drop_frame == 1 ? AV_TIMECODE_FLAG_DROPFRAME : 0;
1371             if (av_timecode_init(&tc, mxf_tc->rate, flags, mxf_tc->start_frame, mxf->fc) == 0) {
1372                 mxf_add_timecode_metadata(&mxf->fc->metadata, "timecode", &tc);
1373                 break;
1374             }
1375         }
1376
1377         /* TODO: handle multiple source clips */
1378         for (j = 0; j < material_track->sequence->structural_components_count; j++) {
1379             component = mxf_resolve_strong_ref(mxf, &material_track->sequence->structural_components_refs[j], SourceClip);
1380             if (!component)
1381                 continue;
1382
1383             for (k = 0; k < mxf->packages_count; k++) {
1384                 temp_package = mxf_resolve_strong_ref(mxf, &mxf->packages_refs[k], SourcePackage);
1385                 if (!temp_package)
1386                     continue;
1387                 if (!memcmp(temp_package->package_uid, component->source_package_uid, 16)) {
1388                     source_package = temp_package;
1389                     break;
1390                 }
1391             }
1392             if (!source_package) {
1393                 av_dlog(mxf->fc, "material track %d: no corresponding source package found\n", material_track->track_id);
1394                 break;
1395             }
1396             for (k = 0; k < source_package->tracks_count; k++) {
1397                 if (!(temp_track = mxf_resolve_strong_ref(mxf, &source_package->tracks_refs[k], Track))) {
1398                     av_log(mxf->fc, AV_LOG_ERROR, "could not resolve source track strong ref\n");
1399                     ret = AVERROR_INVALIDDATA;
1400                     goto fail_and_free;
1401                 }
1402                 if (temp_track->track_id == component->source_track_id) {
1403                     source_track = temp_track;
1404                     break;
1405                 }
1406             }
1407             if (!source_track) {
1408                 av_log(mxf->fc, AV_LOG_ERROR, "material track %d: no corresponding source track found\n", material_track->track_id);
1409                 break;
1410             }
1411         }
1412         if (!source_track || !component)
1413             continue;
1414
1415         if (!(source_track->sequence = mxf_resolve_strong_ref(mxf, &source_track->sequence_ref, Sequence))) {
1416             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve source track sequence strong ref\n");
1417             ret = AVERROR_INVALIDDATA;
1418             goto fail_and_free;
1419         }
1420
1421         /* 0001GL00.MXF.A1.mxf_opatom.mxf has the same SourcePackageID as 0001GL.MXF.V1.mxf_opatom.mxf
1422          * This would result in both files appearing to have two streams. Work around this by sanity checking DataDefinition */
1423         if (memcmp(material_track->sequence->data_definition_ul, source_track->sequence->data_definition_ul, 16)) {
1424             av_log(mxf->fc, AV_LOG_ERROR, "material track %d: DataDefinition mismatch\n", material_track->track_id);
1425             continue;
1426         }
1427
1428         st = avformat_new_stream(mxf->fc, NULL);
1429         if (!st) {
1430             av_log(mxf->fc, AV_LOG_ERROR, "could not allocate stream\n");
1431             ret = AVERROR(ENOMEM);
1432             goto fail_and_free;
1433         }
1434         st->id = source_track->track_id;
1435         st->priv_data = source_track;
1436         st->duration = component->duration;
1437         if (st->duration == -1)
1438             st->duration = AV_NOPTS_VALUE;
1439         st->start_time = component->start_position;
1440         avpriv_set_pts_info(st, 64, material_track->edit_rate.den, material_track->edit_rate.num);
1441
1442         PRINT_KEY(mxf->fc, "data definition   ul", source_track->sequence->data_definition_ul);
1443         codec_ul = mxf_get_codec_ul(ff_mxf_data_definition_uls, &source_track->sequence->data_definition_ul);
1444         st->codec->codec_type = codec_ul->id;
1445
1446         source_package->descriptor = mxf_resolve_strong_ref(mxf, &source_package->descriptor_ref, AnyType);
1447         if (source_package->descriptor) {
1448             if (source_package->descriptor->type == MultipleDescriptor) {
1449                 for (j = 0; j < source_package->descriptor->sub_descriptors_count; j++) {
1450                     MXFDescriptor *sub_descriptor = mxf_resolve_strong_ref(mxf, &source_package->descriptor->sub_descriptors_refs[j], Descriptor);
1451
1452                     if (!sub_descriptor) {
1453                         av_log(mxf->fc, AV_LOG_ERROR, "could not resolve sub descriptor strong ref\n");
1454                         continue;
1455                     }
1456                     if (sub_descriptor->linked_track_id == source_track->track_id) {
1457                         descriptor = sub_descriptor;
1458                         break;
1459                     }
1460                 }
1461             } else if (source_package->descriptor->type == Descriptor)
1462                 descriptor = source_package->descriptor;
1463         }
1464         if (!descriptor) {
1465             av_log(mxf->fc, AV_LOG_INFO, "source track %d: stream %d, no descriptor found\n", source_track->track_id, st->index);
1466             continue;
1467         }
1468         PRINT_KEY(mxf->fc, "essence codec     ul", descriptor->essence_codec_ul);
1469         PRINT_KEY(mxf->fc, "essence container ul", descriptor->essence_container_ul);
1470         essence_container_ul = &descriptor->essence_container_ul;
1471         /* HACK: replacing the original key with mxf_encrypted_essence_container
1472          * is not allowed according to s429-6, try to find correct information anyway */
1473         if (IS_KLV_KEY(essence_container_ul, mxf_encrypted_essence_container)) {
1474             av_log(mxf->fc, AV_LOG_INFO, "broken encrypted mxf file\n");
1475             for (k = 0; k < mxf->metadata_sets_count; k++) {
1476                 MXFMetadataSet *metadata = mxf->metadata_sets[k];
1477                 if (metadata->type == CryptoContext) {
1478                     essence_container_ul = &((MXFCryptoContext *)metadata)->source_container_ul;
1479                     break;
1480                 }
1481             }
1482         }
1483
1484         /* TODO: drop PictureEssenceCoding and SoundEssenceCompression, only check EssenceContainer */
1485         codec_ul = mxf_get_codec_ul(ff_mxf_codec_uls, &descriptor->essence_codec_ul);
1486         st->codec->codec_id = codec_ul->id;
1487         if (descriptor->extradata) {
1488             st->codec->extradata = descriptor->extradata;
1489             st->codec->extradata_size = descriptor->extradata_size;
1490         }
1491         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
1492             source_track->intra_only = mxf_is_intra_only(descriptor);
1493             container_ul = mxf_get_codec_ul(mxf_picture_essence_container_uls, essence_container_ul);
1494             if (st->codec->codec_id == AV_CODEC_ID_NONE)
1495                 st->codec->codec_id = container_ul->id;
1496             st->codec->width = descriptor->width;
1497             st->codec->height = descriptor->height; /* Field height, not frame height */
1498             switch (descriptor->frame_layout) {
1499                 case SegmentedFrame:
1500                     /* This one is a weird layout I don't fully understand. */
1501                     av_log(mxf->fc, AV_LOG_INFO, "SegmentedFrame layout isn't currently supported\n");
1502                     break;
1503                 case FullFrame:
1504                     break;
1505                 case OneField:
1506                     /* Every other line is stored and needs to be duplicated. */
1507                     av_log(mxf->fc, AV_LOG_INFO, "OneField frame layout isn't currently supported\n");
1508                     break; /* The correct thing to do here is fall through, but by breaking we might be
1509                               able to decode some streams at half the vertical resolution, rather than not al all.
1510                               It's also for compatibility with the old behavior. */
1511                 case MixedFields:
1512                     break;
1513                 case SeparateFields:
1514                     st->codec->height *= 2; /* Turn field height into frame height. */
1515                     break;
1516                 default:
1517                     av_log(mxf->fc, AV_LOG_INFO, "Unknown frame layout type: %d\n", descriptor->frame_layout);
1518             }
1519             if (st->codec->codec_id == AV_CODEC_ID_RAWVIDEO) {
1520                 st->codec->pix_fmt = descriptor->pix_fmt;
1521                 if (st->codec->pix_fmt == PIX_FMT_NONE) {
1522                     pix_fmt_ul = mxf_get_codec_ul(ff_mxf_pixel_format_uls,
1523                                                   &descriptor->essence_codec_ul);
1524                     st->codec->pix_fmt = pix_fmt_ul->id;
1525                     if (st->codec->pix_fmt == PIX_FMT_NONE) {
1526                         /* support files created before RP224v10 by defaulting to UYVY422
1527                            if subsampling is 4:2:2 and component depth is 8-bit */
1528                         if (descriptor->horiz_subsampling == 2 &&
1529                             descriptor->vert_subsampling == 1 &&
1530                             descriptor->component_depth == 8) {
1531                             st->codec->pix_fmt = PIX_FMT_UYVY422;
1532                         }
1533                     }
1534                 }
1535             }
1536             st->need_parsing = AVSTREAM_PARSE_HEADERS;
1537         } else if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
1538             container_ul = mxf_get_codec_ul(mxf_sound_essence_container_uls, essence_container_ul);
1539             /* Only overwrite existing codec ID if it is unset or A-law, which is the default according to SMPTE RP 224. */
1540             if (st->codec->codec_id == AV_CODEC_ID_NONE || (st->codec->codec_id == AV_CODEC_ID_PCM_ALAW && container_ul->id != AV_CODEC_ID_NONE))
1541                 st->codec->codec_id = container_ul->id;
1542             st->codec->channels = descriptor->channels;
1543             st->codec->bits_per_coded_sample = descriptor->bits_per_sample;
1544
1545             if (descriptor->sample_rate.den > 0)
1546                 st->codec->sample_rate = descriptor->sample_rate.num / descriptor->sample_rate.den;
1547
1548             /* TODO: implement AV_CODEC_ID_RAWAUDIO */
1549             if (st->codec->codec_id == AV_CODEC_ID_PCM_S16LE) {
1550                 if (descriptor->bits_per_sample > 16 && descriptor->bits_per_sample <= 24)
1551                     st->codec->codec_id = AV_CODEC_ID_PCM_S24LE;
1552                 else if (descriptor->bits_per_sample == 32)
1553                     st->codec->codec_id = AV_CODEC_ID_PCM_S32LE;
1554             } else if (st->codec->codec_id == AV_CODEC_ID_PCM_S16BE) {
1555                 if (descriptor->bits_per_sample > 16 && descriptor->bits_per_sample <= 24)
1556                     st->codec->codec_id = AV_CODEC_ID_PCM_S24BE;
1557                 else if (descriptor->bits_per_sample == 32)
1558                     st->codec->codec_id = AV_CODEC_ID_PCM_S32BE;
1559             } else if (st->codec->codec_id == AV_CODEC_ID_MP2) {
1560                 st->need_parsing = AVSTREAM_PARSE_FULL;
1561             }
1562         }
1563         if (st->codec->codec_type != AVMEDIA_TYPE_DATA && (*essence_container_ul)[15] > 0x01) {
1564             /* TODO: decode timestamps */
1565             st->need_parsing = AVSTREAM_PARSE_TIMESTAMPS;
1566         }
1567     }
1568
1569     ret = 0;
1570 fail_and_free:
1571     return ret;
1572 }
1573
1574 static const MXFMetadataReadTableEntry mxf_metadata_read_table[] = {
1575     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x05,0x01,0x00 }, mxf_read_primer_pack },
1576     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x01,0x00 }, mxf_read_partition_pack },
1577     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x02,0x00 }, mxf_read_partition_pack },
1578     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x03,0x00 }, mxf_read_partition_pack },
1579     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x04,0x00 }, mxf_read_partition_pack },
1580     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x01,0x00 }, mxf_read_partition_pack },
1581     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x02,0x00 }, mxf_read_partition_pack },
1582     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x03,0x00 }, mxf_read_partition_pack },
1583     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x04,0x00 }, mxf_read_partition_pack },
1584     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x04,0x02,0x00 }, mxf_read_partition_pack },
1585     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x04,0x04,0x00 }, mxf_read_partition_pack },
1586     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x18,0x00 }, mxf_read_content_storage, 0, AnyType },
1587     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x37,0x00 }, mxf_read_source_package, sizeof(MXFPackage), SourcePackage },
1588     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x36,0x00 }, mxf_read_material_package, sizeof(MXFPackage), MaterialPackage },
1589     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x0F,0x00 }, mxf_read_sequence, sizeof(MXFSequence), Sequence },
1590     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x11,0x00 }, mxf_read_source_clip, sizeof(MXFStructuralComponent), SourceClip },
1591     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x44,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), MultipleDescriptor },
1592     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x42,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* Generic Sound */
1593     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x28,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* CDCI */
1594     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x29,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* RGBA */
1595     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x51,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* MPEG 2 Video */
1596     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x48,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* Wave */
1597     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x47,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* AES3 */
1598     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x3A,0x00 }, mxf_read_track, sizeof(MXFTrack), Track }, /* Static Track */
1599     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x3B,0x00 }, mxf_read_track, sizeof(MXFTrack), Track }, /* Generic Track */
1600     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x14,0x00 }, mxf_read_timecode_component, sizeof(MXFTimecodeComponent), TimecodeComponent },
1601     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x04,0x01,0x02,0x02,0x00,0x00 }, mxf_read_cryptographic_context, sizeof(MXFCryptoContext), CryptoContext },
1602     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x10,0x01,0x00 }, mxf_read_index_table_segment, sizeof(MXFIndexTableSegment), IndexTableSegment },
1603     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 }, NULL, 0, AnyType },
1604 };
1605
1606 static int mxf_read_local_tags(MXFContext *mxf, KLVPacket *klv, MXFMetadataReadFunc *read_child, int ctx_size, enum MXFMetadataSetType type)
1607 {
1608     AVIOContext *pb = mxf->fc->pb;
1609     MXFMetadataSet *ctx = ctx_size ? av_mallocz(ctx_size) : mxf;
1610     uint64_t klv_end = avio_tell(pb) + klv->length;
1611
1612     if (!ctx)
1613         return AVERROR(ENOMEM);
1614     while (avio_tell(pb) + 4 < klv_end && !url_feof(pb)) {
1615         int ret;
1616         int tag = avio_rb16(pb);
1617         int size = avio_rb16(pb); /* KLV specified by 0x53 */
1618         uint64_t next = avio_tell(pb) + size;
1619         UID uid = {0};
1620
1621         av_dlog(mxf->fc, "local tag %#04x size %d\n", tag, size);
1622         if (!size) { /* ignore empty tag, needed for some files with empty UMID tag */
1623             av_log(mxf->fc, AV_LOG_ERROR, "local tag %#04x with 0 size\n", tag);
1624             continue;
1625         }
1626         if (tag > 0x7FFF) { /* dynamic tag */
1627             int i;
1628             for (i = 0; i < mxf->local_tags_count; i++) {
1629                 int local_tag = AV_RB16(mxf->local_tags+i*18);
1630                 if (local_tag == tag) {
1631                     memcpy(uid, mxf->local_tags+i*18+2, 16);
1632                     av_dlog(mxf->fc, "local tag %#04x\n", local_tag);
1633                     PRINT_KEY(mxf->fc, "uid", uid);
1634                 }
1635             }
1636         }
1637         if (ctx_size && tag == 0x3C0A)
1638             avio_read(pb, ctx->uid, 16);
1639         else if ((ret = read_child(ctx, pb, tag, size, uid, -1)) < 0)
1640             return ret;
1641
1642         /* Accept the 64k local set limit being exceeded (Avid). Don't accept
1643          * it extending past the end of the KLV though (zzuf5.mxf). */
1644         if (avio_tell(pb) > klv_end) {
1645             av_log(mxf->fc, AV_LOG_ERROR,
1646                    "local tag %#04x extends past end of local set @ %#"PRIx64"\n",
1647                    tag, klv->offset);
1648             return AVERROR_INVALIDDATA;
1649         } else if (avio_tell(pb) <= next)   /* only seek forward, else this can loop for a long time */
1650             avio_seek(pb, next, SEEK_SET);
1651     }
1652     if (ctx_size) ctx->type = type;
1653     return ctx_size ? mxf_add_metadata_set(mxf, ctx) : 0;
1654 }
1655
1656 /**
1657  * Seeks to the previous partition, if possible
1658  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1659  */
1660 static int mxf_seek_to_previous_partition(MXFContext *mxf)
1661 {
1662     AVIOContext *pb = mxf->fc->pb;
1663
1664     if (!mxf->current_partition ||
1665         mxf->run_in + mxf->current_partition->previous_partition <= mxf->last_forward_tell)
1666         return 0;   /* we've parsed all partitions */
1667
1668     /* seek to previous partition */
1669     avio_seek(pb, mxf->run_in + mxf->current_partition->previous_partition, SEEK_SET);
1670     mxf->current_partition = NULL;
1671
1672     av_dlog(mxf->fc, "seeking to previous partition\n");
1673
1674     return 1;
1675 }
1676
1677 /**
1678  * Called when essence is encountered
1679  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1680  */
1681 static int mxf_parse_handle_essence(MXFContext *mxf)
1682 {
1683     AVIOContext *pb = mxf->fc->pb;
1684     int64_t ret;
1685
1686     if (mxf->parsing_backward) {
1687         return mxf_seek_to_previous_partition(mxf);
1688     } else {
1689         if (!mxf->footer_partition) {
1690             av_dlog(mxf->fc, "no footer\n");
1691             return 0;
1692         }
1693
1694         av_dlog(mxf->fc, "seeking to footer\n");
1695
1696         /* remember where we were so we don't end up seeking further back than this */
1697         mxf->last_forward_tell = avio_tell(pb);
1698
1699         if (!pb->seekable) {
1700             av_log(mxf->fc, AV_LOG_INFO, "file is not seekable - not parsing footer\n");
1701             return -1;
1702         }
1703
1704         /* seek to footer partition and parse backward */
1705         if ((ret = avio_seek(pb, mxf->run_in + mxf->footer_partition, SEEK_SET)) < 0) {
1706             av_log(mxf->fc, AV_LOG_ERROR, "failed to seek to footer @ 0x%"PRIx64" (%"PRId64") - partial file?\n",
1707                    mxf->run_in + mxf->footer_partition, ret);
1708             return ret;
1709         }
1710
1711         mxf->current_partition = NULL;
1712         mxf->parsing_backward = 1;
1713     }
1714
1715     return 1;
1716 }
1717
1718 /**
1719  * Called when the next partition or EOF is encountered
1720  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1721  */
1722 static int mxf_parse_handle_partition_or_eof(MXFContext *mxf)
1723 {
1724     return mxf->parsing_backward ? mxf_seek_to_previous_partition(mxf) : 1;
1725 }
1726
1727 /**
1728  * Figures out the proper offset and length of the essence container in each partition
1729  */
1730 static void mxf_compute_essence_containers(MXFContext *mxf)
1731 {
1732     int x;
1733
1734     /* everything is already correct */
1735     if (mxf->op == OPAtom)
1736         return;
1737
1738     for (x = 0; x < mxf->partitions_count; x++) {
1739         MXFPartition *p = &mxf->partitions[x];
1740
1741         if (!p->body_sid)
1742             continue;       /* BodySID == 0 -> no essence */
1743
1744         if (x >= mxf->partitions_count - 1)
1745             break;          /* last partition - can't compute length (and we don't need to) */
1746
1747         /* essence container spans to the next partition */
1748         p->essence_length = mxf->partitions[x+1].this_partition - p->essence_offset;
1749
1750         if (p->essence_length < 0) {
1751             /* next ThisPartition < essence_offset */
1752             p->essence_length = 0;
1753             av_log(mxf->fc, AV_LOG_ERROR,
1754                    "partition %i: bad ThisPartition = %"PRIX64"\n",
1755                    x+1, mxf->partitions[x+1].this_partition);
1756         }
1757     }
1758 }
1759
1760 static int64_t round_to_kag(int64_t position, int kag_size)
1761 {
1762     /* TODO: account for run-in? the spec isn't clear whether KAG should account for it */
1763     /* NOTE: kag_size may be any integer between 1 - 2^10 */
1764     int64_t ret = (position / kag_size) * kag_size;
1765     return ret == position ? ret : ret + kag_size;
1766 }
1767
1768 static int is_pcm(enum AVCodecID codec_id)
1769 {
1770     /* we only care about "normal" PCM codecs until we get samples */
1771     return codec_id >= AV_CODEC_ID_PCM_S16LE && codec_id < AV_CODEC_ID_PCM_S24DAUD;
1772 }
1773
1774 /**
1775  * Deal with the case where for some audio atoms EditUnitByteCount is
1776  * very small (2, 4..). In those cases we should read more than one
1777  * sample per call to mxf_read_packet().
1778  */
1779 static void mxf_handle_small_eubc(AVFormatContext *s)
1780 {
1781     MXFContext *mxf = s->priv_data;
1782
1783     /* assuming non-OPAtom == frame wrapped
1784      * no sane writer would wrap 2 byte PCM packets with 20 byte headers.. */
1785     if (mxf->op != OPAtom)
1786         return;
1787
1788     /* expect PCM with exactly one index table segment and a small (< 32) EUBC */
1789     if (s->nb_streams != 1                                     ||
1790         s->streams[0]->codec->codec_type != AVMEDIA_TYPE_AUDIO ||
1791         !is_pcm(s->streams[0]->codec->codec_id)                ||
1792         mxf->nb_index_tables != 1                              ||
1793         mxf->index_tables[0].nb_segments != 1                  ||
1794         mxf->index_tables[0].segments[0]->edit_unit_byte_count >= 32)
1795         return;
1796
1797     /* arbitrarily default to 48 kHz PAL audio frame size */
1798     /* TODO: We could compute this from the ratio between the audio
1799      *       and video edit rates for 48 kHz NTSC we could use the
1800      *       1802-1802-1802-1802-1801 pattern. */
1801     mxf->edit_units_per_packet = 1920;
1802 }
1803
1804 static int mxf_read_header(AVFormatContext *s)
1805 {
1806     MXFContext *mxf = s->priv_data;
1807     KLVPacket klv;
1808     int64_t essence_offset = 0;
1809     int ret;
1810
1811     mxf->last_forward_tell = INT64_MAX;
1812     mxf->edit_units_per_packet = 1;
1813
1814     if (!mxf_read_sync(s->pb, mxf_header_partition_pack_key, 14)) {
1815         av_log(s, AV_LOG_ERROR, "could not find header partition pack key\n");
1816         return AVERROR_INVALIDDATA;
1817     }
1818     avio_seek(s->pb, -14, SEEK_CUR);
1819     mxf->fc = s;
1820     mxf->run_in = avio_tell(s->pb);
1821
1822     while (!url_feof(s->pb)) {
1823         const MXFMetadataReadTableEntry *metadata;
1824
1825         if (klv_read_packet(&klv, s->pb) < 0) {
1826             /* EOF - seek to previous partition or stop */
1827             if(mxf_parse_handle_partition_or_eof(mxf) <= 0)
1828                 break;
1829             else
1830                 continue;
1831         }
1832
1833         PRINT_KEY(s, "read header", klv.key);
1834         av_dlog(s, "size %"PRIu64" offset %#"PRIx64"\n", klv.length, klv.offset);
1835         if (IS_KLV_KEY(klv.key, mxf_encrypted_triplet_key) ||
1836             IS_KLV_KEY(klv.key, mxf_essence_element_key) ||
1837             IS_KLV_KEY(klv.key, mxf_avid_essence_element_key) ||
1838             IS_KLV_KEY(klv.key, mxf_system_item_key)) {
1839
1840             if (!mxf->current_partition) {
1841                 av_log(mxf->fc, AV_LOG_ERROR, "found essence prior to first PartitionPack\n");
1842                 return AVERROR_INVALIDDATA;
1843             }
1844
1845             if (!mxf->current_partition->essence_offset) {
1846                 /* for OP1a we compute essence_offset
1847                  * for OPAtom we point essence_offset after the KL (usually op1a_essence_offset + 20 or 25)
1848                  * TODO: for OP1a we could eliminate this entire if statement, always stopping parsing at op1a_essence_offset
1849                  *       for OPAtom we still need the actual essence_offset though (the KL's length can vary)
1850                  */
1851                 int64_t op1a_essence_offset =
1852                     round_to_kag(mxf->current_partition->this_partition +
1853                                  mxf->current_partition->pack_length,       mxf->current_partition->kag_size) +
1854                     round_to_kag(mxf->current_partition->header_byte_count, mxf->current_partition->kag_size) +
1855                     round_to_kag(mxf->current_partition->index_byte_count,  mxf->current_partition->kag_size);
1856
1857                 if (mxf->op == OPAtom) {
1858                     /* point essence_offset to the actual data
1859                     * OPAtom has all the essence in one big KLV
1860                     */
1861                     mxf->current_partition->essence_offset = avio_tell(s->pb);
1862                     mxf->current_partition->essence_length = klv.length;
1863                 } else {
1864                     /* NOTE: op1a_essence_offset may be less than to klv.offset (C0023S01.mxf)  */
1865                     mxf->current_partition->essence_offset = op1a_essence_offset;
1866                 }
1867             }
1868
1869             if (!essence_offset)
1870                 essence_offset = klv.offset;
1871
1872             /* seek to footer, previous partition or stop */
1873             if (mxf_parse_handle_essence(mxf) <= 0)
1874                 break;
1875             continue;
1876         } else if (!memcmp(klv.key, mxf_header_partition_pack_key, 13) &&
1877                    klv.key[13] >= 2 && klv.key[13] <= 4 && mxf->current_partition) {
1878             /* next partition pack - keep going, seek to previous partition or stop */
1879             if(mxf_parse_handle_partition_or_eof(mxf) <= 0)
1880                 break;
1881             else if (mxf->parsing_backward)
1882                 continue;
1883             /* we're still parsing forward. proceed to parsing this partition pack */
1884         }
1885
1886         for (metadata = mxf_metadata_read_table; metadata->read; metadata++) {
1887             if (IS_KLV_KEY(klv.key, metadata->key)) {
1888                 int res;
1889                 if (klv.key[5] == 0x53) {
1890                     res = mxf_read_local_tags(mxf, &klv, metadata->read, metadata->ctx_size, metadata->type);
1891                 } else {
1892                     uint64_t next = avio_tell(s->pb) + klv.length;
1893                     res = metadata->read(mxf, s->pb, 0, klv.length, klv.key, klv.offset);
1894
1895                     /* only seek forward, else this can loop for a long time */
1896                     if (avio_tell(s->pb) > next) {
1897                         av_log(s, AV_LOG_ERROR, "read past end of KLV @ %#"PRIx64"\n",
1898                                klv.offset);
1899                         return AVERROR_INVALIDDATA;
1900                     }
1901
1902                     avio_seek(s->pb, next, SEEK_SET);
1903                 }
1904                 if (res < 0) {
1905                     av_log(s, AV_LOG_ERROR, "error reading header metadata\n");
1906                     return res;
1907                 }
1908                 break;
1909             }
1910         }
1911         if (!metadata->read)
1912             avio_skip(s->pb, klv.length);
1913     }
1914     /* FIXME avoid seek */
1915     if (!essence_offset)  {
1916         av_log(s, AV_LOG_ERROR, "no essence\n");
1917         return AVERROR_INVALIDDATA;
1918     }
1919     avio_seek(s->pb, essence_offset, SEEK_SET);
1920
1921     mxf_compute_essence_containers(mxf);
1922
1923     /* we need to do this before computing the index tables
1924      * to be able to fill in zero IndexDurations with st->duration */
1925     if ((ret = mxf_parse_structural_metadata(mxf)) < 0)
1926         return ret;
1927
1928     if ((ret = mxf_compute_index_tables(mxf)) < 0)
1929         return ret;
1930
1931     if (mxf->nb_index_tables > 1) {
1932         /* TODO: look up which IndexSID to use via EssenceContainerData */
1933         av_log(mxf->fc, AV_LOG_INFO, "got %i index tables - only the first one (IndexSID %i) will be used\n",
1934                mxf->nb_index_tables, mxf->index_tables[0].index_sid);
1935     } else if (mxf->nb_index_tables == 0 && mxf->op == OPAtom) {
1936         av_log(mxf->fc, AV_LOG_ERROR, "cannot demux OPAtom without an index\n");
1937         return AVERROR_INVALIDDATA;
1938     }
1939
1940     mxf_handle_small_eubc(s);
1941
1942     return 0;
1943 }
1944
1945 /**
1946  * Sets mxf->current_edit_unit based on what offset we're currently at.
1947  * @return next_ofs if OK, <0 on error
1948  */
1949 static int64_t mxf_set_current_edit_unit(MXFContext *mxf, int64_t current_offset)
1950 {
1951     int64_t last_ofs = -1, next_ofs = -1;
1952     MXFIndexTable *t = &mxf->index_tables[0];
1953
1954     /* this is called from the OP1a demuxing logic, which means there
1955      * may be no index tables */
1956     if (mxf->nb_index_tables <= 0)
1957         return -1;
1958
1959     /* find mxf->current_edit_unit so that the next edit unit starts ahead of current_offset */
1960     while (mxf->current_edit_unit >= 0) {
1961         if (mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit + 1, NULL, &next_ofs, 0) < 0)
1962             return -1;
1963
1964         if (next_ofs <= last_ofs) {
1965             /* large next_ofs didn't change or current_edit_unit wrapped
1966              * around this fixes the infinite loop on zzuf3.mxf */
1967             av_log(mxf->fc, AV_LOG_ERROR,
1968                    "next_ofs didn't change. not deriving packet timestamps\n");
1969             return -1;
1970         }
1971
1972         if (next_ofs > current_offset)
1973             break;
1974
1975         last_ofs = next_ofs;
1976         mxf->current_edit_unit++;
1977     }
1978
1979     /* not checking mxf->current_edit_unit >= t->nb_ptses here since CBR files may lack IndexEntryArrays */
1980     if (mxf->current_edit_unit < 0)
1981         return -1;
1982
1983     return next_ofs;
1984 }
1985
1986 static int mxf_read_packet_old(AVFormatContext *s, AVPacket *pkt)
1987 {
1988     KLVPacket klv;
1989     MXFContext *mxf = s->priv_data;
1990
1991     while (!url_feof(s->pb)) {
1992         int ret;
1993         if (klv_read_packet(&klv, s->pb) < 0)
1994             return -1;
1995         PRINT_KEY(s, "read packet", klv.key);
1996         av_dlog(s, "size %"PRIu64" offset %#"PRIx64"\n", klv.length, klv.offset);
1997         if (IS_KLV_KEY(klv.key, mxf_encrypted_triplet_key)) {
1998             ret = mxf_decrypt_triplet(s, pkt, &klv);
1999             if (ret < 0) {
2000                 av_log(s, AV_LOG_ERROR, "invalid encoded triplet\n");
2001                 return AVERROR_INVALIDDATA;
2002             }
2003             return 0;
2004         }
2005         if (IS_KLV_KEY(klv.key, mxf_essence_element_key) ||
2006             IS_KLV_KEY(klv.key, mxf_avid_essence_element_key)) {
2007             int index = mxf_get_stream_index(s, &klv);
2008             int64_t next_ofs, next_klv;
2009             AVStream *st;
2010             MXFTrack *track;
2011
2012             if (index < 0) {
2013                 av_log(s, AV_LOG_ERROR, "error getting stream index %d\n", AV_RB32(klv.key+12));
2014                 goto skip;
2015             }
2016
2017             st = s->streams[index];
2018             track = st->priv_data;
2019
2020             if (s->streams[index]->discard == AVDISCARD_ALL)
2021                 goto skip;
2022
2023             next_klv = avio_tell(s->pb) + klv.length;
2024             next_ofs = mxf_set_current_edit_unit(mxf, klv.offset);
2025
2026             if (next_ofs >= 0 && next_klv > next_ofs) {
2027                 /* if this check is hit then it's possible OPAtom was treated as OP1a
2028                  * truncate the packet since it's probably very large (>2 GiB is common) */
2029                 av_log_ask_for_sample(s,
2030                     "KLV for edit unit %i extends into next edit unit - OPAtom misinterpreted as OP1a?\n",
2031                     mxf->current_edit_unit);
2032                 klv.length = next_ofs - avio_tell(s->pb);
2033             }
2034
2035             /* check for 8 channels AES3 element */
2036             if (klv.key[12] == 0x06 && klv.key[13] == 0x01 && klv.key[14] == 0x10) {
2037                 if (mxf_get_d10_aes3_packet(s->pb, s->streams[index], pkt, klv.length) < 0) {
2038                     av_log(s, AV_LOG_ERROR, "error reading D-10 aes3 frame\n");
2039                     return AVERROR_INVALIDDATA;
2040                 }
2041             } else {
2042                 ret = av_get_packet(s->pb, pkt, klv.length);
2043                 if (ret < 0)
2044                     return ret;
2045             }
2046             pkt->stream_index = index;
2047             pkt->pos = klv.offset;
2048
2049             if (s->streams[index]->codec->codec_type == AVMEDIA_TYPE_VIDEO && next_ofs >= 0) {
2050                 /* mxf->current_edit_unit good - see if we have an index table to derive timestamps from */
2051                 MXFIndexTable *t = &mxf->index_tables[0];
2052
2053                 if (mxf->nb_index_tables >= 1 && mxf->current_edit_unit < t->nb_ptses) {
2054                     pkt->dts = mxf->current_edit_unit + t->first_dts;
2055                     pkt->pts = t->ptses[mxf->current_edit_unit];
2056                 } else if (track->intra_only) {
2057                     /* intra-only -> PTS = EditUnit.
2058                      * let utils.c figure out DTS since it can be < PTS if low_delay = 0 (Sony IMX30) */
2059                     pkt->pts = mxf->current_edit_unit;
2060                 }
2061             }
2062
2063             /* seek for truncated packets */
2064             avio_seek(s->pb, next_klv, SEEK_SET);
2065
2066             return 0;
2067         } else
2068         skip:
2069             avio_skip(s->pb, klv.length);
2070     }
2071     return AVERROR_EOF;
2072 }
2073
2074 static int mxf_read_packet(AVFormatContext *s, AVPacket *pkt)
2075 {
2076     MXFContext *mxf = s->priv_data;
2077     int ret, size;
2078     int64_t ret64, pos, next_pos;
2079     AVStream *st;
2080     MXFIndexTable *t;
2081     int edit_units;
2082
2083     if (mxf->op != OPAtom)
2084         return mxf_read_packet_old(s, pkt);
2085
2086     /* OPAtom - clip wrapped demuxing */
2087     /* NOTE: mxf_read_header() makes sure nb_index_tables > 0 for OPAtom */
2088     st = s->streams[0];
2089     t = &mxf->index_tables[0];
2090
2091     if (mxf->current_edit_unit >= st->duration)
2092         return AVERROR_EOF;
2093
2094     edit_units = FFMIN(mxf->edit_units_per_packet, st->duration - mxf->current_edit_unit);
2095
2096     if ((ret = mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit, NULL, &pos, 1)) < 0)
2097         return ret;
2098
2099     /* compute size by finding the next edit unit or the end of the essence container
2100      * not pretty, but it works */
2101     if ((ret = mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit + edit_units, NULL, &next_pos, 0)) < 0 &&
2102         (next_pos = mxf_essence_container_end(mxf, t->body_sid)) <= 0) {
2103         av_log(s, AV_LOG_ERROR, "unable to compute the size of the last packet\n");
2104         return AVERROR_INVALIDDATA;
2105     }
2106
2107     if ((size = next_pos - pos) <= 0) {
2108         av_log(s, AV_LOG_ERROR, "bad size: %i\n", size);
2109         return AVERROR_INVALIDDATA;
2110     }
2111
2112     if ((ret64 = avio_seek(s->pb, pos, SEEK_SET)) < 0)
2113         return ret64;
2114
2115     if ((size = av_get_packet(s->pb, pkt, size)) < 0)
2116         return size;
2117
2118     if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO && t->ptses &&
2119         mxf->current_edit_unit >= 0 && mxf->current_edit_unit < t->nb_ptses) {
2120         pkt->dts = mxf->current_edit_unit + t->first_dts;
2121         pkt->pts = t->ptses[mxf->current_edit_unit];
2122     }
2123
2124     pkt->stream_index = 0;
2125     mxf->current_edit_unit += edit_units;
2126
2127     return 0;
2128 }
2129
2130 static int mxf_read_close(AVFormatContext *s)
2131 {
2132     MXFContext *mxf = s->priv_data;
2133     MXFIndexTableSegment *seg;
2134     int i;
2135
2136     av_freep(&mxf->packages_refs);
2137
2138     for (i = 0; i < s->nb_streams; i++)
2139         s->streams[i]->priv_data = NULL;
2140
2141     for (i = 0; i < mxf->metadata_sets_count; i++) {
2142         switch (mxf->metadata_sets[i]->type) {
2143         case MultipleDescriptor:
2144             av_freep(&((MXFDescriptor *)mxf->metadata_sets[i])->sub_descriptors_refs);
2145             break;
2146         case Sequence:
2147             av_freep(&((MXFSequence *)mxf->metadata_sets[i])->structural_components_refs);
2148             break;
2149         case SourcePackage:
2150         case MaterialPackage:
2151             av_freep(&((MXFPackage *)mxf->metadata_sets[i])->tracks_refs);
2152             break;
2153         case IndexTableSegment:
2154             seg = (MXFIndexTableSegment *)mxf->metadata_sets[i];
2155             av_freep(&seg->temporal_offset_entries);
2156             av_freep(&seg->flag_entries);
2157             av_freep(&seg->stream_offset_entries);
2158             break;
2159         default:
2160             break;
2161         }
2162         av_freep(&mxf->metadata_sets[i]);
2163     }
2164     av_freep(&mxf->partitions);
2165     av_freep(&mxf->metadata_sets);
2166     av_freep(&mxf->aesc);
2167     av_freep(&mxf->local_tags);
2168
2169     for (i = 0; i < mxf->nb_index_tables; i++) {
2170         av_freep(&mxf->index_tables[i].segments);
2171         av_freep(&mxf->index_tables[i].ptses);
2172         av_freep(&mxf->index_tables[i].fake_index);
2173     }
2174     av_freep(&mxf->index_tables);
2175
2176     return 0;
2177 }
2178
2179 static int mxf_probe(AVProbeData *p) {
2180     uint8_t *bufp = p->buf;
2181     uint8_t *end = p->buf + p->buf_size;
2182
2183     if (p->buf_size < sizeof(mxf_header_partition_pack_key))
2184         return 0;
2185
2186     /* Must skip Run-In Sequence and search for MXF header partition pack key SMPTE 377M 5.5 */
2187     end -= sizeof(mxf_header_partition_pack_key);
2188     for (; bufp < end; bufp++) {
2189         if (IS_KLV_KEY(bufp, mxf_header_partition_pack_key))
2190             return AVPROBE_SCORE_MAX;
2191     }
2192     return 0;
2193 }
2194
2195 /* rudimentary byte seek */
2196 /* XXX: use MXF Index */
2197 static int mxf_read_seek(AVFormatContext *s, int stream_index, int64_t sample_time, int flags)
2198 {
2199     AVStream *st = s->streams[stream_index];
2200     int64_t seconds;
2201     MXFContext* mxf = s->priv_data;
2202     int64_t seekpos;
2203     int ret;
2204     MXFIndexTable *t;
2205
2206     if (mxf->nb_index_tables <= 0) {
2207     if (!s->bit_rate)
2208         return AVERROR_INVALIDDATA;
2209     if (sample_time < 0)
2210         sample_time = 0;
2211     seconds = av_rescale(sample_time, st->time_base.num, st->time_base.den);
2212
2213     if ((ret = avio_seek(s->pb, (s->bit_rate * seconds) >> 3, SEEK_SET)) < 0)
2214         return ret;
2215     ff_update_cur_dts(s, st, sample_time);
2216     } else {
2217         t = &mxf->index_tables[0];
2218
2219         /* clamp above zero, else ff_index_search_timestamp() returns negative
2220          * this also means we allow seeking before the start */
2221         sample_time = FFMAX(sample_time, 0);
2222
2223         if (t->fake_index) {
2224             /* behave as if we have a proper index */
2225             if ((sample_time = ff_index_search_timestamp(t->fake_index, t->nb_ptses, sample_time, flags)) < 0)
2226                 return sample_time;
2227         } else {
2228             /* no IndexEntryArray (one or more CBR segments)
2229              * make sure we don't seek past the end */
2230             sample_time = FFMIN(sample_time, st->duration - 1);
2231         }
2232
2233         if ((ret = mxf_edit_unit_absolute_offset(mxf, t, sample_time, &sample_time, &seekpos, 1)) << 0)
2234             return ret;
2235
2236         ff_update_cur_dts(s, st, sample_time);
2237         mxf->current_edit_unit = sample_time;
2238         avio_seek(s->pb, seekpos, SEEK_SET);
2239     }
2240     return 0;
2241 }
2242
2243 AVInputFormat ff_mxf_demuxer = {
2244     .name           = "mxf",
2245     .long_name      = NULL_IF_CONFIG_SMALL("MXF (Material eXchange Format)"),
2246     .priv_data_size = sizeof(MXFContext),
2247     .read_probe     = mxf_probe,
2248     .read_header    = mxf_read_header,
2249     .read_packet    = mxf_read_packet,
2250     .read_close     = mxf_read_close,
2251     .read_seek      = mxf_read_seek,
2252 };