git.sesse.net Git - ffmpeg/blob - libavformat/mxfdec.c

   1 /*
   2  * MXF demuxer.
   3  * Copyright (c) 2006 SmartJog S.A., Baptiste Coudurier <baptiste dot coudurier at smartjog dot com>
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /*
  23  * References
  24  * SMPTE 336M KLV Data Encoding Protocol Using Key-Length-Value
  25  * SMPTE 377M MXF File Format Specifications
  26  * SMPTE 378M Operational Pattern 1a
  27  * SMPTE 379M MXF Generic Container
  28  * SMPTE 381M Mapping MPEG Streams into the MXF Generic Container
  29  * SMPTE 382M Mapping AES3 and Broadcast Wave Audio into the MXF Generic Container
  30  * SMPTE 383M Mapping DV-DIF Data to the MXF Generic Container
  31  *
  32  * Principle
  33  * Search for Track numbers which will identify essence element KLV packets.
  34  * Search for SourcePackage which define tracks which contains Track numbers.
  35  * Material Package contains tracks with reference to SourcePackage tracks.
  36  * Search for Descriptors (Picture, Sound) which contains codec info and parameters.
  37  * Assign Descriptors to correct Tracks.
  38  *
  39  * Metadata reading functions read Local Tags, get InstanceUID(0x3C0A) then add MetaDataSet to MXFContext.
  40  * Metadata parsing resolves Strong References to objects.
  41  *
  42  * Simple demuxer, only OP1A supported and some files might not work at all.
  43  * Only tracks with associated descriptors will be decoded. "Highly Desirable" SMPTE 377M D.1
  44  */
  45
  46 //#define DEBUG
  47
  48 #include "libavutil/aes.h"
  49 #include "libavutil/mathematics.h"
  50 #include "libavcodec/bytestream.h"
  51 #include "libavutil/timecode.h"
  52 #include "avformat.h"
  53 #include "internal.h"
  54 #include "mxf.h"
  55
  56 typedef enum {
  57     Header,
  58     BodyPartition,
  59     Footer
  60 } MXFPartitionType;
  61
  62 typedef enum {
  63     OP1a = 1,
  64     OP1b,
  65     OP1c,
  66     OP2a,
  67     OP2b,
  68     OP2c,
  69     OP3a,
  70     OP3b,
  71     OP3c,
  72     OPAtom,
  73     OPSONYOpt,  /* FATE sample, violates the spec in places */
  74 } MXFOP;
  75
  76 typedef struct {
  77     int closed;
  78     int complete;
  79     MXFPartitionType type;
  80     uint64_t previous_partition;
  81     int index_sid;
  82     int body_sid;
  83     int64_t this_partition;
  84     int64_t essence_offset;         ///< absolute offset of essence
  85     int64_t essence_length;
  86     int32_t kag_size;
  87     int64_t header_byte_count;
  88     int64_t index_byte_count;
  89     int pack_length;
  90 } MXFPartition;
  91
  92 typedef struct {
  93     UID uid;
  94     enum MXFMetadataSetType type;
  95     UID source_container_ul;
  96 } MXFCryptoContext;
  97
  98 typedef struct {
  99     UID uid;
 100     enum MXFMetadataSetType type;
 101     UID source_package_uid;
 102     UID data_definition_ul;
 103     int64_t duration;
 104     int64_t start_position;
 105     int source_track_id;
 106 } MXFStructuralComponent;
 107
 108 typedef struct {
 109     UID uid;
 110     enum MXFMetadataSetType type;
 111     UID data_definition_ul;
 112     UID *structural_components_refs;
 113     int structural_components_count;
 114     int64_t duration;
 115 } MXFSequence;
 116
 117 typedef struct {
 118     UID uid;
 119     enum MXFMetadataSetType type;
 120     int drop_frame;
 121     int start_frame;
 122     struct AVRational rate;
 123     AVTimecode tc;
 124 } MXFTimecodeComponent;
 125
 126 typedef struct {
 127     UID uid;
 128     enum MXFMetadataSetType type;
 129     MXFSequence *sequence; /* mandatory, and only one */
 130     UID sequence_ref;
 131     int track_id;
 132     uint8_t track_number[4];
 133     AVRational edit_rate;
 134     int intra_only;
 135 } MXFTrack;
 136
 137 typedef struct {
 138     UID uid;
 139     enum MXFMetadataSetType type;
 140     UID essence_container_ul;
 141     UID essence_codec_ul;
 142     AVRational sample_rate;
 143     AVRational aspect_ratio;
 144     int width;
 145     int height; /* Field height, not frame height */
 146     int frame_layout; /* See MXFFrameLayout enum */
 147     int channels;
 148     int bits_per_sample;
 149     unsigned int component_depth;
 150     unsigned int horiz_subsampling;
 151     unsigned int vert_subsampling;
 152     UID *sub_descriptors_refs;
 153     int sub_descriptors_count;
 154     int linked_track_id;
 155     uint8_t *extradata;
 156     int extradata_size;
 157     enum AVPixelFormat pix_fmt;
 158 } MXFDescriptor;
 159
 160 typedef struct {
 161     UID uid;
 162     enum MXFMetadataSetType type;
 163     int edit_unit_byte_count;
 164     int index_sid;
 165     int body_sid;
 166     AVRational index_edit_rate;
 167     uint64_t index_start_position;
 168     uint64_t index_duration;
 169     int8_t *temporal_offset_entries;
 170     int *flag_entries;
 171     uint64_t *stream_offset_entries;
 172     int nb_index_entries;
 173 } MXFIndexTableSegment;
 174
 175 typedef struct {
 176     UID uid;
 177     enum MXFMetadataSetType type;
 178     UID package_uid;
 179     UID *tracks_refs;
 180     int tracks_count;
 181     MXFDescriptor *descriptor; /* only one */
 182     UID descriptor_ref;
 183 } MXFPackage;
 184
 185 typedef struct {
 186     UID uid;
 187     enum MXFMetadataSetType type;
 188 } MXFMetadataSet;
 189
 190 /* decoded index table */
 191 typedef struct {
 192     int index_sid;
 193     int body_sid;
 194     int nb_ptses;               /* number of PTSes or total duration of index */
 195     int64_t first_dts;          /* DTS = EditUnit + first_dts */
 196     int64_t *ptses;             /* maps EditUnit -> PTS */
 197     int nb_segments;
 198     MXFIndexTableSegment **segments;    /* sorted by IndexStartPosition */
 199     AVIndexEntry *fake_index;   /* used for calling ff_index_search_timestamp() */
 200 } MXFIndexTable;
 201
 202 typedef struct {
 203     MXFPartition *partitions;
 204     unsigned partitions_count;
 205     MXFOP op;
 206     UID *packages_refs;
 207     int packages_count;
 208     MXFMetadataSet **metadata_sets;
 209     int metadata_sets_count;
 210     AVFormatContext *fc;
 211     struct AVAES *aesc;
 212     uint8_t *local_tags;
 213     int local_tags_count;
 214     uint64_t footer_partition;
 215     KLVPacket current_klv_data;
 216     int current_klv_index;
 217     int run_in;
 218     MXFPartition *current_partition;
 219     int parsing_backward;
 220     int64_t last_forward_tell;
 221     int last_forward_partition;
 222     int current_edit_unit;
 223     int nb_index_tables;
 224     MXFIndexTable *index_tables;
 225     int edit_units_per_packet;      ///< how many edit units to read at a time (PCM, OPAtom)
 226 } MXFContext;
 227
 228 enum MXFWrappingScheme {
 229     Frame,
 230     Clip,
 231 };
 232
 233 /* NOTE: klv_offset is not set (-1) for local keys */
 234 typedef int MXFMetadataReadFunc(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset);
 235
 236 typedef struct {
 237     const UID key;
 238     MXFMetadataReadFunc *read;
 239     int ctx_size;
 240     enum MXFMetadataSetType type;
 241 } MXFMetadataReadTableEntry;
 242
 243 /* partial keys to match */
 244 static const uint8_t mxf_header_partition_pack_key[]       = { 0x06,0x0e,0x2b,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02 };
 245 static const uint8_t mxf_essence_element_key[]             = { 0x06,0x0e,0x2b,0x34,0x01,0x02,0x01,0x01,0x0d,0x01,0x03,0x01 };
 246 static const uint8_t mxf_avid_essence_element_key[]        = { 0x06,0x0e,0x2b,0x34,0x01,0x02,0x01,0x01,0x0e,0x04,0x03,0x01 };
 247 static const uint8_t mxf_system_item_key[]                 = { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0D,0x01,0x03,0x01,0x04 };
 248 static const uint8_t mxf_klv_key[]                         = { 0x06,0x0e,0x2b,0x34 };
 249 /* complete keys to match */
 250 static const uint8_t mxf_crypto_source_container_ul[]      = { 0x06,0x0e,0x2b,0x34,0x01,0x01,0x01,0x09,0x06,0x01,0x01,0x02,0x02,0x00,0x00,0x00 };
 251 static const uint8_t mxf_encrypted_triplet_key[]           = { 0x06,0x0e,0x2b,0x34,0x02,0x04,0x01,0x07,0x0d,0x01,0x03,0x01,0x02,0x7e,0x01,0x00 };
 252 static const uint8_t mxf_encrypted_essence_container[]     = { 0x06,0x0e,0x2b,0x34,0x04,0x01,0x01,0x07,0x0d,0x01,0x03,0x01,0x02,0x0b,0x01,0x00 };
 253 static const uint8_t mxf_sony_mpeg4_extradata[]            = { 0x06,0x0e,0x2b,0x34,0x04,0x01,0x01,0x01,0x0e,0x06,0x06,0x02,0x02,0x01,0x00,0x00 };
 254
 255 #define IS_KLV_KEY(x, y) (!memcmp(x, y, sizeof(y)))
 256
 257 static int64_t klv_decode_ber_length(AVIOContext *pb)
 258 {
 259     uint64_t size = avio_r8(pb);
 260     if (size & 0x80) { /* long form */
 261         int bytes_num = size & 0x7f;
 262         /* SMPTE 379M 5.3.4 guarantee that bytes_num must not exceed 8 bytes */
 263         if (bytes_num > 8)
 264             return AVERROR_INVALIDDATA;
 265         size = 0;
 266         while (bytes_num--)
 267             size = size << 8 | avio_r8(pb);
 268     }
 269     return size;
 270 }
 271
 272 static int mxf_read_sync(AVIOContext *pb, const uint8_t *key, unsigned size)
 273 {
 274     int i, b;
 275     for (i = 0; i < size && !url_feof(pb); i++) {
 276         b = avio_r8(pb);
 277         if (b == key[0])
 278             i = 0;
 279         else if (b != key[i])
 280             i = -1;
 281     }
 282     return i == size;
 283 }
 284
 285 static int klv_read_packet(KLVPacket *klv, AVIOContext *pb)
 286 {
 287     if (!mxf_read_sync(pb, mxf_klv_key, 4))
 288         return AVERROR_INVALIDDATA;
 289     klv->offset = avio_tell(pb) - 4;
 290     memcpy(klv->key, mxf_klv_key, 4);
 291     avio_read(pb, klv->key + 4, 12);
 292     klv->length = klv_decode_ber_length(pb);
 293     return klv->length == -1 ? -1 : 0;
 294 }
 295
 296 static int mxf_get_stream_index(AVFormatContext *s, KLVPacket *klv)
 297 {
 298     int i;
 299
 300     for (i = 0; i < s->nb_streams; i++) {
 301         MXFTrack *track = s->streams[i]->priv_data;
 302         /* SMPTE 379M 7.3 */
 303         if (!memcmp(klv->key + sizeof(mxf_essence_element_key), track->track_number, sizeof(track->track_number)))
 304             return i;
 305     }
 306     /* return 0 if only one stream, for OP Atom files with 0 as track number */
 307     return s->nb_streams == 1 ? 0 : -1;
 308 }
 309
 310 /* XXX: use AVBitStreamFilter */
 311 static int mxf_get_d10_aes3_packet(AVIOContext *pb, AVStream *st, AVPacket *pkt, int64_t length)
 312 {
 313     const uint8_t *buf_ptr, *end_ptr;
 314     uint8_t *data_ptr;
 315     int i;
 316
 317     if (length > 61444) /* worst case PAL 1920 samples 8 channels */
 318         return AVERROR_INVALIDDATA;
 319     length = av_get_packet(pb, pkt, length);
 320     if (length < 0)
 321         return length;
 322     data_ptr = pkt->data;
 323     end_ptr = pkt->data + length;
 324     buf_ptr = pkt->data + 4; /* skip SMPTE 331M header */
 325     for (; buf_ptr + st->codec->channels*4 <= end_ptr; ) {
 326         for (i = 0; i < st->codec->channels; i++) {
 327             uint32_t sample = bytestream_get_le32(&buf_ptr);
 328             if (st->codec->bits_per_coded_sample == 24)
 329                 bytestream_put_le24(&data_ptr, (sample >> 4) & 0xffffff);
 330             else
 331                 bytestream_put_le16(&data_ptr, (sample >> 12) & 0xffff);
 332         }
 333         buf_ptr += 32 - st->codec->channels*4; // always 8 channels stored SMPTE 331M
 334     }
 335     av_shrink_packet(pkt, data_ptr - pkt->data);
 336     return 0;
 337 }
 338
 339 static int mxf_decrypt_triplet(AVFormatContext *s, AVPacket *pkt, KLVPacket *klv)
 340 {
 341     static const uint8_t checkv[16] = {0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b};
 342     MXFContext *mxf = s->priv_data;
 343     AVIOContext *pb = s->pb;
 344     int64_t end = avio_tell(pb) + klv->length;
 345     int64_t size;
 346     uint64_t orig_size;
 347     uint64_t plaintext_size;
 348     uint8_t ivec[16];
 349     uint8_t tmpbuf[16];
 350     int index;
 351
 352     if (!mxf->aesc && s->key && s->keylen == 16) {
 353         mxf->aesc = av_aes_alloc();
 354         if (!mxf->aesc)
 355             return AVERROR(ENOMEM);
 356         av_aes_init(mxf->aesc, s->key, 128, 1);
 357     }
 358     // crypto context
 359     avio_skip(pb, klv_decode_ber_length(pb));
 360     // plaintext offset
 361     klv_decode_ber_length(pb);
 362     plaintext_size = avio_rb64(pb);
 363     // source klv key
 364     klv_decode_ber_length(pb);
 365     avio_read(pb, klv->key, 16);
 366     if (!IS_KLV_KEY(klv, mxf_essence_element_key))
 367         return AVERROR_INVALIDDATA;
 368     index = mxf_get_stream_index(s, klv);
 369     if (index < 0)
 370         return AVERROR_INVALIDDATA;
 371     // source size
 372     klv_decode_ber_length(pb);
 373     orig_size = avio_rb64(pb);
 374     if (orig_size < plaintext_size)
 375         return AVERROR_INVALIDDATA;
 376     // enc. code
 377     size = klv_decode_ber_length(pb);
 378     if (size < 32 || size - 32 < orig_size)
 379         return AVERROR_INVALIDDATA;
 380     avio_read(pb, ivec, 16);
 381     avio_read(pb, tmpbuf, 16);
 382     if (mxf->aesc)
 383         av_aes_crypt(mxf->aesc, tmpbuf, tmpbuf, 1, ivec, 1);
 384     if (memcmp(tmpbuf, checkv, 16))
 385         av_log(s, AV_LOG_ERROR, "probably incorrect decryption key\n");
 386     size -= 32;
 387     size = av_get_packet(pb, pkt, size);
 388     if (size < 0)
 389         return size;
 390     else if (size < plaintext_size)
 391         return AVERROR_INVALIDDATA;
 392     size -= plaintext_size;
 393     if (mxf->aesc)
 394         av_aes_crypt(mxf->aesc, &pkt->data[plaintext_size],
 395                      &pkt->data[plaintext_size], size >> 4, ivec, 1);
 396     av_shrink_packet(pkt, orig_size);
 397     pkt->stream_index = index;
 398     avio_skip(pb, end - avio_tell(pb));
 399     return 0;
 400 }
 401
 402 static int mxf_read_primer_pack(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 403 {
 404     MXFContext *mxf = arg;
 405     int item_num = avio_rb32(pb);
 406     int item_len = avio_rb32(pb);
 407
 408     if (item_len != 18) {
 409         av_log_ask_for_sample(pb, "unsupported primer pack item length %d\n",
 410                               item_len);
 411         return AVERROR_PATCHWELCOME;
 412     }
 413     if (item_num > 65536) {
 414         av_log(mxf->fc, AV_LOG_ERROR, "item_num %d is too large\n", item_num);
 415         return AVERROR_INVALIDDATA;
 416     }
 417     mxf->local_tags = av_calloc(item_num, item_len);
 418     if (!mxf->local_tags)
 419         return AVERROR(ENOMEM);
 420     mxf->local_tags_count = item_num;
 421     avio_read(pb, mxf->local_tags, item_num*item_len);
 422     return 0;
 423 }
 424
 425 static int mxf_read_partition_pack(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 426 {
 427     MXFContext *mxf = arg;
 428     MXFPartition *partition, *tmp_part;
 429     UID op;
 430     uint64_t footer_partition;
 431     uint32_t nb_essence_containers;
 432
 433     if (mxf->partitions_count+1 >= UINT_MAX / sizeof(*mxf->partitions))
 434         return AVERROR(ENOMEM);
 435
 436     tmp_part = av_realloc(mxf->partitions, (mxf->partitions_count + 1) * sizeof(*mxf->partitions));
 437     if (!tmp_part)
 438         return AVERROR(ENOMEM);
 439     mxf->partitions = tmp_part;
 440
 441     if (mxf->parsing_backward) {
 442         /* insert the new partition pack in the middle
 443          * this makes the entries in mxf->partitions sorted by offset */
 444         memmove(&mxf->partitions[mxf->last_forward_partition+1],
 445                 &mxf->partitions[mxf->last_forward_partition],
 446                 (mxf->partitions_count - mxf->last_forward_partition)*sizeof(*mxf->partitions));
 447         partition = mxf->current_partition = &mxf->partitions[mxf->last_forward_partition];
 448     } else {
 449         mxf->last_forward_partition++;
 450         partition = mxf->current_partition = &mxf->partitions[mxf->partitions_count];
 451     }
 452
 453     memset(partition, 0, sizeof(*partition));
 454     mxf->partitions_count++;
 455     partition->pack_length = avio_tell(pb) - klv_offset + size;
 456
 457     switch(uid[13]) {
 458     case 2:
 459         partition->type = Header;
 460         break;
 461     case 3:
 462         partition->type = BodyPartition;
 463         break;
 464     case 4:
 465         partition->type = Footer;
 466         break;
 467     default:
 468         av_log(mxf->fc, AV_LOG_ERROR, "unknown partition type %i\n", uid[13]);
 469         return AVERROR_INVALIDDATA;
 470     }
 471
 472     /* consider both footers to be closed (there is only Footer and CompleteFooter) */
 473     partition->closed = partition->type == Footer || !(uid[14] & 1);
 474     partition->complete = uid[14] > 2;
 475     avio_skip(pb, 4);
 476     partition->kag_size = avio_rb32(pb);
 477     partition->this_partition = avio_rb64(pb);
 478     partition->previous_partition = avio_rb64(pb);
 479     footer_partition = avio_rb64(pb);
 480     partition->header_byte_count = avio_rb64(pb);
 481     partition->index_byte_count = avio_rb64(pb);
 482     partition->index_sid = avio_rb32(pb);
 483     avio_skip(pb, 8);
 484     partition->body_sid = avio_rb32(pb);
 485     avio_read(pb, op, sizeof(UID));
 486     nb_essence_containers = avio_rb32(pb);
 487
 488     /* some files don'thave FooterPartition set in every partition */
 489     if (footer_partition) {
 490         if (mxf->footer_partition && mxf->footer_partition != footer_partition) {
 491             av_log(mxf->fc, AV_LOG_ERROR,
 492                    "inconsistent FooterPartition value: %"PRIu64" != %"PRIu64"\n",
 493                    mxf->footer_partition, footer_partition);
 494         } else {
 495             mxf->footer_partition = footer_partition;
 496         }
 497     }
 498
 499     av_dlog(mxf->fc,
 500             "PartitionPack: ThisPartition = 0x%"PRIX64
 501             ", PreviousPartition = 0x%"PRIX64", "
 502             "FooterPartition = 0x%"PRIX64", IndexSID = %i, BodySID = %i\n",
 503             partition->this_partition,
 504             partition->previous_partition, footer_partition,
 505             partition->index_sid, partition->body_sid);
 506
 507     /* sanity check PreviousPartition if set */
 508     if (partition->previous_partition &&
 509         mxf->run_in + partition->previous_partition >= klv_offset) {
 510         av_log(mxf->fc, AV_LOG_ERROR,
 511                "PreviousPartition points to this partition or forward\n");
 512         return AVERROR_INVALIDDATA;
 513     }
 514
 515     if      (op[12] == 1 && op[13] == 1) mxf->op = OP1a;
 516     else if (op[12] == 1 && op[13] == 2) mxf->op = OP1b;
 517     else if (op[12] == 1 && op[13] == 3) mxf->op = OP1c;
 518     else if (op[12] == 2 && op[13] == 1) mxf->op = OP2a;
 519     else if (op[12] == 2 && op[13] == 2) mxf->op = OP2b;
 520     else if (op[12] == 2 && op[13] == 3) mxf->op = OP2c;
 521     else if (op[12] == 3 && op[13] == 1) mxf->op = OP3a;
 522     else if (op[12] == 3 && op[13] == 2) mxf->op = OP3b;
 523     else if (op[12] == 3 && op[13] == 3) mxf->op = OP3c;
 524     else if (op[12] == 64&& op[13] == 1) mxf->op = OPSONYOpt;
 525     else if (op[12] == 0x10) {
 526         /* SMPTE 390m: "There shall be exactly one essence container"
 527          * The following block deals with files that violate this, namely:
 528          * 2011_DCPTEST_24FPS.V.mxf - two ECs, OP1a
 529          * abcdefghiv016f56415e.mxf - zero ECs, OPAtom, output by Avid AirSpeed */
 530         if (nb_essence_containers != 1) {
 531             MXFOP op = nb_essence_containers ? OP1a : OPAtom;
 532
 533             /* only nag once */
 534             if (!mxf->op)
 535                 av_log(mxf->fc, AV_LOG_WARNING, "\"OPAtom\" with %u ECs - assuming %s\n",
 536                        nb_essence_containers, op == OP1a ? "OP1a" : "OPAtom");
 537
 538             mxf->op = op;
 539         } else
 540             mxf->op = OPAtom;
 541     } else {
 542         av_log(mxf->fc, AV_LOG_ERROR, "unknown operational pattern: %02xh %02xh - guessing OP1a\n", op[12], op[13]);
 543         mxf->op = OP1a;
 544     }
 545
 546     if (partition->kag_size <= 0 || partition->kag_size > (1 << 20)) {
 547         av_log(mxf->fc, AV_LOG_WARNING, "invalid KAGSize %i - guessing ", partition->kag_size);
 548
 549         if (mxf->op == OPSONYOpt)
 550             partition->kag_size = 512;
 551         else
 552             partition->kag_size = 1;
 553
 554         av_log(mxf->fc, AV_LOG_WARNING, "%i\n", partition->kag_size);
 555     }
 556
 557     return 0;
 558 }
 559
 560 static int mxf_add_metadata_set(MXFContext *mxf, void *metadata_set)
 561 {
 562     MXFMetadataSet **tmp;
 563     if (mxf->metadata_sets_count+1 >= UINT_MAX / sizeof(*mxf->metadata_sets))
 564         return AVERROR(ENOMEM);
 565     tmp = av_realloc(mxf->metadata_sets, (mxf->metadata_sets_count + 1) * sizeof(*mxf->metadata_sets));
 566     if (!tmp)
 567         return AVERROR(ENOMEM);
 568     mxf->metadata_sets = tmp;
 569     mxf->metadata_sets[mxf->metadata_sets_count] = metadata_set;
 570     mxf->metadata_sets_count++;
 571     return 0;
 572 }
 573
 574 static int mxf_read_cryptographic_context(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 575 {
 576     MXFCryptoContext *cryptocontext = arg;
 577     if (size != 16)
 578         return AVERROR_INVALIDDATA;
 579     if (IS_KLV_KEY(uid, mxf_crypto_source_container_ul))
 580         avio_read(pb, cryptocontext->source_container_ul, 16);
 581     return 0;
 582 }
 583
 584 static int mxf_read_content_storage(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 585 {
 586     MXFContext *mxf = arg;
 587     switch (tag) {
 588     case 0x1901:
 589         mxf->packages_count = avio_rb32(pb);
 590         mxf->packages_refs = av_calloc(mxf->packages_count, sizeof(UID));
 591         if (!mxf->packages_refs)
 592             return AVERROR(ENOMEM);
 593         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 594         avio_read(pb, (uint8_t *)mxf->packages_refs, mxf->packages_count * sizeof(UID));
 595         break;
 596     }
 597     return 0;
 598 }
 599
 600 static int mxf_read_source_clip(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 601 {
 602     MXFStructuralComponent *source_clip = arg;
 603     switch(tag) {
 604     case 0x0202:
 605         source_clip->duration = avio_rb64(pb);
 606         break;
 607     case 0x1201:
 608         source_clip->start_position = avio_rb64(pb);
 609         break;
 610     case 0x1101:
 611         /* UMID, only get last 16 bytes */
 612         avio_skip(pb, 16);
 613         avio_read(pb, source_clip->source_package_uid, 16);
 614         break;
 615     case 0x1102:
 616         source_clip->source_track_id = avio_rb32(pb);
 617         break;
 618     }
 619     return 0;
 620 }
 621
 622 static int mxf_read_material_package(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 623 {
 624     MXFPackage *package = arg;
 625     switch(tag) {
 626     case 0x4403:
 627         package->tracks_count = avio_rb32(pb);
 628         package->tracks_refs = av_calloc(package->tracks_count, sizeof(UID));
 629         if (!package->tracks_refs)
 630             return AVERROR(ENOMEM);
 631         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 632         avio_read(pb, (uint8_t *)package->tracks_refs, package->tracks_count * sizeof(UID));
 633         break;
 634     }
 635     return 0;
 636 }
 637
 638 static int mxf_read_timecode_component(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 639 {
 640     MXFTimecodeComponent *mxf_timecode = arg;
 641     switch(tag) {
 642     case 0x1501:
 643         mxf_timecode->start_frame = avio_rb64(pb);
 644         break;
 645     case 0x1502:
 646         mxf_timecode->rate = (AVRational){avio_rb16(pb), 1};
 647         break;
 648     case 0x1503:
 649         mxf_timecode->drop_frame = avio_r8(pb);
 650         break;
 651     }
 652     return 0;
 653 }
 654
 655 static int mxf_read_track(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 656 {
 657     MXFTrack *track = arg;
 658     switch(tag) {
 659     case 0x4801:
 660         track->track_id = avio_rb32(pb);
 661         break;
 662     case 0x4804:
 663         avio_read(pb, track->track_number, 4);
 664         break;
 665     case 0x4B01:
 666         track->edit_rate.num = avio_rb32(pb);
 667         track->edit_rate.den = avio_rb32(pb);
 668         break;
 669     case 0x4803:
 670         avio_read(pb, track->sequence_ref, 16);
 671         break;
 672     }
 673     return 0;
 674 }
 675
 676 static int mxf_read_sequence(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 677 {
 678     MXFSequence *sequence = arg;
 679     switch(tag) {
 680     case 0x0202:
 681         sequence->duration = avio_rb64(pb);
 682         break;
 683     case 0x0201:
 684         avio_read(pb, sequence->data_definition_ul, 16);
 685         break;
 686     case 0x1001:
 687         sequence->structural_components_count = avio_rb32(pb);
 688         sequence->structural_components_refs = av_calloc(sequence->structural_components_count, sizeof(UID));
 689         if (!sequence->structural_components_refs)
 690             return AVERROR(ENOMEM);
 691         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 692         avio_read(pb, (uint8_t *)sequence->structural_components_refs, sequence->structural_components_count * sizeof(UID));
 693         break;
 694     }
 695     return 0;
 696 }
 697
 698 static int mxf_read_source_package(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 699 {
 700     MXFPackage *package = arg;
 701     switch(tag) {
 702     case 0x4403:
 703         package->tracks_count = avio_rb32(pb);
 704         package->tracks_refs = av_calloc(package->tracks_count, sizeof(UID));
 705         if (!package->tracks_refs)
 706             return AVERROR(ENOMEM);
 707         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 708         avio_read(pb, (uint8_t *)package->tracks_refs, package->tracks_count * sizeof(UID));
 709         break;
 710     case 0x4401:
 711         /* UMID, only get last 16 bytes */
 712         avio_skip(pb, 16);
 713         avio_read(pb, package->package_uid, 16);
 714         break;
 715     case 0x4701:
 716         avio_read(pb, package->descriptor_ref, 16);
 717         break;
 718     }
 719     return 0;
 720 }
 721
 722 static int mxf_read_index_entry_array(AVIOContext *pb, MXFIndexTableSegment *segment)
 723 {
 724     int i, length;
 725
 726     segment->nb_index_entries = avio_rb32(pb);
 727
 728     length = avio_rb32(pb);
 729
 730     if (!(segment->temporal_offset_entries=av_calloc(segment->nb_index_entries, sizeof(*segment->temporal_offset_entries))) ||
 731         !(segment->flag_entries          = av_calloc(segment->nb_index_entries, sizeof(*segment->flag_entries))) ||
 732         !(segment->stream_offset_entries = av_calloc(segment->nb_index_entries, sizeof(*segment->stream_offset_entries))))
 733         return AVERROR(ENOMEM);
 734
 735     for (i = 0; i < segment->nb_index_entries; i++) {
 736         segment->temporal_offset_entries[i] = avio_r8(pb);
 737         avio_r8(pb);                                        /* KeyFrameOffset */
 738         segment->flag_entries[i] = avio_r8(pb);
 739         segment->stream_offset_entries[i] = avio_rb64(pb);
 740         avio_skip(pb, length - 11);
 741     }
 742     return 0;
 743 }
 744
 745 static int mxf_read_index_table_segment(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 746 {
 747     MXFIndexTableSegment *segment = arg;
 748     switch(tag) {
 749     case 0x3F05:
 750         segment->edit_unit_byte_count = avio_rb32(pb);
 751         av_dlog(NULL, "EditUnitByteCount %d\n", segment->edit_unit_byte_count);
 752         break;
 753     case 0x3F06:
 754         segment->index_sid = avio_rb32(pb);
 755         av_dlog(NULL, "IndexSID %d\n", segment->index_sid);
 756         break;
 757     case 0x3F07:
 758         segment->body_sid = avio_rb32(pb);
 759         av_dlog(NULL, "BodySID %d\n", segment->body_sid);
 760         break;
 761     case 0x3F0A:
 762         av_dlog(NULL, "IndexEntryArray found\n");
 763         return mxf_read_index_entry_array(pb, segment);
 764     case 0x3F0B:
 765         segment->index_edit_rate.num = avio_rb32(pb);
 766         segment->index_edit_rate.den = avio_rb32(pb);
 767         av_dlog(NULL, "IndexEditRate %d/%d\n", segment->index_edit_rate.num,
 768                 segment->index_edit_rate.den);
 769         break;
 770     case 0x3F0C:
 771         segment->index_start_position = avio_rb64(pb);
 772         av_dlog(NULL, "IndexStartPosition %"PRId64"\n", segment->index_start_position);
 773         break;
 774     case 0x3F0D:
 775         segment->index_duration = avio_rb64(pb);
 776         av_dlog(NULL, "IndexDuration %"PRId64"\n", segment->index_duration);
 777         break;
 778     }
 779     return 0;
 780 }
 781
 782 static void mxf_read_pixel_layout(AVIOContext *pb, MXFDescriptor *descriptor)
 783 {
 784     int code, value, ofs = 0;
 785     char layout[16] = {0}; /* not for printing, may end up not terminated on purpose */
 786
 787     do {
 788         code = avio_r8(pb);
 789         value = avio_r8(pb);
 790         av_dlog(NULL, "pixel layout: code %#x\n", code);
 791
 792         if (ofs <= 14) {
 793             layout[ofs++] = code;
 794             layout[ofs++] = value;
 795         } else
 796             break;  /* don't read byte by byte on sneaky files filled with lots of non-zeroes */
 797     } while (code != 0); /* SMPTE 377M E.2.46 */
 798
 799     ff_mxf_decode_pixel_layout(layout, &descriptor->pix_fmt);
 800 }
 801
 802 static int mxf_read_generic_descriptor(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 803 {
 804     MXFDescriptor *descriptor = arg;
 805     descriptor->pix_fmt = AV_PIX_FMT_NONE;
 806     switch(tag) {
 807     case 0x3F01:
 808         descriptor->sub_descriptors_count = avio_rb32(pb);
 809         descriptor->sub_descriptors_refs = av_calloc(descriptor->sub_descriptors_count, sizeof(UID));
 810         if (!descriptor->sub_descriptors_refs)
 811             return AVERROR(ENOMEM);
 812         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 813         avio_read(pb, (uint8_t *)descriptor->sub_descriptors_refs, descriptor->sub_descriptors_count * sizeof(UID));
 814         break;
 815     case 0x3004:
 816         avio_read(pb, descriptor->essence_container_ul, 16);
 817         break;
 818     case 0x3006:
 819         descriptor->linked_track_id = avio_rb32(pb);
 820         break;
 821     case 0x3201: /* PictureEssenceCoding */
 822         avio_read(pb, descriptor->essence_codec_ul, 16);
 823         break;
 824     case 0x3203:
 825         descriptor->width = avio_rb32(pb);
 826         break;
 827     case 0x3202:
 828         descriptor->height = avio_rb32(pb);
 829         break;
 830     case 0x320C:
 831         descriptor->frame_layout = avio_r8(pb);
 832         break;
 833     case 0x320E:
 834         descriptor->aspect_ratio.num = avio_rb32(pb);
 835         descriptor->aspect_ratio.den = avio_rb32(pb);
 836         break;
 837     case 0x3301:
 838         descriptor->component_depth = avio_rb32(pb);
 839         break;
 840     case 0x3302:
 841         descriptor->horiz_subsampling = avio_rb32(pb);
 842         break;
 843     case 0x3308:
 844         descriptor->vert_subsampling = avio_rb32(pb);
 845         break;
 846     case 0x3D03:
 847         descriptor->sample_rate.num = avio_rb32(pb);
 848         descriptor->sample_rate.den = avio_rb32(pb);
 849         break;
 850     case 0x3D06: /* SoundEssenceCompression */
 851         avio_read(pb, descriptor->essence_codec_ul, 16);
 852         break;
 853     case 0x3D07:
 854         descriptor->channels = avio_rb32(pb);
 855         break;
 856     case 0x3D01:
 857         descriptor->bits_per_sample = avio_rb32(pb);
 858         break;
 859     case 0x3401:
 860         mxf_read_pixel_layout(pb, descriptor);
 861         break;
 862     default:
 863         /* Private uid used by SONY C0023S01.mxf */
 864         if (IS_KLV_KEY(uid, mxf_sony_mpeg4_extradata)) {
 865             descriptor->extradata = av_malloc(size + FF_INPUT_BUFFER_PADDING_SIZE);
 866             if (!descriptor->extradata)
 867                 return AVERROR(ENOMEM);
 868             descriptor->extradata_size = size;
 869             avio_read(pb, descriptor->extradata, size);
 870         }
 871         break;
 872     }
 873     return 0;
 874 }
 875
 876 /*
 877  * Match an uid independently of the version byte and up to len common bytes
 878  * Returns: boolean
 879  */
 880 static int mxf_match_uid(const UID key, const UID uid, int len)
 881 {
 882     int i;
 883     for (i = 0; i < len; i++) {
 884         if (i != 7 && key[i] != uid[i])
 885             return 0;
 886     }
 887     return 1;
 888 }
 889
 890 static const MXFCodecUL *mxf_get_codec_ul(const MXFCodecUL *uls, UID *uid)
 891 {
 892     while (uls->uid[0]) {
 893         if(mxf_match_uid(uls->uid, *uid, uls->matching_len))
 894             break;
 895         uls++;
 896     }
 897     return uls;
 898 }
 899
 900 static void *mxf_resolve_strong_ref(MXFContext *mxf, UID *strong_ref, enum MXFMetadataSetType type)
 901 {
 902     int i;
 903
 904     if (!strong_ref)
 905         return NULL;
 906     for (i = 0; i < mxf->metadata_sets_count; i++) {
 907         if (!memcmp(*strong_ref, mxf->metadata_sets[i]->uid, 16) &&
 908             (type == AnyType || mxf->metadata_sets[i]->type == type)) {
 909             return mxf->metadata_sets[i];
 910         }
 911     }
 912     return NULL;
 913 }
 914
 915 static const MXFCodecUL mxf_picture_essence_container_uls[] = {
 916     // video essence container uls
 917     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x02,0x0D,0x01,0x03,0x01,0x02,0x04,0x60,0x01 }, 14, AV_CODEC_ID_MPEG2VIDEO }, /* MPEG-ES Frame wrapped */
 918     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x02,0x41,0x01 }, 14,    AV_CODEC_ID_DVVIDEO }, /* DV 625 25mbps */
 919     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x05,0x00,0x00 }, 14,   AV_CODEC_ID_RAWVIDEO }, /* Uncompressed Picture */
 920     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,      AV_CODEC_ID_NONE },
 921 };
 922
 923 /* EC ULs for intra-only formats */
 924 static const MXFCodecUL mxf_intra_only_essence_container_uls[] = {
 925     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x01,0x00,0x00 }, 14, AV_CODEC_ID_MPEG2VIDEO }, /* MXF-GC SMPTE D-10 Mappings */
 926     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,       AV_CODEC_ID_NONE },
 927 };
 928
 929 /* intra-only PictureEssenceCoding ULs, where no corresponding EC UL exists */
 930 static const MXFCodecUL mxf_intra_only_picture_essence_coding_uls[] = {
 931     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x0A,0x04,0x01,0x02,0x02,0x01,0x32,0x00,0x00 }, 14,       AV_CODEC_ID_H264 }, /* H.264/MPEG-4 AVC Intra Profiles */
 932     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,       AV_CODEC_ID_NONE },
 933 };
 934
 935 static const MXFCodecUL mxf_sound_essence_container_uls[] = {
 936     // sound essence container uls
 937     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x06,0x01,0x00 }, 14, AV_CODEC_ID_PCM_S16LE }, /* BWF Frame wrapped */
 938     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x02,0x0D,0x01,0x03,0x01,0x02,0x04,0x40,0x01 }, 14,       AV_CODEC_ID_MP2 }, /* MPEG-ES Frame wrapped, 0x40 ??? stream id */
 939     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x01,0x01,0x01 }, 14, AV_CODEC_ID_PCM_S16LE }, /* D-10 Mapping 50Mbps PAL Extended Template */
 940     { { 0x06,0x0E,0x2B,0x34,0x01,0x01,0x01,0xFF,0x4B,0x46,0x41,0x41,0x00,0x0D,0x4D,0x4F }, 14, AV_CODEC_ID_PCM_S16LE }, /* 0001GL00.MXF.A1.mxf_opatom.mxf */
 941     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,      AV_CODEC_ID_NONE },
 942 };
 943
 944 static int mxf_get_sorted_table_segments(MXFContext *mxf, int *nb_sorted_segments, MXFIndexTableSegment ***sorted_segments)
 945 {
 946     int i, j, nb_segments = 0;
 947     MXFIndexTableSegment **unsorted_segments;
 948     int last_body_sid = -1, last_index_sid = -1, last_index_start = -1;
 949
 950     /* count number of segments, allocate arrays and copy unsorted segments */
 951     for (i = 0; i < mxf->metadata_sets_count; i++)
 952         if (mxf->metadata_sets[i]->type == IndexTableSegment)
 953             nb_segments++;
 954
 955     if (!nb_segments)
 956         return AVERROR_INVALIDDATA;
 957
 958     if (!(unsorted_segments = av_calloc(nb_segments, sizeof(*unsorted_segments))) ||
 959         !(*sorted_segments  = av_calloc(nb_segments, sizeof(**sorted_segments)))) {
 960         av_freep(sorted_segments);
 961         av_free(unsorted_segments);
 962         return AVERROR(ENOMEM);
 963     }
 964
 965     for (i = j = 0; i < mxf->metadata_sets_count; i++)
 966         if (mxf->metadata_sets[i]->type == IndexTableSegment)
 967             unsorted_segments[j++] = (MXFIndexTableSegment*)mxf->metadata_sets[i];
 968
 969     *nb_sorted_segments = 0;
 970
 971     /* sort segments by {BodySID, IndexSID, IndexStartPosition}, remove duplicates while we're at it */
 972     for (i = 0; i < nb_segments; i++) {
 973         int best = -1, best_body_sid = -1, best_index_sid = -1, best_index_start = -1;
 974         uint64_t best_index_duration = 0;
 975
 976         for (j = 0; j < nb_segments; j++) {
 977             MXFIndexTableSegment *s = unsorted_segments[j];
 978
 979             /* Require larger BosySID, IndexSID or IndexStartPosition then the previous entry. This removes duplicates.
 980              * We want the smallest values for the keys than what we currently have, unless this is the first such entry this time around.
 981              * If we come across an entry with the same IndexStartPosition but larger IndexDuration, then we'll prefer it over the one we currently have.
 982              */
 983             if ((i == 0     || s->body_sid > last_body_sid || s->index_sid > last_index_sid || s->index_start_position > last_index_start) &&
 984                 (best == -1 || s->body_sid < best_body_sid || s->index_sid < best_index_sid || s->index_start_position < best_index_start ||
 985                 (s->index_start_position == best_index_start && s->index_duration > best_index_duration))) {
 986                 best             = j;
 987                 best_body_sid    = s->body_sid;
 988                 best_index_sid   = s->index_sid;
 989                 best_index_start = s->index_start_position;
 990                 best_index_duration = s->index_duration;
 991             }
 992         }
 993
 994         /* no suitable entry found -> we're done */
 995         if (best == -1)
 996             break;
 997
 998         (*sorted_segments)[(*nb_sorted_segments)++] = unsorted_segments[best];
 999         last_body_sid    = best_body_sid;
1000         last_index_sid   = best_index_sid;
1001         last_index_start = best_index_start;
1002     }
1003
1004     av_free(unsorted_segments);
1005
1006     return 0;
1007 }
1008
1009 /**
1010  * Computes the absolute file offset of the given essence container offset
1011  */
1012 static int mxf_absolute_bodysid_offset(MXFContext *mxf, int body_sid, int64_t offset, int64_t *offset_out)
1013 {
1014     int x;
1015     int64_t offset_in = offset;     /* for logging */
1016
1017     for (x = 0; x < mxf->partitions_count; x++) {
1018         MXFPartition *p = &mxf->partitions[x];
1019
1020         if (p->body_sid != body_sid)
1021             continue;
1022
1023         if (offset < p->essence_length || !p->essence_length) {
1024             *offset_out = p->essence_offset + offset;
1025             return 0;
1026         }
1027
1028         offset -= p->essence_length;
1029     }
1030
1031     av_log(mxf->fc, AV_LOG_ERROR,
1032            "failed to find absolute offset of %"PRIX64" in BodySID %i - partial file?\n",
1033            offset_in, body_sid);
1034
1035     return AVERROR_INVALIDDATA;
1036 }
1037
1038 /**
1039  * Returns the end position of the essence container with given BodySID, or zero if unknown
1040  */
1041 static int64_t mxf_essence_container_end(MXFContext *mxf, int body_sid)
1042 {
1043     int x;
1044     int64_t ret = 0;
1045
1046     for (x = 0; x < mxf->partitions_count; x++) {
1047         MXFPartition *p = &mxf->partitions[x];
1048
1049         if (p->body_sid != body_sid)
1050             continue;
1051
1052         if (!p->essence_length)
1053             return 0;
1054
1055         ret = p->essence_offset + p->essence_length;
1056     }
1057
1058     return ret;
1059 }
1060
1061 /* EditUnit -> absolute offset */
1062 static int mxf_edit_unit_absolute_offset(MXFContext *mxf, MXFIndexTable *index_table, int64_t edit_unit, int64_t *edit_unit_out, int64_t *offset_out, int nag)
1063 {
1064     int i;
1065     int64_t offset_temp = 0;
1066
1067     for (i = 0; i < index_table->nb_segments; i++) {
1068         MXFIndexTableSegment *s = index_table->segments[i];
1069
1070         edit_unit = FFMAX(edit_unit, s->index_start_position);  /* clamp if trying to seek before start */
1071
1072         if (edit_unit < s->index_start_position + s->index_duration) {
1073             int64_t index = edit_unit - s->index_start_position;
1074
1075             if (s->edit_unit_byte_count)
1076                 offset_temp += s->edit_unit_byte_count * index;
1077             else if (s->nb_index_entries) {
1078                 if (s->nb_index_entries == 2 * s->index_duration + 1)
1079                     index *= 2;     /* Avid index */
1080
1081                 if (index < 0 || index >= s->nb_index_entries) {
1082                     av_log(mxf->fc, AV_LOG_ERROR, "IndexSID %i segment at %"PRId64" IndexEntryArray too small\n",
1083                            index_table->index_sid, s->index_start_position);
1084                     return AVERROR_INVALIDDATA;
1085                 }
1086
1087                 offset_temp = s->stream_offset_entries[index];
1088             } else {
1089                 av_log(mxf->fc, AV_LOG_ERROR, "IndexSID %i segment at %"PRId64" missing EditUnitByteCount and IndexEntryArray\n",
1090                        index_table->index_sid, s->index_start_position);
1091                 return AVERROR_INVALIDDATA;
1092             }
1093
1094             if (edit_unit_out)
1095                 *edit_unit_out = edit_unit;
1096
1097             return mxf_absolute_bodysid_offset(mxf, index_table->body_sid, offset_temp, offset_out);
1098         } else {
1099             /* EditUnitByteCount == 0 for VBR indexes, which is fine since they use explicit StreamOffsets */
1100             offset_temp += s->edit_unit_byte_count * s->index_duration;
1101         }
1102     }
1103
1104     if (nag)
1105         av_log(mxf->fc, AV_LOG_ERROR, "failed to map EditUnit %"PRId64" in IndexSID %i to an offset\n", edit_unit, index_table->index_sid);
1106
1107     return AVERROR_INVALIDDATA;
1108 }
1109
1110 static int mxf_compute_ptses_fake_index(MXFContext *mxf, MXFIndexTable *index_table)
1111 {
1112     int i, j, x;
1113     int8_t max_temporal_offset = -128;
1114
1115     /* first compute how many entries we have */
1116     for (i = 0; i < index_table->nb_segments; i++) {
1117         MXFIndexTableSegment *s = index_table->segments[i];
1118
1119         if (!s->nb_index_entries) {
1120             index_table->nb_ptses = 0;
1121             return 0;                               /* no TemporalOffsets */
1122         }
1123
1124         index_table->nb_ptses += s->index_duration;
1125     }
1126
1127     /* paranoid check */
1128     if (index_table->nb_ptses <= 0)
1129         return 0;
1130
1131     if (!(index_table->ptses      = av_calloc(index_table->nb_ptses, sizeof(int64_t))) ||
1132         !(index_table->fake_index = av_calloc(index_table->nb_ptses, sizeof(AVIndexEntry)))) {
1133         av_freep(&index_table->ptses);
1134         return AVERROR(ENOMEM);
1135     }
1136
1137     /* we may have a few bad TemporalOffsets
1138      * make sure the corresponding PTSes don't have the bogus value 0 */
1139     for (x = 0; x < index_table->nb_ptses; x++)
1140         index_table->ptses[x] = AV_NOPTS_VALUE;
1141
1142     /**
1143      * We have this:
1144      *
1145      * x  TemporalOffset
1146      * 0:  0
1147      * 1:  1
1148      * 2:  1
1149      * 3: -2
1150      * 4:  1
1151      * 5:  1
1152      * 6: -2
1153      *
1154      * We want to transform it into this:
1155      *
1156      * x  DTS PTS
1157      * 0: -1   0
1158      * 1:  0   3
1159      * 2:  1   1
1160      * 3:  2   2
1161      * 4:  3   6
1162      * 5:  4   4
1163      * 6:  5   5
1164      *
1165      * We do this by bucket sorting x by x+TemporalOffset[x] into mxf->ptses,
1166      * then settings mxf->first_dts = -max(TemporalOffset[x]).
1167      * The latter makes DTS <= PTS.
1168      */
1169     for (i = x = 0; i < index_table->nb_segments; i++) {
1170         MXFIndexTableSegment *s = index_table->segments[i];
1171         int index_delta = 1;
1172         int n = s->nb_index_entries;
1173
1174         if (s->nb_index_entries == 2 * s->index_duration + 1) {
1175             index_delta = 2;    /* Avid index */
1176             /* ignore the last entry - it's the size of the essence container */
1177             n--;
1178         }
1179
1180         for (j = 0; j < n; j += index_delta, x++) {
1181             int offset = s->temporal_offset_entries[j] / index_delta;
1182             int index  = x + offset;
1183
1184             if (x >= index_table->nb_ptses) {
1185                 av_log(mxf->fc, AV_LOG_ERROR,
1186                        "x >= nb_ptses - IndexEntryCount %i < IndexDuration %"PRId64"?\n",
1187                        s->nb_index_entries, s->index_duration);
1188                 break;
1189             }
1190
1191             index_table->fake_index[x].timestamp = x;
1192             index_table->fake_index[x].flags = !(s->flag_entries[j] & 0x30) ? AVINDEX_KEYFRAME : 0;
1193
1194             if (index < 0 || index >= index_table->nb_ptses) {
1195                 av_log(mxf->fc, AV_LOG_ERROR,
1196                        "index entry %i + TemporalOffset %i = %i, which is out of bounds\n",
1197                        x, offset, index);
1198                 continue;
1199             }
1200
1201             index_table->ptses[index] = x;
1202             max_temporal_offset = FFMAX(max_temporal_offset, offset);
1203         }
1204     }
1205
1206     index_table->first_dts = -max_temporal_offset;
1207
1208     return 0;
1209 }
1210
1211 /**
1212  * Sorts and collects index table segments into index tables.
1213  * Also computes PTSes if possible.
1214  */
1215 static int mxf_compute_index_tables(MXFContext *mxf)
1216 {
1217     int i, j, k, ret, nb_sorted_segments;
1218     MXFIndexTableSegment **sorted_segments = NULL;
1219
1220     if ((ret = mxf_get_sorted_table_segments(mxf, &nb_sorted_segments, &sorted_segments)) ||
1221         nb_sorted_segments <= 0) {
1222         av_log(mxf->fc, AV_LOG_WARNING, "broken or empty index\n");
1223         return 0;
1224     }
1225
1226     /* sanity check and count unique BodySIDs/IndexSIDs */
1227     for (i = 0; i < nb_sorted_segments; i++) {
1228         if (i == 0 || sorted_segments[i-1]->index_sid != sorted_segments[i]->index_sid)
1229             mxf->nb_index_tables++;
1230         else if (sorted_segments[i-1]->body_sid != sorted_segments[i]->body_sid) {
1231             av_log(mxf->fc, AV_LOG_ERROR, "found inconsistent BodySID\n");
1232             ret = AVERROR_INVALIDDATA;
1233             goto finish_decoding_index;
1234         }
1235     }
1236
1237     if (!(mxf->index_tables = av_calloc(mxf->nb_index_tables, sizeof(MXFIndexTable)))) {
1238         av_log(mxf->fc, AV_LOG_ERROR, "failed to allocate index tables\n");
1239         ret = AVERROR(ENOMEM);
1240         goto finish_decoding_index;
1241     }
1242
1243     /* distribute sorted segments to index tables */
1244     for (i = j = 0; i < nb_sorted_segments; i++) {
1245         if (i != 0 && sorted_segments[i-1]->index_sid != sorted_segments[i]->index_sid) {
1246             /* next IndexSID */
1247             j++;
1248         }
1249
1250         mxf->index_tables[j].nb_segments++;
1251     }
1252
1253     for (i = j = 0; j < mxf->nb_index_tables; i += mxf->index_tables[j++].nb_segments) {
1254         MXFIndexTable *t = &mxf->index_tables[j];
1255
1256         if (!(t->segments = av_calloc(t->nb_segments, sizeof(MXFIndexTableSegment*)))) {
1257             av_log(mxf->fc, AV_LOG_ERROR, "failed to allocate IndexTableSegment pointer array\n");
1258             ret = AVERROR(ENOMEM);
1259             goto finish_decoding_index;
1260         }
1261
1262         if (sorted_segments[i]->index_start_position)
1263             av_log(mxf->fc, AV_LOG_WARNING, "IndexSID %i starts at EditUnit %"PRId64" - seeking may not work as expected\n",
1264                    sorted_segments[i]->index_sid, sorted_segments[i]->index_start_position);
1265
1266         memcpy(t->segments, &sorted_segments[i], t->nb_segments * sizeof(MXFIndexTableSegment*));
1267         t->index_sid = sorted_segments[i]->index_sid;
1268         t->body_sid = sorted_segments[i]->body_sid;
1269
1270         if ((ret = mxf_compute_ptses_fake_index(mxf, t)) < 0)
1271             goto finish_decoding_index;
1272
1273         /* fix zero IndexDurations */
1274         for (k = 0; k < t->nb_segments; k++) {
1275             if (t->segments[k]->index_duration)
1276                 continue;
1277
1278             if (t->nb_segments > 1)
1279                 av_log(mxf->fc, AV_LOG_WARNING, "IndexSID %i segment %i has zero IndexDuration and there's more than one segment\n",
1280                        t->index_sid, k);
1281
1282             if (mxf->fc->nb_streams <= 0) {
1283                 av_log(mxf->fc, AV_LOG_WARNING, "no streams?\n");
1284                 break;
1285             }
1286
1287             /* assume the first stream's duration is reasonable
1288              * leave index_duration = 0 on further segments in case we have any (unlikely)
1289              */
1290             t->segments[k]->index_duration = mxf->fc->streams[0]->duration;
1291             break;
1292         }
1293     }
1294
1295     ret = 0;
1296 finish_decoding_index:
1297     av_free(sorted_segments);
1298     return ret;
1299 }
1300
1301 static int mxf_is_intra_only(MXFDescriptor *descriptor)
1302 {
1303     return mxf_get_codec_ul(mxf_intra_only_essence_container_uls,
1304                             &descriptor->essence_container_ul)->id != AV_CODEC_ID_NONE ||
1305            mxf_get_codec_ul(mxf_intra_only_picture_essence_coding_uls,
1306                             &descriptor->essence_codec_ul)->id     != AV_CODEC_ID_NONE;
1307 }
1308
1309 static int mxf_add_timecode_metadata(AVDictionary **pm, const char *key, AVTimecode *tc)
1310 {
1311     char buf[AV_TIMECODE_STR_SIZE];
1312     av_dict_set(pm, key, av_timecode_make_string(tc, buf, 0), 0);
1313
1314     return 0;
1315 }
1316
1317 static int mxf_parse_structural_metadata(MXFContext *mxf)
1318 {
1319     MXFPackage *material_package = NULL;
1320     MXFPackage *temp_package = NULL;
1321     int i, j, k, ret;
1322
1323     av_dlog(mxf->fc, "metadata sets count %d\n", mxf->metadata_sets_count);
1324     /* TODO: handle multiple material packages (OP3x) */
1325     for (i = 0; i < mxf->packages_count; i++) {
1326         material_package = mxf_resolve_strong_ref(mxf, &mxf->packages_refs[i], MaterialPackage);
1327         if (material_package) break;
1328     }
1329     if (!material_package) {
1330         av_log(mxf->fc, AV_LOG_ERROR, "no material package found\n");
1331         return AVERROR_INVALIDDATA;
1332     }
1333
1334     for (i = 0; i < material_package->tracks_count; i++) {
1335         MXFPackage *source_package = NULL;
1336         MXFTrack *material_track = NULL;
1337         MXFTrack *source_track = NULL;
1338         MXFTrack *temp_track = NULL;
1339         MXFDescriptor *descriptor = NULL;
1340         MXFStructuralComponent *component = NULL;
1341         MXFTimecodeComponent *mxf_tc = NULL;
1342         UID *essence_container_ul = NULL;
1343         const MXFCodecUL *codec_ul = NULL;
1344         const MXFCodecUL *container_ul = NULL;
1345         const MXFCodecUL *pix_fmt_ul = NULL;
1346         AVStream *st;
1347         AVTimecode tc;
1348         int flags;
1349
1350         if (!(material_track = mxf_resolve_strong_ref(mxf, &material_package->tracks_refs[i], Track))) {
1351             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve material track strong ref\n");
1352             continue;
1353         }
1354
1355         if ((component = mxf_resolve_strong_ref(mxf, &material_track->sequence_ref, TimecodeComponent))) {
1356             mxf_tc = (MXFTimecodeComponent*)component;
1357             flags = mxf_tc->drop_frame == 1 ? AV_TIMECODE_FLAG_DROPFRAME : 0;
1358             if (av_timecode_init(&tc, mxf_tc->rate, flags, mxf_tc->start_frame, mxf->fc) == 0) {
1359                 mxf_add_timecode_metadata(&mxf->fc->metadata, "timecode", &tc);
1360             }
1361         }
1362
1363         if (!(material_track->sequence = mxf_resolve_strong_ref(mxf, &material_track->sequence_ref, Sequence))) {
1364             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve material track sequence strong ref\n");
1365             continue;
1366         }
1367
1368         for (j = 0; j < material_track->sequence->structural_components_count; j++) {
1369             component = mxf_resolve_strong_ref(mxf, &material_track->sequence->structural_components_refs[j], TimecodeComponent);
1370             if (!component)
1371                 continue;
1372
1373             mxf_tc = (MXFTimecodeComponent*)component;
1374             flags = mxf_tc->drop_frame == 1 ? AV_TIMECODE_FLAG_DROPFRAME : 0;
1375             if (av_timecode_init(&tc, mxf_tc->rate, flags, mxf_tc->start_frame, mxf->fc) == 0) {
1376                 mxf_add_timecode_metadata(&mxf->fc->metadata, "timecode", &tc);
1377                 break;
1378             }
1379         }
1380
1381         /* TODO: handle multiple source clips */
1382         for (j = 0; j < material_track->sequence->structural_components_count; j++) {
1383             component = mxf_resolve_strong_ref(mxf, &material_track->sequence->structural_components_refs[j], SourceClip);
1384             if (!component)
1385                 continue;
1386
1387             for (k = 0; k < mxf->packages_count; k++) {
1388                 temp_package = mxf_resolve_strong_ref(mxf, &mxf->packages_refs[k], SourcePackage);
1389                 if (!temp_package)
1390                     continue;
1391                 if (!memcmp(temp_package->package_uid, component->source_package_uid, 16)) {
1392                     source_package = temp_package;
1393                     break;
1394                 }
1395             }
1396             if (!source_package) {
1397                 av_dlog(mxf->fc, "material track %d: no corresponding source package found\n", material_track->track_id);
1398                 break;
1399             }
1400             for (k = 0; k < source_package->tracks_count; k++) {
1401                 if (!(temp_track = mxf_resolve_strong_ref(mxf, &source_package->tracks_refs[k], Track))) {
1402                     av_log(mxf->fc, AV_LOG_ERROR, "could not resolve source track strong ref\n");
1403                     ret = AVERROR_INVALIDDATA;
1404                     goto fail_and_free;
1405                 }
1406                 if (temp_track->track_id == component->source_track_id) {
1407                     source_track = temp_track;
1408                     break;
1409                 }
1410             }
1411             if (!source_track) {
1412                 av_log(mxf->fc, AV_LOG_ERROR, "material track %d: no corresponding source track found\n", material_track->track_id);
1413                 break;
1414             }
1415         }
1416         if (!source_track || !component)
1417             continue;
1418
1419         if (!(source_track->sequence = mxf_resolve_strong_ref(mxf, &source_track->sequence_ref, Sequence))) {
1420             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve source track sequence strong ref\n");
1421             ret = AVERROR_INVALIDDATA;
1422             goto fail_and_free;
1423         }
1424
1425         /* 0001GL00.MXF.A1.mxf_opatom.mxf has the same SourcePackageID as 0001GL.MXF.V1.mxf_opatom.mxf
1426          * This would result in both files appearing to have two streams. Work around this by sanity checking DataDefinition */
1427         if (memcmp(material_track->sequence->data_definition_ul, source_track->sequence->data_definition_ul, 16)) {
1428             av_log(mxf->fc, AV_LOG_ERROR, "material track %d: DataDefinition mismatch\n", material_track->track_id);
1429             continue;
1430         }
1431
1432         st = avformat_new_stream(mxf->fc, NULL);
1433         if (!st) {
1434             av_log(mxf->fc, AV_LOG_ERROR, "could not allocate stream\n");
1435             ret = AVERROR(ENOMEM);
1436             goto fail_and_free;
1437         }
1438         st->id = source_track->track_id;
1439         st->priv_data = source_track;
1440         st->duration = component->duration;
1441         if (st->duration == -1)
1442             st->duration = AV_NOPTS_VALUE;
1443         st->start_time = component->start_position;
1444         avpriv_set_pts_info(st, 64, material_track->edit_rate.den, material_track->edit_rate.num);
1445
1446         PRINT_KEY(mxf->fc, "data definition   ul", source_track->sequence->data_definition_ul);
1447         codec_ul = mxf_get_codec_ul(ff_mxf_data_definition_uls, &source_track->sequence->data_definition_ul);
1448         st->codec->codec_type = codec_ul->id;
1449
1450         source_package->descriptor = mxf_resolve_strong_ref(mxf, &source_package->descriptor_ref, AnyType);
1451         if (source_package->descriptor) {
1452             if (source_package->descriptor->type == MultipleDescriptor) {
1453                 for (j = 0; j < source_package->descriptor->sub_descriptors_count; j++) {
1454                     MXFDescriptor *sub_descriptor = mxf_resolve_strong_ref(mxf, &source_package->descriptor->sub_descriptors_refs[j], Descriptor);
1455
1456                     if (!sub_descriptor) {
1457                         av_log(mxf->fc, AV_LOG_ERROR, "could not resolve sub descriptor strong ref\n");
1458                         continue;
1459                     }
1460                     if (sub_descriptor->linked_track_id == source_track->track_id) {
1461                         descriptor = sub_descriptor;
1462                         break;
1463                     }
1464                 }
1465             } else if (source_package->descriptor->type == Descriptor)
1466                 descriptor = source_package->descriptor;
1467         }
1468         if (!descriptor) {
1469             av_log(mxf->fc, AV_LOG_INFO, "source track %d: stream %d, no descriptor found\n", source_track->track_id, st->index);
1470             continue;
1471         }
1472         PRINT_KEY(mxf->fc, "essence codec     ul", descriptor->essence_codec_ul);
1473         PRINT_KEY(mxf->fc, "essence container ul", descriptor->essence_container_ul);
1474         essence_container_ul = &descriptor->essence_container_ul;
1475         /* HACK: replacing the original key with mxf_encrypted_essence_container
1476          * is not allowed according to s429-6, try to find correct information anyway */
1477         if (IS_KLV_KEY(essence_container_ul, mxf_encrypted_essence_container)) {
1478             av_log(mxf->fc, AV_LOG_INFO, "broken encrypted mxf file\n");
1479             for (k = 0; k < mxf->metadata_sets_count; k++) {
1480                 MXFMetadataSet *metadata = mxf->metadata_sets[k];
1481                 if (metadata->type == CryptoContext) {
1482                     essence_container_ul = &((MXFCryptoContext *)metadata)->source_container_ul;
1483                     break;
1484                 }
1485             }
1486         }
1487
1488         /* TODO: drop PictureEssenceCoding and SoundEssenceCompression, only check EssenceContainer */
1489         codec_ul = mxf_get_codec_ul(ff_mxf_codec_uls, &descriptor->essence_codec_ul);
1490         st->codec->codec_id = codec_ul->id;
1491         if (descriptor->extradata) {
1492             st->codec->extradata = descriptor->extradata;
1493             st->codec->extradata_size = descriptor->extradata_size;
1494         }
1495         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
1496             source_track->intra_only = mxf_is_intra_only(descriptor);
1497             container_ul = mxf_get_codec_ul(mxf_picture_essence_container_uls, essence_container_ul);
1498             if (st->codec->codec_id == AV_CODEC_ID_NONE)
1499                 st->codec->codec_id = container_ul->id;
1500             st->codec->width = descriptor->width;
1501             st->codec->height = descriptor->height; /* Field height, not frame height */
1502             switch (descriptor->frame_layout) {
1503                 case SegmentedFrame:
1504                     /* This one is a weird layout I don't fully understand. */
1505                     av_log(mxf->fc, AV_LOG_INFO, "SegmentedFrame layout isn't currently supported\n");
1506                     break;
1507                 case FullFrame:
1508                     break;
1509                 case OneField:
1510                     /* Every other line is stored and needs to be duplicated. */
1511                     av_log(mxf->fc, AV_LOG_INFO, "OneField frame layout isn't currently supported\n");
1512                     break; /* The correct thing to do here is fall through, but by breaking we might be
1513                               able to decode some streams at half the vertical resolution, rather than not al all.
1514                               It's also for compatibility with the old behavior. */
1515                 case MixedFields:
1516                     break;
1517                 case SeparateFields:
1518                     st->codec->height *= 2; /* Turn field height into frame height. */
1519                     break;
1520                 default:
1521                     av_log(mxf->fc, AV_LOG_INFO, "Unknown frame layout type: %d\n", descriptor->frame_layout);
1522             }
1523             if (st->codec->codec_id == AV_CODEC_ID_RAWVIDEO) {
1524                 st->codec->pix_fmt = descriptor->pix_fmt;
1525                 if (st->codec->pix_fmt == AV_PIX_FMT_NONE) {
1526                     pix_fmt_ul = mxf_get_codec_ul(ff_mxf_pixel_format_uls,
1527                                                   &descriptor->essence_codec_ul);
1528                     st->codec->pix_fmt = pix_fmt_ul->id;
1529                     if (st->codec->pix_fmt == AV_PIX_FMT_NONE) {
1530                         /* support files created before RP224v10 by defaulting to UYVY422
1531                            if subsampling is 4:2:2 and component depth is 8-bit */
1532                         if (descriptor->horiz_subsampling == 2 &&
1533                             descriptor->vert_subsampling == 1 &&
1534                             descriptor->component_depth == 8) {
1535                             st->codec->pix_fmt = AV_PIX_FMT_UYVY422;
1536                         }
1537                     }
1538                 }
1539             }
1540             st->need_parsing = AVSTREAM_PARSE_HEADERS;
1541         } else if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
1542             container_ul = mxf_get_codec_ul(mxf_sound_essence_container_uls, essence_container_ul);
1543             /* Only overwrite existing codec ID if it is unset or A-law, which is the default according to SMPTE RP 224. */
1544             if (st->codec->codec_id == AV_CODEC_ID_NONE || (st->codec->codec_id == AV_CODEC_ID_PCM_ALAW && container_ul->id != AV_CODEC_ID_NONE))
1545                 st->codec->codec_id = container_ul->id;
1546             st->codec->channels = descriptor->channels;
1547             st->codec->bits_per_coded_sample = descriptor->bits_per_sample;
1548
1549             if (descriptor->sample_rate.den > 0)
1550                 st->codec->sample_rate = descriptor->sample_rate.num / descriptor->sample_rate.den;
1551
1552             /* TODO: implement AV_CODEC_ID_RAWAUDIO */
1553             if (st->codec->codec_id == AV_CODEC_ID_PCM_S16LE) {
1554                 if (descriptor->bits_per_sample > 16 && descriptor->bits_per_sample <= 24)
1555                     st->codec->codec_id = AV_CODEC_ID_PCM_S24LE;
1556                 else if (descriptor->bits_per_sample == 32)
1557                     st->codec->codec_id = AV_CODEC_ID_PCM_S32LE;
1558             } else if (st->codec->codec_id == AV_CODEC_ID_PCM_S16BE) {
1559                 if (descriptor->bits_per_sample > 16 && descriptor->bits_per_sample <= 24)
1560                     st->codec->codec_id = AV_CODEC_ID_PCM_S24BE;
1561                 else if (descriptor->bits_per_sample == 32)
1562                     st->codec->codec_id = AV_CODEC_ID_PCM_S32BE;
1563             } else if (st->codec->codec_id == AV_CODEC_ID_MP2) {
1564                 st->need_parsing = AVSTREAM_PARSE_FULL;
1565             }
1566         }
1567         if (st->codec->codec_type != AVMEDIA_TYPE_DATA && (*essence_container_ul)[15] > 0x01) {
1568             /* TODO: decode timestamps */
1569             st->need_parsing = AVSTREAM_PARSE_TIMESTAMPS;
1570         }
1571     }
1572
1573     ret = 0;
1574 fail_and_free:
1575     return ret;
1576 }
1577
1578 static const MXFMetadataReadTableEntry mxf_metadata_read_table[] = {
1579     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x05,0x01,0x00 }, mxf_read_primer_pack },
1580     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x01,0x00 }, mxf_read_partition_pack },
1581     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x02,0x00 }, mxf_read_partition_pack },
1582     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x03,0x00 }, mxf_read_partition_pack },
1583     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x04,0x00 }, mxf_read_partition_pack },
1584     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x01,0x00 }, mxf_read_partition_pack },
1585     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x02,0x00 }, mxf_read_partition_pack },
1586     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x03,0x00 }, mxf_read_partition_pack },
1587     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x04,0x00 }, mxf_read_partition_pack },
1588     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x04,0x02,0x00 }, mxf_read_partition_pack },
1589     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x04,0x04,0x00 }, mxf_read_partition_pack },
1590     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x18,0x00 }, mxf_read_content_storage, 0, AnyType },
1591     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x37,0x00 }, mxf_read_source_package, sizeof(MXFPackage), SourcePackage },
1592     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x36,0x00 }, mxf_read_material_package, sizeof(MXFPackage), MaterialPackage },
1593     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x0F,0x00 }, mxf_read_sequence, sizeof(MXFSequence), Sequence },
1594     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x11,0x00 }, mxf_read_source_clip, sizeof(MXFStructuralComponent), SourceClip },
1595     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x44,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), MultipleDescriptor },
1596     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x42,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* Generic Sound */
1597     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x28,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* CDCI */
1598     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x29,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* RGBA */
1599     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x51,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* MPEG 2 Video */
1600     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x48,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* Wave */
1601     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x47,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* AES3 */
1602     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x3A,0x00 }, mxf_read_track, sizeof(MXFTrack), Track }, /* Static Track */
1603     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x3B,0x00 }, mxf_read_track, sizeof(MXFTrack), Track }, /* Generic Track */
1604     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x14,0x00 }, mxf_read_timecode_component, sizeof(MXFTimecodeComponent), TimecodeComponent },
1605     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x04,0x01,0x02,0x02,0x00,0x00 }, mxf_read_cryptographic_context, sizeof(MXFCryptoContext), CryptoContext },
1606     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x10,0x01,0x00 }, mxf_read_index_table_segment, sizeof(MXFIndexTableSegment), IndexTableSegment },
1607     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 }, NULL, 0, AnyType },
1608 };
1609
1610 static int mxf_read_local_tags(MXFContext *mxf, KLVPacket *klv, MXFMetadataReadFunc *read_child, int ctx_size, enum MXFMetadataSetType type)
1611 {
1612     AVIOContext *pb = mxf->fc->pb;
1613     MXFMetadataSet *ctx = ctx_size ? av_mallocz(ctx_size) : mxf;
1614     uint64_t klv_end = avio_tell(pb) + klv->length;
1615
1616     if (!ctx)
1617         return AVERROR(ENOMEM);
1618     while (avio_tell(pb) + 4 < klv_end && !url_feof(pb)) {
1619         int ret;
1620         int tag = avio_rb16(pb);
1621         int size = avio_rb16(pb); /* KLV specified by 0x53 */
1622         uint64_t next = avio_tell(pb) + size;
1623         UID uid = {0};
1624
1625         av_dlog(mxf->fc, "local tag %#04x size %d\n", tag, size);
1626         if (!size) { /* ignore empty tag, needed for some files with empty UMID tag */
1627             av_log(mxf->fc, AV_LOG_ERROR, "local tag %#04x with 0 size\n", tag);
1628             continue;
1629         }
1630         if (tag > 0x7FFF) { /* dynamic tag */
1631             int i;
1632             for (i = 0; i < mxf->local_tags_count; i++) {
1633                 int local_tag = AV_RB16(mxf->local_tags+i*18);
1634                 if (local_tag == tag) {
1635                     memcpy(uid, mxf->local_tags+i*18+2, 16);
1636                     av_dlog(mxf->fc, "local tag %#04x\n", local_tag);
1637                     PRINT_KEY(mxf->fc, "uid", uid);
1638                 }
1639             }
1640         }
1641         if (ctx_size && tag == 0x3C0A)
1642             avio_read(pb, ctx->uid, 16);
1643         else if ((ret = read_child(ctx, pb, tag, size, uid, -1)) < 0)
1644             return ret;
1645
1646         /* Accept the 64k local set limit being exceeded (Avid). Don't accept
1647          * it extending past the end of the KLV though (zzuf5.mxf). */
1648         if (avio_tell(pb) > klv_end) {
1649             if (ctx_size)
1650                 av_free(ctx);
1651
1652             av_log(mxf->fc, AV_LOG_ERROR,
1653                    "local tag %#04x extends past end of local set @ %#"PRIx64"\n",
1654                    tag, klv->offset);
1655             return AVERROR_INVALIDDATA;
1656         } else if (avio_tell(pb) <= next)   /* only seek forward, else this can loop for a long time */
1657             avio_seek(pb, next, SEEK_SET);
1658     }
1659     if (ctx_size) ctx->type = type;
1660     return ctx_size ? mxf_add_metadata_set(mxf, ctx) : 0;
1661 }
1662
1663 /**
1664  * Seeks to the previous partition, if possible
1665  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1666  */
1667 static int mxf_seek_to_previous_partition(MXFContext *mxf)
1668 {
1669     AVIOContext *pb = mxf->fc->pb;
1670
1671     if (!mxf->current_partition ||
1672         mxf->run_in + mxf->current_partition->previous_partition <= mxf->last_forward_tell)
1673         return 0;   /* we've parsed all partitions */
1674
1675     /* seek to previous partition */
1676     avio_seek(pb, mxf->run_in + mxf->current_partition->previous_partition, SEEK_SET);
1677     mxf->current_partition = NULL;
1678
1679     av_dlog(mxf->fc, "seeking to previous partition\n");
1680
1681     return 1;
1682 }
1683
1684 /**
1685  * Called when essence is encountered
1686  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1687  */
1688 static int mxf_parse_handle_essence(MXFContext *mxf)
1689 {
1690     AVIOContext *pb = mxf->fc->pb;
1691     int64_t ret;
1692
1693     if (mxf->parsing_backward) {
1694         return mxf_seek_to_previous_partition(mxf);
1695     } else {
1696         if (!mxf->footer_partition) {
1697             av_dlog(mxf->fc, "no footer\n");
1698             return 0;
1699         }
1700
1701         av_dlog(mxf->fc, "seeking to footer\n");
1702
1703         /* remember where we were so we don't end up seeking further back than this */
1704         mxf->last_forward_tell = avio_tell(pb);
1705
1706         if (!pb->seekable) {
1707             av_log(mxf->fc, AV_LOG_INFO, "file is not seekable - not parsing footer\n");
1708             return -1;
1709         }
1710
1711         /* seek to footer partition and parse backward */
1712         if ((ret = avio_seek(pb, mxf->run_in + mxf->footer_partition, SEEK_SET)) < 0) {
1713             av_log(mxf->fc, AV_LOG_ERROR, "failed to seek to footer @ 0x%"PRIx64" (%"PRId64") - partial file?\n",
1714                    mxf->run_in + mxf->footer_partition, ret);
1715             return ret;
1716         }
1717
1718         mxf->current_partition = NULL;
1719         mxf->parsing_backward = 1;
1720     }
1721
1722     return 1;
1723 }
1724
1725 /**
1726  * Called when the next partition or EOF is encountered
1727  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1728  */
1729 static int mxf_parse_handle_partition_or_eof(MXFContext *mxf)
1730 {
1731     return mxf->parsing_backward ? mxf_seek_to_previous_partition(mxf) : 1;
1732 }
1733
1734 /**
1735  * Figures out the proper offset and length of the essence container in each partition
1736  */
1737 static void mxf_compute_essence_containers(MXFContext *mxf)
1738 {
1739     int x;
1740
1741     /* everything is already correct */
1742     if (mxf->op == OPAtom)
1743         return;
1744
1745     for (x = 0; x < mxf->partitions_count; x++) {
1746         MXFPartition *p = &mxf->partitions[x];
1747
1748         if (!p->body_sid)
1749             continue;       /* BodySID == 0 -> no essence */
1750
1751         if (x >= mxf->partitions_count - 1)
1752             break;          /* last partition - can't compute length (and we don't need to) */
1753
1754         /* essence container spans to the next partition */
1755         p->essence_length = mxf->partitions[x+1].this_partition - p->essence_offset;
1756
1757         if (p->essence_length < 0) {
1758             /* next ThisPartition < essence_offset */
1759             p->essence_length = 0;
1760             av_log(mxf->fc, AV_LOG_ERROR,
1761                    "partition %i: bad ThisPartition = %"PRIX64"\n",
1762                    x+1, mxf->partitions[x+1].this_partition);
1763         }
1764     }
1765 }
1766
1767 static int64_t round_to_kag(int64_t position, int kag_size)
1768 {
1769     /* TODO: account for run-in? the spec isn't clear whether KAG should account for it */
1770     /* NOTE: kag_size may be any integer between 1 - 2^10 */
1771     int64_t ret = (position / kag_size) * kag_size;
1772     return ret == position ? ret : ret + kag_size;
1773 }
1774
1775 static int is_pcm(enum AVCodecID codec_id)
1776 {
1777     /* we only care about "normal" PCM codecs until we get samples */
1778     return codec_id >= AV_CODEC_ID_PCM_S16LE && codec_id < AV_CODEC_ID_PCM_S24DAUD;
1779 }
1780
1781 /**
1782  * Deal with the case where for some audio atoms EditUnitByteCount is
1783  * very small (2, 4..). In those cases we should read more than one
1784  * sample per call to mxf_read_packet().
1785  */
1786 static void mxf_handle_small_eubc(AVFormatContext *s)
1787 {
1788     MXFContext *mxf = s->priv_data;
1789
1790     /* assuming non-OPAtom == frame wrapped
1791      * no sane writer would wrap 2 byte PCM packets with 20 byte headers.. */
1792     if (mxf->op != OPAtom)
1793         return;
1794
1795     /* expect PCM with exactly one index table segment and a small (< 32) EUBC */
1796     if (s->nb_streams != 1                                     ||
1797         s->streams[0]->codec->codec_type != AVMEDIA_TYPE_AUDIO ||
1798         !is_pcm(s->streams[0]->codec->codec_id)                ||
1799         mxf->nb_index_tables != 1                              ||
1800         mxf->index_tables[0].nb_segments != 1                  ||
1801         mxf->index_tables[0].segments[0]->edit_unit_byte_count >= 32)
1802         return;
1803
1804     /* arbitrarily default to 48 kHz PAL audio frame size */
1805     /* TODO: We could compute this from the ratio between the audio
1806      *       and video edit rates for 48 kHz NTSC we could use the
1807      *       1802-1802-1802-1802-1801 pattern. */
1808     mxf->edit_units_per_packet = 1920;
1809 }
1810
1811 static int mxf_read_header(AVFormatContext *s)
1812 {
1813     MXFContext *mxf = s->priv_data;
1814     KLVPacket klv;
1815     int64_t essence_offset = 0;
1816     int ret;
1817
1818     mxf->last_forward_tell = INT64_MAX;
1819     mxf->edit_units_per_packet = 1;
1820
1821     if (!mxf_read_sync(s->pb, mxf_header_partition_pack_key, 14)) {
1822         av_log(s, AV_LOG_ERROR, "could not find header partition pack key\n");
1823         return AVERROR_INVALIDDATA;
1824     }
1825     avio_seek(s->pb, -14, SEEK_CUR);
1826     mxf->fc = s;
1827     mxf->run_in = avio_tell(s->pb);
1828
1829     while (!url_feof(s->pb)) {
1830         const MXFMetadataReadTableEntry *metadata;
1831
1832         if (klv_read_packet(&klv, s->pb) < 0) {
1833             /* EOF - seek to previous partition or stop */
1834             if(mxf_parse_handle_partition_or_eof(mxf) <= 0)
1835                 break;
1836             else
1837                 continue;
1838         }
1839
1840         PRINT_KEY(s, "read header", klv.key);
1841         av_dlog(s, "size %"PRIu64" offset %#"PRIx64"\n", klv.length, klv.offset);
1842         if (IS_KLV_KEY(klv.key, mxf_encrypted_triplet_key) ||
1843             IS_KLV_KEY(klv.key, mxf_essence_element_key) ||
1844             IS_KLV_KEY(klv.key, mxf_avid_essence_element_key) ||
1845             IS_KLV_KEY(klv.key, mxf_system_item_key)) {
1846
1847             if (!mxf->current_partition) {
1848                 av_log(mxf->fc, AV_LOG_ERROR, "found essence prior to first PartitionPack\n");
1849                 return AVERROR_INVALIDDATA;
1850             }
1851
1852             if (!mxf->current_partition->essence_offset) {
1853                 /* for OP1a we compute essence_offset
1854                  * for OPAtom we point essence_offset after the KL (usually op1a_essence_offset + 20 or 25)
1855                  * TODO: for OP1a we could eliminate this entire if statement, always stopping parsing at op1a_essence_offset
1856                  *       for OPAtom we still need the actual essence_offset though (the KL's length can vary)
1857                  */
1858                 int64_t op1a_essence_offset =
1859                     round_to_kag(mxf->current_partition->this_partition +
1860                                  mxf->current_partition->pack_length,       mxf->current_partition->kag_size) +
1861                     round_to_kag(mxf->current_partition->header_byte_count, mxf->current_partition->kag_size) +
1862                     round_to_kag(mxf->current_partition->index_byte_count,  mxf->current_partition->kag_size);
1863
1864                 if (mxf->op == OPAtom) {
1865                     /* point essence_offset to the actual data
1866                     * OPAtom has all the essence in one big KLV
1867                     */
1868                     mxf->current_partition->essence_offset = avio_tell(s->pb);
1869                     mxf->current_partition->essence_length = klv.length;
1870                 } else {
1871                     /* NOTE: op1a_essence_offset may be less than to klv.offset (C0023S01.mxf)  */
1872                     mxf->current_partition->essence_offset = op1a_essence_offset;
1873                 }
1874             }
1875
1876             if (!essence_offset)
1877                 essence_offset = klv.offset;
1878
1879             /* seek to footer, previous partition or stop */
1880             if (mxf_parse_handle_essence(mxf) <= 0)
1881                 break;
1882             continue;
1883         } else if (!memcmp(klv.key, mxf_header_partition_pack_key, 13) &&
1884                    klv.key[13] >= 2 && klv.key[13] <= 4 && mxf->current_partition) {
1885             /* next partition pack - keep going, seek to previous partition or stop */
1886             if(mxf_parse_handle_partition_or_eof(mxf) <= 0)
1887                 break;
1888             else if (mxf->parsing_backward)
1889                 continue;
1890             /* we're still parsing forward. proceed to parsing this partition pack */
1891         }
1892
1893         for (metadata = mxf_metadata_read_table; metadata->read; metadata++) {
1894             if (IS_KLV_KEY(klv.key, metadata->key)) {
1895                 int res;
1896                 if (klv.key[5] == 0x53) {
1897                     res = mxf_read_local_tags(mxf, &klv, metadata->read, metadata->ctx_size, metadata->type);
1898                 } else {
1899                     uint64_t next = avio_tell(s->pb) + klv.length;
1900                     res = metadata->read(mxf, s->pb, 0, klv.length, klv.key, klv.offset);
1901
1902                     /* only seek forward, else this can loop for a long time */
1903                     if (avio_tell(s->pb) > next) {
1904                         av_log(s, AV_LOG_ERROR, "read past end of KLV @ %#"PRIx64"\n",
1905                                klv.offset);
1906                         return AVERROR_INVALIDDATA;
1907                     }
1908
1909                     avio_seek(s->pb, next, SEEK_SET);
1910                 }
1911                 if (res < 0) {
1912                     av_log(s, AV_LOG_ERROR, "error reading header metadata\n");
1913                     return res;
1914                 }
1915                 break;
1916             }
1917         }
1918         if (!metadata->read)
1919             avio_skip(s->pb, klv.length);
1920     }
1921     /* FIXME avoid seek */
1922     if (!essence_offset)  {
1923         av_log(s, AV_LOG_ERROR, "no essence\n");
1924         return AVERROR_INVALIDDATA;
1925     }
1926     avio_seek(s->pb, essence_offset, SEEK_SET);
1927
1928     mxf_compute_essence_containers(mxf);
1929
1930     /* we need to do this before computing the index tables
1931      * to be able to fill in zero IndexDurations with st->duration */
1932     if ((ret = mxf_parse_structural_metadata(mxf)) < 0)
1933         return ret;
1934
1935     if ((ret = mxf_compute_index_tables(mxf)) < 0)
1936         return ret;
1937
1938     if (mxf->nb_index_tables > 1) {
1939         /* TODO: look up which IndexSID to use via EssenceContainerData */
1940         av_log(mxf->fc, AV_LOG_INFO, "got %i index tables - only the first one (IndexSID %i) will be used\n",
1941                mxf->nb_index_tables, mxf->index_tables[0].index_sid);
1942     } else if (mxf->nb_index_tables == 0 && mxf->op == OPAtom) {
1943         av_log(mxf->fc, AV_LOG_ERROR, "cannot demux OPAtom without an index\n");
1944         return AVERROR_INVALIDDATA;
1945     }
1946
1947     mxf_handle_small_eubc(s);
1948
1949     return 0;
1950 }
1951
1952 /**
1953  * Sets mxf->current_edit_unit based on what offset we're currently at.
1954  * @return next_ofs if OK, <0 on error
1955  */
1956 static int64_t mxf_set_current_edit_unit(MXFContext *mxf, int64_t current_offset)
1957 {
1958     int64_t last_ofs = -1, next_ofs = -1;
1959     MXFIndexTable *t = &mxf->index_tables[0];
1960
1961     /* this is called from the OP1a demuxing logic, which means there
1962      * may be no index tables */
1963     if (mxf->nb_index_tables <= 0)
1964         return -1;
1965
1966     /* find mxf->current_edit_unit so that the next edit unit starts ahead of current_offset */
1967     while (mxf->current_edit_unit >= 0) {
1968         if (mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit + 1, NULL, &next_ofs, 0) < 0)
1969             return -1;
1970
1971         if (next_ofs <= last_ofs) {
1972             /* large next_ofs didn't change or current_edit_unit wrapped
1973              * around this fixes the infinite loop on zzuf3.mxf */
1974             av_log(mxf->fc, AV_LOG_ERROR,
1975                    "next_ofs didn't change. not deriving packet timestamps\n");
1976             return -1;
1977         }
1978
1979         if (next_ofs > current_offset)
1980             break;
1981
1982         last_ofs = next_ofs;
1983         mxf->current_edit_unit++;
1984     }
1985
1986     /* not checking mxf->current_edit_unit >= t->nb_ptses here since CBR files may lack IndexEntryArrays */
1987     if (mxf->current_edit_unit < 0)
1988         return -1;
1989
1990     return next_ofs;
1991 }
1992
1993 static int mxf_read_packet_old(AVFormatContext *s, AVPacket *pkt)
1994 {
1995     KLVPacket klv;
1996     MXFContext *mxf = s->priv_data;
1997
1998     while (!url_feof(s->pb)) {
1999         int ret;
2000         if (klv_read_packet(&klv, s->pb) < 0)
2001             return -1;
2002         PRINT_KEY(s, "read packet", klv.key);
2003         av_dlog(s, "size %"PRIu64" offset %#"PRIx64"\n", klv.length, klv.offset);
2004         if (IS_KLV_KEY(klv.key, mxf_encrypted_triplet_key)) {
2005             ret = mxf_decrypt_triplet(s, pkt, &klv);
2006             if (ret < 0) {
2007                 av_log(s, AV_LOG_ERROR, "invalid encoded triplet\n");
2008                 return AVERROR_INVALIDDATA;
2009             }
2010             return 0;
2011         }
2012         if (IS_KLV_KEY(klv.key, mxf_essence_element_key) ||
2013             IS_KLV_KEY(klv.key, mxf_avid_essence_element_key)) {
2014             int index = mxf_get_stream_index(s, &klv);
2015             int64_t next_ofs, next_klv;
2016             AVStream *st;
2017             MXFTrack *track;
2018
2019             if (index < 0) {
2020                 av_log(s, AV_LOG_ERROR, "error getting stream index %d\n", AV_RB32(klv.key+12));
2021                 goto skip;
2022             }
2023
2024             st = s->streams[index];
2025             track = st->priv_data;
2026
2027             if (s->streams[index]->discard == AVDISCARD_ALL)
2028                 goto skip;
2029
2030             next_klv = avio_tell(s->pb) + klv.length;
2031             next_ofs = mxf_set_current_edit_unit(mxf, klv.offset);
2032
2033             if (next_ofs >= 0 && next_klv > next_ofs) {
2034                 /* if this check is hit then it's possible OPAtom was treated as OP1a
2035                  * truncate the packet since it's probably very large (>2 GiB is common) */
2036                 av_log_ask_for_sample(s,
2037                     "KLV for edit unit %i extends into next edit unit - OPAtom misinterpreted as OP1a?\n",
2038                     mxf->current_edit_unit);
2039                 klv.length = next_ofs - avio_tell(s->pb);
2040             }
2041
2042             /* check for 8 channels AES3 element */
2043             if (klv.key[12] == 0x06 && klv.key[13] == 0x01 && klv.key[14] == 0x10) {
2044                 if (mxf_get_d10_aes3_packet(s->pb, s->streams[index], pkt, klv.length) < 0) {
2045                     av_log(s, AV_LOG_ERROR, "error reading D-10 aes3 frame\n");
2046                     return AVERROR_INVALIDDATA;
2047                 }
2048             } else {
2049                 ret = av_get_packet(s->pb, pkt, klv.length);
2050                 if (ret < 0)
2051                     return ret;
2052             }
2053             pkt->stream_index = index;
2054             pkt->pos = klv.offset;
2055
2056             if (s->streams[index]->codec->codec_type == AVMEDIA_TYPE_VIDEO && next_ofs >= 0) {
2057                 /* mxf->current_edit_unit good - see if we have an index table to derive timestamps from */
2058                 MXFIndexTable *t = &mxf->index_tables[0];
2059
2060                 if (mxf->nb_index_tables >= 1 && mxf->current_edit_unit < t->nb_ptses) {
2061                     pkt->dts = mxf->current_edit_unit + t->first_dts;
2062                     pkt->pts = t->ptses[mxf->current_edit_unit];
2063                 } else if (track->intra_only) {
2064                     /* intra-only -> PTS = EditUnit.
2065                      * let utils.c figure out DTS since it can be < PTS if low_delay = 0 (Sony IMX30) */
2066                     pkt->pts = mxf->current_edit_unit;
2067                 }
2068             }
2069
2070             /* seek for truncated packets */
2071             avio_seek(s->pb, next_klv, SEEK_SET);
2072
2073             return 0;
2074         } else
2075         skip:
2076             avio_skip(s->pb, klv.length);
2077     }
2078     return AVERROR_EOF;
2079 }
2080
2081 static int mxf_read_packet(AVFormatContext *s, AVPacket *pkt)
2082 {
2083     MXFContext *mxf = s->priv_data;
2084     int ret, size;
2085     int64_t ret64, pos, next_pos;
2086     AVStream *st;
2087     MXFIndexTable *t;
2088     int edit_units;
2089
2090     if (mxf->op != OPAtom)
2091         return mxf_read_packet_old(s, pkt);
2092
2093     /* OPAtom - clip wrapped demuxing */
2094     /* NOTE: mxf_read_header() makes sure nb_index_tables > 0 for OPAtom */
2095     st = s->streams[0];
2096     t = &mxf->index_tables[0];
2097
2098     if (mxf->current_edit_unit >= st->duration)
2099         return AVERROR_EOF;
2100
2101     edit_units = FFMIN(mxf->edit_units_per_packet, st->duration - mxf->current_edit_unit);
2102
2103     if ((ret = mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit, NULL, &pos, 1)) < 0)
2104         return ret;
2105
2106     /* compute size by finding the next edit unit or the end of the essence container
2107      * not pretty, but it works */
2108     if ((ret = mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit + edit_units, NULL, &next_pos, 0)) < 0 &&
2109         (next_pos = mxf_essence_container_end(mxf, t->body_sid)) <= 0) {
2110         av_log(s, AV_LOG_ERROR, "unable to compute the size of the last packet\n");
2111         return AVERROR_INVALIDDATA;
2112     }
2113
2114     if ((size = next_pos - pos) <= 0) {
2115         av_log(s, AV_LOG_ERROR, "bad size: %i\n", size);
2116         return AVERROR_INVALIDDATA;
2117     }
2118
2119     if ((ret64 = avio_seek(s->pb, pos, SEEK_SET)) < 0)
2120         return ret64;
2121
2122     if ((size = av_get_packet(s->pb, pkt, size)) < 0)
2123         return size;
2124
2125     if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO && t->ptses &&
2126         mxf->current_edit_unit >= 0 && mxf->current_edit_unit < t->nb_ptses) {
2127         pkt->dts = mxf->current_edit_unit + t->first_dts;
2128         pkt->pts = t->ptses[mxf->current_edit_unit];
2129     }
2130
2131     pkt->stream_index = 0;
2132     mxf->current_edit_unit += edit_units;
2133
2134     return 0;
2135 }
2136
2137 static int mxf_read_close(AVFormatContext *s)
2138 {
2139     MXFContext *mxf = s->priv_data;
2140     MXFIndexTableSegment *seg;
2141     int i;
2142
2143     av_freep(&mxf->packages_refs);
2144
2145     for (i = 0; i < s->nb_streams; i++)
2146         s->streams[i]->priv_data = NULL;
2147
2148     for (i = 0; i < mxf->metadata_sets_count; i++) {
2149         switch (mxf->metadata_sets[i]->type) {
2150         case MultipleDescriptor:
2151             av_freep(&((MXFDescriptor *)mxf->metadata_sets[i])->sub_descriptors_refs);
2152             break;
2153         case Sequence:
2154             av_freep(&((MXFSequence *)mxf->metadata_sets[i])->structural_components_refs);
2155             break;
2156         case SourcePackage:
2157         case MaterialPackage:
2158             av_freep(&((MXFPackage *)mxf->metadata_sets[i])->tracks_refs);
2159             break;
2160         case IndexTableSegment:
2161             seg = (MXFIndexTableSegment *)mxf->metadata_sets[i];
2162             av_freep(&seg->temporal_offset_entries);
2163             av_freep(&seg->flag_entries);
2164             av_freep(&seg->stream_offset_entries);
2165             break;
2166         default:
2167             break;
2168         }
2169         av_freep(&mxf->metadata_sets[i]);
2170     }
2171     av_freep(&mxf->partitions);
2172     av_freep(&mxf->metadata_sets);
2173     av_freep(&mxf->aesc);
2174     av_freep(&mxf->local_tags);
2175
2176     for (i = 0; i < mxf->nb_index_tables; i++) {
2177         av_freep(&mxf->index_tables[i].segments);
2178         av_freep(&mxf->index_tables[i].ptses);
2179         av_freep(&mxf->index_tables[i].fake_index);
2180     }
2181     av_freep(&mxf->index_tables);
2182
2183     return 0;
2184 }
2185
2186 static int mxf_probe(AVProbeData *p) {
2187     uint8_t *bufp = p->buf;
2188     uint8_t *end = p->buf + p->buf_size;
2189
2190     if (p->buf_size < sizeof(mxf_header_partition_pack_key))
2191         return 0;
2192
2193     /* Must skip Run-In Sequence and search for MXF header partition pack key SMPTE 377M 5.5 */
2194     end -= sizeof(mxf_header_partition_pack_key);
2195     for (; bufp < end; bufp++) {
2196         if (IS_KLV_KEY(bufp, mxf_header_partition_pack_key))
2197             return AVPROBE_SCORE_MAX;
2198     }
2199     return 0;
2200 }
2201
2202 /* rudimentary byte seek */
2203 /* XXX: use MXF Index */
2204 static int mxf_read_seek(AVFormatContext *s, int stream_index, int64_t sample_time, int flags)
2205 {
2206     AVStream *st = s->streams[stream_index];
2207     int64_t seconds;
2208     MXFContext* mxf = s->priv_data;
2209     int64_t seekpos;
2210     int ret;
2211     MXFIndexTable *t;
2212
2213     if (mxf->nb_index_tables <= 0) {
2214     if (!s->bit_rate)
2215         return AVERROR_INVALIDDATA;
2216     if (sample_time < 0)
2217         sample_time = 0;
2218     seconds = av_rescale(sample_time, st->time_base.num, st->time_base.den);
2219
2220     if ((ret = avio_seek(s->pb, (s->bit_rate * seconds) >> 3, SEEK_SET)) < 0)
2221         return ret;
2222     ff_update_cur_dts(s, st, sample_time);
2223     } else {
2224         t = &mxf->index_tables[0];
2225
2226         /* clamp above zero, else ff_index_search_timestamp() returns negative
2227          * this also means we allow seeking before the start */
2228         sample_time = FFMAX(sample_time, 0);
2229
2230         if (t->fake_index) {
2231             /* behave as if we have a proper index */
2232             if ((sample_time = ff_index_search_timestamp(t->fake_index, t->nb_ptses, sample_time, flags)) < 0)
2233                 return sample_time;
2234         } else {
2235             /* no IndexEntryArray (one or more CBR segments)
2236              * make sure we don't seek past the end */
2237             sample_time = FFMIN(sample_time, st->duration - 1);
2238         }
2239
2240         if ((ret = mxf_edit_unit_absolute_offset(mxf, t, sample_time, &sample_time, &seekpos, 1)) << 0)
2241             return ret;
2242
2243         ff_update_cur_dts(s, st, sample_time);
2244         mxf->current_edit_unit = sample_time;
2245         avio_seek(s->pb, seekpos, SEEK_SET);
2246     }
2247     return 0;
2248 }
2249
2250 AVInputFormat ff_mxf_demuxer = {
2251     .name           = "mxf",
2252     .long_name      = NULL_IF_CONFIG_SMALL("MXF (Material eXchange Format)"),
2253     .priv_data_size = sizeof(MXFContext),
2254     .read_probe     = mxf_probe,
2255     .read_header    = mxf_read_header,
2256     .read_packet    = mxf_read_packet,
2257     .read_close     = mxf_read_close,
2258     .read_seek      = mxf_read_seek,
2259 };