git.sesse.net Git - ffmpeg/blob - libavformat/mxfdec.c

   1 /*
   2  * MXF demuxer.
   3  * Copyright (c) 2006 SmartJog S.A., Baptiste Coudurier <baptiste dot coudurier at smartjog dot com>
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /*
  23  * References
  24  * SMPTE 336M KLV Data Encoding Protocol Using Key-Length-Value
  25  * SMPTE 377M MXF File Format Specifications
  26  * SMPTE 378M Operational Pattern 1a
  27  * SMPTE 379M MXF Generic Container
  28  * SMPTE 381M Mapping MPEG Streams into the MXF Generic Container
  29  * SMPTE 382M Mapping AES3 and Broadcast Wave Audio into the MXF Generic Container
  30  * SMPTE 383M Mapping DV-DIF Data to the MXF Generic Container
  31  *
  32  * Principle
  33  * Search for Track numbers which will identify essence element KLV packets.
  34  * Search for SourcePackage which define tracks which contains Track numbers.
  35  * Material Package contains tracks with reference to SourcePackage tracks.
  36  * Search for Descriptors (Picture, Sound) which contains codec info and parameters.
  37  * Assign Descriptors to correct Tracks.
  38  *
  39  * Metadata reading functions read Local Tags, get InstanceUID(0x3C0A) then add MetaDataSet to MXFContext.
  40  * Metadata parsing resolves Strong References to objects.
  41  *
  42  * Simple demuxer, only OP1A supported and some files might not work at all.
  43  * Only tracks with associated descriptors will be decoded. "Highly Desirable" SMPTE 377M D.1
  44  */
  45
  46 //#define DEBUG
  47
  48 #include "libavutil/aes.h"
  49 #include "libavutil/mathematics.h"
  50 #include "libavcodec/bytestream.h"
  51 #include "libavutil/timecode.h"
  52 #include "avformat.h"
  53 #include "internal.h"
  54 #include "mxf.h"
  55
  56 typedef enum {
  57     Header,
  58     BodyPartition,
  59     Footer
  60 } MXFPartitionType;
  61
  62 typedef enum {
  63     OP1a = 1,
  64     OP1b,
  65     OP1c,
  66     OP2a,
  67     OP2b,
  68     OP2c,
  69     OP3a,
  70     OP3b,
  71     OP3c,
  72     OPAtom,
  73     OPSONYOpt,  /* FATE sample, violates the spec in places */
  74 } MXFOP;
  75
  76 typedef struct {
  77     int closed;
  78     int complete;
  79     MXFPartitionType type;
  80     uint64_t previous_partition;
  81     int index_sid;
  82     int body_sid;
  83     int64_t this_partition;
  84     int64_t essence_offset;         ///< absolute offset of essence
  85     int64_t essence_length;
  86     int32_t kag_size;
  87     int64_t header_byte_count;
  88     int64_t index_byte_count;
  89     int pack_length;
  90 } MXFPartition;
  91
  92 typedef struct {
  93     UID uid;
  94     enum MXFMetadataSetType type;
  95     UID source_container_ul;
  96 } MXFCryptoContext;
  97
  98 typedef struct {
  99     UID uid;
 100     enum MXFMetadataSetType type;
 101     UID source_package_uid;
 102     UID data_definition_ul;
 103     int64_t duration;
 104     int64_t start_position;
 105     int source_track_id;
 106 } MXFStructuralComponent;
 107
 108 typedef struct {
 109     UID uid;
 110     enum MXFMetadataSetType type;
 111     UID data_definition_ul;
 112     UID *structural_components_refs;
 113     int structural_components_count;
 114     int64_t duration;
 115 } MXFSequence;
 116
 117 typedef struct {
 118     UID uid;
 119     enum MXFMetadataSetType type;
 120     int drop_frame;
 121     int start_frame;
 122     struct AVRational rate;
 123     AVTimecode tc;
 124 } MXFTimecodeComponent;
 125
 126 typedef struct {
 127     UID uid;
 128     enum MXFMetadataSetType type;
 129     MXFSequence *sequence; /* mandatory, and only one */
 130     UID sequence_ref;
 131     int track_id;
 132     uint8_t track_number[4];
 133     AVRational edit_rate;
 134     int intra_only;
 135 } MXFTrack;
 136
 137 typedef struct {
 138     UID uid;
 139     enum MXFMetadataSetType type;
 140     UID essence_container_ul;
 141     UID essence_codec_ul;
 142     AVRational sample_rate;
 143     AVRational aspect_ratio;
 144     int width;
 145     int height; /* Field height, not frame height */
 146     int frame_layout; /* See MXFFrameLayout enum */
 147     int channels;
 148     int bits_per_sample;
 149     unsigned int component_depth;
 150     unsigned int horiz_subsampling;
 151     unsigned int vert_subsampling;
 152     UID *sub_descriptors_refs;
 153     int sub_descriptors_count;
 154     int linked_track_id;
 155     uint8_t *extradata;
 156     int extradata_size;
 157     enum PixelFormat pix_fmt;
 158 } MXFDescriptor;
 159
 160 typedef struct {
 161     UID uid;
 162     enum MXFMetadataSetType type;
 163     int edit_unit_byte_count;
 164     int index_sid;
 165     int body_sid;
 166     AVRational index_edit_rate;
 167     uint64_t index_start_position;
 168     uint64_t index_duration;
 169     int8_t *temporal_offset_entries;
 170     int *flag_entries;
 171     uint64_t *stream_offset_entries;
 172     int nb_index_entries;
 173 } MXFIndexTableSegment;
 174
 175 typedef struct {
 176     UID uid;
 177     enum MXFMetadataSetType type;
 178     UID package_uid;
 179     UID *tracks_refs;
 180     int tracks_count;
 181     MXFDescriptor *descriptor; /* only one */
 182     UID descriptor_ref;
 183 } MXFPackage;
 184
 185 typedef struct {
 186     UID uid;
 187     enum MXFMetadataSetType type;
 188 } MXFMetadataSet;
 189
 190 /* decoded index table */
 191 typedef struct {
 192     int index_sid;
 193     int body_sid;
 194     int nb_ptses;               /* number of PTSes or total duration of index */
 195     int64_t first_dts;          /* DTS = EditUnit + first_dts */
 196     int64_t *ptses;             /* maps EditUnit -> PTS */
 197     int nb_segments;
 198     MXFIndexTableSegment **segments;    /* sorted by IndexStartPosition */
 199     AVIndexEntry *fake_index;   /* used for calling ff_index_search_timestamp() */
 200 } MXFIndexTable;
 201
 202 typedef struct {
 203     MXFPartition *partitions;
 204     unsigned partitions_count;
 205     MXFOP op;
 206     UID *packages_refs;
 207     int packages_count;
 208     MXFMetadataSet **metadata_sets;
 209     int metadata_sets_count;
 210     AVFormatContext *fc;
 211     struct AVAES *aesc;
 212     uint8_t *local_tags;
 213     int local_tags_count;
 214     uint64_t footer_partition;
 215     KLVPacket current_klv_data;
 216     int current_klv_index;
 217     int run_in;
 218     MXFPartition *current_partition;
 219     int parsing_backward;
 220     int64_t last_forward_tell;
 221     int last_forward_partition;
 222     int current_edit_unit;
 223     int nb_index_tables;
 224     MXFIndexTable *index_tables;
 225     int edit_units_per_packet;      ///< how many edit units to read at a time (PCM, OPAtom)
 226 } MXFContext;
 227
 228 enum MXFWrappingScheme {
 229     Frame,
 230     Clip,
 231 };
 232
 233 /* NOTE: klv_offset is not set (-1) for local keys */
 234 typedef int MXFMetadataReadFunc(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset);
 235
 236 typedef struct {
 237     const UID key;
 238     MXFMetadataReadFunc *read;
 239     int ctx_size;
 240     enum MXFMetadataSetType type;
 241 } MXFMetadataReadTableEntry;
 242
 243 /* partial keys to match */
 244 static const uint8_t mxf_header_partition_pack_key[]       = { 0x06,0x0e,0x2b,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02 };
 245 static const uint8_t mxf_essence_element_key[]             = { 0x06,0x0e,0x2b,0x34,0x01,0x02,0x01,0x01,0x0d,0x01,0x03,0x01 };
 246 static const uint8_t mxf_avid_essence_element_key[]        = { 0x06,0x0e,0x2b,0x34,0x01,0x02,0x01,0x01,0x0e,0x04,0x03,0x01 };
 247 static const uint8_t mxf_system_item_key[]                 = { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0D,0x01,0x03,0x01,0x04 };
 248 static const uint8_t mxf_klv_key[]                         = { 0x06,0x0e,0x2b,0x34 };
 249 /* complete keys to match */
 250 static const uint8_t mxf_crypto_source_container_ul[]      = { 0x06,0x0e,0x2b,0x34,0x01,0x01,0x01,0x09,0x06,0x01,0x01,0x02,0x02,0x00,0x00,0x00 };
 251 static const uint8_t mxf_encrypted_triplet_key[]           = { 0x06,0x0e,0x2b,0x34,0x02,0x04,0x01,0x07,0x0d,0x01,0x03,0x01,0x02,0x7e,0x01,0x00 };
 252 static const uint8_t mxf_encrypted_essence_container[]     = { 0x06,0x0e,0x2b,0x34,0x04,0x01,0x01,0x07,0x0d,0x01,0x03,0x01,0x02,0x0b,0x01,0x00 };
 253 static const uint8_t mxf_sony_mpeg4_extradata[]            = { 0x06,0x0e,0x2b,0x34,0x04,0x01,0x01,0x01,0x0e,0x06,0x06,0x02,0x02,0x01,0x00,0x00 };
 254
 255 #define IS_KLV_KEY(x, y) (!memcmp(x, y, sizeof(y)))
 256
 257 static int64_t klv_decode_ber_length(AVIOContext *pb)
 258 {
 259     uint64_t size = avio_r8(pb);
 260     if (size & 0x80) { /* long form */
 261         int bytes_num = size & 0x7f;
 262         /* SMPTE 379M 5.3.4 guarantee that bytes_num must not exceed 8 bytes */
 263         if (bytes_num > 8)
 264             return AVERROR_INVALIDDATA;
 265         size = 0;
 266         while (bytes_num--)
 267             size = size << 8 | avio_r8(pb);
 268     }
 269     return size;
 270 }
 271
 272 static int mxf_read_sync(AVIOContext *pb, const uint8_t *key, unsigned size)
 273 {
 274     int i, b;
 275     for (i = 0; i < size && !url_feof(pb); i++) {
 276         b = avio_r8(pb);
 277         if (b == key[0])
 278             i = 0;
 279         else if (b != key[i])
 280             i = -1;
 281     }
 282     return i == size;
 283 }
 284
 285 static int klv_read_packet(KLVPacket *klv, AVIOContext *pb)
 286 {
 287     if (!mxf_read_sync(pb, mxf_klv_key, 4))
 288         return AVERROR_INVALIDDATA;
 289     klv->offset = avio_tell(pb) - 4;
 290     memcpy(klv->key, mxf_klv_key, 4);
 291     avio_read(pb, klv->key + 4, 12);
 292     klv->length = klv_decode_ber_length(pb);
 293     return klv->length == -1 ? -1 : 0;
 294 }
 295
 296 static int mxf_get_stream_index(AVFormatContext *s, KLVPacket *klv)
 297 {
 298     int i;
 299
 300     for (i = 0; i < s->nb_streams; i++) {
 301         MXFTrack *track = s->streams[i]->priv_data;
 302         /* SMPTE 379M 7.3 */
 303         if (!memcmp(klv->key + sizeof(mxf_essence_element_key), track->track_number, sizeof(track->track_number)))
 304             return i;
 305     }
 306     /* return 0 if only one stream, for OP Atom files with 0 as track number */
 307     return s->nb_streams == 1 ? 0 : -1;
 308 }
 309
 310 /* XXX: use AVBitStreamFilter */
 311 static int mxf_get_d10_aes3_packet(AVIOContext *pb, AVStream *st, AVPacket *pkt, int64_t length)
 312 {
 313     const uint8_t *buf_ptr, *end_ptr;
 314     uint8_t *data_ptr;
 315     int i;
 316
 317     if (length > 61444) /* worst case PAL 1920 samples 8 channels */
 318         return AVERROR_INVALIDDATA;
 319     length = av_get_packet(pb, pkt, length);
 320     if (length < 0)
 321         return length;
 322     data_ptr = pkt->data;
 323     end_ptr = pkt->data + length;
 324     buf_ptr = pkt->data + 4; /* skip SMPTE 331M header */
 325     for (; buf_ptr + st->codec->channels*4 < end_ptr; ) {
 326         for (i = 0; i < st->codec->channels; i++) {
 327             uint32_t sample = bytestream_get_le32(&buf_ptr);
 328             if (st->codec->bits_per_coded_sample == 24)
 329                 bytestream_put_le24(&data_ptr, (sample >> 4) & 0xffffff);
 330             else
 331                 bytestream_put_le16(&data_ptr, (sample >> 12) & 0xffff);
 332         }
 333         buf_ptr += 32 - st->codec->channels*4; // always 8 channels stored SMPTE 331M
 334     }
 335     av_shrink_packet(pkt, data_ptr - pkt->data);
 336     return 0;
 337 }
 338
 339 static int mxf_decrypt_triplet(AVFormatContext *s, AVPacket *pkt, KLVPacket *klv)
 340 {
 341     static const uint8_t checkv[16] = {0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b, 0x43, 0x48, 0x55, 0x4b};
 342     MXFContext *mxf = s->priv_data;
 343     AVIOContext *pb = s->pb;
 344     int64_t end = avio_tell(pb) + klv->length;
 345     int64_t size;
 346     uint64_t orig_size;
 347     uint64_t plaintext_size;
 348     uint8_t ivec[16];
 349     uint8_t tmpbuf[16];
 350     int index;
 351
 352     if (!mxf->aesc && s->key && s->keylen == 16) {
 353         mxf->aesc = av_malloc(av_aes_size);
 354         if (!mxf->aesc)
 355             return AVERROR(ENOMEM);
 356         av_aes_init(mxf->aesc, s->key, 128, 1);
 357     }
 358     // crypto context
 359     avio_skip(pb, klv_decode_ber_length(pb));
 360     // plaintext offset
 361     klv_decode_ber_length(pb);
 362     plaintext_size = avio_rb64(pb);
 363     // source klv key
 364     klv_decode_ber_length(pb);
 365     avio_read(pb, klv->key, 16);
 366     if (!IS_KLV_KEY(klv, mxf_essence_element_key))
 367         return AVERROR_INVALIDDATA;
 368     index = mxf_get_stream_index(s, klv);
 369     if (index < 0)
 370         return AVERROR_INVALIDDATA;
 371     // source size
 372     klv_decode_ber_length(pb);
 373     orig_size = avio_rb64(pb);
 374     if (orig_size < plaintext_size)
 375         return AVERROR_INVALIDDATA;
 376     // enc. code
 377     size = klv_decode_ber_length(pb);
 378     if (size < 32 || size - 32 < orig_size)
 379         return AVERROR_INVALIDDATA;
 380     avio_read(pb, ivec, 16);
 381     avio_read(pb, tmpbuf, 16);
 382     if (mxf->aesc)
 383         av_aes_crypt(mxf->aesc, tmpbuf, tmpbuf, 1, ivec, 1);
 384     if (memcmp(tmpbuf, checkv, 16))
 385         av_log(s, AV_LOG_ERROR, "probably incorrect decryption key\n");
 386     size -= 32;
 387     size = av_get_packet(pb, pkt, size);
 388     if (size < 0)
 389         return size;
 390     else if (size < plaintext_size)
 391         return AVERROR_INVALIDDATA;
 392     size -= plaintext_size;
 393     if (mxf->aesc)
 394         av_aes_crypt(mxf->aesc, &pkt->data[plaintext_size],
 395                      &pkt->data[plaintext_size], size >> 4, ivec, 1);
 396     av_shrink_packet(pkt, orig_size);
 397     pkt->stream_index = index;
 398     avio_skip(pb, end - avio_tell(pb));
 399     return 0;
 400 }
 401
 402 static int mxf_read_primer_pack(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 403 {
 404     MXFContext *mxf = arg;
 405     int item_num = avio_rb32(pb);
 406     int item_len = avio_rb32(pb);
 407
 408     if (item_len != 18) {
 409         av_log_ask_for_sample(pb, "unsupported primer pack item length %d\n",
 410                               item_len);
 411         return AVERROR_PATCHWELCOME;
 412     }
 413     if (item_num > UINT_MAX / item_len)
 414         return AVERROR_INVALIDDATA;
 415     mxf->local_tags_count = item_num;
 416     mxf->local_tags = av_malloc(item_num*item_len);
 417     if (!mxf->local_tags)
 418         return AVERROR(ENOMEM);
 419     avio_read(pb, mxf->local_tags, item_num*item_len);
 420     return 0;
 421 }
 422
 423 static int mxf_read_partition_pack(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 424 {
 425     MXFContext *mxf = arg;
 426     MXFPartition *partition, *tmp_part;
 427     UID op;
 428     uint64_t footer_partition;
 429     uint32_t nb_essence_containers;
 430
 431     if (mxf->partitions_count+1 >= UINT_MAX / sizeof(*mxf->partitions))
 432         return AVERROR(ENOMEM);
 433
 434     tmp_part = av_realloc(mxf->partitions, (mxf->partitions_count + 1) * sizeof(*mxf->partitions));
 435     if (!tmp_part)
 436         return AVERROR(ENOMEM);
 437     mxf->partitions = tmp_part;
 438
 439     if (mxf->parsing_backward) {
 440         /* insert the new partition pack in the middle
 441          * this makes the entries in mxf->partitions sorted by offset */
 442         memmove(&mxf->partitions[mxf->last_forward_partition+1],
 443                 &mxf->partitions[mxf->last_forward_partition],
 444                 (mxf->partitions_count - mxf->last_forward_partition)*sizeof(*mxf->partitions));
 445         partition = mxf->current_partition = &mxf->partitions[mxf->last_forward_partition];
 446     } else {
 447         mxf->last_forward_partition++;
 448         partition = mxf->current_partition = &mxf->partitions[mxf->partitions_count];
 449     }
 450
 451     memset(partition, 0, sizeof(*partition));
 452     mxf->partitions_count++;
 453     partition->pack_length = avio_tell(pb) - klv_offset + size;
 454
 455     switch(uid[13]) {
 456     case 2:
 457         partition->type = Header;
 458         break;
 459     case 3:
 460         partition->type = BodyPartition;
 461         break;
 462     case 4:
 463         partition->type = Footer;
 464         break;
 465     default:
 466         av_log(mxf->fc, AV_LOG_ERROR, "unknown partition type %i\n", uid[13]);
 467         return AVERROR_INVALIDDATA;
 468     }
 469
 470     /* consider both footers to be closed (there is only Footer and CompleteFooter) */
 471     partition->closed = partition->type == Footer || !(uid[14] & 1);
 472     partition->complete = uid[14] > 2;
 473     avio_skip(pb, 4);
 474     partition->kag_size = avio_rb32(pb);
 475     partition->this_partition = avio_rb64(pb);
 476     partition->previous_partition = avio_rb64(pb);
 477     footer_partition = avio_rb64(pb);
 478     partition->header_byte_count = avio_rb64(pb);
 479     partition->index_byte_count = avio_rb64(pb);
 480     partition->index_sid = avio_rb32(pb);
 481     avio_skip(pb, 8);
 482     partition->body_sid = avio_rb32(pb);
 483     avio_read(pb, op, sizeof(UID));
 484     nb_essence_containers = avio_rb32(pb);
 485
 486     /* some files don'thave FooterPartition set in every partition */
 487     if (footer_partition) {
 488         if (mxf->footer_partition && mxf->footer_partition != footer_partition) {
 489             av_log(mxf->fc, AV_LOG_ERROR,
 490                    "inconsistent FooterPartition value: %"PRIu64" != %"PRIu64"\n",
 491                    mxf->footer_partition, footer_partition);
 492         } else {
 493             mxf->footer_partition = footer_partition;
 494         }
 495     }
 496
 497     av_dlog(mxf->fc,
 498             "PartitionPack: ThisPartition = 0x%"PRIX64
 499             ", PreviousPartition = 0x%"PRIX64", "
 500             "FooterPartition = 0x%"PRIX64", IndexSID = %i, BodySID = %i\n",
 501             partition->this_partition,
 502             partition->previous_partition, footer_partition,
 503             partition->index_sid, partition->body_sid);
 504
 505     /* sanity check PreviousPartition if set */
 506     if (partition->previous_partition &&
 507         mxf->run_in + partition->previous_partition >= klv_offset) {
 508         av_log(mxf->fc, AV_LOG_ERROR,
 509                "PreviousPartition points to this partition or forward\n");
 510         return AVERROR_INVALIDDATA;
 511     }
 512
 513     if      (op[12] == 1 && op[13] == 1) mxf->op = OP1a;
 514     else if (op[12] == 1 && op[13] == 2) mxf->op = OP1b;
 515     else if (op[12] == 1 && op[13] == 3) mxf->op = OP1c;
 516     else if (op[12] == 2 && op[13] == 1) mxf->op = OP2a;
 517     else if (op[12] == 2 && op[13] == 2) mxf->op = OP2b;
 518     else if (op[12] == 2 && op[13] == 3) mxf->op = OP2c;
 519     else if (op[12] == 3 && op[13] == 1) mxf->op = OP3a;
 520     else if (op[12] == 3 && op[13] == 2) mxf->op = OP3b;
 521     else if (op[12] == 3 && op[13] == 3) mxf->op = OP3c;
 522     else if (op[12] == 64&& op[13] == 1) mxf->op = OPSONYOpt;
 523     else if (op[12] == 0x10) {
 524         /* SMPTE 390m: "There shall be exactly one essence container"
 525          * The following block deals with files that violate this, namely:
 526          * 2011_DCPTEST_24FPS.V.mxf - two ECs, OP1a
 527          * abcdefghiv016f56415e.mxf - zero ECs, OPAtom, output by Avid AirSpeed */
 528         if (nb_essence_containers != 1) {
 529             MXFOP op = nb_essence_containers ? OP1a : OPAtom;
 530
 531             /* only nag once */
 532             if (!mxf->op)
 533                 av_log(mxf->fc, AV_LOG_WARNING, "\"OPAtom\" with %u ECs - assuming %s\n",
 534                        nb_essence_containers, op == OP1a ? "OP1a" : "OPAtom");
 535
 536             mxf->op = op;
 537         } else
 538             mxf->op = OPAtom;
 539     } else {
 540         av_log(mxf->fc, AV_LOG_ERROR, "unknown operational pattern: %02xh %02xh - guessing OP1a\n", op[12], op[13]);
 541         mxf->op = OP1a;
 542     }
 543
 544     if (partition->kag_size <= 0 || partition->kag_size > (1 << 20)) {
 545         av_log(mxf->fc, AV_LOG_WARNING, "invalid KAGSize %i - guessing ", partition->kag_size);
 546
 547         if (mxf->op == OPSONYOpt)
 548             partition->kag_size = 512;
 549         else
 550             partition->kag_size = 1;
 551
 552         av_log(mxf->fc, AV_LOG_WARNING, "%i\n", partition->kag_size);
 553     }
 554
 555     return 0;
 556 }
 557
 558 static int mxf_add_metadata_set(MXFContext *mxf, void *metadata_set)
 559 {
 560     MXFMetadataSet **tmp;
 561     if (mxf->metadata_sets_count+1 >= UINT_MAX / sizeof(*mxf->metadata_sets))
 562         return AVERROR(ENOMEM);
 563     tmp = av_realloc(mxf->metadata_sets, (mxf->metadata_sets_count + 1) * sizeof(*mxf->metadata_sets));
 564     if (!tmp)
 565         return AVERROR(ENOMEM);
 566     mxf->metadata_sets = tmp;
 567     mxf->metadata_sets[mxf->metadata_sets_count] = metadata_set;
 568     mxf->metadata_sets_count++;
 569     return 0;
 570 }
 571
 572 static int mxf_read_cryptographic_context(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 573 {
 574     MXFCryptoContext *cryptocontext = arg;
 575     if (size != 16)
 576         return AVERROR_INVALIDDATA;
 577     if (IS_KLV_KEY(uid, mxf_crypto_source_container_ul))
 578         avio_read(pb, cryptocontext->source_container_ul, 16);
 579     return 0;
 580 }
 581
 582 static int mxf_read_content_storage(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 583 {
 584     MXFContext *mxf = arg;
 585     switch (tag) {
 586     case 0x1901:
 587         mxf->packages_count = avio_rb32(pb);
 588         if (mxf->packages_count >= UINT_MAX / sizeof(UID))
 589             return AVERROR_INVALIDDATA;
 590         mxf->packages_refs = av_malloc(mxf->packages_count * sizeof(UID));
 591         if (!mxf->packages_refs)
 592             return AVERROR(ENOMEM);
 593         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 594         avio_read(pb, (uint8_t *)mxf->packages_refs, mxf->packages_count * sizeof(UID));
 595         break;
 596     }
 597     return 0;
 598 }
 599
 600 static int mxf_read_source_clip(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 601 {
 602     MXFStructuralComponent *source_clip = arg;
 603     switch(tag) {
 604     case 0x0202:
 605         source_clip->duration = avio_rb64(pb);
 606         break;
 607     case 0x1201:
 608         source_clip->start_position = avio_rb64(pb);
 609         break;
 610     case 0x1101:
 611         /* UMID, only get last 16 bytes */
 612         avio_skip(pb, 16);
 613         avio_read(pb, source_clip->source_package_uid, 16);
 614         break;
 615     case 0x1102:
 616         source_clip->source_track_id = avio_rb32(pb);
 617         break;
 618     }
 619     return 0;
 620 }
 621
 622 static int mxf_read_material_package(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 623 {
 624     MXFPackage *package = arg;
 625     switch(tag) {
 626     case 0x4403:
 627         package->tracks_count = avio_rb32(pb);
 628         if (package->tracks_count >= UINT_MAX / sizeof(UID))
 629             return AVERROR_INVALIDDATA;
 630         package->tracks_refs = av_malloc(package->tracks_count * sizeof(UID));
 631         if (!package->tracks_refs)
 632             return AVERROR(ENOMEM);
 633         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 634         avio_read(pb, (uint8_t *)package->tracks_refs, package->tracks_count * sizeof(UID));
 635         break;
 636     }
 637     return 0;
 638 }
 639
 640 static int mxf_read_timecode_component(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 641 {
 642     MXFTimecodeComponent *mxf_timecode = arg;
 643     switch(tag) {
 644     case 0x1501:
 645         mxf_timecode->start_frame = avio_rb64(pb);
 646         break;
 647     case 0x1502:
 648         mxf_timecode->rate = (AVRational){avio_rb16(pb), 1};
 649         break;
 650     case 0x1503:
 651         mxf_timecode->drop_frame = avio_r8(pb);
 652         break;
 653     }
 654     return 0;
 655 }
 656
 657 static int mxf_read_track(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 658 {
 659     MXFTrack *track = arg;
 660     switch(tag) {
 661     case 0x4801:
 662         track->track_id = avio_rb32(pb);
 663         break;
 664     case 0x4804:
 665         avio_read(pb, track->track_number, 4);
 666         break;
 667     case 0x4B01:
 668         track->edit_rate.num = avio_rb32(pb);
 669         track->edit_rate.den = avio_rb32(pb);
 670         break;
 671     case 0x4803:
 672         avio_read(pb, track->sequence_ref, 16);
 673         break;
 674     }
 675     return 0;
 676 }
 677
 678 static int mxf_read_sequence(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 679 {
 680     MXFSequence *sequence = arg;
 681     switch(tag) {
 682     case 0x0202:
 683         sequence->duration = avio_rb64(pb);
 684         break;
 685     case 0x0201:
 686         avio_read(pb, sequence->data_definition_ul, 16);
 687         break;
 688     case 0x1001:
 689         sequence->structural_components_count = avio_rb32(pb);
 690         if (sequence->structural_components_count >= UINT_MAX / sizeof(UID))
 691             return AVERROR_INVALIDDATA;
 692         sequence->structural_components_refs = av_malloc(sequence->structural_components_count * sizeof(UID));
 693         if (!sequence->structural_components_refs)
 694             return AVERROR(ENOMEM);
 695         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 696         avio_read(pb, (uint8_t *)sequence->structural_components_refs, sequence->structural_components_count * sizeof(UID));
 697         break;
 698     }
 699     return 0;
 700 }
 701
 702 static int mxf_read_source_package(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 703 {
 704     MXFPackage *package = arg;
 705     switch(tag) {
 706     case 0x4403:
 707         package->tracks_count = avio_rb32(pb);
 708         if (package->tracks_count >= UINT_MAX / sizeof(UID))
 709             return AVERROR_INVALIDDATA;
 710         package->tracks_refs = av_malloc(package->tracks_count * sizeof(UID));
 711         if (!package->tracks_refs)
 712             return AVERROR(ENOMEM);
 713         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 714         avio_read(pb, (uint8_t *)package->tracks_refs, package->tracks_count * sizeof(UID));
 715         break;
 716     case 0x4401:
 717         /* UMID, only get last 16 bytes */
 718         avio_skip(pb, 16);
 719         avio_read(pb, package->package_uid, 16);
 720         break;
 721     case 0x4701:
 722         avio_read(pb, package->descriptor_ref, 16);
 723         break;
 724     }
 725     return 0;
 726 }
 727
 728 static int mxf_read_index_entry_array(AVIOContext *pb, MXFIndexTableSegment *segment)
 729 {
 730     int i, length;
 731
 732     segment->nb_index_entries = avio_rb32(pb);
 733
 734     length = avio_rb32(pb);
 735
 736     if (!(segment->temporal_offset_entries=av_calloc(segment->nb_index_entries, sizeof(*segment->temporal_offset_entries))) ||
 737         !(segment->flag_entries          = av_calloc(segment->nb_index_entries, sizeof(*segment->flag_entries))) ||
 738         !(segment->stream_offset_entries = av_calloc(segment->nb_index_entries, sizeof(*segment->stream_offset_entries))))
 739         return AVERROR(ENOMEM);
 740
 741     for (i = 0; i < segment->nb_index_entries; i++) {
 742         segment->temporal_offset_entries[i] = avio_r8(pb);
 743         avio_r8(pb);                                        /* KeyFrameOffset */
 744         segment->flag_entries[i] = avio_r8(pb);
 745         segment->stream_offset_entries[i] = avio_rb64(pb);
 746         avio_skip(pb, length - 11);
 747     }
 748     return 0;
 749 }
 750
 751 static int mxf_read_index_table_segment(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 752 {
 753     MXFIndexTableSegment *segment = arg;
 754     switch(tag) {
 755     case 0x3F05:
 756         segment->edit_unit_byte_count = avio_rb32(pb);
 757         av_dlog(NULL, "EditUnitByteCount %d\n", segment->edit_unit_byte_count);
 758         break;
 759     case 0x3F06:
 760         segment->index_sid = avio_rb32(pb);
 761         av_dlog(NULL, "IndexSID %d\n", segment->index_sid);
 762         break;
 763     case 0x3F07:
 764         segment->body_sid = avio_rb32(pb);
 765         av_dlog(NULL, "BodySID %d\n", segment->body_sid);
 766         break;
 767     case 0x3F0A:
 768         av_dlog(NULL, "IndexEntryArray found\n");
 769         return mxf_read_index_entry_array(pb, segment);
 770     case 0x3F0B:
 771         segment->index_edit_rate.num = avio_rb32(pb);
 772         segment->index_edit_rate.den = avio_rb32(pb);
 773         av_dlog(NULL, "IndexEditRate %d/%d\n", segment->index_edit_rate.num,
 774                 segment->index_edit_rate.den);
 775         break;
 776     case 0x3F0C:
 777         segment->index_start_position = avio_rb64(pb);
 778         av_dlog(NULL, "IndexStartPosition %"PRId64"\n", segment->index_start_position);
 779         break;
 780     case 0x3F0D:
 781         segment->index_duration = avio_rb64(pb);
 782         av_dlog(NULL, "IndexDuration %"PRId64"\n", segment->index_duration);
 783         break;
 784     }
 785     return 0;
 786 }
 787
 788 static void mxf_read_pixel_layout(AVIOContext *pb, MXFDescriptor *descriptor)
 789 {
 790     int code, value, ofs = 0;
 791     char layout[16] = {0};
 792
 793     do {
 794         code = avio_r8(pb);
 795         value = avio_r8(pb);
 796         av_dlog(NULL, "pixel layout: code %#x\n", code);
 797
 798         if (ofs < 16) {
 799             layout[ofs++] = code;
 800             layout[ofs++] = value;
 801         }
 802     } while (code != 0); /* SMPTE 377M E.2.46 */
 803
 804     ff_mxf_decode_pixel_layout(layout, &descriptor->pix_fmt);
 805 }
 806
 807 static int mxf_read_generic_descriptor(void *arg, AVIOContext *pb, int tag, int size, UID uid, int64_t klv_offset)
 808 {
 809     MXFDescriptor *descriptor = arg;
 810     descriptor->pix_fmt = PIX_FMT_NONE;
 811     switch(tag) {
 812     case 0x3F01:
 813         descriptor->sub_descriptors_count = avio_rb32(pb);
 814         if (descriptor->sub_descriptors_count >= UINT_MAX / sizeof(UID))
 815             return AVERROR_INVALIDDATA;
 816         descriptor->sub_descriptors_refs = av_malloc(descriptor->sub_descriptors_count * sizeof(UID));
 817         if (!descriptor->sub_descriptors_refs)
 818             return AVERROR(ENOMEM);
 819         avio_skip(pb, 4); /* useless size of objects, always 16 according to specs */
 820         avio_read(pb, (uint8_t *)descriptor->sub_descriptors_refs, descriptor->sub_descriptors_count * sizeof(UID));
 821         break;
 822     case 0x3004:
 823         avio_read(pb, descriptor->essence_container_ul, 16);
 824         break;
 825     case 0x3006:
 826         descriptor->linked_track_id = avio_rb32(pb);
 827         break;
 828     case 0x3201: /* PictureEssenceCoding */
 829         avio_read(pb, descriptor->essence_codec_ul, 16);
 830         break;
 831     case 0x3203:
 832         descriptor->width = avio_rb32(pb);
 833         break;
 834     case 0x3202:
 835         descriptor->height = avio_rb32(pb);
 836         break;
 837     case 0x320C:
 838         descriptor->frame_layout = avio_r8(pb);
 839         break;
 840     case 0x320E:
 841         descriptor->aspect_ratio.num = avio_rb32(pb);
 842         descriptor->aspect_ratio.den = avio_rb32(pb);
 843         break;
 844     case 0x3301:
 845         descriptor->component_depth = avio_rb32(pb);
 846         break;
 847     case 0x3302:
 848         descriptor->horiz_subsampling = avio_rb32(pb);
 849         break;
 850     case 0x3308:
 851         descriptor->vert_subsampling = avio_rb32(pb);
 852         break;
 853     case 0x3D03:
 854         descriptor->sample_rate.num = avio_rb32(pb);
 855         descriptor->sample_rate.den = avio_rb32(pb);
 856         break;
 857     case 0x3D06: /* SoundEssenceCompression */
 858         avio_read(pb, descriptor->essence_codec_ul, 16);
 859         break;
 860     case 0x3D07:
 861         descriptor->channels = avio_rb32(pb);
 862         break;
 863     case 0x3D01:
 864         descriptor->bits_per_sample = avio_rb32(pb);
 865         break;
 866     case 0x3401:
 867         mxf_read_pixel_layout(pb, descriptor);
 868         break;
 869     default:
 870         /* Private uid used by SONY C0023S01.mxf */
 871         if (IS_KLV_KEY(uid, mxf_sony_mpeg4_extradata)) {
 872             descriptor->extradata = av_malloc(size + FF_INPUT_BUFFER_PADDING_SIZE);
 873             if (!descriptor->extradata)
 874                 return AVERROR(ENOMEM);
 875             descriptor->extradata_size = size;
 876             avio_read(pb, descriptor->extradata, size);
 877         }
 878         break;
 879     }
 880     return 0;
 881 }
 882
 883 /*
 884  * Match an uid independently of the version byte and up to len common bytes
 885  * Returns: boolean
 886  */
 887 static int mxf_match_uid(const UID key, const UID uid, int len)
 888 {
 889     int i;
 890     for (i = 0; i < len; i++) {
 891         if (i != 7 && key[i] != uid[i])
 892             return 0;
 893     }
 894     return 1;
 895 }
 896
 897 static const MXFCodecUL *mxf_get_codec_ul(const MXFCodecUL *uls, UID *uid)
 898 {
 899     while (uls->uid[0]) {
 900         if(mxf_match_uid(uls->uid, *uid, uls->matching_len))
 901             break;
 902         uls++;
 903     }
 904     return uls;
 905 }
 906
 907 static void *mxf_resolve_strong_ref(MXFContext *mxf, UID *strong_ref, enum MXFMetadataSetType type)
 908 {
 909     int i;
 910
 911     if (!strong_ref)
 912         return NULL;
 913     for (i = 0; i < mxf->metadata_sets_count; i++) {
 914         if (!memcmp(*strong_ref, mxf->metadata_sets[i]->uid, 16) &&
 915             (type == AnyType || mxf->metadata_sets[i]->type == type)) {
 916             return mxf->metadata_sets[i];
 917         }
 918     }
 919     return NULL;
 920 }
 921
 922 static const MXFCodecUL mxf_picture_essence_container_uls[] = {
 923     // video essence container uls
 924     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x02,0x0D,0x01,0x03,0x01,0x02,0x04,0x60,0x01 }, 14, CODEC_ID_MPEG2VIDEO }, /* MPEG-ES Frame wrapped */
 925     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x02,0x41,0x01 }, 14,    CODEC_ID_DVVIDEO }, /* DV 625 25mbps */
 926     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x05,0x00,0x00 }, 14,   CODEC_ID_RAWVIDEO }, /* Uncompressed Picture */
 927     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,      CODEC_ID_NONE },
 928 };
 929
 930 /* EC ULs for intra-only formats */
 931 static const MXFCodecUL mxf_intra_only_essence_container_uls[] = {
 932     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x01,0x00,0x00 }, 14, CODEC_ID_MPEG2VIDEO }, /* MXF-GC SMPTE D-10 Mappings */
 933     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,       CODEC_ID_NONE },
 934 };
 935
 936 /* intra-only PictureEssenceCoding ULs, where no corresponding EC UL exists */
 937 static const MXFCodecUL mxf_intra_only_picture_essence_coding_uls[] = {
 938     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x0A,0x04,0x01,0x02,0x02,0x01,0x32,0x00,0x00 }, 14,       CODEC_ID_H264 }, /* H.264/MPEG-4 AVC Intra Profiles */
 939     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,       CODEC_ID_NONE },
 940 };
 941
 942 static const MXFCodecUL mxf_sound_essence_container_uls[] = {
 943     // sound essence container uls
 944     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x06,0x01,0x00 }, 14, CODEC_ID_PCM_S16LE }, /* BWF Frame wrapped */
 945     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x02,0x0D,0x01,0x03,0x01,0x02,0x04,0x40,0x01 }, 14,       CODEC_ID_MP2 }, /* MPEG-ES Frame wrapped, 0x40 ??? stream id */
 946     { { 0x06,0x0E,0x2B,0x34,0x04,0x01,0x01,0x01,0x0D,0x01,0x03,0x01,0x02,0x01,0x01,0x01 }, 14, CODEC_ID_PCM_S16LE }, /* D-10 Mapping 50Mbps PAL Extended Template */
 947     { { 0x06,0x0E,0x2B,0x34,0x01,0x01,0x01,0xFF,0x4B,0x46,0x41,0x41,0x00,0x0D,0x4D,0x4F }, 14, CODEC_ID_PCM_S16LE }, /* 0001GL00.MXF.A1.mxf_opatom.mxf */
 948     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 },  0,      CODEC_ID_NONE },
 949 };
 950
 951 static int mxf_get_sorted_table_segments(MXFContext *mxf, int *nb_sorted_segments, MXFIndexTableSegment ***sorted_segments)
 952 {
 953     int i, j, nb_segments = 0;
 954     MXFIndexTableSegment **unsorted_segments;
 955     int last_body_sid = -1, last_index_sid = -1, last_index_start = -1;
 956
 957     /* count number of segments, allocate arrays and copy unsorted segments */
 958     for (i = 0; i < mxf->metadata_sets_count; i++)
 959         if (mxf->metadata_sets[i]->type == IndexTableSegment)
 960             nb_segments++;
 961
 962     if (!(unsorted_segments = av_calloc(nb_segments, sizeof(*unsorted_segments))) ||
 963         !(*sorted_segments  = av_calloc(nb_segments, sizeof(**sorted_segments)))) {
 964         av_freep(sorted_segments);
 965         av_free(unsorted_segments);
 966         return AVERROR(ENOMEM);
 967     }
 968
 969     for (i = j = 0; i < mxf->metadata_sets_count; i++)
 970         if (mxf->metadata_sets[i]->type == IndexTableSegment)
 971             unsorted_segments[j++] = (MXFIndexTableSegment*)mxf->metadata_sets[i];
 972
 973     *nb_sorted_segments = 0;
 974
 975     /* sort segments by {BodySID, IndexSID, IndexStartPosition}, remove duplicates while we're at it */
 976     for (i = 0; i < nb_segments; i++) {
 977         int best = -1, best_body_sid = -1, best_index_sid = -1, best_index_start = -1;
 978         uint64_t best_index_duration = 0;
 979
 980         for (j = 0; j < nb_segments; j++) {
 981             MXFIndexTableSegment *s = unsorted_segments[j];
 982
 983             /* Require larger BosySID, IndexSID or IndexStartPosition then the previous entry. This removes duplicates.
 984              * We want the smallest values for the keys than what we currently have, unless this is the first such entry this time around.
 985              * If we come across an entry with the same IndexStartPosition but larger IndexDuration, then we'll prefer it over the one we currently have.
 986              */
 987             if ((i == 0     || s->body_sid > last_body_sid || s->index_sid > last_index_sid || s->index_start_position > last_index_start) &&
 988                 (best == -1 || s->body_sid < best_body_sid || s->index_sid < best_index_sid || s->index_start_position < best_index_start ||
 989                 (s->index_start_position == best_index_start && s->index_duration > best_index_duration))) {
 990                 best             = j;
 991                 best_body_sid    = s->body_sid;
 992                 best_index_sid   = s->index_sid;
 993                 best_index_start = s->index_start_position;
 994                 best_index_duration = s->index_duration;
 995             }
 996         }
 997
 998         /* no suitable entry found -> we're done */
 999         if (best == -1)
1000             break;
1001
1002         (*sorted_segments)[(*nb_sorted_segments)++] = unsorted_segments[best];
1003         last_body_sid    = best_body_sid;
1004         last_index_sid   = best_index_sid;
1005         last_index_start = best_index_start;
1006     }
1007
1008     av_free(unsorted_segments);
1009
1010     return 0;
1011 }
1012
1013 /**
1014  * Computes the absolute file offset of the given essence container offset
1015  */
1016 static int mxf_absolute_bodysid_offset(MXFContext *mxf, int body_sid, int64_t offset, int64_t *offset_out)
1017 {
1018     int x;
1019     int64_t offset_in = offset;     /* for logging */
1020
1021     for (x = 0; x < mxf->partitions_count; x++) {
1022         MXFPartition *p = &mxf->partitions[x];
1023
1024         if (p->body_sid != body_sid)
1025             continue;
1026
1027         if (offset < p->essence_length || !p->essence_length) {
1028             *offset_out = p->essence_offset + offset;
1029             return 0;
1030         }
1031
1032         offset -= p->essence_length;
1033     }
1034
1035     av_log(mxf->fc, AV_LOG_ERROR,
1036            "failed to find absolute offset of %"PRIX64" in BodySID %i - partial file?\n",
1037            offset_in, body_sid);
1038
1039     return AVERROR_INVALIDDATA;
1040 }
1041
1042 /**
1043  * Returns the end position of the essence container with given BodySID, or zero if unknown
1044  */
1045 static int64_t mxf_essence_container_end(MXFContext *mxf, int body_sid)
1046 {
1047     int x;
1048     int64_t ret = 0;
1049
1050     for (x = 0; x < mxf->partitions_count; x++) {
1051         MXFPartition *p = &mxf->partitions[x];
1052
1053         if (p->body_sid != body_sid)
1054             continue;
1055
1056         if (!p->essence_length)
1057             return 0;
1058
1059         ret = p->essence_offset + p->essence_length;
1060     }
1061
1062     return ret;
1063 }
1064
1065 /* EditUnit -> absolute offset */
1066 static int mxf_edit_unit_absolute_offset(MXFContext *mxf, MXFIndexTable *index_table, int64_t edit_unit, int64_t *edit_unit_out, int64_t *offset_out, int nag)
1067 {
1068     int i;
1069     int64_t offset_temp = 0;
1070
1071     for (i = 0; i < index_table->nb_segments; i++) {
1072         MXFIndexTableSegment *s = index_table->segments[i];
1073
1074         edit_unit = FFMAX(edit_unit, s->index_start_position);  /* clamp if trying to seek before start */
1075
1076         if (edit_unit < s->index_start_position + s->index_duration) {
1077             int64_t index = edit_unit - s->index_start_position;
1078
1079             if (s->edit_unit_byte_count)
1080                 offset_temp += s->edit_unit_byte_count * index;
1081             else if (s->nb_index_entries) {
1082                 if (s->nb_index_entries == 2 * s->index_duration + 1)
1083                     index *= 2;     /* Avid index */
1084
1085                 if (index < 0 || index >= s->nb_index_entries) {
1086                     av_log(mxf->fc, AV_LOG_ERROR, "IndexSID %i segment at %"PRId64" IndexEntryArray too small\n",
1087                            index_table->index_sid, s->index_start_position);
1088                     return AVERROR_INVALIDDATA;
1089                 }
1090
1091                 offset_temp = s->stream_offset_entries[index];
1092             } else {
1093                 av_log(mxf->fc, AV_LOG_ERROR, "IndexSID %i segment at %"PRId64" missing EditUnitByteCount and IndexEntryArray\n",
1094                        index_table->index_sid, s->index_start_position);
1095                 return AVERROR_INVALIDDATA;
1096             }
1097
1098             if (edit_unit_out)
1099                 *edit_unit_out = edit_unit;
1100
1101             return mxf_absolute_bodysid_offset(mxf, index_table->body_sid, offset_temp, offset_out);
1102         } else {
1103             /* EditUnitByteCount == 0 for VBR indexes, which is fine since they use explicit StreamOffsets */
1104             offset_temp += s->edit_unit_byte_count * s->index_duration;
1105         }
1106     }
1107
1108     if (nag)
1109         av_log(mxf->fc, AV_LOG_ERROR, "failed to map EditUnit %"PRId64" in IndexSID %i to an offset\n", edit_unit, index_table->index_sid);
1110
1111     return AVERROR_INVALIDDATA;
1112 }
1113
1114 static int mxf_compute_ptses_fake_index(MXFContext *mxf, MXFIndexTable *index_table)
1115 {
1116     int i, j, x;
1117     int8_t max_temporal_offset = -128;
1118
1119     /* first compute how many entries we have */
1120     for (i = 0; i < index_table->nb_segments; i++) {
1121         MXFIndexTableSegment *s = index_table->segments[i];
1122
1123         if (!s->nb_index_entries) {
1124             index_table->nb_ptses = 0;
1125             return 0;                               /* no TemporalOffsets */
1126         }
1127
1128         index_table->nb_ptses += s->index_duration;
1129     }
1130
1131     /* paranoid check */
1132     if (index_table->nb_ptses <= 0)
1133         return 0;
1134
1135     if (!(index_table->ptses      = av_calloc(index_table->nb_ptses, sizeof(int64_t))) ||
1136         !(index_table->fake_index = av_calloc(index_table->nb_ptses, sizeof(AVIndexEntry)))) {
1137         av_freep(&index_table->ptses);
1138         return AVERROR(ENOMEM);
1139     }
1140
1141     /* we may have a few bad TemporalOffsets
1142      * make sure the corresponding PTSes don't have the bogus value 0 */
1143     for (x = 0; x < index_table->nb_ptses; x++)
1144         index_table->ptses[x] = AV_NOPTS_VALUE;
1145
1146     /**
1147      * We have this:
1148      *
1149      * x  TemporalOffset
1150      * 0:  0
1151      * 1:  1
1152      * 2:  1
1153      * 3: -2
1154      * 4:  1
1155      * 5:  1
1156      * 6: -2
1157      *
1158      * We want to transform it into this:
1159      *
1160      * x  DTS PTS
1161      * 0: -1   0
1162      * 1:  0   3
1163      * 2:  1   1
1164      * 3:  2   2
1165      * 4:  3   6
1166      * 5:  4   4
1167      * 6:  5   5
1168      *
1169      * We do this by bucket sorting x by x+TemporalOffset[x] into mxf->ptses,
1170      * then settings mxf->first_dts = -max(TemporalOffset[x]).
1171      * The latter makes DTS <= PTS.
1172      */
1173     for (i = x = 0; i < index_table->nb_segments; i++) {
1174         MXFIndexTableSegment *s = index_table->segments[i];
1175         int index_delta = 1;
1176         int n = s->nb_index_entries;
1177
1178         if (s->nb_index_entries == 2 * s->index_duration + 1) {
1179             index_delta = 2;    /* Avid index */
1180             /* ignore the last entry - it's the size of the essence container */
1181             n--;
1182         }
1183
1184         for (j = 0; j < n; j += index_delta, x++) {
1185             int offset = s->temporal_offset_entries[j] / index_delta;
1186             int index  = x + offset;
1187
1188             if (x >= index_table->nb_ptses) {
1189                 av_log(mxf->fc, AV_LOG_ERROR,
1190                        "x >= nb_ptses - IndexEntryCount %i < IndexDuration %"PRId64"?\n",
1191                        s->nb_index_entries, s->index_duration);
1192                 break;
1193             }
1194
1195             index_table->fake_index[x].timestamp = x;
1196             index_table->fake_index[x].flags = !(s->flag_entries[j] & 0x30) ? AVINDEX_KEYFRAME : 0;
1197
1198             if (index < 0 || index >= index_table->nb_ptses) {
1199                 av_log(mxf->fc, AV_LOG_ERROR,
1200                        "index entry %i + TemporalOffset %i = %i, which is out of bounds\n",
1201                        x, offset, index);
1202                 continue;
1203             }
1204
1205             index_table->ptses[index] = x;
1206             max_temporal_offset = FFMAX(max_temporal_offset, offset);
1207         }
1208     }
1209
1210     index_table->first_dts = -max_temporal_offset;
1211
1212     return 0;
1213 }
1214
1215 /**
1216  * Sorts and collects index table segments into index tables.
1217  * Also computes PTSes if possible.
1218  */
1219 static int mxf_compute_index_tables(MXFContext *mxf)
1220 {
1221     int i, j, k, ret, nb_sorted_segments;
1222     MXFIndexTableSegment **sorted_segments = NULL;
1223
1224     if ((ret = mxf_get_sorted_table_segments(mxf, &nb_sorted_segments, &sorted_segments)) ||
1225         nb_sorted_segments <= 0) {
1226         av_log(mxf->fc, AV_LOG_WARNING, "broken or empty index\n");
1227         return 0;
1228     }
1229
1230     /* sanity check and count unique BodySIDs/IndexSIDs */
1231     for (i = 0; i < nb_sorted_segments; i++) {
1232         if (i == 0 || sorted_segments[i-1]->index_sid != sorted_segments[i]->index_sid)
1233             mxf->nb_index_tables++;
1234         else if (sorted_segments[i-1]->body_sid != sorted_segments[i]->body_sid) {
1235             av_log(mxf->fc, AV_LOG_ERROR, "found inconsistent BodySID\n");
1236             ret = AVERROR_INVALIDDATA;
1237             goto finish_decoding_index;
1238         }
1239     }
1240
1241     if (!(mxf->index_tables = av_calloc(mxf->nb_index_tables, sizeof(MXFIndexTable)))) {
1242         av_log(mxf->fc, AV_LOG_ERROR, "failed to allocate index tables\n");
1243         ret = AVERROR(ENOMEM);
1244         goto finish_decoding_index;
1245     }
1246
1247     /* distribute sorted segments to index tables */
1248     for (i = j = 0; i < nb_sorted_segments; i++) {
1249         if (i != 0 && sorted_segments[i-1]->index_sid != sorted_segments[i]->index_sid) {
1250             /* next IndexSID */
1251             j++;
1252         }
1253
1254         mxf->index_tables[j].nb_segments++;
1255     }
1256
1257     for (i = j = 0; j < mxf->nb_index_tables; i += mxf->index_tables[j++].nb_segments) {
1258         MXFIndexTable *t = &mxf->index_tables[j];
1259
1260         if (!(t->segments = av_calloc(t->nb_segments, sizeof(MXFIndexTableSegment*)))) {
1261             av_log(mxf->fc, AV_LOG_ERROR, "failed to allocate IndexTableSegment pointer array\n");
1262             ret = AVERROR(ENOMEM);
1263             goto finish_decoding_index;
1264         }
1265
1266         if (sorted_segments[i]->index_start_position)
1267             av_log(mxf->fc, AV_LOG_WARNING, "IndexSID %i starts at EditUnit %"PRId64" - seeking may not work as expected\n",
1268                    sorted_segments[i]->index_sid, sorted_segments[i]->index_start_position);
1269
1270         memcpy(t->segments, &sorted_segments[i], t->nb_segments * sizeof(MXFIndexTableSegment*));
1271         t->index_sid = sorted_segments[i]->index_sid;
1272         t->body_sid = sorted_segments[i]->body_sid;
1273
1274         if ((ret = mxf_compute_ptses_fake_index(mxf, t)) < 0)
1275             goto finish_decoding_index;
1276
1277         /* fix zero IndexDurations */
1278         for (k = 0; k < t->nb_segments; k++) {
1279             if (t->segments[k]->index_duration)
1280                 continue;
1281
1282             if (t->nb_segments > 1)
1283                 av_log(mxf->fc, AV_LOG_WARNING, "IndexSID %i segment %i has zero IndexDuration and there's more than one segment\n",
1284                        t->index_sid, k);
1285
1286             if (mxf->fc->nb_streams <= 0) {
1287                 av_log(mxf->fc, AV_LOG_WARNING, "no streams?\n");
1288                 break;
1289             }
1290
1291             /* assume the first stream's duration is reasonable
1292              * leave index_duration = 0 on further segments in case we have any (unlikely)
1293              */
1294             t->segments[k]->index_duration = mxf->fc->streams[0]->duration;
1295             break;
1296         }
1297     }
1298
1299     ret = 0;
1300 finish_decoding_index:
1301     av_free(sorted_segments);
1302     return ret;
1303 }
1304
1305 static int mxf_is_intra_only(MXFDescriptor *descriptor)
1306 {
1307     return mxf_get_codec_ul(mxf_intra_only_essence_container_uls,
1308                             &descriptor->essence_container_ul)->id != CODEC_ID_NONE ||
1309            mxf_get_codec_ul(mxf_intra_only_picture_essence_coding_uls,
1310                             &descriptor->essence_codec_ul)->id     != CODEC_ID_NONE;
1311 }
1312
1313 static int mxf_add_timecode_metadata(AVDictionary **pm, const char *key, AVTimecode *tc)
1314 {
1315     char buf[AV_TIMECODE_STR_SIZE];
1316     av_dict_set(pm, key, av_timecode_make_string(tc, buf, 0), 0);
1317
1318     return 0;
1319 }
1320
1321 static int mxf_parse_structural_metadata(MXFContext *mxf)
1322 {
1323     MXFPackage *material_package = NULL;
1324     MXFPackage *temp_package = NULL;
1325     int i, j, k, ret;
1326
1327     av_dlog(mxf->fc, "metadata sets count %d\n", mxf->metadata_sets_count);
1328     /* TODO: handle multiple material packages (OP3x) */
1329     for (i = 0; i < mxf->packages_count; i++) {
1330         material_package = mxf_resolve_strong_ref(mxf, &mxf->packages_refs[i], MaterialPackage);
1331         if (material_package) break;
1332     }
1333     if (!material_package) {
1334         av_log(mxf->fc, AV_LOG_ERROR, "no material package found\n");
1335         return AVERROR_INVALIDDATA;
1336     }
1337
1338     for (i = 0; i < material_package->tracks_count; i++) {
1339         MXFPackage *source_package = NULL;
1340         MXFTrack *material_track = NULL;
1341         MXFTrack *source_track = NULL;
1342         MXFTrack *temp_track = NULL;
1343         MXFDescriptor *descriptor = NULL;
1344         MXFStructuralComponent *component = NULL;
1345         MXFTimecodeComponent *mxf_tc = NULL;
1346         UID *essence_container_ul = NULL;
1347         const MXFCodecUL *codec_ul = NULL;
1348         const MXFCodecUL *container_ul = NULL;
1349         const MXFCodecUL *pix_fmt_ul = NULL;
1350         AVStream *st;
1351         AVTimecode tc;
1352         int flags;
1353
1354         if (!(material_track = mxf_resolve_strong_ref(mxf, &material_package->tracks_refs[i], Track))) {
1355             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve material track strong ref\n");
1356             continue;
1357         }
1358
1359         if ((component = mxf_resolve_strong_ref(mxf, &material_track->sequence_ref, TimecodeComponent))) {
1360             mxf_tc = (MXFTimecodeComponent*)component;
1361             flags = mxf_tc->drop_frame == 1 ? AV_TIMECODE_FLAG_DROPFRAME : 0;
1362             if (av_timecode_init(&tc, mxf_tc->rate, flags, mxf_tc->start_frame, mxf->fc) == 0) {
1363                 mxf_add_timecode_metadata(&mxf->fc->metadata, "timecode", &tc);
1364             }
1365         }
1366
1367         if (!(material_track->sequence = mxf_resolve_strong_ref(mxf, &material_track->sequence_ref, Sequence))) {
1368             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve material track sequence strong ref\n");
1369             continue;
1370         }
1371
1372         for (j = 0; j < material_track->sequence->structural_components_count; j++) {
1373             component = mxf_resolve_strong_ref(mxf, &material_track->sequence->structural_components_refs[j], TimecodeComponent);
1374             if (!component)
1375                 continue;
1376
1377             mxf_tc = (MXFTimecodeComponent*)component;
1378             flags = mxf_tc->drop_frame == 1 ? AV_TIMECODE_FLAG_DROPFRAME : 0;
1379             if (av_timecode_init(&tc, mxf_tc->rate, flags, mxf_tc->start_frame, mxf->fc) == 0) {
1380                 mxf_add_timecode_metadata(&mxf->fc->metadata, "timecode", &tc);
1381                 break;
1382             }
1383         }
1384
1385         /* TODO: handle multiple source clips */
1386         for (j = 0; j < material_track->sequence->structural_components_count; j++) {
1387             component = mxf_resolve_strong_ref(mxf, &material_track->sequence->structural_components_refs[j], SourceClip);
1388             if (!component)
1389                 continue;
1390
1391             for (k = 0; k < mxf->packages_count; k++) {
1392                 temp_package = mxf_resolve_strong_ref(mxf, &mxf->packages_refs[k], SourcePackage);
1393                 if (!temp_package)
1394                     continue;
1395                 if (!memcmp(temp_package->package_uid, component->source_package_uid, 16)) {
1396                     source_package = temp_package;
1397                     break;
1398                 }
1399             }
1400             if (!source_package) {
1401                 av_dlog(mxf->fc, "material track %d: no corresponding source package found\n", material_track->track_id);
1402                 break;
1403             }
1404             for (k = 0; k < source_package->tracks_count; k++) {
1405                 if (!(temp_track = mxf_resolve_strong_ref(mxf, &source_package->tracks_refs[k], Track))) {
1406                     av_log(mxf->fc, AV_LOG_ERROR, "could not resolve source track strong ref\n");
1407                     ret = AVERROR_INVALIDDATA;
1408                     goto fail_and_free;
1409                 }
1410                 if (temp_track->track_id == component->source_track_id) {
1411                     source_track = temp_track;
1412                     break;
1413                 }
1414             }
1415             if (!source_track) {
1416                 av_log(mxf->fc, AV_LOG_ERROR, "material track %d: no corresponding source track found\n", material_track->track_id);
1417                 break;
1418             }
1419         }
1420         if (!source_track || !component)
1421             continue;
1422
1423         if (!(source_track->sequence = mxf_resolve_strong_ref(mxf, &source_track->sequence_ref, Sequence))) {
1424             av_log(mxf->fc, AV_LOG_ERROR, "could not resolve source track sequence strong ref\n");
1425             ret = AVERROR_INVALIDDATA;
1426             goto fail_and_free;
1427         }
1428
1429         /* 0001GL00.MXF.A1.mxf_opatom.mxf has the same SourcePackageID as 0001GL.MXF.V1.mxf_opatom.mxf
1430          * This would result in both files appearing to have two streams. Work around this by sanity checking DataDefinition */
1431         if (memcmp(material_track->sequence->data_definition_ul, source_track->sequence->data_definition_ul, 16)) {
1432             av_log(mxf->fc, AV_LOG_ERROR, "material track %d: DataDefinition mismatch\n", material_track->track_id);
1433             continue;
1434         }
1435
1436         st = avformat_new_stream(mxf->fc, NULL);
1437         if (!st) {
1438             av_log(mxf->fc, AV_LOG_ERROR, "could not allocate stream\n");
1439             ret = AVERROR(ENOMEM);
1440             goto fail_and_free;
1441         }
1442         st->id = source_track->track_id;
1443         st->priv_data = source_track;
1444         st->duration = component->duration;
1445         if (st->duration == -1)
1446             st->duration = AV_NOPTS_VALUE;
1447         st->start_time = component->start_position;
1448         avpriv_set_pts_info(st, 64, material_track->edit_rate.den, material_track->edit_rate.num);
1449
1450         PRINT_KEY(mxf->fc, "data definition   ul", source_track->sequence->data_definition_ul);
1451         codec_ul = mxf_get_codec_ul(ff_mxf_data_definition_uls, &source_track->sequence->data_definition_ul);
1452         st->codec->codec_type = codec_ul->id;
1453
1454         source_package->descriptor = mxf_resolve_strong_ref(mxf, &source_package->descriptor_ref, AnyType);
1455         if (source_package->descriptor) {
1456             if (source_package->descriptor->type == MultipleDescriptor) {
1457                 for (j = 0; j < source_package->descriptor->sub_descriptors_count; j++) {
1458                     MXFDescriptor *sub_descriptor = mxf_resolve_strong_ref(mxf, &source_package->descriptor->sub_descriptors_refs[j], Descriptor);
1459
1460                     if (!sub_descriptor) {
1461                         av_log(mxf->fc, AV_LOG_ERROR, "could not resolve sub descriptor strong ref\n");
1462                         continue;
1463                     }
1464                     if (sub_descriptor->linked_track_id == source_track->track_id) {
1465                         descriptor = sub_descriptor;
1466                         break;
1467                     }
1468                 }
1469             } else if (source_package->descriptor->type == Descriptor)
1470                 descriptor = source_package->descriptor;
1471         }
1472         if (!descriptor) {
1473             av_log(mxf->fc, AV_LOG_INFO, "source track %d: stream %d, no descriptor found\n", source_track->track_id, st->index);
1474             continue;
1475         }
1476         PRINT_KEY(mxf->fc, "essence codec     ul", descriptor->essence_codec_ul);
1477         PRINT_KEY(mxf->fc, "essence container ul", descriptor->essence_container_ul);
1478         essence_container_ul = &descriptor->essence_container_ul;
1479         /* HACK: replacing the original key with mxf_encrypted_essence_container
1480          * is not allowed according to s429-6, try to find correct information anyway */
1481         if (IS_KLV_KEY(essence_container_ul, mxf_encrypted_essence_container)) {
1482             av_log(mxf->fc, AV_LOG_INFO, "broken encrypted mxf file\n");
1483             for (k = 0; k < mxf->metadata_sets_count; k++) {
1484                 MXFMetadataSet *metadata = mxf->metadata_sets[k];
1485                 if (metadata->type == CryptoContext) {
1486                     essence_container_ul = &((MXFCryptoContext *)metadata)->source_container_ul;
1487                     break;
1488                 }
1489             }
1490         }
1491
1492         /* TODO: drop PictureEssenceCoding and SoundEssenceCompression, only check EssenceContainer */
1493         codec_ul = mxf_get_codec_ul(ff_mxf_codec_uls, &descriptor->essence_codec_ul);
1494         st->codec->codec_id = codec_ul->id;
1495         if (descriptor->extradata) {
1496             st->codec->extradata = descriptor->extradata;
1497             st->codec->extradata_size = descriptor->extradata_size;
1498         }
1499         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
1500             source_track->intra_only = mxf_is_intra_only(descriptor);
1501             container_ul = mxf_get_codec_ul(mxf_picture_essence_container_uls, essence_container_ul);
1502             if (st->codec->codec_id == CODEC_ID_NONE)
1503                 st->codec->codec_id = container_ul->id;
1504             st->codec->width = descriptor->width;
1505             st->codec->height = descriptor->height; /* Field height, not frame height */
1506             switch (descriptor->frame_layout) {
1507                 case SegmentedFrame:
1508                     /* This one is a weird layout I don't fully understand. */
1509                     av_log(mxf->fc, AV_LOG_INFO, "SegmentedFrame layout isn't currently supported\n");
1510                     break;
1511                 case FullFrame:
1512                     break;
1513                 case OneField:
1514                     /* Every other line is stored and needs to be duplicated. */
1515                     av_log(mxf->fc, AV_LOG_INFO, "OneField frame layout isn't currently supported\n");
1516                     break; /* The correct thing to do here is fall through, but by breaking we might be
1517                               able to decode some streams at half the vertical resolution, rather than not al all.
1518                               It's also for compatibility with the old behavior. */
1519                 case MixedFields:
1520                     break;
1521                 case SeparateFields:
1522                     st->codec->height *= 2; /* Turn field height into frame height. */
1523                     break;
1524                 default:
1525                     av_log(mxf->fc, AV_LOG_INFO, "Unknown frame layout type: %d\n", descriptor->frame_layout);
1526             }
1527             if (st->codec->codec_id == CODEC_ID_RAWVIDEO) {
1528                 st->codec->pix_fmt = descriptor->pix_fmt;
1529                 if (st->codec->pix_fmt == PIX_FMT_NONE) {
1530                     pix_fmt_ul = mxf_get_codec_ul(ff_mxf_pixel_format_uls, &descriptor->essence_codec_ul);
1531                     st->codec->pix_fmt = pix_fmt_ul->id;
1532                     if (st->codec->pix_fmt == PIX_FMT_NONE) {
1533                         /* support files created before RP224v10 by defaulting to UYVY422
1534                            if subsampling is 4:2:2 and component depth is 8-bit */
1535                         if (descriptor->horiz_subsampling == 2 &&
1536                             descriptor->vert_subsampling == 1 &&
1537                             descriptor->component_depth == 8) {
1538                             st->codec->pix_fmt = PIX_FMT_UYVY422;
1539                         }
1540                     }
1541                 }
1542             }
1543             st->need_parsing = AVSTREAM_PARSE_HEADERS;
1544         } else if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
1545             container_ul = mxf_get_codec_ul(mxf_sound_essence_container_uls, essence_container_ul);
1546             if (st->codec->codec_id == CODEC_ID_NONE)
1547                 st->codec->codec_id = container_ul->id;
1548             st->codec->channels = descriptor->channels;
1549             st->codec->bits_per_coded_sample = descriptor->bits_per_sample;
1550
1551             if (descriptor->sample_rate.den > 0)
1552                 st->codec->sample_rate = descriptor->sample_rate.num / descriptor->sample_rate.den;
1553
1554             /* TODO: implement CODEC_ID_RAWAUDIO */
1555             if (st->codec->codec_id == CODEC_ID_PCM_S16LE) {
1556                 if (descriptor->bits_per_sample > 16 && descriptor->bits_per_sample <= 24)
1557                     st->codec->codec_id = CODEC_ID_PCM_S24LE;
1558                 else if (descriptor->bits_per_sample == 32)
1559                     st->codec->codec_id = CODEC_ID_PCM_S32LE;
1560             } else if (st->codec->codec_id == CODEC_ID_PCM_S16BE) {
1561                 if (descriptor->bits_per_sample > 16 && descriptor->bits_per_sample <= 24)
1562                     st->codec->codec_id = CODEC_ID_PCM_S24BE;
1563                 else if (descriptor->bits_per_sample == 32)
1564                     st->codec->codec_id = CODEC_ID_PCM_S32BE;
1565             } else if (st->codec->codec_id == CODEC_ID_MP2) {
1566                 st->need_parsing = AVSTREAM_PARSE_FULL;
1567             }
1568         }
1569         if (st->codec->codec_type != AVMEDIA_TYPE_DATA && (*essence_container_ul)[15] > 0x01) {
1570             /* TODO: decode timestamps */
1571             st->need_parsing = AVSTREAM_PARSE_TIMESTAMPS;
1572         }
1573     }
1574
1575     ret = 0;
1576 fail_and_free:
1577     return ret;
1578 }
1579
1580 static const MXFMetadataReadTableEntry mxf_metadata_read_table[] = {
1581     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x05,0x01,0x00 }, mxf_read_primer_pack },
1582     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x01,0x00 }, mxf_read_partition_pack },
1583     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x02,0x00 }, mxf_read_partition_pack },
1584     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x03,0x00 }, mxf_read_partition_pack },
1585     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x02,0x04,0x00 }, mxf_read_partition_pack },
1586     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x01,0x00 }, mxf_read_partition_pack },
1587     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x02,0x00 }, mxf_read_partition_pack },
1588     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x03,0x00 }, mxf_read_partition_pack },
1589     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x03,0x04,0x00 }, mxf_read_partition_pack },
1590     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x04,0x02,0x00 }, mxf_read_partition_pack },
1591     { { 0x06,0x0E,0x2B,0x34,0x02,0x05,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x04,0x04,0x00 }, mxf_read_partition_pack },
1592     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x18,0x00 }, mxf_read_content_storage, 0, AnyType },
1593     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x37,0x00 }, mxf_read_source_package, sizeof(MXFPackage), SourcePackage },
1594     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x36,0x00 }, mxf_read_material_package, sizeof(MXFPackage), MaterialPackage },
1595     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x0F,0x00 }, mxf_read_sequence, sizeof(MXFSequence), Sequence },
1596     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x11,0x00 }, mxf_read_source_clip, sizeof(MXFStructuralComponent), SourceClip },
1597     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x44,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), MultipleDescriptor },
1598     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x42,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* Generic Sound */
1599     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x28,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* CDCI */
1600     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x29,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* RGBA */
1601     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x51,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* MPEG 2 Video */
1602     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x48,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* Wave */
1603     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x47,0x00 }, mxf_read_generic_descriptor, sizeof(MXFDescriptor), Descriptor }, /* AES3 */
1604     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x3A,0x00 }, mxf_read_track, sizeof(MXFTrack), Track }, /* Static Track */
1605     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x3B,0x00 }, mxf_read_track, sizeof(MXFTrack), Track }, /* Generic Track */
1606     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x01,0x01,0x01,0x01,0x14,0x00 }, mxf_read_timecode_component, sizeof(MXFTimecodeComponent), TimecodeComponent },
1607     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x04,0x01,0x02,0x02,0x00,0x00 }, mxf_read_cryptographic_context, sizeof(MXFCryptoContext), CryptoContext },
1608     { { 0x06,0x0E,0x2B,0x34,0x02,0x53,0x01,0x01,0x0d,0x01,0x02,0x01,0x01,0x10,0x01,0x00 }, mxf_read_index_table_segment, sizeof(MXFIndexTableSegment), IndexTableSegment },
1609     { { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 }, NULL, 0, AnyType },
1610 };
1611
1612 static int mxf_read_local_tags(MXFContext *mxf, KLVPacket *klv, MXFMetadataReadFunc *read_child, int ctx_size, enum MXFMetadataSetType type)
1613 {
1614     AVIOContext *pb = mxf->fc->pb;
1615     MXFMetadataSet *ctx = ctx_size ? av_mallocz(ctx_size) : mxf;
1616     uint64_t klv_end = avio_tell(pb) + klv->length;
1617
1618     if (!ctx)
1619         return AVERROR(ENOMEM);
1620     while (avio_tell(pb) + 4 < klv_end && !url_feof(pb)) {
1621         int ret;
1622         int tag = avio_rb16(pb);
1623         int size = avio_rb16(pb); /* KLV specified by 0x53 */
1624         uint64_t next = avio_tell(pb) + size;
1625         UID uid = {0};
1626
1627         av_dlog(mxf->fc, "local tag %#04x size %d\n", tag, size);
1628         if (!size) { /* ignore empty tag, needed for some files with empty UMID tag */
1629             av_log(mxf->fc, AV_LOG_ERROR, "local tag %#04x with 0 size\n", tag);
1630             continue;
1631         }
1632         if (tag > 0x7FFF) { /* dynamic tag */
1633             int i;
1634             for (i = 0; i < mxf->local_tags_count; i++) {
1635                 int local_tag = AV_RB16(mxf->local_tags+i*18);
1636                 if (local_tag == tag) {
1637                     memcpy(uid, mxf->local_tags+i*18+2, 16);
1638                     av_dlog(mxf->fc, "local tag %#04x\n", local_tag);
1639                     PRINT_KEY(mxf->fc, "uid", uid);
1640                 }
1641             }
1642         }
1643         if (ctx_size && tag == 0x3C0A)
1644             avio_read(pb, ctx->uid, 16);
1645         else if ((ret = read_child(ctx, pb, tag, size, uid, -1)) < 0)
1646             return ret;
1647
1648         /* Accept the 64k local set limit being exceeded (Avid). Don't accept
1649          * it extending past the end of the KLV though (zzuf5.mxf). */
1650         if (avio_tell(pb) > klv_end) {
1651             av_log(mxf->fc, AV_LOG_ERROR,
1652                    "local tag %#04x extends past end of local set @ %#"PRIx64"\n",
1653                    tag, klv->offset);
1654             return AVERROR_INVALIDDATA;
1655         } else if (avio_tell(pb) <= next)   /* only seek forward, else this can loop for a long time */
1656             avio_seek(pb, next, SEEK_SET);
1657     }
1658     if (ctx_size) ctx->type = type;
1659     return ctx_size ? mxf_add_metadata_set(mxf, ctx) : 0;
1660 }
1661
1662 /**
1663  * Seeks to the previous partition, if possible
1664  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1665  */
1666 static int mxf_seek_to_previous_partition(MXFContext *mxf)
1667 {
1668     AVIOContext *pb = mxf->fc->pb;
1669
1670     if (!mxf->current_partition ||
1671         mxf->run_in + mxf->current_partition->previous_partition <= mxf->last_forward_tell)
1672         return 0;   /* we've parsed all partitions */
1673
1674     /* seek to previous partition */
1675     avio_seek(pb, mxf->run_in + mxf->current_partition->previous_partition, SEEK_SET);
1676     mxf->current_partition = NULL;
1677
1678     av_dlog(mxf->fc, "seeking to previous partition\n");
1679
1680     return 1;
1681 }
1682
1683 /**
1684  * Called when essence is encountered
1685  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1686  */
1687 static int mxf_parse_handle_essence(MXFContext *mxf)
1688 {
1689     AVIOContext *pb = mxf->fc->pb;
1690     int64_t ret;
1691
1692     if (mxf->parsing_backward) {
1693         return mxf_seek_to_previous_partition(mxf);
1694     } else {
1695         if (!mxf->footer_partition) {
1696             av_dlog(mxf->fc, "no footer\n");
1697             return 0;
1698         }
1699
1700         av_dlog(mxf->fc, "seeking to footer\n");
1701
1702         /* remember where we were so we don't end up seeking further back than this */
1703         mxf->last_forward_tell = avio_tell(pb);
1704
1705         if (!pb->seekable) {
1706             av_log(mxf->fc, AV_LOG_INFO, "file is not seekable - not parsing footer\n");
1707             return -1;
1708         }
1709
1710         /* seek to footer partition and parse backward */
1711         if ((ret = avio_seek(pb, mxf->run_in + mxf->footer_partition, SEEK_SET)) < 0) {
1712             av_log(mxf->fc, AV_LOG_ERROR, "failed to seek to footer @ 0x%"PRIx64" (%"PRId64") - partial file?\n",
1713                    mxf->run_in + mxf->footer_partition, ret);
1714             return ret;
1715         }
1716
1717         mxf->current_partition = NULL;
1718         mxf->parsing_backward = 1;
1719     }
1720
1721     return 1;
1722 }
1723
1724 /**
1725  * Called when the next partition or EOF is encountered
1726  * @return <= 0 if we should stop parsing, > 0 if we should keep going
1727  */
1728 static int mxf_parse_handle_partition_or_eof(MXFContext *mxf)
1729 {
1730     return mxf->parsing_backward ? mxf_seek_to_previous_partition(mxf) : 1;
1731 }
1732
1733 /**
1734  * Figures out the proper offset and length of the essence container in each partition
1735  */
1736 static void mxf_compute_essence_containers(MXFContext *mxf)
1737 {
1738     int x;
1739
1740     /* everything is already correct */
1741     if (mxf->op == OPAtom)
1742         return;
1743
1744     for (x = 0; x < mxf->partitions_count; x++) {
1745         MXFPartition *p = &mxf->partitions[x];
1746
1747         if (!p->body_sid)
1748             continue;       /* BodySID == 0 -> no essence */
1749
1750         if (x >= mxf->partitions_count - 1)
1751             break;          /* last partition - can't compute length (and we don't need to) */
1752
1753         /* essence container spans to the next partition */
1754         p->essence_length = mxf->partitions[x+1].this_partition - p->essence_offset;
1755
1756         if (p->essence_length < 0) {
1757             /* next ThisPartition < essence_offset */
1758             p->essence_length = 0;
1759             av_log(mxf->fc, AV_LOG_ERROR,
1760                    "partition %i: bad ThisPartition = %"PRIX64"\n",
1761                    x+1, mxf->partitions[x+1].this_partition);
1762         }
1763     }
1764 }
1765
1766 static int64_t round_to_kag(int64_t position, int kag_size)
1767 {
1768     /* TODO: account for run-in? the spec isn't clear whether KAG should account for it */
1769     /* NOTE: kag_size may be any integer between 1 - 2^10 */
1770     int64_t ret = (position / kag_size) * kag_size;
1771     return ret == position ? ret : ret + kag_size;
1772 }
1773
1774 static int is_pcm(enum CodecID codec_id)
1775 {
1776     /* we only care about "normal" PCM codecs until we get samples */
1777     return codec_id >= CODEC_ID_PCM_S16LE && codec_id < CODEC_ID_PCM_S24DAUD;
1778 }
1779
1780 /**
1781  * Deal with the case where for some audio atoms EditUnitByteCount is
1782  * very small (2, 4..). In those cases we should read more than one
1783  * sample per call to mxf_read_packet().
1784  */
1785 static void mxf_handle_small_eubc(AVFormatContext *s)
1786 {
1787     MXFContext *mxf = s->priv_data;
1788
1789     /* assuming non-OPAtom == frame wrapped
1790      * no sane writer would wrap 2 byte PCM packets with 20 byte headers.. */
1791     if (mxf->op != OPAtom)
1792         return;
1793
1794     /* expect PCM with exactly one index table segment and a small (< 32) EUBC */
1795     if (s->nb_streams != 1                                     ||
1796         s->streams[0]->codec->codec_type != AVMEDIA_TYPE_AUDIO ||
1797         !is_pcm(s->streams[0]->codec->codec_id)                ||
1798         mxf->nb_index_tables != 1                              ||
1799         mxf->index_tables[0].nb_segments != 1                  ||
1800         mxf->index_tables[0].segments[0]->edit_unit_byte_count >= 32)
1801         return;
1802
1803     /* arbitrarily default to 48 kHz PAL audio frame size */
1804     /* TODO: We could compute this from the ratio between the audio
1805      *       and video edit rates for 48 kHz NTSC we could use the
1806      *       1802-1802-1802-1802-1801 pattern. */
1807     mxf->edit_units_per_packet = 1920;
1808 }
1809
1810 static int mxf_read_header(AVFormatContext *s)
1811 {
1812     MXFContext *mxf = s->priv_data;
1813     KLVPacket klv;
1814     int64_t essence_offset = 0;
1815     int ret;
1816
1817     mxf->last_forward_tell = INT64_MAX;
1818     mxf->edit_units_per_packet = 1;
1819
1820     if (!mxf_read_sync(s->pb, mxf_header_partition_pack_key, 14)) {
1821         av_log(s, AV_LOG_ERROR, "could not find header partition pack key\n");
1822         return AVERROR_INVALIDDATA;
1823     }
1824     avio_seek(s->pb, -14, SEEK_CUR);
1825     mxf->fc = s;
1826     mxf->run_in = avio_tell(s->pb);
1827
1828     while (!url_feof(s->pb)) {
1829         const MXFMetadataReadTableEntry *metadata;
1830
1831         if (klv_read_packet(&klv, s->pb) < 0) {
1832             /* EOF - seek to previous partition or stop */
1833             if(mxf_parse_handle_partition_or_eof(mxf) <= 0)
1834                 break;
1835             else
1836                 continue;
1837         }
1838
1839         PRINT_KEY(s, "read header", klv.key);
1840         av_dlog(s, "size %"PRIu64" offset %#"PRIx64"\n", klv.length, klv.offset);
1841         if (IS_KLV_KEY(klv.key, mxf_encrypted_triplet_key) ||
1842             IS_KLV_KEY(klv.key, mxf_essence_element_key) ||
1843             IS_KLV_KEY(klv.key, mxf_avid_essence_element_key) ||
1844             IS_KLV_KEY(klv.key, mxf_system_item_key)) {
1845
1846             if (!mxf->current_partition) {
1847                 av_log(mxf->fc, AV_LOG_ERROR, "found essence prior to first PartitionPack\n");
1848                 return AVERROR_INVALIDDATA;
1849             }
1850
1851             if (!mxf->current_partition->essence_offset) {
1852                 /* for OP1a we compute essence_offset
1853                  * for OPAtom we point essence_offset after the KL (usually op1a_essence_offset + 20 or 25)
1854                  * TODO: for OP1a we could eliminate this entire if statement, always stopping parsing at op1a_essence_offset
1855                  *       for OPAtom we still need the actual essence_offset though (the KL's length can vary)
1856                  */
1857                 int64_t op1a_essence_offset =
1858                     round_to_kag(mxf->current_partition->this_partition +
1859                                  mxf->current_partition->pack_length,       mxf->current_partition->kag_size) +
1860                     round_to_kag(mxf->current_partition->header_byte_count, mxf->current_partition->kag_size) +
1861                     round_to_kag(mxf->current_partition->index_byte_count,  mxf->current_partition->kag_size);
1862
1863                 if (mxf->op == OPAtom) {
1864                     /* point essence_offset to the actual data
1865                     * OPAtom has all the essence in one big KLV
1866                     */
1867                     mxf->current_partition->essence_offset = avio_tell(s->pb);
1868                     mxf->current_partition->essence_length = klv.length;
1869                 } else {
1870                     /* NOTE: op1a_essence_offset may be less than to klv.offset (C0023S01.mxf)  */
1871                     mxf->current_partition->essence_offset = op1a_essence_offset;
1872                 }
1873             }
1874
1875             if (!essence_offset)
1876                 essence_offset = klv.offset;
1877
1878             /* seek to footer, previous partition or stop */
1879             if (mxf_parse_handle_essence(mxf) <= 0)
1880                 break;
1881             continue;
1882         } else if (!memcmp(klv.key, mxf_header_partition_pack_key, 13) &&
1883                    klv.key[13] >= 2 && klv.key[13] <= 4 && mxf->current_partition) {
1884             /* next partition pack - keep going, seek to previous partition or stop */
1885             if(mxf_parse_handle_partition_or_eof(mxf) <= 0)
1886                 break;
1887             else if (mxf->parsing_backward)
1888                 continue;
1889             /* we're still parsing forward. proceed to parsing this partition pack */
1890         }
1891
1892         for (metadata = mxf_metadata_read_table; metadata->read; metadata++) {
1893             if (IS_KLV_KEY(klv.key, metadata->key)) {
1894                 int res;
1895                 if (klv.key[5] == 0x53) {
1896                     res = mxf_read_local_tags(mxf, &klv, metadata->read, metadata->ctx_size, metadata->type);
1897                 } else {
1898                     uint64_t next = avio_tell(s->pb) + klv.length;
1899                     res = metadata->read(mxf, s->pb, 0, klv.length, klv.key, klv.offset);
1900
1901                     /* only seek forward, else this can loop for a long time */
1902                     if (avio_tell(s->pb) > next) {
1903                         av_log(s, AV_LOG_ERROR, "read past end of KLV @ %#"PRIx64"\n",
1904                                klv.offset);
1905                         return AVERROR_INVALIDDATA;
1906                     }
1907
1908                     avio_seek(s->pb, next, SEEK_SET);
1909                 }
1910                 if (res < 0) {
1911                     av_log(s, AV_LOG_ERROR, "error reading header metadata\n");
1912                     return res;
1913                 }
1914                 break;
1915             }
1916         }
1917         if (!metadata->read)
1918             avio_skip(s->pb, klv.length);
1919     }
1920     /* FIXME avoid seek */
1921     if (!essence_offset)  {
1922         av_log(s, AV_LOG_ERROR, "no essence\n");
1923         return AVERROR_INVALIDDATA;
1924     }
1925     avio_seek(s->pb, essence_offset, SEEK_SET);
1926
1927     mxf_compute_essence_containers(mxf);
1928
1929     /* we need to do this before computing the index tables
1930      * to be able to fill in zero IndexDurations with st->duration */
1931     if ((ret = mxf_parse_structural_metadata(mxf)) < 0)
1932         return ret;
1933
1934     if ((ret = mxf_compute_index_tables(mxf)) < 0)
1935         return ret;
1936
1937     if (mxf->nb_index_tables > 1) {
1938         /* TODO: look up which IndexSID to use via EssenceContainerData */
1939         av_log(mxf->fc, AV_LOG_INFO, "got %i index tables - only the first one (IndexSID %i) will be used\n",
1940                mxf->nb_index_tables, mxf->index_tables[0].index_sid);
1941     } else if (mxf->nb_index_tables == 0 && mxf->op == OPAtom) {
1942         av_log(mxf->fc, AV_LOG_ERROR, "cannot demux OPAtom without an index\n");
1943         return AVERROR_INVALIDDATA;
1944     }
1945
1946     mxf_handle_small_eubc(s);
1947
1948     return 0;
1949 }
1950
1951 /**
1952  * Sets mxf->current_edit_unit based on what offset we're currently at.
1953  * @return next_ofs if OK, <0 on error
1954  */
1955 static int64_t mxf_set_current_edit_unit(MXFContext *mxf, int64_t current_offset)
1956 {
1957     int64_t last_ofs = -1, next_ofs = -1;
1958     MXFIndexTable *t = &mxf->index_tables[0];
1959
1960     /* this is called from the OP1a demuxing logic, which means there
1961      * may be no index tables */
1962     if (mxf->nb_index_tables <= 0)
1963         return -1;
1964
1965     /* find mxf->current_edit_unit so that the next edit unit starts ahead of current_offset */
1966     while (mxf->current_edit_unit >= 0) {
1967         if (mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit + 1, NULL, &next_ofs, 0) < 0)
1968             return -1;
1969
1970         if (next_ofs <= last_ofs) {
1971             /* large next_ofs didn't change or current_edit_unit wrapped
1972              * around this fixes the infinite loop on zzuf3.mxf */
1973             av_log(mxf->fc, AV_LOG_ERROR,
1974                    "next_ofs didn't change. not deriving packet timestamps\n");
1975             return - 1;
1976         }
1977
1978         if (next_ofs > current_offset)
1979             break;
1980
1981         last_ofs = next_ofs;
1982         mxf->current_edit_unit++;
1983     }
1984
1985     /* not checking mxf->current_edit_unit >= t->nb_ptses here since CBR files may lack IndexEntryArrays */
1986     if (mxf->current_edit_unit < 0)
1987         return -1;
1988
1989     return next_ofs;
1990 }
1991
1992 static int mxf_read_packet_old(AVFormatContext *s, AVPacket *pkt)
1993 {
1994     KLVPacket klv;
1995     MXFContext *mxf = s->priv_data;
1996
1997     while (!url_feof(s->pb)) {
1998         int ret;
1999         if (klv_read_packet(&klv, s->pb) < 0)
2000             return -1;
2001         PRINT_KEY(s, "read packet", klv.key);
2002         av_dlog(s, "size %"PRIu64" offset %#"PRIx64"\n", klv.length, klv.offset);
2003         if (IS_KLV_KEY(klv.key, mxf_encrypted_triplet_key)) {
2004             ret = mxf_decrypt_triplet(s, pkt, &klv);
2005             if (ret < 0) {
2006                 av_log(s, AV_LOG_ERROR, "invalid encoded triplet\n");
2007                 return AVERROR_INVALIDDATA;
2008             }
2009             return 0;
2010         }
2011         if (IS_KLV_KEY(klv.key, mxf_essence_element_key) ||
2012             IS_KLV_KEY(klv.key, mxf_avid_essence_element_key)) {
2013             int index = mxf_get_stream_index(s, &klv);
2014             int64_t next_ofs, next_klv;
2015             AVStream *st;
2016             MXFTrack *track;
2017
2018             if (index < 0) {
2019                 av_log(s, AV_LOG_ERROR, "error getting stream index %d\n", AV_RB32(klv.key+12));
2020                 goto skip;
2021             }
2022
2023             st = s->streams[index];
2024             track = st->priv_data;
2025
2026             if (s->streams[index]->discard == AVDISCARD_ALL)
2027                 goto skip;
2028
2029             next_klv = avio_tell(s->pb) + klv.length;
2030             next_ofs = mxf_set_current_edit_unit(mxf, klv.offset);
2031
2032             if (next_ofs >= 0 && next_klv > next_ofs) {
2033                 /* if this check is hit then it's possible OPAtom was treated as OP1a
2034                  * truncate the packet since it's probably very large (>2 GiB is common) */
2035                 av_log_ask_for_sample(s,
2036                     "KLV for edit unit %i extends into next edit unit - OPAtom misinterpreted as OP1a?\n",
2037                     mxf->current_edit_unit);
2038                 klv.length = next_ofs - avio_tell(s->pb);
2039             }
2040
2041             /* check for 8 channels AES3 element */
2042             if (klv.key[12] == 0x06 && klv.key[13] == 0x01 && klv.key[14] == 0x10) {
2043                 if (mxf_get_d10_aes3_packet(s->pb, s->streams[index], pkt, klv.length) < 0) {
2044                     av_log(s, AV_LOG_ERROR, "error reading D-10 aes3 frame\n");
2045                     return AVERROR_INVALIDDATA;
2046                 }
2047             } else {
2048                 ret = av_get_packet(s->pb, pkt, klv.length);
2049                 if (ret < 0)
2050                     return ret;
2051             }
2052             pkt->stream_index = index;
2053             pkt->pos = klv.offset;
2054
2055             if (s->streams[index]->codec->codec_type == AVMEDIA_TYPE_VIDEO && next_ofs >= 0) {
2056                 /* mxf->current_edit_unit good - see if we have an index table to derive timestamps from */
2057                 MXFIndexTable *t = &mxf->index_tables[0];
2058
2059                 if (mxf->nb_index_tables >= 1 && mxf->current_edit_unit < t->nb_ptses) {
2060                     pkt->dts = mxf->current_edit_unit + t->first_dts;
2061                     pkt->pts = t->ptses[mxf->current_edit_unit];
2062                 } else if (track->intra_only) {
2063                     /* intra-only -> PTS = EditUnit.
2064                      * let utils.c figure out DTS since it can be < PTS if low_delay = 0 (Sony IMX30) */
2065                     pkt->pts = mxf->current_edit_unit;
2066                 }
2067             }
2068
2069             /* seek for truncated packets */
2070             avio_seek(s->pb, next_klv, SEEK_SET);
2071
2072             return 0;
2073         } else
2074         skip:
2075             avio_skip(s->pb, klv.length);
2076     }
2077     return AVERROR_EOF;
2078 }
2079
2080 static int mxf_read_packet(AVFormatContext *s, AVPacket *pkt)
2081 {
2082     MXFContext *mxf = s->priv_data;
2083     int ret, size;
2084     int64_t ret64, pos, next_pos;
2085     AVStream *st;
2086     MXFIndexTable *t;
2087     int edit_units;
2088
2089     if (mxf->op != OPAtom)
2090         return mxf_read_packet_old(s, pkt);
2091
2092     /* OPAtom - clip wrapped demuxing */
2093     /* NOTE: mxf_read_header() makes sure nb_index_tables > 0 for OPAtom */
2094     st = s->streams[0];
2095     t = &mxf->index_tables[0];
2096
2097     if (mxf->current_edit_unit >= st->duration)
2098         return AVERROR_EOF;
2099
2100     edit_units = FFMIN(mxf->edit_units_per_packet, st->duration - mxf->current_edit_unit);
2101
2102     if ((ret = mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit, NULL, &pos, 1)) < 0)
2103         return ret;
2104
2105     /* compute size by finding the next edit unit or the end of the essence container
2106      * not pretty, but it works */
2107     if ((ret = mxf_edit_unit_absolute_offset(mxf, t, mxf->current_edit_unit + edit_units, NULL, &next_pos, 0)) < 0 &&
2108         (next_pos = mxf_essence_container_end(mxf, t->body_sid)) <= 0) {
2109         av_log(s, AV_LOG_ERROR, "unable to compute the size of the last packet\n");
2110         return AVERROR_INVALIDDATA;
2111     }
2112
2113     if ((size = next_pos - pos) <= 0) {
2114         av_log(s, AV_LOG_ERROR, "bad size: %i\n", size);
2115         return AVERROR_INVALIDDATA;
2116     }
2117
2118     if ((ret64 = avio_seek(s->pb, pos, SEEK_SET)) < 0)
2119         return ret64;
2120
2121     if ((size = av_get_packet(s->pb, pkt, size)) < 0)
2122         return size;
2123
2124     if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO && t->ptses &&
2125         mxf->current_edit_unit >= 0 && mxf->current_edit_unit < t->nb_ptses) {
2126         pkt->dts = mxf->current_edit_unit + t->first_dts;
2127         pkt->pts = t->ptses[mxf->current_edit_unit];
2128     }
2129
2130     pkt->stream_index = 0;
2131     mxf->current_edit_unit += edit_units;
2132
2133     return 0;
2134 }
2135
2136 static int mxf_read_close(AVFormatContext *s)
2137 {
2138     MXFContext *mxf = s->priv_data;
2139     MXFIndexTableSegment *seg;
2140     int i;
2141
2142     av_freep(&mxf->packages_refs);
2143
2144     for (i = 0; i < s->nb_streams; i++)
2145         s->streams[i]->priv_data = NULL;
2146
2147     for (i = 0; i < mxf->metadata_sets_count; i++) {
2148         switch (mxf->metadata_sets[i]->type) {
2149         case MultipleDescriptor:
2150             av_freep(&((MXFDescriptor *)mxf->metadata_sets[i])->sub_descriptors_refs);
2151             break;
2152         case Sequence:
2153             av_freep(&((MXFSequence *)mxf->metadata_sets[i])->structural_components_refs);
2154             break;
2155         case SourcePackage:
2156         case MaterialPackage:
2157             av_freep(&((MXFPackage *)mxf->metadata_sets[i])->tracks_refs);
2158             break;
2159         case IndexTableSegment:
2160             seg = (MXFIndexTableSegment *)mxf->metadata_sets[i];
2161             av_freep(&seg->temporal_offset_entries);
2162             av_freep(&seg->flag_entries);
2163             av_freep(&seg->stream_offset_entries);
2164             break;
2165         default:
2166             break;
2167         }
2168         av_freep(&mxf->metadata_sets[i]);
2169     }
2170     av_freep(&mxf->partitions);
2171     av_freep(&mxf->metadata_sets);
2172     av_freep(&mxf->aesc);
2173     av_freep(&mxf->local_tags);
2174
2175     for (i = 0; i < mxf->nb_index_tables; i++) {
2176         av_freep(&mxf->index_tables[i].segments);
2177         av_freep(&mxf->index_tables[i].ptses);
2178         av_freep(&mxf->index_tables[i].fake_index);
2179     }
2180     av_freep(&mxf->index_tables);
2181
2182     return 0;
2183 }
2184
2185 static int mxf_probe(AVProbeData *p) {
2186     uint8_t *bufp = p->buf;
2187     uint8_t *end = p->buf + p->buf_size;
2188
2189     if (p->buf_size < sizeof(mxf_header_partition_pack_key))
2190         return 0;
2191
2192     /* Must skip Run-In Sequence and search for MXF header partition pack key SMPTE 377M 5.5 */
2193     end -= sizeof(mxf_header_partition_pack_key);
2194     for (; bufp < end; bufp++) {
2195         if (IS_KLV_KEY(bufp, mxf_header_partition_pack_key))
2196             return AVPROBE_SCORE_MAX;
2197     }
2198     return 0;
2199 }
2200
2201 /* rudimentary byte seek */
2202 /* XXX: use MXF Index */
2203 static int mxf_read_seek(AVFormatContext *s, int stream_index, int64_t sample_time, int flags)
2204 {
2205     AVStream *st = s->streams[stream_index];
2206     int64_t seconds;
2207     MXFContext* mxf = s->priv_data;
2208     int64_t seekpos;
2209     int ret;
2210     MXFIndexTable *t;
2211
2212     if (mxf->index_tables <= 0) {
2213     if (!s->bit_rate)
2214         return AVERROR_INVALIDDATA;
2215     if (sample_time < 0)
2216         sample_time = 0;
2217     seconds = av_rescale(sample_time, st->time_base.num, st->time_base.den);
2218
2219     if ((ret = avio_seek(s->pb, (s->bit_rate * seconds) >> 3, SEEK_SET)) < 0)
2220         return ret;
2221     ff_update_cur_dts(s, st, sample_time);
2222     } else {
2223         t = &mxf->index_tables[0];
2224
2225         /* clamp above zero, else ff_index_search_timestamp() returns negative
2226          * this also means we allow seeking before the start */
2227         sample_time = FFMAX(sample_time, 0);
2228
2229         if (t->fake_index) {
2230             /* behave as if we have a proper index */
2231             if ((sample_time = ff_index_search_timestamp(t->fake_index, t->nb_ptses, sample_time, flags)) < 0)
2232                 return sample_time;
2233         } else {
2234             /* no IndexEntryArray (one or more CBR segments)
2235              * make sure we don't seek past the end */
2236             sample_time = FFMIN(sample_time, st->duration - 1);
2237         }
2238
2239         if ((ret = mxf_edit_unit_absolute_offset(mxf, t, sample_time, &sample_time, &seekpos, 1)) << 0)
2240             return ret;
2241
2242         ff_update_cur_dts(s, st, sample_time);
2243         mxf->current_edit_unit = sample_time;
2244         avio_seek(s->pb, seekpos, SEEK_SET);
2245     }
2246     return 0;
2247 }
2248
2249 AVInputFormat ff_mxf_demuxer = {
2250     .name           = "mxf",
2251     .long_name      = NULL_IF_CONFIG_SMALL("Material eXchange Format"),
2252     .priv_data_size = sizeof(MXFContext),
2253     .read_probe     = mxf_probe,
2254     .read_header    = mxf_read_header,
2255     .read_packet    = mxf_read_packet,
2256     .read_close     = mxf_read_close,
2257     .read_seek      = mxf_read_seek,
2258 };