git.sesse.net Git - ffmpeg/blob - libavformat/gxf.c

   1 /*
   2  * GXF demuxer.
   3  * Copyright (c) 2006 Reimar Doeffinger
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "libavutil/common.h"
  23 #include "avformat.h"
  24 #include "internal.h"
  25 #include "gxf.h"
  26 #include "libavcodec/mpeg12data.h"
  27
  28 struct gxf_stream_info {
  29     int64_t first_field;
  30     int64_t last_field;
  31     AVRational frames_per_second;
  32     int32_t fields_per_frame;
  33     int64_t track_aux_data;
  34 };
  35
  36 /**
  37  * @brief parse gxf timecode and add it to metadata
  38  */
  39 static int add_timecode_metadata(AVDictionary **pm, const char *key, uint32_t timecode, int fields_per_frame)
  40 {
  41    char tmp[128];
  42    int field  = timecode & 0xff;
  43    int frame  = fields_per_frame ? field / fields_per_frame : field;
  44    int second = (timecode >>  8) & 0xff;
  45    int minute = (timecode >> 16) & 0xff;
  46    int hour   = (timecode >> 24) & 0x1f;
  47    int drop   = (timecode >> 29) & 1;
  48    // bit 30: color_frame, unused
  49    // ignore invalid time code
  50    if (timecode >> 31)
  51        return 0;
  52    snprintf(tmp, sizeof(tmp), "%02d:%02d:%02d%c%02d",
  53        hour, minute, second, drop ? ';' : ':', frame);
  54    return av_dict_set(pm, key, tmp, 0);
  55 }
  56
  57 /**
  58  * @brief parses a packet header, extracting type and length
  59  * @param pb AVIOContext to read header from
  60  * @param type detected packet type is stored here
  61  * @param length detected packet length, excluding header is stored here
  62  * @return 0 if header not found or contains invalid data, 1 otherwise
  63  */
  64 static int parse_packet_header(AVIOContext *pb, GXFPktType *type, int *length) {
  65     if (avio_rb32(pb))
  66         return 0;
  67     if (avio_r8(pb) != 1)
  68         return 0;
  69     *type = avio_r8(pb);
  70     *length = avio_rb32(pb);
  71     if ((*length >> 24) || *length < 16)
  72         return 0;
  73     *length -= 16;
  74     if (avio_rb32(pb))
  75         return 0;
  76     if (avio_r8(pb) != 0xe1)
  77         return 0;
  78     if (avio_r8(pb) != 0xe2)
  79         return 0;
  80     return 1;
  81 }
  82
  83 /**
  84  * @brief check if file starts with a PKT_MAP header
  85  */
  86 static int gxf_probe(AVProbeData *p) {
  87     static const uint8_t startcode[] = {0, 0, 0, 0, 1, 0xbc}; // start with map packet
  88     static const uint8_t endcode[] = {0, 0, 0, 0, 0xe1, 0xe2};
  89     if (!memcmp(p->buf, startcode, sizeof(startcode)) &&
  90         !memcmp(&p->buf[16 - sizeof(endcode)], endcode, sizeof(endcode)))
  91         return AVPROBE_SCORE_MAX;
  92     return 0;
  93 }
  94
  95 /**
  96  * @brief gets the stream index for the track with the specified id, creates new
  97  *        stream if not found
  98  * @param id     id of stream to find / add
  99  * @param format stream format identifier
 100  */
 101 static int get_sindex(AVFormatContext *s, int id, int format) {
 102     int i;
 103     AVStream *st = NULL;
 104     i = ff_find_stream_index(s, id);
 105     if (i >= 0)
 106         return i;
 107     st = avformat_new_stream(s, NULL);
 108     if (!st)
 109         return AVERROR(ENOMEM);
 110     st->id = id;
 111     switch (format) {
 112         case 3:
 113         case 4:
 114             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
 115             st->codec->codec_id = AV_CODEC_ID_MJPEG;
 116             break;
 117         case 13:
 118         case 15:
 119             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
 120             st->codec->codec_id = AV_CODEC_ID_DVVIDEO;
 121             break;
 122         case 14:
 123         case 16:
 124             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
 125             st->codec->codec_id = AV_CODEC_ID_DVVIDEO;
 126             break;
 127         case 11:
 128         case 12:
 129         case 20:
 130             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
 131             st->codec->codec_id = AV_CODEC_ID_MPEG2VIDEO;
 132             st->need_parsing = AVSTREAM_PARSE_HEADERS; //get keyframe flag etc.
 133             break;
 134         case 22:
 135         case 23:
 136             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
 137             st->codec->codec_id = AV_CODEC_ID_MPEG1VIDEO;
 138             st->need_parsing = AVSTREAM_PARSE_HEADERS; //get keyframe flag etc.
 139             break;
 140         case 9:
 141             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
 142             st->codec->codec_id = AV_CODEC_ID_PCM_S24LE;
 143             st->codec->channels = 1;
 144             st->codec->sample_rate = 48000;
 145             st->codec->bit_rate = 3 * 1 * 48000 * 8;
 146             st->codec->block_align = 3 * 1;
 147             st->codec->bits_per_coded_sample = 24;
 148             break;
 149         case 10:
 150             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
 151             st->codec->codec_id = AV_CODEC_ID_PCM_S16LE;
 152             st->codec->channels = 1;
 153             st->codec->sample_rate = 48000;
 154             st->codec->bit_rate = 2 * 1 * 48000 * 8;
 155             st->codec->block_align = 2 * 1;
 156             st->codec->bits_per_coded_sample = 16;
 157             break;
 158         case 17:
 159             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
 160             st->codec->codec_id = AV_CODEC_ID_AC3;
 161             st->codec->channels = 2;
 162             st->codec->sample_rate = 48000;
 163             break;
 164         // timecode tracks:
 165         case 7:
 166         case 8:
 167         case 24:
 168             st->codec->codec_type = AVMEDIA_TYPE_DATA;
 169             st->codec->codec_id = AV_CODEC_ID_NONE;
 170             break;
 171         default:
 172             st->codec->codec_type = AVMEDIA_TYPE_UNKNOWN;
 173             st->codec->codec_id = AV_CODEC_ID_NONE;
 174             break;
 175     }
 176     return s->nb_streams - 1;
 177 }
 178
 179 /**
 180  * @brief filters out interesting tags from material information.
 181  * @param len length of tag section, will be adjusted to contain remaining bytes
 182  * @param si struct to store collected information into
 183  */
 184 static void gxf_material_tags(AVIOContext *pb, int *len, struct gxf_stream_info *si) {
 185     si->first_field = AV_NOPTS_VALUE;
 186     si->last_field = AV_NOPTS_VALUE;
 187     while (*len >= 2) {
 188         GXFMatTag tag = avio_r8(pb);
 189         int tlen = avio_r8(pb);
 190         *len -= 2;
 191         if (tlen > *len)
 192             return;
 193         *len -= tlen;
 194         if (tlen == 4) {
 195             uint32_t value = avio_rb32(pb);
 196             if (tag == MAT_FIRST_FIELD)
 197                 si->first_field = value;
 198             else if (tag == MAT_LAST_FIELD)
 199                 si->last_field = value;
 200         } else
 201             avio_skip(pb, tlen);
 202     }
 203 }
 204
 205 static const AVRational frame_rate_tab[] = {
 206     {   60,    1},
 207     {60000, 1001},
 208     {   50,    1},
 209     {   30,    1},
 210     {30000, 1001},
 211     {   25,    1},
 212     {   24,    1},
 213     {24000, 1001},
 214     {    0,    0},
 215 };
 216
 217 /**
 218  * @brief convert fps tag value to AVRational fps
 219  * @param fps fps value from tag
 220  * @return fps as AVRational, or 0 / 0 if unknown
 221  */
 222 static AVRational fps_tag2avr(int32_t fps) {
 223     if (fps < 1 || fps > 9) fps = 9;
 224     return frame_rate_tab[fps - 1];
 225 }
 226
 227 /**
 228  * @brief convert UMF attributes flags to AVRational fps
 229  * @param flags UMF flags to convert
 230  * @return fps as AVRational, or 0 / 0 if unknown
 231  */
 232 static AVRational fps_umf2avr(uint32_t flags) {
 233     static const AVRational map[] = {{50, 1}, {60000, 1001}, {24, 1},
 234         {25, 1}, {30000, 1001}};
 235     int idx =  av_log2((flags & 0x7c0) >> 6);
 236     return map[idx];
 237 }
 238
 239 /**
 240  * @brief filters out interesting tags from track information.
 241  * @param len length of tag section, will be adjusted to contain remaining bytes
 242  * @param si struct to store collected information into
 243  */
 244 static void gxf_track_tags(AVIOContext *pb, int *len, struct gxf_stream_info *si) {
 245     si->frames_per_second = (AVRational){0, 0};
 246     si->fields_per_frame = 0;
 247     si->track_aux_data = 0x80000000;
 248     while (*len >= 2) {
 249         GXFTrackTag tag = avio_r8(pb);
 250         int tlen = avio_r8(pb);
 251         *len -= 2;
 252         if (tlen > *len)
 253             return;
 254         *len -= tlen;
 255         if (tlen == 4) {
 256             uint32_t value = avio_rb32(pb);
 257             if (tag == TRACK_FPS)
 258                 si->frames_per_second = fps_tag2avr(value);
 259             else if (tag == TRACK_FPF && (value == 1 || value == 2))
 260                 si->fields_per_frame = value;
 261         } else if (tlen == 8 && tag == TRACK_AUX)
 262             si->track_aux_data = avio_rl64(pb);
 263         else
 264             avio_skip(pb, tlen);
 265     }
 266 }
 267
 268 /**
 269  * @brief read index from FLT packet into stream 0 av_index
 270  */
 271 static void gxf_read_index(AVFormatContext *s, int pkt_len) {
 272     AVIOContext *pb = s->pb;
 273     AVStream *st;
 274     uint32_t fields_per_map = avio_rl32(pb);
 275     uint32_t map_cnt = avio_rl32(pb);
 276     int i;
 277     pkt_len -= 8;
 278     if ((s->flags & AVFMT_FLAG_IGNIDX) || !s->streams) {
 279         avio_skip(pb, pkt_len);
 280         return;
 281     }
 282     st = s->streams[0];
 283     if (map_cnt > 1000) {
 284         av_log(s, AV_LOG_ERROR, "too many index entries %u (%x)\n", map_cnt, map_cnt);
 285         map_cnt = 1000;
 286     }
 287     if (pkt_len < 4 * map_cnt) {
 288         av_log(s, AV_LOG_ERROR, "invalid index length\n");
 289         avio_skip(pb, pkt_len);
 290         return;
 291     }
 292     pkt_len -= 4 * map_cnt;
 293     av_add_index_entry(st, 0, 0, 0, 0, 0);
 294     for (i = 0; i < map_cnt; i++)
 295         av_add_index_entry(st, (uint64_t)avio_rl32(pb) * 1024,
 296                            i * (uint64_t)fields_per_map + 1, 0, 0, 0);
 297     avio_skip(pb, pkt_len);
 298 }
 299
 300 static int gxf_header(AVFormatContext *s) {
 301     AVIOContext *pb = s->pb;
 302     GXFPktType pkt_type;
 303     int map_len;
 304     int len;
 305     AVRational main_timebase = {0, 0};
 306     struct gxf_stream_info *si = s->priv_data;
 307     int i;
 308     if (!parse_packet_header(pb, &pkt_type, &map_len) || pkt_type != PKT_MAP) {
 309         av_log(s, AV_LOG_ERROR, "map packet not found\n");
 310         return 0;
 311     }
 312     map_len -= 2;
 313     if (avio_r8(pb) != 0x0e0 || avio_r8(pb) != 0xff) {
 314         av_log(s, AV_LOG_ERROR, "unknown version or invalid map preamble\n");
 315         return 0;
 316     }
 317     map_len -= 2;
 318     len = avio_rb16(pb); // length of material data section
 319     if (len > map_len) {
 320         av_log(s, AV_LOG_ERROR, "material data longer than map data\n");
 321         return 0;
 322     }
 323     map_len -= len;
 324     gxf_material_tags(pb, &len, si);
 325     avio_skip(pb, len);
 326     map_len -= 2;
 327     len = avio_rb16(pb); // length of track description
 328     if (len > map_len) {
 329         av_log(s, AV_LOG_ERROR, "track description longer than map data\n");
 330         return 0;
 331     }
 332     map_len -= len;
 333     while (len > 0) {
 334         int track_type, track_id, track_len;
 335         AVStream *st;
 336         int idx;
 337         len -= 4;
 338         track_type = avio_r8(pb);
 339         track_id = avio_r8(pb);
 340         track_len = avio_rb16(pb);
 341         len -= track_len;
 342         if (!(track_type & 0x80)) {
 343            av_log(s, AV_LOG_ERROR, "invalid track type %x\n", track_type);
 344            continue;
 345         }
 346         track_type &= 0x7f;
 347         if ((track_id & 0xc0) != 0xc0) {
 348            av_log(s, AV_LOG_ERROR, "invalid track id %x\n", track_id);
 349            continue;
 350         }
 351         track_id &= 0x3f;
 352         gxf_track_tags(pb, &track_len, si);
 353         // check for timecode tracks
 354         if (track_type == 7 || track_type == 8 || track_type == 24) {
 355             add_timecode_metadata(&s->metadata, "timecode",
 356                                   si->track_aux_data & 0xffffffff,
 357                                   si->fields_per_frame);
 358
 359         }
 360         avio_skip(pb, track_len);
 361
 362         idx = get_sindex(s, track_id, track_type);
 363         if (idx < 0) continue;
 364         st = s->streams[idx];
 365         if (!main_timebase.num || !main_timebase.den) {
 366             main_timebase.num = si->frames_per_second.den;
 367             main_timebase.den = si->frames_per_second.num * 2;
 368         }
 369         st->start_time = si->first_field;
 370         if (si->first_field != AV_NOPTS_VALUE && si->last_field != AV_NOPTS_VALUE)
 371             st->duration = si->last_field - si->first_field;
 372     }
 373     if (len < 0)
 374         av_log(s, AV_LOG_ERROR, "invalid track description length specified\n");
 375     if (map_len)
 376         avio_skip(pb, map_len);
 377     if (!parse_packet_header(pb, &pkt_type, &len)) {
 378         av_log(s, AV_LOG_ERROR, "sync lost in header\n");
 379         return -1;
 380     }
 381     if (pkt_type == PKT_FLT) {
 382         gxf_read_index(s, len);
 383         if (!parse_packet_header(pb, &pkt_type, &len)) {
 384             av_log(s, AV_LOG_ERROR, "sync lost in header\n");
 385             return -1;
 386         }
 387     }
 388     if (pkt_type == PKT_UMF) {
 389         if (len >= 0x39) {
 390             AVRational fps;
 391             len -= 0x39;
 392             avio_skip(pb, 5); // preamble
 393             avio_skip(pb, 0x30); // payload description
 394             fps = fps_umf2avr(avio_rl32(pb));
 395             if (!main_timebase.num || !main_timebase.den) {
 396                 av_log(s, AV_LOG_WARNING, "No FPS track tag, using UMF fps tag."
 397                                           " This might give wrong results.\n");
 398                 // this may not always be correct, but simply the best we can get
 399                 main_timebase.num = fps.den;
 400                 main_timebase.den = fps.num * 2;
 401             }
 402
 403             if (len >= 0x18) {
 404                 len -= 0x18;
 405                 avio_skip(pb, 0x10);
 406                 add_timecode_metadata(&s->metadata, "timecode_at_mark_in",
 407                                       avio_rl32(pb), si->fields_per_frame);
 408                 add_timecode_metadata(&s->metadata, "timecode_at_mark_out",
 409                                       avio_rl32(pb), si->fields_per_frame);
 410             }
 411         } else
 412             av_log(s, AV_LOG_INFO, "UMF packet too short\n");
 413     } else
 414         av_log(s, AV_LOG_INFO, "UMF packet missing\n");
 415     avio_skip(pb, len);
 416     // set a fallback value, 60000/1001 is specified for audio-only files
 417     // so use that regardless of why we do not know the video frame rate.
 418     if (!main_timebase.num || !main_timebase.den)
 419         main_timebase = (AVRational){1001, 60000};
 420     for (i = 0; i < s->nb_streams; i++) {
 421         AVStream *st = s->streams[i];
 422         avpriv_set_pts_info(st, 32, main_timebase.num, main_timebase.den);
 423     }
 424     return 0;
 425 }
 426
 427 #define READ_ONE() \
 428     { \
 429         if (!max_interval-- || url_feof(pb)) \
 430             goto out; \
 431         tmp = tmp << 8 | avio_r8(pb); \
 432     }
 433
 434 /**
 435  * @brief resync the stream on the next media packet with specified properties
 436  * @param max_interval how many bytes to search for matching packet at most
 437  * @param track track id the media packet must belong to, -1 for any
 438  * @param timestamp minimum timestamp (== field number) the packet must have, -1 for any
 439  * @return timestamp of packet found
 440  */
 441 static int64_t gxf_resync_media(AVFormatContext *s, uint64_t max_interval, int track, int timestamp) {
 442     uint32_t tmp;
 443     uint64_t last_pos;
 444     uint64_t last_found_pos = 0;
 445     int cur_track;
 446     int64_t cur_timestamp = AV_NOPTS_VALUE;
 447     int len;
 448     AVIOContext *pb = s->pb;
 449     GXFPktType type;
 450     tmp = avio_rb32(pb);
 451 start:
 452     while (tmp)
 453         READ_ONE();
 454     READ_ONE();
 455     if (tmp != 1)
 456         goto start;
 457     last_pos = avio_tell(pb);
 458     if (avio_seek(pb, -5, SEEK_CUR) < 0)
 459         goto out;
 460     if (!parse_packet_header(pb, &type, &len) || type != PKT_MEDIA) {
 461         if (avio_seek(pb, last_pos, SEEK_SET) < 0)
 462             goto out;
 463         goto start;
 464     }
 465     avio_r8(pb);
 466     cur_track = avio_r8(pb);
 467     cur_timestamp = avio_rb32(pb);
 468     last_found_pos = avio_tell(pb) - 16 - 6;
 469     if ((track >= 0 && track != cur_track) || (timestamp >= 0 && timestamp > cur_timestamp)) {
 470         if (avio_seek(pb, last_pos, SEEK_SET) >= 0)
 471             goto start;
 472     }
 473 out:
 474     if (last_found_pos)
 475         avio_seek(pb, last_found_pos, SEEK_SET);
 476     return cur_timestamp;
 477 }
 478
 479 static int gxf_packet(AVFormatContext *s, AVPacket *pkt) {
 480     AVIOContext *pb = s->pb;
 481     GXFPktType pkt_type;
 482     int pkt_len;
 483     struct gxf_stream_info *si = s->priv_data;
 484
 485     while (!pb->eof_reached) {
 486         AVStream *st;
 487         int track_type, track_id, ret;
 488         int field_nr, field_info, skip = 0;
 489         int stream_index;
 490         if (!parse_packet_header(pb, &pkt_type, &pkt_len)) {
 491             if (!url_feof(pb))
 492                 av_log(s, AV_LOG_ERROR, "sync lost\n");
 493             return -1;
 494         }
 495         if (pkt_type == PKT_FLT) {
 496             gxf_read_index(s, pkt_len);
 497             continue;
 498         }
 499         if (pkt_type != PKT_MEDIA) {
 500             avio_skip(pb, pkt_len);
 501             continue;
 502         }
 503         if (pkt_len < 16) {
 504             av_log(s, AV_LOG_ERROR, "invalid media packet length\n");
 505             continue;
 506         }
 507         pkt_len -= 16;
 508         track_type = avio_r8(pb);
 509         track_id = avio_r8(pb);
 510         stream_index = get_sindex(s, track_id, track_type);
 511         if (stream_index < 0)
 512             return stream_index;
 513         st = s->streams[stream_index];
 514         field_nr = avio_rb32(pb);
 515         field_info = avio_rb32(pb);
 516         avio_rb32(pb); // "timeline" field number
 517         avio_r8(pb); // flags
 518         avio_r8(pb); // reserved
 519         if (st->codec->codec_id == AV_CODEC_ID_PCM_S24LE ||
 520             st->codec->codec_id == AV_CODEC_ID_PCM_S16LE) {
 521             int first = field_info >> 16;
 522             int last  = field_info & 0xffff; // last is exclusive
 523             int bps = av_get_bits_per_sample(st->codec->codec_id)>>3;
 524             if (first <= last && last*bps <= pkt_len) {
 525                 avio_skip(pb, first*bps);
 526                 skip = pkt_len - last*bps;
 527                 pkt_len = (last-first)*bps;
 528             } else
 529                 av_log(s, AV_LOG_ERROR, "invalid first and last sample values\n");
 530         }
 531         ret = av_get_packet(pb, pkt, pkt_len);
 532         if (skip)
 533             avio_skip(pb, skip);
 534         pkt->stream_index = stream_index;
 535         pkt->dts = field_nr;
 536
 537         //set duration manually for DV or else lavf misdetects the frame rate
 538         if (st->codec->codec_id == AV_CODEC_ID_DVVIDEO)
 539             pkt->duration = si->fields_per_frame;
 540
 541         return ret;
 542     }
 543     return AVERROR_EOF;
 544 }
 545
 546 static int gxf_seek(AVFormatContext *s, int stream_index, int64_t timestamp, int flags) {
 547     int res = 0;
 548     uint64_t pos;
 549     uint64_t maxlen = 100 * 1024 * 1024;
 550     AVStream *st = s->streams[0];
 551     int64_t start_time = s->streams[stream_index]->start_time;
 552     int64_t found;
 553     int idx;
 554     if (timestamp < start_time) timestamp = start_time;
 555     idx = av_index_search_timestamp(st, timestamp - start_time,
 556                                     AVSEEK_FLAG_ANY | AVSEEK_FLAG_BACKWARD);
 557     if (idx < 0)
 558         return -1;
 559     pos = st->index_entries[idx].pos;
 560     if (idx < st->nb_index_entries - 2)
 561         maxlen = st->index_entries[idx + 2].pos - pos;
 562     maxlen = FFMAX(maxlen, 200 * 1024);
 563     res = avio_seek(s->pb, pos, SEEK_SET);
 564     if (res < 0)
 565         return res;
 566     found = gxf_resync_media(s, maxlen, -1, timestamp);
 567     if (FFABS(found - timestamp) > 4)
 568         return -1;
 569     return 0;
 570 }
 571
 572 static int64_t gxf_read_timestamp(AVFormatContext *s, int stream_index,
 573                                   int64_t *pos, int64_t pos_limit) {
 574     AVIOContext *pb = s->pb;
 575     int64_t res;
 576     if (avio_seek(pb, *pos, SEEK_SET) < 0)
 577         return AV_NOPTS_VALUE;
 578     res = gxf_resync_media(s, pos_limit - *pos, -1, -1);
 579     *pos = avio_tell(pb);
 580     return res;
 581 }
 582
 583 AVInputFormat ff_gxf_demuxer = {
 584     .name           = "gxf",
 585     .long_name      = NULL_IF_CONFIG_SMALL("GXF (General eXchange Format)"),
 586     .priv_data_size = sizeof(struct gxf_stream_info),
 587     .read_probe     = gxf_probe,
 588     .read_header    = gxf_header,
 589     .read_packet    = gxf_packet,
 590     .read_seek      = gxf_seek,
 591     .read_timestamp = gxf_read_timestamp,
 592 };