git.sesse.net Git - ffmpeg/blob - libavformat/mpeg.c

   1 /*
   2  * MPEG1/2 demuxer
   3  * Copyright (c) 2000, 2001, 2002 Fabrice Bellard
   4  *
   5  * This file is part of Libav.
   6  *
   7  * Libav is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * Libav is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with Libav; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "avformat.h"
  23 #include "internal.h"
  24 #include "mpeg.h"
  25
  26 #undef NDEBUG
  27 #include <assert.h>
  28
  29 /*********************************************/
  30 /* demux code */
  31
  32 #define MAX_SYNC_SIZE 100000
  33
  34 static int check_pes(uint8_t *p, uint8_t *end)
  35 {
  36     int pes1;
  37     int pes2 = (p[3] & 0xC0) == 0x80 &&
  38                (p[4] & 0xC0) != 0x40 &&
  39                ((p[4] & 0xC0) == 0x00 ||
  40                 (p[4] & 0xC0) >> 2 == (p[6] & 0xF0));
  41
  42     for (p += 3; p < end && *p == 0xFF; p++) ;
  43     if ((*p & 0xC0) == 0x40)
  44         p += 2;
  45
  46     if ((*p & 0xF0) == 0x20)
  47         pes1 = p[0] & p[2] & p[4] & 1;
  48     else if ((*p & 0xF0) == 0x30)
  49         pes1 = p[0] & p[2] & p[4] & p[5] & p[7] & p[9] & 1;
  50     else
  51         pes1 = *p == 0x0F;
  52
  53     return pes1 || pes2;
  54 }
  55
  56 static int check_pack_header(const uint8_t *buf)
  57 {
  58     return (buf[1] & 0xC0) == 0x40 || (buf[1] & 0xF0) == 0x20;
  59 }
  60
  61 static int mpegps_probe(AVProbeData *p)
  62 {
  63     uint32_t code = -1;
  64     int i;
  65     int sys = 0, pspack = 0, priv1 = 0, vid = 0;
  66     int audio = 0, invalid = 0, score = 0;
  67
  68     for (i = 0; i < p->buf_size; i++) {
  69         code = (code << 8) + p->buf[i];
  70         if ((code & 0xffffff00) == 0x100) {
  71             int len  = p->buf[i + 1] << 8 | p->buf[i + 2];
  72             int pes  = check_pes(p->buf + i, p->buf + p->buf_size);
  73             int pack = check_pack_header(p->buf + i);
  74
  75             if (code == SYSTEM_HEADER_START_CODE)
  76                 sys++;
  77             else if (code == PACK_START_CODE && pack)
  78                 pspack++;
  79             else if ((code & 0xf0) == VIDEO_ID && pes)
  80                 vid++;
  81             // skip pes payload to avoid start code emulation for private
  82             // and audio streams
  83             else if ((code & 0xe0) == AUDIO_ID && pes) {
  84                 audio++;
  85                 i += len;
  86             } else if (code == PRIVATE_STREAM_1 && pes) {
  87                 priv1++;
  88                 i += len;
  89             } else if ((code & 0xf0) == VIDEO_ID && !pes)
  90                 invalid++;
  91             else if ((code & 0xe0) == AUDIO_ID && !pes)
  92                 invalid++;
  93             else if (code == PRIVATE_STREAM_1 && !pes)
  94                 invalid++;
  95         }
  96     }
  97
  98     if (vid + audio > invalid)   /* invalid VDR files nd short PES streams */
  99         score = AVPROBE_SCORE_EXTENSION / 2;
 100
 101     if (sys > invalid && sys * 9 <= pspack * 10)
 102         return pspack > 2 ? AVPROBE_SCORE_EXTENSION + 2
 103                           : AVPROBE_SCORE_EXTENSION / 2; // 1 more than .mpg
 104     if (pspack > invalid && (priv1 + vid + audio) * 10 >= pspack * 9)
 105         return pspack > 2 ? AVPROBE_SCORE_EXTENSION + 2
 106                           : AVPROBE_SCORE_EXTENSION / 2; // 1 more than .mpg
 107     if ((!!vid ^ !!audio) && (audio > 4 || vid > 1) && !sys &&
 108         !pspack && p->buf_size > 2048 && vid + audio > invalid) /* PES stream */
 109         return (audio > 12 || vid > 3) ? AVPROBE_SCORE_EXTENSION + 2
 110                                        : AVPROBE_SCORE_EXTENSION / 2;
 111
 112     // 02-Penguin.flac has sys:0 priv1:0 pspack:0 vid:0 audio:1
 113     // mp3_misidentified_2.mp3 has sys:0 priv1:0 pspack:0 vid:0 audio:6
 114     return score;
 115 }
 116
 117 typedef struct MpegDemuxContext {
 118     int32_t header_state;
 119     unsigned char psm_es_type[256];
 120     int sofdec;
 121 } MpegDemuxContext;
 122
 123 static int mpegps_read_header(AVFormatContext *s)
 124 {
 125     MpegDemuxContext *m = s->priv_data;
 126     const char *sofdec  = "Sofdec";
 127     int v, i = 0;
 128
 129     m->header_state = 0xff;
 130     s->ctx_flags   |= AVFMTCTX_NOHEADER;
 131
 132     m->sofdec = -1;
 133     do {
 134         v = avio_r8(s->pb);
 135         m->header_state = m->header_state << 8 | v;
 136         m->sofdec++;
 137     } while (v == sofdec[i] && i++ < 6);
 138
 139     m->sofdec = (m->sofdec == 6) ? 1 : 0;
 140
 141     /* no need to do more */
 142     return 0;
 143 }
 144
 145 static int64_t get_pts(AVIOContext *pb, int c)
 146 {
 147     uint8_t buf[5];
 148
 149     buf[0] = c < 0 ? avio_r8(pb) : c;
 150     avio_read(pb, buf + 1, 4);
 151
 152     return ff_parse_pes_pts(buf);
 153 }
 154
 155 static int find_next_start_code(AVIOContext *pb, int *size_ptr,
 156                                 int32_t *header_state)
 157 {
 158     unsigned int state, v;
 159     int val, n;
 160
 161     state = *header_state;
 162     n     = *size_ptr;
 163     while (n > 0) {
 164         if (pb->eof_reached)
 165             break;
 166         v = avio_r8(pb);
 167         n--;
 168         if (state == 0x000001) {
 169             state = ((state << 8) | v) & 0xffffff;
 170             val   = state;
 171             goto found;
 172         }
 173         state = ((state << 8) | v) & 0xffffff;
 174     }
 175     val = -1;
 176
 177 found:
 178     *header_state = state;
 179     *size_ptr     = n;
 180     return val;
 181 }
 182
 183 /**
 184  * Extract stream types from a program stream map
 185  * According to ISO/IEC 13818-1 ('MPEG-2 Systems') table 2-35
 186  *
 187  * @return number of bytes occupied by PSM in the bitstream
 188  */
 189 static long mpegps_psm_parse(MpegDemuxContext *m, AVIOContext *pb)
 190 {
 191     int psm_length, ps_info_length, es_map_length;
 192
 193     psm_length = avio_rb16(pb);
 194     avio_r8(pb);
 195     avio_r8(pb);
 196     ps_info_length = avio_rb16(pb);
 197
 198     /* skip program_stream_info */
 199     avio_skip(pb, ps_info_length);
 200     es_map_length = avio_rb16(pb);
 201
 202     /* at least one es available? */
 203     while (es_map_length >= 4) {
 204         unsigned char type      = avio_r8(pb);
 205         unsigned char es_id     = avio_r8(pb);
 206         uint16_t es_info_length = avio_rb16(pb);
 207
 208         /* remember mapping from stream id to stream type */
 209         m->psm_es_type[es_id] = type;
 210         /* skip program_stream_info */
 211         avio_skip(pb, es_info_length);
 212         es_map_length -= 4 + es_info_length;
 213     }
 214     avio_rb32(pb); /* crc32 */
 215     return 2 + psm_length;
 216 }
 217
 218 /* read the next PES header. Return its position in ppos
 219  * (if not NULL), and its start code, pts and dts.
 220  */
 221 static int mpegps_read_pes_header(AVFormatContext *s,
 222                                   int64_t *ppos, int *pstart_code,
 223                                   int64_t *ppts, int64_t *pdts)
 224 {
 225     MpegDemuxContext *m = s->priv_data;
 226     int len, size, startcode, c, flags, header_len;
 227     int pes_ext, ext2_len, id_ext, skip;
 228     int64_t pts, dts;
 229     int64_t last_sync = avio_tell(s->pb);
 230
 231 error_redo:
 232     avio_seek(s->pb, last_sync, SEEK_SET);
 233 redo:
 234     /* next start code (should be immediately after) */
 235     m->header_state = 0xff;
 236     size      = MAX_SYNC_SIZE;
 237     startcode = find_next_start_code(s->pb, &size, &m->header_state);
 238     last_sync = avio_tell(s->pb);
 239     if (startcode < 0) {
 240         if (s->pb->eof_reached)
 241             return AVERROR_EOF;
 242         // FIXME we should remember header_state
 243         return AVERROR(EAGAIN);
 244     }
 245
 246     if (startcode == PACK_START_CODE)
 247         goto redo;
 248     if (startcode == SYSTEM_HEADER_START_CODE)
 249         goto redo;
 250     if (startcode == PADDING_STREAM) {
 251         avio_skip(s->pb, avio_rb16(s->pb));
 252         goto redo;
 253     }
 254     if (startcode == PRIVATE_STREAM_2) {
 255         len = avio_rb16(s->pb);
 256         if (!m->sofdec) {
 257             while (len-- >= 6) {
 258                 if (avio_r8(s->pb) == 'S') {
 259                     uint8_t buf[5];
 260                     avio_read(s->pb, buf, sizeof(buf));
 261                     m->sofdec = !memcmp(buf, "ofdec", 5);
 262                     len -= sizeof(buf);
 263                     break;
 264                 }
 265             }
 266             m->sofdec -= !m->sofdec;
 267         }
 268         avio_skip(s->pb, len);
 269         goto redo;
 270     }
 271     if (startcode == PROGRAM_STREAM_MAP) {
 272         mpegps_psm_parse(m, s->pb);
 273         goto redo;
 274     }
 275
 276     /* find matching stream */
 277     if (!((startcode >= 0x1c0 && startcode <= 0x1df) ||
 278           (startcode >= 0x1e0 && startcode <= 0x1ef) ||
 279           (startcode == 0x1bd) || (startcode == 0x1fd)))
 280         goto redo;
 281     if (ppos) {
 282         *ppos = avio_tell(s->pb) - 4;
 283     }
 284     len = avio_rb16(s->pb);
 285     pts =
 286     dts = AV_NOPTS_VALUE;
 287     /* stuffing */
 288     for (;;) {
 289         if (len < 1)
 290             goto error_redo;
 291         c = avio_r8(s->pb);
 292         len--;
 293         /* XXX: for mpeg1, should test only bit 7 */
 294         if (c != 0xff)
 295             break;
 296     }
 297     if ((c & 0xc0) == 0x40) {
 298         /* buffer scale & size */
 299         avio_r8(s->pb);
 300         c    = avio_r8(s->pb);
 301         len -= 2;
 302     }
 303     if ((c & 0xe0) == 0x20) {
 304         dts  =
 305         pts  = get_pts(s->pb, c);
 306         len -= 4;
 307         if (c & 0x10) {
 308             dts  = get_pts(s->pb, -1);
 309             len -= 5;
 310         }
 311     } else if ((c & 0xc0) == 0x80) {
 312         /* mpeg 2 PES */
 313         flags      = avio_r8(s->pb);
 314         header_len = avio_r8(s->pb);
 315         len       -= 2;
 316         if (header_len > len)
 317             goto error_redo;
 318         len -= header_len;
 319         if (flags & 0x80) {
 320             dts         = pts = get_pts(s->pb, -1);
 321             header_len -= 5;
 322             if (flags & 0x40) {
 323                 dts         = get_pts(s->pb, -1);
 324                 header_len -= 5;
 325             }
 326         }
 327         if (flags & 0x3f && header_len == 0) {
 328             flags &= 0xC0;
 329             av_log(s, AV_LOG_WARNING, "Further flags set but no bytes left\n");
 330         }
 331         if (flags & 0x01) { /* PES extension */
 332             pes_ext = avio_r8(s->pb);
 333             header_len--;
 334             /* Skip PES private data, program packet sequence counter
 335              * and P-STD buffer */
 336             skip  = (pes_ext >> 4) & 0xb;
 337             skip += skip & 0x9;
 338             if (pes_ext & 0x40 || skip > header_len) {
 339                 av_log(s, AV_LOG_WARNING, "pes_ext %X is invalid\n", pes_ext);
 340                 pes_ext = skip = 0;
 341             }
 342             avio_skip(s->pb, skip);
 343             header_len -= skip;
 344
 345             if (pes_ext & 0x01) { /* PES extension 2 */
 346                 ext2_len = avio_r8(s->pb);
 347                 header_len--;
 348                 if ((ext2_len & 0x7f) > 0) {
 349                     id_ext = avio_r8(s->pb);
 350                     if ((id_ext & 0x80) == 0)
 351                         startcode = ((startcode & 0xff) << 8) | id_ext;
 352                     header_len--;
 353                 }
 354             }
 355         }
 356         if (header_len < 0)
 357             goto error_redo;
 358         avio_skip(s->pb, header_len);
 359     } else if (c != 0xf)
 360         goto redo;
 361
 362     if (startcode == PRIVATE_STREAM_1 && !m->psm_es_type[startcode & 0xff]) {
 363         startcode = avio_r8(s->pb);
 364         len--;
 365         if (startcode >= 0x80 && startcode <= 0xcf) {
 366             /* audio: skip header */
 367             avio_r8(s->pb);
 368             avio_r8(s->pb);
 369             avio_r8(s->pb);
 370             len -= 3;
 371             if (startcode >= 0xb0 && startcode <= 0xbf) {
 372                 /* MLP/TrueHD audio has a 4-byte header */
 373                 avio_r8(s->pb);
 374                 len--;
 375             }
 376         }
 377     }
 378     if (len < 0)
 379         goto error_redo;
 380     if (dts != AV_NOPTS_VALUE && ppos) {
 381         int i;
 382         for (i = 0; i < s->nb_streams; i++) {
 383             if (startcode == s->streams[i]->id &&
 384                 s->pb->seekable /* index useless on streams anyway */) {
 385                 ff_reduce_index(s, i);
 386                 av_add_index_entry(s->streams[i], *ppos, dts, 0, 0,
 387                                    AVINDEX_KEYFRAME /* FIXME keyframe? */);
 388             }
 389         }
 390     }
 391
 392     *pstart_code = startcode;
 393     *ppts        = pts;
 394     *pdts        = dts;
 395     return len;
 396 }
 397
 398 static int mpegps_read_packet(AVFormatContext *s,
 399                               AVPacket *pkt)
 400 {
 401     MpegDemuxContext *m = s->priv_data;
 402     AVStream *st;
 403     int len, startcode, i, es_type, ret;
 404     enum AVCodecID codec_id = AV_CODEC_ID_NONE;
 405     enum AVMediaType type;
 406     int64_t pts, dts, dummy_pos; // dummy_pos is needed for the index building to work
 407     uint8_t av_uninit(dvdaudio_substream_type);
 408
 409 redo:
 410     len = mpegps_read_pes_header(s, &dummy_pos, &startcode, &pts, &dts);
 411     if (len < 0)
 412         return len;
 413
 414     if (startcode == 0x1bd) {
 415         dvdaudio_substream_type = avio_r8(s->pb);
 416         avio_skip(s->pb, 3);
 417         len -= 4;
 418     }
 419
 420     /* now find stream */
 421     for (i = 0; i < s->nb_streams; i++) {
 422         st = s->streams[i];
 423         if (st->id == startcode)
 424             goto found;
 425     }
 426
 427     es_type = m->psm_es_type[startcode & 0xff];
 428     if (es_type > 0 && es_type != STREAM_TYPE_PRIVATE_DATA) {
 429         if (es_type == STREAM_TYPE_VIDEO_MPEG1) {
 430             codec_id = AV_CODEC_ID_MPEG2VIDEO;
 431             type     = AVMEDIA_TYPE_VIDEO;
 432         } else if (es_type == STREAM_TYPE_VIDEO_MPEG2) {
 433             codec_id = AV_CODEC_ID_MPEG2VIDEO;
 434             type     = AVMEDIA_TYPE_VIDEO;
 435         } else if (es_type == STREAM_TYPE_AUDIO_MPEG1 ||
 436                    es_type == STREAM_TYPE_AUDIO_MPEG2) {
 437             codec_id = AV_CODEC_ID_MP3;
 438             type     = AVMEDIA_TYPE_AUDIO;
 439         } else if (es_type == STREAM_TYPE_AUDIO_AAC) {
 440             codec_id = AV_CODEC_ID_AAC;
 441             type     = AVMEDIA_TYPE_AUDIO;
 442         } else if (es_type == STREAM_TYPE_VIDEO_MPEG4) {
 443             codec_id = AV_CODEC_ID_MPEG4;
 444             type     = AVMEDIA_TYPE_VIDEO;
 445         } else if (es_type == STREAM_TYPE_VIDEO_H264) {
 446             codec_id = AV_CODEC_ID_H264;
 447             type     = AVMEDIA_TYPE_VIDEO;
 448         } else if (es_type == STREAM_TYPE_AUDIO_AC3) {
 449             codec_id = AV_CODEC_ID_AC3;
 450             type     = AVMEDIA_TYPE_AUDIO;
 451         } else {
 452             goto skip;
 453         }
 454     } else if (startcode >= 0x1e0 && startcode <= 0x1ef) {
 455         static const unsigned char avs_seqh[4] = { 0, 0, 1, 0xb0 };
 456         unsigned char buf[8];
 457
 458         avio_read(s->pb, buf, 8);
 459         avio_seek(s->pb, -8, SEEK_CUR);
 460         if (!memcmp(buf, avs_seqh, 4) && (buf[6] != 0 || buf[7] != 1))
 461             codec_id = AV_CODEC_ID_CAVS;
 462         else
 463             codec_id = AV_CODEC_ID_PROBE;
 464         type = AVMEDIA_TYPE_VIDEO;
 465     } else if (startcode >= 0x1c0 && startcode <= 0x1df) {
 466         type     = AVMEDIA_TYPE_AUDIO;
 467         codec_id = m->sofdec > 0 ? AV_CODEC_ID_ADPCM_ADX : AV_CODEC_ID_MP2;
 468     } else if (startcode >= 0x80 && startcode <= 0x87) {
 469         type     = AVMEDIA_TYPE_AUDIO;
 470         codec_id = AV_CODEC_ID_AC3;
 471     } else if ((startcode >= 0x88 && startcode <= 0x8f) ||
 472                (startcode >= 0x98 && startcode <= 0x9f)) {
 473         /* 0x90 - 0x97 is reserved for SDDS in DVD specs */
 474         type     = AVMEDIA_TYPE_AUDIO;
 475         codec_id = AV_CODEC_ID_DTS;
 476     } else if (startcode >= 0xa0 && startcode <= 0xaf) {
 477         type     = AVMEDIA_TYPE_AUDIO;
 478         codec_id = AV_CODEC_ID_PCM_DVD;
 479     } else if (startcode >= 0xb0 && startcode <= 0xbf) {
 480         type     = AVMEDIA_TYPE_AUDIO;
 481         codec_id = AV_CODEC_ID_TRUEHD;
 482     } else if (startcode >= 0xc0 && startcode <= 0xcf) {
 483         /* Used for both AC-3 and E-AC-3 in EVOB files */
 484         type     = AVMEDIA_TYPE_AUDIO;
 485         codec_id = AV_CODEC_ID_AC3;
 486     } else if (startcode >= 0x20 && startcode <= 0x3f) {
 487         type     = AVMEDIA_TYPE_SUBTITLE;
 488         codec_id = AV_CODEC_ID_DVD_SUBTITLE;
 489     } else if (startcode >= 0xfd55 && startcode <= 0xfd5f) {
 490         type     = AVMEDIA_TYPE_VIDEO;
 491         codec_id = AV_CODEC_ID_VC1;
 492     } else if (startcode == 0x1bd) {
 493         // check dvd audio substream type
 494         type = AVMEDIA_TYPE_AUDIO;
 495         switch (dvdaudio_substream_type & 0xe0) {
 496         case 0xa0:
 497             codec_id = AV_CODEC_ID_PCM_DVD;
 498             break;
 499         case 0x80:
 500             if ((dvdaudio_substream_type & 0xf8) == 0x88)
 501                 codec_id = AV_CODEC_ID_DTS;
 502             else
 503                 codec_id = AV_CODEC_ID_AC3;
 504             break;
 505         default:
 506             av_log(s, AV_LOG_ERROR, "Unknown 0x1bd sub-stream\n");
 507             goto skip;
 508         }
 509     } else {
 510 skip:
 511         /* skip packet */
 512         avio_skip(s->pb, len);
 513         goto redo;
 514     }
 515     /* no stream found: add a new stream */
 516     st = avformat_new_stream(s, NULL);
 517     if (!st)
 518         goto skip;
 519     st->id                = startcode;
 520     st->codec->codec_type = type;
 521     st->codec->codec_id   = codec_id;
 522     st->need_parsing      = AVSTREAM_PARSE_FULL;
 523
 524 found:
 525     if (st->discard >= AVDISCARD_ALL)
 526         goto skip;
 527     ret = av_get_packet(s->pb, pkt, len);
 528
 529     pkt->pts          = pts;
 530     pkt->dts          = dts;
 531     pkt->pos          = dummy_pos;
 532     pkt->stream_index = st->index;
 533     av_log(s, AV_LOG_TRACE, "%d: pts=%0.3f dts=%0.3f size=%d\n",
 534             pkt->stream_index, pkt->pts / 90000.0, pkt->dts / 90000.0,
 535             pkt->size);
 536
 537     return (ret < 0) ? ret : 0;
 538 }
 539
 540 static int64_t mpegps_read_dts(AVFormatContext *s, int stream_index,
 541                                int64_t *ppos, int64_t pos_limit)
 542 {
 543     int len, startcode;
 544     int64_t pos, pts, dts;
 545
 546     pos = *ppos;
 547     if (avio_seek(s->pb, pos, SEEK_SET) < 0)
 548         return AV_NOPTS_VALUE;
 549
 550     for (;;) {
 551         len = mpegps_read_pes_header(s, &pos, &startcode, &pts, &dts);
 552         if (len < 0) {
 553             av_log(s, AV_LOG_TRACE, "none (ret=%d)\n", len);
 554             return AV_NOPTS_VALUE;
 555         }
 556         if (startcode == s->streams[stream_index]->id &&
 557             dts != AV_NOPTS_VALUE) {
 558             break;
 559         }
 560         avio_skip(s->pb, len);
 561     }
 562     av_log(s, AV_LOG_TRACE, "pos=0x%"PRIx64" dts=0x%"PRIx64" %0.3f\n",
 563             pos, dts, dts / 90000.0);
 564     *ppos = pos;
 565     return dts;
 566 }
 567
 568 AVInputFormat ff_mpegps_demuxer = {
 569     .name           = "mpeg",
 570     .long_name      = NULL_IF_CONFIG_SMALL("MPEG-PS (MPEG-2 Program Stream)"),
 571     .priv_data_size = sizeof(MpegDemuxContext),
 572     .read_probe     = mpegps_probe,
 573     .read_header    = mpegps_read_header,
 574     .read_packet    = mpegps_read_packet,
 575     .read_timestamp = mpegps_read_dts,
 576     .flags          = AVFMT_SHOW_IDS | AVFMT_TS_DISCONT,
 577 };