]> git.sesse.net Git - ffmpeg/blob - libavformat/mpeg.c
Merge remote-tracking branch 'qatar/master'
[ffmpeg] / libavformat / mpeg.c
1 /*
2  * MPEG1/2 demuxer
3  * Copyright (c) 2000, 2001, 2002 Fabrice Bellard
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "avformat.h"
23 #include "internal.h"
24 #include "mpeg.h"
25
26 #undef NDEBUG
27 #include <assert.h>
28
29 /*********************************************/
30 /* demux code */
31
32 #define MAX_SYNC_SIZE 100000
33
34 static int check_pes(uint8_t *p, uint8_t *end){
35     int pes1;
36     int pes2=      (p[3] & 0xC0) == 0x80
37                 && (p[4] & 0xC0) != 0x40
38                 &&((p[4] & 0xC0) == 0x00 || (p[4]&0xC0)>>2 == (p[6]&0xF0));
39
40     for(p+=3; p<end && *p == 0xFF; p++);
41     if((*p&0xC0) == 0x40) p+=2;
42     if((*p&0xF0) == 0x20){
43         pes1= p[0]&p[2]&p[4]&1;
44     }else if((*p&0xF0) == 0x30){
45         pes1= p[0]&p[2]&p[4]&p[5]&p[7]&p[9]&1;
46     }else
47         pes1 = *p == 0x0F;
48
49     return pes1||pes2;
50 }
51
52 static int check_pack_header(const uint8_t *buf) {
53     return (buf[1] & 0xC0) == 0x40 || (buf[1] & 0xF0) == 0x20;
54 }
55
56 static int mpegps_probe(AVProbeData *p)
57 {
58     uint32_t code= -1;
59     int sys=0, pspack=0, priv1=0, vid=0, audio=0, invalid=0;
60     int i;
61     int score=0;
62
63     for(i=0; i<p->buf_size; i++){
64         code = (code<<8) + p->buf[i];
65         if ((code & 0xffffff00) == 0x100) {
66             int len= p->buf[i+1] << 8 | p->buf[i+2];
67             int pes= check_pes(p->buf+i, p->buf+p->buf_size);
68             int pack = check_pack_header(p->buf+i);
69
70             if(code == SYSTEM_HEADER_START_CODE) sys++;
71             else if(code == PACK_START_CODE && pack) pspack++;
72             else if((code & 0xf0) == VIDEO_ID &&  pes) vid++;
73             // skip pes payload to avoid start code emulation for private
74             // and audio streams
75             else if((code & 0xe0) == AUDIO_ID &&  pes) {audio++; i+=len;}
76             else if(code == PRIVATE_STREAM_1  &&  pes) {priv1++; i+=len;}
77             else if(code == 0x1fd             &&  pes) vid++; //VC1
78
79             else if((code & 0xf0) == VIDEO_ID && !pes) invalid++;
80             else if((code & 0xe0) == AUDIO_ID && !pes) invalid++;
81             else if(code == PRIVATE_STREAM_1  && !pes) invalid++;
82         }
83     }
84
85     if(vid+audio > invalid+1)     /* invalid VDR files nd short PES streams */
86         score= AVPROBE_SCORE_MAX/4;
87
88 //av_log(NULL, AV_LOG_ERROR, "%d %d %d %d %d %d len:%d\n", sys, priv1, pspack,vid, audio, invalid, p->buf_size);
89     if(sys>invalid && sys*9 <= pspack*10)
90         return pspack > 2 ? AVPROBE_SCORE_MAX/2+2 : AVPROBE_SCORE_MAX/4; // +1 for .mpg
91     if(pspack > invalid && (priv1+vid+audio)*10 >= pspack*9)
92         return pspack > 2 ? AVPROBE_SCORE_MAX/2+2 : AVPROBE_SCORE_MAX/4; // +1 for .mpg
93     if((!!vid ^ !!audio) && (audio > 4 || vid > 1) && !sys && !pspack && p->buf_size>2048 && vid + audio > invalid) /* PES stream */
94         return (audio > 12 || vid > 3) ? AVPROBE_SCORE_MAX/2+2 : AVPROBE_SCORE_MAX/4;
95
96     //02-Penguin.flac has sys:0 priv1:0 pspack:0 vid:0 audio:1
97     //mp3_misidentified_2.mp3 has sys:0 priv1:0 pspack:0 vid:0 audio:6
98     return score;
99 }
100
101
102 typedef struct MpegDemuxContext {
103     int32_t header_state;
104     unsigned char psm_es_type[256];
105     int sofdec;
106 } MpegDemuxContext;
107
108 static int mpegps_read_header(AVFormatContext *s)
109 {
110     MpegDemuxContext *m = s->priv_data;
111     const char *sofdec = "Sofdec";
112     int v, i = 0;
113     int64_t last_pos = avio_tell(s->pb);
114
115     m->header_state = 0xff;
116     s->ctx_flags |= AVFMTCTX_NOHEADER;
117
118     m->sofdec = -1;
119     do {
120         v = avio_r8(s->pb);
121         m->sofdec++;
122     } while (v == sofdec[i] && i++ < 6);
123
124     m->sofdec = (m->sofdec == 6) ? 1 : 0;
125
126     if (!m->sofdec)
127        avio_seek(s->pb, last_pos, SEEK_SET);
128
129     /* no need to do more */
130     return 0;
131 }
132
133 static int64_t get_pts(AVIOContext *pb, int c)
134 {
135     uint8_t buf[5];
136
137     buf[0] = c<0 ? avio_r8(pb) : c;
138     avio_read(pb, buf+1, 4);
139
140     return ff_parse_pes_pts(buf);
141 }
142
143 static int find_next_start_code(AVIOContext *pb, int *size_ptr,
144                                 int32_t *header_state)
145 {
146     unsigned int state, v;
147     int val, n;
148
149     state = *header_state;
150     n = *size_ptr;
151     while (n > 0) {
152         if (url_feof(pb))
153             break;
154         v = avio_r8(pb);
155         n--;
156         if (state == 0x000001) {
157             state = ((state << 8) | v) & 0xffffff;
158             val = state;
159             goto found;
160         }
161         state = ((state << 8) | v) & 0xffffff;
162     }
163     val = -1;
164  found:
165     *header_state = state;
166     *size_ptr = n;
167     return val;
168 }
169
170 /**
171  * Extract stream types from a program stream map
172  * According to ISO/IEC 13818-1 ('MPEG-2 Systems') table 2-35
173  *
174  * @return number of bytes occupied by PSM in the bitstream
175  */
176 static long mpegps_psm_parse(MpegDemuxContext *m, AVIOContext *pb)
177 {
178     int psm_length, ps_info_length, es_map_length;
179
180     psm_length = avio_rb16(pb);
181     avio_r8(pb);
182     avio_r8(pb);
183     ps_info_length = avio_rb16(pb);
184
185     /* skip program_stream_info */
186     avio_skip(pb, ps_info_length);
187     es_map_length = avio_rb16(pb);
188
189     /* at least one es available? */
190     while (es_map_length >= 4){
191         unsigned char type      = avio_r8(pb);
192         unsigned char es_id     = avio_r8(pb);
193         uint16_t es_info_length = avio_rb16(pb);
194         /* remember mapping from stream id to stream type */
195         m->psm_es_type[es_id] = type;
196         /* skip program_stream_info */
197         avio_skip(pb, es_info_length);
198         es_map_length -= 4 + es_info_length;
199     }
200     avio_rb32(pb); /* crc32 */
201     return 2 + psm_length;
202 }
203
204 /* read the next PES header. Return its position in ppos
205    (if not NULL), and its start code, pts and dts.
206  */
207 static int mpegps_read_pes_header(AVFormatContext *s,
208                                   int64_t *ppos, int *pstart_code,
209                                   int64_t *ppts, int64_t *pdts)
210 {
211     MpegDemuxContext *m = s->priv_data;
212     int len, size, startcode, c, flags, header_len;
213     int pes_ext, ext2_len, id_ext, skip;
214     int64_t pts, dts;
215     int64_t last_sync= avio_tell(s->pb);
216
217  error_redo:
218         avio_seek(s->pb, last_sync, SEEK_SET);
219  redo:
220         /* next start code (should be immediately after) */
221         m->header_state = 0xff;
222         size = MAX_SYNC_SIZE;
223         startcode = find_next_start_code(s->pb, &size, &m->header_state);
224         last_sync = avio_tell(s->pb);
225     //printf("startcode=%x pos=0x%"PRIx64"\n", startcode, avio_tell(s->pb));
226     if (startcode < 0){
227         if(url_feof(s->pb))
228             return AVERROR_EOF;
229         //FIXME we should remember header_state
230         return AVERROR(EAGAIN);
231     }
232
233     if (startcode == PACK_START_CODE)
234         goto redo;
235     if (startcode == SYSTEM_HEADER_START_CODE)
236         goto redo;
237     if (startcode == PADDING_STREAM) {
238         avio_skip(s->pb, avio_rb16(s->pb));
239         goto redo;
240     }
241     if (startcode == PRIVATE_STREAM_2) {
242         len = avio_rb16(s->pb);
243         if (!m->sofdec) {
244             while (len-- >= 6) {
245                 if (avio_r8(s->pb) == 'S') {
246                     uint8_t buf[5];
247                     avio_read(s->pb, buf, sizeof(buf));
248                     m->sofdec = !memcmp(buf, "ofdec", 5);
249                     len -= sizeof(buf);
250                     break;
251                 }
252             }
253             m->sofdec -= !m->sofdec;
254         }
255         avio_skip(s->pb, len);
256         goto redo;
257     }
258     if (startcode == PROGRAM_STREAM_MAP) {
259         mpegps_psm_parse(m, s->pb);
260         goto redo;
261     }
262
263     /* find matching stream */
264     if (!((startcode >= 0x1c0 && startcode <= 0x1df) ||
265           (startcode >= 0x1e0 && startcode <= 0x1ef) ||
266           (startcode == 0x1bd) || (startcode == 0x1fd)))
267         goto redo;
268     if (ppos) {
269         *ppos = avio_tell(s->pb) - 4;
270     }
271     len = avio_rb16(s->pb);
272     pts =
273     dts = AV_NOPTS_VALUE;
274     /* stuffing */
275     for(;;) {
276         if (len < 1)
277             goto error_redo;
278         c = avio_r8(s->pb);
279         len--;
280         /* XXX: for mpeg1, should test only bit 7 */
281         if (c != 0xff)
282             break;
283     }
284     if ((c & 0xc0) == 0x40) {
285         /* buffer scale & size */
286         avio_r8(s->pb);
287         c = avio_r8(s->pb);
288         len -= 2;
289     }
290     if ((c & 0xe0) == 0x20) {
291         dts = pts = get_pts(s->pb, c);
292         len -= 4;
293         if (c & 0x10){
294             dts = get_pts(s->pb, -1);
295             len -= 5;
296         }
297     } else if ((c & 0xc0) == 0x80) {
298         /* mpeg 2 PES */
299         flags = avio_r8(s->pb);
300         header_len = avio_r8(s->pb);
301         len -= 2;
302         if (header_len > len)
303             goto error_redo;
304         len -= header_len;
305         if (flags & 0x80) {
306             dts = pts = get_pts(s->pb, -1);
307             header_len -= 5;
308             if (flags & 0x40) {
309                 dts = get_pts(s->pb, -1);
310                 header_len -= 5;
311             }
312         }
313         if (flags & 0x3f && header_len == 0){
314             flags &= 0xC0;
315             av_log(s, AV_LOG_WARNING, "Further flags set but no bytes left\n");
316         }
317         if (flags & 0x01) { /* PES extension */
318             pes_ext = avio_r8(s->pb);
319             header_len--;
320             /* Skip PES private data, program packet sequence counter and P-STD buffer */
321             skip = (pes_ext >> 4) & 0xb;
322             skip += skip & 0x9;
323             if (pes_ext & 0x40 || skip > header_len){
324                 av_log(s, AV_LOG_WARNING, "pes_ext %X is invalid\n", pes_ext);
325                 pes_ext=skip=0;
326             }
327             avio_skip(s->pb, skip);
328             header_len -= skip;
329
330             if (pes_ext & 0x01) { /* PES extension 2 */
331                 ext2_len = avio_r8(s->pb);
332                 header_len--;
333                 if ((ext2_len & 0x7f) > 0) {
334                     id_ext = avio_r8(s->pb);
335                     if ((id_ext & 0x80) == 0)
336                         startcode = ((startcode & 0xff) << 8) | id_ext;
337                     header_len--;
338                 }
339             }
340         }
341         if(header_len < 0)
342             goto error_redo;
343         avio_skip(s->pb, header_len);
344     }
345     else if( c!= 0xf )
346         goto redo;
347
348     if (startcode == PRIVATE_STREAM_1 && !m->psm_es_type[startcode & 0xff]) {
349         startcode = avio_r8(s->pb);
350         len--;
351         if (startcode >= 0x80 && startcode <= 0xcf) {
352             /* audio: skip header */
353             avio_r8(s->pb);
354             avio_r8(s->pb);
355             avio_r8(s->pb);
356             len -= 3;
357             if (startcode >= 0xb0 && startcode <= 0xbf) {
358                 /* MLP/TrueHD audio has a 4-byte header */
359                 avio_r8(s->pb);
360                 len--;
361             }
362         }
363     }
364     if(len<0)
365         goto error_redo;
366     if(dts != AV_NOPTS_VALUE && ppos){
367         int i;
368         for(i=0; i<s->nb_streams; i++){
369             if(startcode == s->streams[i]->id &&
370                s->pb->seekable /* index useless on streams anyway */) {
371                 ff_reduce_index(s, i);
372                 av_add_index_entry(s->streams[i], *ppos, dts, 0, 0, AVINDEX_KEYFRAME /* FIXME keyframe? */);
373             }
374         }
375     }
376
377     *pstart_code = startcode;
378     *ppts = pts;
379     *pdts = dts;
380     return len;
381 }
382
383 static int mpegps_read_packet(AVFormatContext *s,
384                               AVPacket *pkt)
385 {
386     MpegDemuxContext *m = s->priv_data;
387     AVStream *st;
388     int len, startcode, i, es_type, ret;
389     int request_probe= 0;
390     enum CodecID codec_id = CODEC_ID_NONE;
391     enum AVMediaType type;
392     int64_t pts, dts, dummy_pos; //dummy_pos is needed for the index building to work
393     uint8_t av_uninit(dvdaudio_substream_type);
394
395  redo:
396     len = mpegps_read_pes_header(s, &dummy_pos, &startcode, &pts, &dts);
397     if (len < 0)
398         return len;
399
400     if(startcode == 0x1bd) {
401         dvdaudio_substream_type = avio_r8(s->pb);
402         avio_skip(s->pb, 3);
403         len -= 4;
404     }
405
406     /* now find stream */
407     for(i=0;i<s->nb_streams;i++) {
408         st = s->streams[i];
409         if (st->id == startcode)
410             goto found;
411     }
412
413     es_type = m->psm_es_type[startcode & 0xff];
414     if(es_type > 0 && es_type != STREAM_TYPE_PRIVATE_DATA){
415         if(es_type == STREAM_TYPE_VIDEO_MPEG1){
416             codec_id = CODEC_ID_MPEG2VIDEO;
417             type = AVMEDIA_TYPE_VIDEO;
418         } else if(es_type == STREAM_TYPE_VIDEO_MPEG2){
419             codec_id = CODEC_ID_MPEG2VIDEO;
420             type = AVMEDIA_TYPE_VIDEO;
421         } else if(es_type == STREAM_TYPE_AUDIO_MPEG1 ||
422                   es_type == STREAM_TYPE_AUDIO_MPEG2){
423             codec_id = CODEC_ID_MP3;
424             type = AVMEDIA_TYPE_AUDIO;
425         } else if(es_type == STREAM_TYPE_AUDIO_AAC){
426             codec_id = CODEC_ID_AAC;
427             type = AVMEDIA_TYPE_AUDIO;
428         } else if(es_type == STREAM_TYPE_VIDEO_MPEG4){
429             codec_id = CODEC_ID_MPEG4;
430             type = AVMEDIA_TYPE_VIDEO;
431         } else if(es_type == STREAM_TYPE_VIDEO_H264){
432             codec_id = CODEC_ID_H264;
433             type = AVMEDIA_TYPE_VIDEO;
434         } else if(es_type == STREAM_TYPE_AUDIO_AC3){
435             codec_id = CODEC_ID_AC3;
436             type = AVMEDIA_TYPE_AUDIO;
437         } else {
438             goto skip;
439         }
440     } else if (startcode >= 0x1e0 && startcode <= 0x1ef) {
441         static const unsigned char avs_seqh[4] = { 0, 0, 1, 0xb0 };
442         unsigned char buf[8];
443         avio_read(s->pb, buf, 8);
444         avio_seek(s->pb, -8, SEEK_CUR);
445         if(!memcmp(buf, avs_seqh, 4) && (buf[6] != 0 || buf[7] != 1))
446             codec_id = CODEC_ID_CAVS;
447         else
448             request_probe= 1;
449         type = AVMEDIA_TYPE_VIDEO;
450     } else if (startcode >= 0x1c0 && startcode <= 0x1df) {
451         type = AVMEDIA_TYPE_AUDIO;
452         codec_id = m->sofdec > 0 ? CODEC_ID_ADPCM_ADX : CODEC_ID_MP2;
453     } else if (startcode >= 0x80 && startcode <= 0x87) {
454         type = AVMEDIA_TYPE_AUDIO;
455         codec_id = CODEC_ID_AC3;
456     } else if (  ( startcode >= 0x88 && startcode <= 0x8f)
457                ||( startcode >= 0x98 && startcode <= 0x9f)) {
458         /* 0x90 - 0x97 is reserved for SDDS in DVD specs */
459         type = AVMEDIA_TYPE_AUDIO;
460         codec_id = CODEC_ID_DTS;
461     } else if (startcode >= 0xa0 && startcode <= 0xaf) {
462         type = AVMEDIA_TYPE_AUDIO;
463         /* 16 bit form will be handled as CODEC_ID_PCM_S16BE */
464         codec_id = CODEC_ID_PCM_DVD;
465     } else if (startcode >= 0xb0 && startcode <= 0xbf) {
466         type = AVMEDIA_TYPE_AUDIO;
467         codec_id = CODEC_ID_TRUEHD;
468     } else if (startcode >= 0xc0 && startcode <= 0xcf) {
469         /* Used for both AC-3 and E-AC-3 in EVOB files */
470         type = AVMEDIA_TYPE_AUDIO;
471         codec_id = CODEC_ID_AC3;
472     } else if (startcode >= 0x20 && startcode <= 0x3f) {
473         type = AVMEDIA_TYPE_SUBTITLE;
474         codec_id = CODEC_ID_DVD_SUBTITLE;
475     } else if (startcode >= 0xfd55 && startcode <= 0xfd5f) {
476         type = AVMEDIA_TYPE_VIDEO;
477         codec_id = CODEC_ID_VC1;
478     } else if (startcode == 0x1bd) {
479         // check dvd audio substream type
480         type = AVMEDIA_TYPE_AUDIO;
481         switch(dvdaudio_substream_type & 0xe0) {
482         case 0xa0:  codec_id = CODEC_ID_PCM_DVD;
483                     break;
484         case 0x80:  if((dvdaudio_substream_type & 0xf8) == 0x88)
485                          codec_id = CODEC_ID_DTS;
486                     else codec_id = CODEC_ID_AC3;
487                     break;
488         default:    av_log(s, AV_LOG_ERROR, "Unknown 0x1bd sub-stream\n");
489                     goto skip;
490         }
491     } else {
492     skip:
493         /* skip packet */
494         avio_skip(s->pb, len);
495         goto redo;
496     }
497     /* no stream found: add a new stream */
498     st = avformat_new_stream(s, NULL);
499     if (!st)
500         goto skip;
501     st->id = startcode;
502     st->codec->codec_type = type;
503     st->codec->codec_id = codec_id;
504     st->request_probe     = request_probe;
505     if (codec_id != CODEC_ID_PCM_S16BE)
506         st->need_parsing = AVSTREAM_PARSE_FULL;
507  found:
508     if(st->discard >= AVDISCARD_ALL)
509         goto skip;
510     if ((startcode >= 0xa0 && startcode <= 0xaf) ||
511         (startcode == 0x1bd && ((dvdaudio_substream_type & 0xe0) == 0xa0))) {
512         int b1, freq;
513
514         /* for LPCM, we just skip the header and consider it is raw
515            audio data */
516         if (len <= 3)
517             goto skip;
518         avio_r8(s->pb); /* emphasis (1), muse(1), reserved(1), frame number(5) */
519         b1 = avio_r8(s->pb); /* quant (2), freq(2), reserved(1), channels(3) */
520         avio_r8(s->pb); /* dynamic range control (0x80 = off) */
521         len -= 3;
522         freq = (b1 >> 4) & 3;
523         st->codec->sample_rate = lpcm_freq_tab[freq];
524         st->codec->channels = 1 + (b1 & 7);
525         st->codec->bits_per_coded_sample = 16 + ((b1 >> 6) & 3) * 4;
526         st->codec->bit_rate = st->codec->channels *
527                               st->codec->sample_rate *
528                               st->codec->bits_per_coded_sample;
529         if (st->codec->bits_per_coded_sample == 16)
530             st->codec->codec_id = CODEC_ID_PCM_S16BE;
531         else if (st->codec->bits_per_coded_sample == 28)
532             return AVERROR(EINVAL);
533     }
534     ret = av_get_packet(s->pb, pkt, len);
535     pkt->pts = pts;
536     pkt->dts = dts;
537     pkt->pos = dummy_pos;
538     pkt->stream_index = st->index;
539     av_dlog(s, "%d: pts=%0.3f dts=%0.3f size=%d\n",
540             pkt->stream_index, pkt->pts / 90000.0, pkt->dts / 90000.0,
541             pkt->size);
542
543     return (ret < 0) ? ret : 0;
544 }
545
546 static int64_t mpegps_read_dts(AVFormatContext *s, int stream_index,
547                                int64_t *ppos, int64_t pos_limit)
548 {
549     int len, startcode;
550     int64_t pos, pts, dts;
551
552     pos = *ppos;
553     if (avio_seek(s->pb, pos, SEEK_SET) < 0)
554         return AV_NOPTS_VALUE;
555
556     for(;;) {
557         len = mpegps_read_pes_header(s, &pos, &startcode, &pts, &dts);
558         if (len < 0) {
559             av_dlog(s, "none (ret=%d)\n", len);
560             return AV_NOPTS_VALUE;
561         }
562         if (startcode == s->streams[stream_index]->id &&
563             dts != AV_NOPTS_VALUE) {
564             break;
565         }
566         avio_skip(s->pb, len);
567     }
568     av_dlog(s, "pos=0x%"PRIx64" dts=0x%"PRIx64" %0.3f\n",
569             pos, dts, dts / 90000.0);
570     *ppos = pos;
571     return dts;
572 }
573
574 AVInputFormat ff_mpegps_demuxer = {
575     .name           = "mpeg",
576     .long_name      = NULL_IF_CONFIG_SMALL("MPEG-PS format"),
577     .priv_data_size = sizeof(MpegDemuxContext),
578     .read_probe     = mpegps_probe,
579     .read_header    = mpegps_read_header,
580     .read_packet    = mpegps_read_packet,
581     .read_timestamp = mpegps_read_dts,
582     .flags          = AVFMT_SHOW_IDS | AVFMT_TS_DISCONT,
583 };