]> git.sesse.net Git - vlc/blob - modules/codec/avcodec/audio.c
Fixed non initialized date_t in some corner case with avcodec.
[vlc] / modules / codec / avcodec / audio.c
1 /*****************************************************************************
2  * audio.c: audio decoder using ffmpeg library
3  *****************************************************************************
4  * Copyright (C) 1999-2003 the VideoLAN team
5  * $Id$
6  *
7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
8  *          Gildas Bazin <gbazin@videolan.org>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
23  *****************************************************************************/
24
25 /*****************************************************************************
26  * Preamble
27  *****************************************************************************/
28 #ifdef HAVE_CONFIG_H
29 # include "config.h"
30 #endif
31
32 #include <vlc_common.h>
33 #include <vlc_aout.h>
34 #include <vlc_codec.h>
35 #include <vlc_avcodec.h>
36
37 /* ffmpeg header */
38 #ifdef HAVE_LIBAVCODEC_AVCODEC_H
39 #   include <libavcodec/avcodec.h>
40 #elif defined(HAVE_FFMPEG_AVCODEC_H)
41 #   include <ffmpeg/avcodec.h>
42 #else
43 #   include <avcodec.h>
44 #endif
45
46 #include "avcodec.h"
47
48 /*****************************************************************************
49  * decoder_sys_t : decoder descriptor
50  *****************************************************************************/
51 struct decoder_sys_t
52 {
53     FFMPEG_COMMON_MEMBERS
54
55     /* Temporary buffer for libavcodec */
56     int     i_output_max;
57     uint8_t *p_output;
58
59     /*
60      * Output properties
61      */
62     audio_sample_format_t aout_format;
63     date_t                end_date;
64
65     /*
66      *
67      */
68     uint8_t *p_samples;
69     int     i_samples;
70
71     /* */
72     int     i_reject_count;
73
74     /* */
75     bool    b_extract;
76     int     pi_extraction[AOUT_CHAN_MAX];
77     int     i_previous_channels;
78     int64_t i_previous_layout;
79 };
80
81 #define BLOCK_FLAG_PRIVATE_REALLOCATED (1 << BLOCK_FLAG_PRIVATE_SHIFT)
82
83 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust );
84
85 /*****************************************************************************
86  * InitAudioDec: initialize audio decoder
87  *****************************************************************************
88  * The ffmpeg codec will be opened, some memory allocated.
89  *****************************************************************************/
90 int InitAudioDec( decoder_t *p_dec, AVCodecContext *p_context,
91                       AVCodec *p_codec, int i_codec_id, const char *psz_namecodec )
92 {
93     decoder_sys_t *p_sys;
94
95     /* Allocate the memory needed to store the decoder's structure */
96     if( ( p_dec->p_sys = p_sys = malloc(sizeof(*p_sys)) ) == NULL )
97     {
98         return VLC_ENOMEM;
99     }
100
101     p_codec->type = CODEC_TYPE_AUDIO;
102     p_context->codec_type = CODEC_TYPE_AUDIO;
103     p_context->codec_id = i_codec_id;
104     p_sys->p_context = p_context;
105     p_sys->p_codec = p_codec;
106     p_sys->i_codec_id = i_codec_id;
107     p_sys->psz_namecodec = psz_namecodec;
108     p_sys->b_delayed_open = false;
109
110     /* ***** Fill p_context with init values ***** */
111     p_sys->p_context->sample_rate = p_dec->fmt_in.audio.i_rate;
112     p_sys->p_context->channels = p_dec->fmt_in.audio.i_channels;
113
114     p_sys->p_context->block_align = p_dec->fmt_in.audio.i_blockalign;
115     p_sys->p_context->bit_rate = p_dec->fmt_in.i_bitrate;
116 #if LIBAVCODEC_VERSION_INT < AV_VERSION_INT( 52, 0, 0 )
117     p_sys->p_context->bits_per_sample = p_dec->fmt_in.audio.i_bitspersample;
118 #else
119     p_sys->p_context->bits_per_coded_sample = p_dec->fmt_in.audio.i_bitspersample;
120 #endif
121
122     if( p_dec->fmt_in.i_extra > 0 )
123     {
124         const uint8_t * const p_src = p_dec->fmt_in.p_extra;
125         int i_offset;
126         int i_size;
127
128         if( p_dec->fmt_in.i_codec == VLC_CODEC_FLAC )
129         {
130             i_offset = 8;
131             i_size = p_dec->fmt_in.i_extra - 8;
132         }
133         else if( p_dec->fmt_in.i_codec == VLC_CODEC_ALAC )
134         {
135             static const uint8_t p_pattern[] = { 0, 0, 0, 36, 'a', 'l', 'a', 'c' };
136             /* Find alac atom XXX it is a bit ugly */
137             for( i_offset = 0; i_offset < p_dec->fmt_in.i_extra - sizeof(p_pattern); i_offset++ )
138             {
139                 if( !memcmp( &p_src[i_offset], p_pattern, sizeof(p_pattern) ) )
140                     break;
141             }
142             i_size = __MIN( p_dec->fmt_in.i_extra - i_offset, 36 );
143             if( i_size < 36 )
144                 i_size = 0;
145         }
146         else
147         {
148             i_offset = 0;
149             i_size = p_dec->fmt_in.i_extra;
150         }
151
152         if( i_size > 0 )
153         {
154             p_sys->p_context->extradata =
155                 malloc( i_size + FF_INPUT_BUFFER_PADDING_SIZE );
156             if( p_sys->p_context->extradata )
157             {
158                 uint8_t *p_dst = p_sys->p_context->extradata;
159
160                 p_sys->p_context->extradata_size = i_size;
161
162                 memcpy( &p_dst[0],            &p_src[i_offset], i_size );
163                 memset( &p_dst[i_size], 0, FF_INPUT_BUFFER_PADDING_SIZE );
164             }
165         }
166     }
167     else
168     {
169         p_sys->p_context->extradata_size = 0;
170         p_sys->p_context->extradata = NULL;
171     }
172
173     /* ***** Open the codec ***** */
174     int ret;
175     vlc_avcodec_lock();
176     ret = avcodec_open( p_sys->p_context, p_sys->p_codec );
177     vlc_avcodec_unlock();
178     if( ret < 0 )
179     {
180         msg_Err( p_dec, "cannot open codec (%s)", p_sys->psz_namecodec );
181         free( p_sys->p_context->extradata );
182         free( p_sys );
183         return VLC_EGENERIC;
184     }
185
186     msg_Dbg( p_dec, "ffmpeg codec (%s) started", p_sys->psz_namecodec );
187
188     switch( i_codec_id )
189     {
190     case CODEC_ID_WAVPACK:
191         p_sys->i_output_max = 8 * sizeof(int32_t) * 131072;
192         break;
193     case CODEC_ID_TTA:
194         p_sys->i_output_max = p_sys->p_context->channels * sizeof(int32_t) * p_sys->p_context->sample_rate * 2;
195         break;
196     case CODEC_ID_FLAC:
197         p_sys->i_output_max = 8 * sizeof(int32_t) * 65535;
198         break;
199 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 52, 35, 0 )
200     case CODEC_ID_WMAPRO:
201         p_sys->i_output_max = 8 * sizeof(float) * 6144; /* (1 << 12) * 3/2 */
202         break;
203 #endif
204     default:
205         p_sys->i_output_max = 0;
206         break;
207     }
208     if( p_sys->i_output_max < AVCODEC_MAX_AUDIO_FRAME_SIZE )
209         p_sys->i_output_max = AVCODEC_MAX_AUDIO_FRAME_SIZE;
210     msg_Dbg( p_dec, "Using %d bytes output buffer", p_sys->i_output_max );
211     p_sys->p_output = av_malloc( p_sys->i_output_max );
212
213     p_sys->p_samples = NULL;
214     p_sys->i_samples = 0;
215     p_sys->i_reject_count = 0;
216     p_sys->b_extract = false;
217     p_sys->i_previous_channels = 0;
218     p_sys->i_previous_layout = 0;
219
220     /* */
221     p_dec->fmt_out.i_cat = AUDIO_ES;
222     /* Try to set as much informations as possible but do not trust it */
223     SetupOutputFormat( p_dec, false );
224
225     date_Set( &p_sys->end_date, 0 );
226     if( p_dec->fmt_out.audio.i_rate )
227         date_Init( &p_sys->end_date, p_dec->fmt_out.audio.i_rate, 1 );
228     else if( p_dec->fmt_in.audio.i_rate )
229         date_Init( &p_sys->end_date, p_dec->fmt_in.audio.i_rate, 1 );
230
231     return VLC_SUCCESS;
232 }
233
234 /*****************************************************************************
235  * SplitBuffer: Needed because aout really doesn't like big audio chunk and
236  * wma produces easily > 30000 samples...
237  *****************************************************************************/
238 static aout_buffer_t *SplitBuffer( decoder_t *p_dec )
239 {
240     decoder_sys_t *p_sys = p_dec->p_sys;
241     int i_samples = __MIN( p_sys->i_samples, 4096 );
242     aout_buffer_t *p_buffer;
243
244     if( i_samples == 0 ) return NULL;
245
246     if( ( p_buffer = decoder_NewAudioBuffer( p_dec, i_samples ) ) == NULL )
247         return NULL;
248
249     p_buffer->i_pts = date_Get( &p_sys->end_date );
250     p_buffer->i_length = date_Increment( &p_sys->end_date, i_samples )
251                          - p_buffer->i_pts;
252
253     if( p_sys->b_extract )
254         aout_ChannelExtract( p_buffer->p_buffer, p_dec->fmt_out.audio.i_channels,
255                              p_sys->p_samples, p_sys->p_context->channels, i_samples,
256                              p_sys->pi_extraction, p_dec->fmt_out.audio.i_bitspersample );
257     else
258         memcpy( p_buffer->p_buffer, p_sys->p_samples, p_buffer->i_buffer );
259
260     p_sys->p_samples += i_samples * p_sys->p_context->channels * ( p_dec->fmt_out.audio.i_bitspersample / 8 );
261     p_sys->i_samples -= i_samples;
262
263     return p_buffer;
264 }
265
266 /*****************************************************************************
267  * DecodeAudio: Called to decode one frame
268  *****************************************************************************/
269 aout_buffer_t * DecodeAudio ( decoder_t *p_dec, block_t **pp_block )
270 {
271     decoder_sys_t *p_sys = p_dec->p_sys;
272     int i_used, i_output;
273     aout_buffer_t *p_buffer;
274     block_t *p_block;
275
276     if( !pp_block || !*pp_block ) return NULL;
277
278     p_block = *pp_block;
279
280     if( p_block->i_flags & (BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED) )
281     {
282         block_Release( p_block );
283         avcodec_flush_buffers( p_sys->p_context );
284         p_sys->i_samples = 0;
285         date_Set( &p_sys->end_date, 0 );
286
287         if( p_sys->i_codec_id == CODEC_ID_MP2 || p_sys->i_codec_id == CODEC_ID_MP3 )
288             p_sys->i_reject_count = 3;
289         return NULL;
290     }
291
292     if( p_sys->i_samples > 0 )
293     {
294         /* More data */
295         p_buffer = SplitBuffer( p_dec );
296         if( !p_buffer ) block_Release( p_block );
297         return p_buffer;
298     }
299
300     if( !date_Get( &p_sys->end_date ) && !p_block->i_pts )
301     {
302         /* We've just started the stream, wait for the first PTS. */
303         block_Release( p_block );
304         return NULL;
305     }
306
307     if( p_block->i_buffer <= 0 )
308     {
309         block_Release( p_block );
310         return NULL;
311     }
312
313     if( (p_block->i_flags & BLOCK_FLAG_PRIVATE_REALLOCATED) == 0 )
314     {
315         *pp_block = p_block = block_Realloc( p_block, 0, p_block->i_buffer + FF_INPUT_BUFFER_PADDING_SIZE );
316         if( !p_block )
317             return NULL;
318         p_block->i_buffer -= FF_INPUT_BUFFER_PADDING_SIZE;
319         memset( &p_block->p_buffer[p_block->i_buffer], 0, FF_INPUT_BUFFER_PADDING_SIZE );
320
321         p_block->i_flags |= BLOCK_FLAG_PRIVATE_REALLOCATED;
322     }
323
324     do
325     {
326         i_output = __MAX( p_block->i_buffer, p_sys->i_output_max );
327         if( i_output > p_sys->i_output_max )
328         {
329             /* Grow output buffer if necessary (eg. for PCM data) */
330             p_sys->p_output = av_realloc( p_sys->p_output, i_output );
331         }
332
333 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 52, 0, 0 )
334         i_used = avcodec_decode_audio2( p_sys->p_context,
335                                        (int16_t*)p_sys->p_output, &i_output,
336                                        p_block->p_buffer, p_block->i_buffer );
337 #else
338         i_used = avcodec_decode_audio( p_sys->p_context,
339                                        (int16_t*)p_sys->p_output, &i_output,
340                                        p_block->p_buffer, p_block->i_buffer );
341 #endif
342
343         if( i_used < 0 || i_output < 0 )
344         {
345             if( i_used < 0 )
346                 msg_Warn( p_dec, "cannot decode one frame (%zu bytes)",
347                           p_block->i_buffer );
348
349             block_Release( p_block );
350             return NULL;
351         }
352         else if( (size_t)i_used > p_block->i_buffer )
353         {
354             i_used = p_block->i_buffer;
355         }
356
357         p_block->i_buffer -= i_used;
358         p_block->p_buffer += i_used;
359
360     } while( p_block->i_buffer > 0 && i_output <= 0 );
361
362     if( p_sys->p_context->channels <= 0 || p_sys->p_context->channels > 8 ||
363         p_sys->p_context->sample_rate <= 0 )
364     {
365         msg_Warn( p_dec, "invalid audio properties channels count %d, sample rate %d",
366                   p_sys->p_context->channels, p_sys->p_context->sample_rate );
367         block_Release( p_block );
368         return NULL;
369     }
370
371     if( p_dec->fmt_out.audio.i_rate != (unsigned int)p_sys->p_context->sample_rate )
372     {
373         date_Init( &p_sys->end_date, p_sys->p_context->sample_rate, 1 );
374         date_Set( &p_sys->end_date, p_block->i_pts );
375     }
376
377     /* **** Set audio output parameters **** */
378     SetupOutputFormat( p_dec, true );
379
380     if( p_block->i_pts != 0 &&
381         p_block->i_pts != date_Get( &p_sys->end_date ) )
382     {
383         date_Set( &p_sys->end_date, p_block->i_pts );
384     }
385     p_block->i_pts = 0;
386
387     /* **** Now we can output these samples **** */
388     p_sys->i_samples = i_output / (p_dec->fmt_out.audio.i_bitspersample / 8) / p_sys->p_context->channels;
389     p_sys->p_samples = p_sys->p_output;
390
391     /* Silent unwanted samples */
392     if( p_sys->i_reject_count > 0 )
393     {
394         memset( p_sys->p_output, 0, i_output );
395         p_sys->i_reject_count--;
396     }
397
398     p_buffer = SplitBuffer( p_dec );
399     if( !p_buffer ) block_Release( p_block );
400     return p_buffer;
401 }
402
403 /*****************************************************************************
404  * EndAudioDec: audio decoder destruction
405  *****************************************************************************/
406 void EndAudioDec( decoder_t *p_dec )
407 {
408     decoder_sys_t *p_sys = p_dec->p_sys;
409
410     av_free( p_sys->p_output );
411 }
412
413 /*****************************************************************************
414  *
415  *****************************************************************************/
416 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 52, 2, 0 )
417 #   define LIBAVCODEC_AUDIO_LAYOUT
418 #else
419 #   warning "Audio channel layout is unsupported by your avcodec version."
420 #endif
421
422 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
423 static const uint64_t pi_channels_map[][2] =
424 {
425     { CH_FRONT_LEFT,        AOUT_CHAN_LEFT },
426     { CH_FRONT_RIGHT,       AOUT_CHAN_RIGHT },
427     { CH_FRONT_CENTER,      AOUT_CHAN_CENTER },
428     { CH_LOW_FREQUENCY,     AOUT_CHAN_LFE },
429     { CH_BACK_LEFT,         AOUT_CHAN_REARLEFT },
430     { CH_BACK_RIGHT,        AOUT_CHAN_REARRIGHT },
431     { CH_FRONT_LEFT_OF_CENTER, 0 },
432     { CH_FRONT_RIGHT_OF_CENTER, 0 },
433     { CH_BACK_CENTER,       AOUT_CHAN_REARCENTER },
434     { CH_SIDE_LEFT,         AOUT_CHAN_MIDDLELEFT },
435     { CH_SIDE_RIGHT,        AOUT_CHAN_MIDDLERIGHT },
436     { CH_TOP_CENTER,        0 },
437     { CH_TOP_FRONT_LEFT,    0 },
438     { CH_TOP_FRONT_CENTER,  0 },
439     { CH_TOP_FRONT_RIGHT,   0 },
440     { CH_TOP_BACK_LEFT,     0 },
441     { CH_TOP_BACK_CENTER,   0 },
442     { CH_TOP_BACK_RIGHT,    0 },
443     { CH_STEREO_LEFT,       0 },
444     { CH_STEREO_RIGHT,      0 },
445 };
446 #else
447 static const uint64_t pi_channels_map[][2] =
448 {
449     { 0, AOUT_CHAN_LEFT },
450     { 0, AOUT_CHAN_RIGHT },
451     { 0, AOUT_CHAN_CENTER },
452     { 0, AOUT_CHAN_LFE },
453     { 0, AOUT_CHAN_REARLEFT },
454     { 0, AOUT_CHAN_REARRIGHT },
455     { 0, 0 },
456     { 0, 0 },
457     { 0, AOUT_CHAN_REARCENTER },
458     { 0, AOUT_CHAN_MIDDLELEFT },
459     { 0, AOUT_CHAN_MIDDLERIGHT },
460     { 0, 0 },
461     { 0, 0 },
462     { 0, 0 },
463     { 0, 0 },
464     { 0, 0 },
465     { 0, 0 },
466     { 0, 0 },
467     { 0, 0 },
468     { 0, 0 },
469 };
470 #endif
471
472 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust )
473 {
474     decoder_sys_t *p_sys = p_dec->p_sys;
475
476 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 51, 65, 0 )
477     switch( p_sys->p_context->sample_fmt )
478     {
479     case SAMPLE_FMT_U8:
480         p_dec->fmt_out.i_codec = VLC_CODEC_U8;
481         p_dec->fmt_out.audio.i_bitspersample = 8;
482         break;
483     case SAMPLE_FMT_S32:
484         p_dec->fmt_out.i_codec = VLC_CODEC_S32N;
485         p_dec->fmt_out.audio.i_bitspersample = 32;
486         break;
487     case SAMPLE_FMT_FLT:
488         p_dec->fmt_out.i_codec = VLC_CODEC_FL32;
489         p_dec->fmt_out.audio.i_bitspersample = 32;
490         break;
491     case SAMPLE_FMT_DBL:
492         p_dec->fmt_out.i_codec = VLC_CODEC_FL64;
493         p_dec->fmt_out.audio.i_bitspersample = 64;
494         break;
495
496     case SAMPLE_FMT_S16:
497     default:
498         p_dec->fmt_out.i_codec = VLC_CODEC_S16N;
499         p_dec->fmt_out.audio.i_bitspersample = 16;
500         break;
501     }
502 #else
503     p_dec->fmt_out.i_codec = VLC_CODEC_S16N;
504     p_dec->fmt_out.audio.i_bitspersample = 16;
505 #endif
506     p_dec->fmt_out.audio.i_rate     = p_sys->p_context->sample_rate;
507
508     /* */
509 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
510     if( p_sys->i_previous_channels == p_sys->p_context->channels &&
511         p_sys->i_previous_layout == p_sys->p_context->channel_layout )
512         return;
513 #else
514     if( p_sys->i_previous_channels == p_sys->p_context->channels )
515         return;
516 #endif
517     if( b_trust )
518     {
519         p_sys->i_previous_channels = p_sys->p_context->channels;
520 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
521         p_sys->i_previous_layout = p_sys->p_context->channel_layout;
522 #endif
523     }
524
525     /* Specified order
526      * FIXME should we use fmt_in.audio.i_physical_channels or not ?
527      */
528 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
529     const unsigned i_order_max = 8 * sizeof(p_sys->p_context->channel_layout);
530 #else
531     const unsigned i_order_max = 64;
532 #endif
533     uint32_t pi_order_src[i_order_max];
534     int i_channels_src = 0;
535
536 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
537     if( p_sys->p_context->channel_layout )
538     {
539         for( unsigned i = 0; i < sizeof(pi_channels_map)/sizeof(*pi_channels_map); i++ )
540         {
541             if( p_sys->p_context->channel_layout & pi_channels_map[i][0] )
542                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
543         }
544     }
545     else
546 #endif
547     {
548         /* Create default order  */
549         if( b_trust )
550             msg_Warn( p_dec, "Physical channel configuration not set : guessing" );
551         for( unsigned int i = 0; i < __MIN( i_order_max, (unsigned)p_sys->p_context->channels ); i++ )
552         {
553             if( i < sizeof(pi_channels_map)/sizeof(*pi_channels_map) )
554                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
555         }
556     }
557     if( i_channels_src != p_sys->p_context->channels && b_trust )
558         msg_Err( p_dec, "Channel layout not understood" );
559
560     uint32_t i_layout_dst;
561     int      i_channels_dst;
562     p_sys->b_extract = aout_CheckChannelExtraction( p_sys->pi_extraction,
563                                                     &i_layout_dst, &i_channels_dst,
564                                                     NULL, pi_order_src, i_channels_src );
565     if( i_channels_dst != i_channels_src && b_trust )
566         msg_Warn( p_dec, "%d channels are dropped", i_channels_src - i_channels_dst );
567
568     p_dec->fmt_out.audio.i_physical_channels =
569     p_dec->fmt_out.audio.i_original_channels = i_layout_dst;
570     p_dec->fmt_out.audio.i_channels = i_channels_dst;
571 }
572