git.sesse.net Git - vlc/blob - modules/codec/avcodec/audio.c

   1 /*****************************************************************************
   2  * audio.c: audio decoder using libavcodec library
   3  *****************************************************************************
   4  * Copyright (C) 1999-2003 VLC authors and VideoLAN
   5  * $Id$
   6  *
   7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   8  *          Gildas Bazin <gbazin@videolan.org>
   9  *
  10  * This program is free software; you can redistribute it and/or modify it
  11  * under the terms of the GNU Lesser General Public License as published by
  12  * the Free Software Foundation; either version 2.1 of the License, or
  13  * (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  18  * GNU Lesser General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU Lesser General Public License
  21  * along with this program; if not, write to the Free Software Foundation,
  22  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  23  *****************************************************************************/
  24
  25 /*****************************************************************************
  26  * Preamble
  27  *****************************************************************************/
  28 #ifdef HAVE_CONFIG_H
  29 # include "config.h"
  30 #endif
  31
  32 #include <vlc_common.h>
  33 #include <vlc_aout.h>
  34 #include <vlc_codec.h>
  35 #include <vlc_avcodec.h>
  36
  37 #include <libavcodec/avcodec.h>
  38 #include <libavutil/mem.h>
  39
  40 #include <libavutil/audioconvert.h>
  41
  42 #include "avcodec.h"
  43
  44 /*****************************************************************************
  45  * decoder_sys_t : decoder descriptor
  46  *****************************************************************************/
  47 struct decoder_sys_t
  48 {
  49     AVCODEC_COMMON_MEMBERS
  50
  51     /* Temporary buffer for libavcodec */
  52     int     i_output_max;
  53     uint8_t *p_output;
  54
  55     /*
  56      * Output properties
  57      */
  58     audio_sample_format_t aout_format;
  59     date_t                end_date;
  60
  61     /*
  62      *
  63      */
  64     uint8_t *p_samples;
  65     int     i_samples;
  66
  67     /* */
  68     int     i_reject_count;
  69
  70     /* */
  71     bool    b_extract;
  72     int     pi_extraction[AOUT_CHAN_MAX];
  73     int     i_previous_channels;
  74     int64_t i_previous_layout;
  75 };
  76
  77 #define BLOCK_FLAG_PRIVATE_REALLOCATED (1 << BLOCK_FLAG_PRIVATE_SHIFT)
  78
  79 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust );
  80
  81 static void InitDecoderConfig( decoder_t *p_dec, AVCodecContext *p_context )
  82 {
  83     if( p_dec->fmt_in.i_extra > 0 )
  84     {
  85         const uint8_t * const p_src = p_dec->fmt_in.p_extra;
  86         int i_offset;
  87         int i_size;
  88
  89         if( p_dec->fmt_in.i_codec == VLC_CODEC_FLAC )
  90         {
  91             i_offset = 8;
  92             i_size = p_dec->fmt_in.i_extra - 8;
  93         }
  94         else if( p_dec->fmt_in.i_codec == VLC_CODEC_ALAC )
  95         {
  96             static const uint8_t p_pattern[] = { 0, 0, 0, 36, 'a', 'l', 'a', 'c' };
  97             /* Find alac atom XXX it is a bit ugly */
  98             for( i_offset = 0; i_offset < p_dec->fmt_in.i_extra - sizeof(p_pattern); i_offset++ )
  99             {
 100                 if( !memcmp( &p_src[i_offset], p_pattern, sizeof(p_pattern) ) )
 101                     break;
 102             }
 103             i_size = __MIN( p_dec->fmt_in.i_extra - i_offset, 36 );
 104             if( i_size < 36 )
 105                 i_size = 0;
 106         }
 107         else
 108         {
 109             i_offset = 0;
 110             i_size = p_dec->fmt_in.i_extra;
 111         }
 112
 113         if( i_size > 0 )
 114         {
 115             p_context->extradata =
 116                 malloc( i_size + FF_INPUT_BUFFER_PADDING_SIZE );
 117             if( p_context->extradata )
 118             {
 119                 uint8_t *p_dst = p_context->extradata;
 120
 121                 p_context->extradata_size = i_size;
 122
 123                 memcpy( &p_dst[0],            &p_src[i_offset], i_size );
 124                 memset( &p_dst[i_size], 0, FF_INPUT_BUFFER_PADDING_SIZE );
 125             }
 126         }
 127     }
 128     else
 129     {
 130         p_context->extradata_size = 0;
 131         p_context->extradata = NULL;
 132     }
 133 }
 134
 135 /*****************************************************************************
 136  * InitAudioDec: initialize audio decoder
 137  *****************************************************************************
 138  * The avcodec codec will be opened, some memory allocated.
 139  *****************************************************************************/
 140 int InitAudioDec( decoder_t *p_dec, AVCodecContext *p_context,
 141                       AVCodec *p_codec, int i_codec_id, const char *psz_namecodec )
 142 {
 143     decoder_sys_t *p_sys;
 144
 145     /* Allocate the memory needed to store the decoder's structure */
 146     if( ( p_dec->p_sys = p_sys = malloc(sizeof(*p_sys)) ) == NULL )
 147     {
 148         return VLC_ENOMEM;
 149     }
 150
 151     p_codec->type = AVMEDIA_TYPE_AUDIO;
 152     p_context->codec_type = AVMEDIA_TYPE_AUDIO;
 153     p_context->codec_id = i_codec_id;
 154     p_sys->p_context = p_context;
 155     p_sys->p_codec = p_codec;
 156     p_sys->i_codec_id = i_codec_id;
 157     p_sys->psz_namecodec = psz_namecodec;
 158     p_sys->b_delayed_open = true;
 159
 160     // Initialize decoder extradata
 161     InitDecoderConfig( p_dec, p_context);
 162
 163     /* ***** Open the codec ***** */
 164     if( ffmpeg_OpenCodec( p_dec ) < 0 )
 165     {
 166         msg_Err( p_dec, "cannot open codec (%s)", p_sys->psz_namecodec );
 167         free( p_sys->p_context->extradata );
 168         free( p_sys );
 169         return VLC_EGENERIC;
 170     }
 171
 172     switch( i_codec_id )
 173     {
 174     case CODEC_ID_WAVPACK:
 175         p_sys->i_output_max = 8 * sizeof(int32_t) * 131072;
 176         break;
 177     case CODEC_ID_TTA:
 178         p_sys->i_output_max = p_sys->p_context->channels * sizeof(int32_t) * p_sys->p_context->sample_rate * 2;
 179         break;
 180     case CODEC_ID_FLAC:
 181         p_sys->i_output_max = 8 * sizeof(int32_t) * 65535;
 182         break;
 183     case CODEC_ID_WMAPRO:
 184         p_sys->i_output_max = 8 * sizeof(float) * 6144; /* (1 << 12) * 3/2 */
 185         break;
 186     default:
 187         p_sys->i_output_max = 0;
 188         break;
 189     }
 190     if( p_sys->i_output_max < AVCODEC_MAX_AUDIO_FRAME_SIZE )
 191         p_sys->i_output_max = AVCODEC_MAX_AUDIO_FRAME_SIZE;
 192     msg_Dbg( p_dec, "Using %d bytes output buffer", p_sys->i_output_max );
 193     p_sys->p_output = av_malloc( p_sys->i_output_max );
 194
 195     p_sys->p_samples = NULL;
 196     p_sys->i_samples = 0;
 197     p_sys->i_reject_count = 0;
 198     p_sys->b_extract = false;
 199     p_sys->i_previous_channels = 0;
 200     p_sys->i_previous_layout = 0;
 201
 202     /* */
 203     p_dec->fmt_out.i_cat = AUDIO_ES;
 204     /* Try to set as much information as possible but do not trust it */
 205     SetupOutputFormat( p_dec, false );
 206
 207     date_Set( &p_sys->end_date, 0 );
 208     if( p_dec->fmt_out.audio.i_rate )
 209         date_Init( &p_sys->end_date, p_dec->fmt_out.audio.i_rate, 1 );
 210     else if( p_dec->fmt_in.audio.i_rate )
 211         date_Init( &p_sys->end_date, p_dec->fmt_in.audio.i_rate, 1 );
 212
 213     return VLC_SUCCESS;
 214 }
 215
 216 /*****************************************************************************
 217  * SplitBuffer: Needed because aout really doesn't like big audio chunk and
 218  * wma produces easily > 30000 samples...
 219  *****************************************************************************/
 220 static block_t *SplitBuffer( decoder_t *p_dec )
 221 {
 222     decoder_sys_t *p_sys = p_dec->p_sys;
 223     int i_samples = __MIN( p_sys->i_samples, 4096 );
 224     int sample_planar=0;
 225     block_t *p_buffer;
 226
 227     if( i_samples == 0 ) return NULL;
 228
 229     if( ( p_buffer = decoder_NewAudioBuffer( p_dec, i_samples ) ) == NULL )
 230         return NULL;
 231
 232     p_buffer->i_pts = date_Get( &p_sys->end_date );
 233     p_buffer->i_length = date_Increment( &p_sys->end_date, i_samples )
 234                          - p_buffer->i_pts;
 235
 236     sample_planar = av_sample_fmt_is_planar( p_sys->p_context->sample_fmt );
 237     if( sample_planar )
 238         aout_Interleave( p_buffer->p_buffer, p_sys->p_samples, i_samples, p_sys->p_context->channels, p_dec->fmt_out.audio.i_format );
 239
 240     if( p_sys->b_extract )
 241     {
 242         if( sample_planar )
 243             memcpy( p_sys->p_samples, p_buffer->p_buffer, p_buffer->i_buffer );
 244
 245         aout_ChannelExtract( p_buffer->p_buffer, p_dec->fmt_out.audio.i_channels,
 246                              p_sys->p_samples, p_sys->p_context->channels, i_samples,
 247                              p_sys->pi_extraction, p_dec->fmt_out.audio.i_bitspersample );
 248     }
 249     else if (!sample_planar)
 250         memcpy( p_buffer->p_buffer, p_sys->p_samples, p_buffer->i_buffer );
 251
 252     p_sys->p_samples += i_samples * p_sys->p_context->channels * ( p_dec->fmt_out.audio.i_bitspersample / 8 );
 253     p_sys->i_samples -= i_samples;
 254
 255
 256     return p_buffer;
 257 }
 258
 259 /*****************************************************************************
 260  * DecodeAudio: Called to decode one frame
 261  *****************************************************************************/
 262 block_t * DecodeAudio ( decoder_t *p_dec, block_t **pp_block )
 263 {
 264     decoder_sys_t *p_sys = p_dec->p_sys;
 265     int i_used, i_output;
 266     block_t *p_buffer;
 267     block_t *p_block;
 268     AVPacket pkt;
 269
 270     if( !pp_block || !*pp_block ) return NULL;
 271
 272     p_block = *pp_block;
 273
 274     if( !p_sys->p_context->extradata_size && p_dec->fmt_in.i_extra &&
 275         p_sys->b_delayed_open)
 276     {
 277         InitDecoderConfig( p_dec, p_sys->p_context);
 278         if( ffmpeg_OpenCodec( p_dec ) )
 279             msg_Err( p_dec, "Cannot open decoder %s", p_sys->psz_namecodec );
 280     }
 281     if( p_sys->b_delayed_open )
 282     {
 283         block_Release( p_block );
 284         return NULL;
 285     }
 286
 287     if( p_block->i_flags & (BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED) )
 288     {
 289         block_Release( p_block );
 290         avcodec_flush_buffers( p_sys->p_context );
 291         p_sys->i_samples = 0;
 292         date_Set( &p_sys->end_date, 0 );
 293
 294         if( p_sys->i_codec_id == CODEC_ID_MP2 || p_sys->i_codec_id == CODEC_ID_MP3 )
 295             p_sys->i_reject_count = 3;
 296         return NULL;
 297     }
 298
 299     if( p_sys->i_samples > 0 )
 300     {
 301         /* More data */
 302         p_buffer = SplitBuffer( p_dec );
 303         if( !p_buffer ) block_Release( p_block );
 304         return p_buffer;
 305     }
 306
 307     if( !date_Get( &p_sys->end_date ) && !p_block->i_pts )
 308     {
 309         /* We've just started the stream, wait for the first PTS. */
 310         block_Release( p_block );
 311         return NULL;
 312     }
 313
 314     if( p_block->i_buffer <= 0 )
 315     {
 316         block_Release( p_block );
 317         return NULL;
 318     }
 319
 320     if( (p_block->i_flags & BLOCK_FLAG_PRIVATE_REALLOCATED) == 0 )
 321     {
 322         *pp_block = p_block = block_Realloc( p_block, 0, p_block->i_buffer + FF_INPUT_BUFFER_PADDING_SIZE );
 323         if( !p_block )
 324             return NULL;
 325         p_block->i_buffer -= FF_INPUT_BUFFER_PADDING_SIZE;
 326         memset( &p_block->p_buffer[p_block->i_buffer], 0, FF_INPUT_BUFFER_PADDING_SIZE );
 327
 328         p_block->i_flags |= BLOCK_FLAG_PRIVATE_REALLOCATED;
 329     }
 330
 331     do
 332     {
 333         i_output = __MAX( p_block->i_buffer, p_sys->i_output_max );
 334         if( i_output > p_sys->i_output_max )
 335         {
 336             /* Grow output buffer if necessary (eg. for PCM data) */
 337             p_sys->p_output = av_realloc( p_sys->p_output, i_output );
 338         }
 339
 340         av_init_packet( &pkt );
 341         pkt.data = p_block->p_buffer;
 342         pkt.size = p_block->i_buffer;
 343         i_used = avcodec_decode_audio3( p_sys->p_context,
 344                                        (int16_t*)p_sys->p_output, &i_output,
 345                                        &pkt );
 346
 347         if( i_used < 0 || i_output < 0 )
 348         {
 349             if( i_used < 0 )
 350                 msg_Warn( p_dec, "cannot decode one frame (%zu bytes)",
 351                           p_block->i_buffer );
 352
 353             block_Release( p_block );
 354             return NULL;
 355         }
 356         else if( (size_t)i_used > p_block->i_buffer )
 357         {
 358             i_used = p_block->i_buffer;
 359         }
 360
 361         p_block->i_buffer -= i_used;
 362         p_block->p_buffer += i_used;
 363
 364     } while( p_block->i_buffer > 0 && i_output <= 0 );
 365
 366     if( p_sys->p_context->channels <= 0 || p_sys->p_context->channels > 8 ||
 367         p_sys->p_context->sample_rate <= 0 )
 368     {
 369         msg_Warn( p_dec, "invalid audio properties channels count %d, sample rate %d",
 370                   p_sys->p_context->channels, p_sys->p_context->sample_rate );
 371         block_Release( p_block );
 372         return NULL;
 373     }
 374
 375     if( p_dec->fmt_out.audio.i_rate != (unsigned int)p_sys->p_context->sample_rate )
 376     {
 377         date_Init( &p_sys->end_date, p_sys->p_context->sample_rate, 1 );
 378         date_Set( &p_sys->end_date, p_block->i_pts );
 379     }
 380
 381     /* **** Set audio output parameters **** */
 382     SetupOutputFormat( p_dec, true );
 383
 384     if( p_block->i_pts != 0 &&
 385         p_block->i_pts != date_Get( &p_sys->end_date ) )
 386     {
 387         date_Set( &p_sys->end_date, p_block->i_pts );
 388     }
 389     p_block->i_pts = 0;
 390
 391     /* **** Now we can output these samples **** */
 392     p_sys->i_samples = i_output / (p_dec->fmt_out.audio.i_bitspersample / 8) / p_sys->p_context->channels;
 393     p_sys->p_samples = p_sys->p_output;
 394
 395     /* Silent unwanted samples */
 396     if( p_sys->i_reject_count > 0 )
 397     {
 398         memset( p_sys->p_output, 0, i_output );
 399         p_sys->i_reject_count--;
 400     }
 401
 402     p_buffer = SplitBuffer( p_dec );
 403     if( !p_buffer ) block_Release( p_block );
 404     return p_buffer;
 405 }
 406
 407 /*****************************************************************************
 408  * EndAudioDec: audio decoder destruction
 409  *****************************************************************************/
 410 void EndAudioDec( decoder_t *p_dec )
 411 {
 412     decoder_sys_t *p_sys = p_dec->p_sys;
 413
 414     av_free( p_sys->p_output );
 415 }
 416
 417 /*****************************************************************************
 418  *
 419  *****************************************************************************/
 420
 421 vlc_fourcc_t GetVlcAudioFormat( int fmt )
 422 {
 423     static const vlc_fourcc_t fcc[] = {
 424         [AV_SAMPLE_FMT_U8]    = VLC_CODEC_U8,
 425         [AV_SAMPLE_FMT_S16]   = VLC_CODEC_S16N,
 426         [AV_SAMPLE_FMT_S32]   = VLC_CODEC_S32N,
 427         [AV_SAMPLE_FMT_FLT]   = VLC_CODEC_FL32,
 428         [AV_SAMPLE_FMT_DBL]   = VLC_CODEC_FL64,
 429         [AV_SAMPLE_FMT_U8P]   = VLC_CODEC_U8,
 430         [AV_SAMPLE_FMT_S16P]  = VLC_CODEC_S16N,
 431         [AV_SAMPLE_FMT_S32P]  = VLC_CODEC_S32N,
 432         [AV_SAMPLE_FMT_FLTP]  = VLC_CODEC_FL32,
 433         [AV_SAMPLE_FMT_DBLP]  = VLC_CODEC_FL64,
 434     };
 435     if( sizeof(fcc) / sizeof(fcc[0]) < (unsigned)fmt )
 436         return fcc[fmt];
 437     return VLC_CODEC_S16N;
 438 }
 439
 440 static const uint64_t pi_channels_map[][2] =
 441 {
 442     { AV_CH_FRONT_LEFT,        AOUT_CHAN_LEFT },
 443     { AV_CH_FRONT_RIGHT,       AOUT_CHAN_RIGHT },
 444     { AV_CH_FRONT_CENTER,      AOUT_CHAN_CENTER },
 445     { AV_CH_LOW_FREQUENCY,     AOUT_CHAN_LFE },
 446     { AV_CH_BACK_LEFT,         AOUT_CHAN_REARLEFT },
 447     { AV_CH_BACK_RIGHT,        AOUT_CHAN_REARRIGHT },
 448     { AV_CH_FRONT_LEFT_OF_CENTER, 0 },
 449     { AV_CH_FRONT_RIGHT_OF_CENTER, 0 },
 450     { AV_CH_BACK_CENTER,       AOUT_CHAN_REARCENTER },
 451     { AV_CH_SIDE_LEFT,         AOUT_CHAN_MIDDLELEFT },
 452     { AV_CH_SIDE_RIGHT,        AOUT_CHAN_MIDDLERIGHT },
 453     { AV_CH_TOP_CENTER,        0 },
 454     { AV_CH_TOP_FRONT_LEFT,    0 },
 455     { AV_CH_TOP_FRONT_CENTER,  0 },
 456     { AV_CH_TOP_FRONT_RIGHT,   0 },
 457     { AV_CH_TOP_BACK_LEFT,     0 },
 458     { AV_CH_TOP_BACK_CENTER,   0 },
 459     { AV_CH_TOP_BACK_RIGHT,    0 },
 460     { AV_CH_STEREO_LEFT,       0 },
 461     { AV_CH_STEREO_RIGHT,      0 },
 462 };
 463
 464 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust )
 465 {
 466     decoder_sys_t *p_sys = p_dec->p_sys;
 467
 468     p_dec->fmt_out.i_codec = GetVlcAudioFormat( p_sys->p_context->sample_fmt );
 469     p_dec->fmt_out.audio.i_format = p_dec->fmt_out.i_codec;
 470     p_dec->fmt_out.audio.i_rate = p_sys->p_context->sample_rate;
 471
 472     /* */
 473     if( p_sys->i_previous_channels == p_sys->p_context->channels &&
 474         p_sys->i_previous_layout == p_sys->p_context->channel_layout )
 475         return;
 476     if( b_trust )
 477     {
 478         p_sys->i_previous_channels = p_sys->p_context->channels;
 479         p_sys->i_previous_layout = p_sys->p_context->channel_layout;
 480     }
 481
 482     /* Specified order
 483      * FIXME should we use fmt_in.audio.i_physical_channels or not ?
 484      */
 485     const unsigned i_order_max = 8 * sizeof(p_sys->p_context->channel_layout);
 486     uint32_t pi_order_src[i_order_max];
 487     int i_channels_src = 0;
 488
 489     if( p_sys->p_context->channel_layout )
 490     {
 491         for( unsigned i = 0; i < sizeof(pi_channels_map)/sizeof(*pi_channels_map); i++ )
 492         {
 493             if( p_sys->p_context->channel_layout & pi_channels_map[i][0] )
 494                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
 495         }
 496     }
 497     else
 498     {
 499         /* Create default order  */
 500         if( b_trust )
 501             msg_Warn( p_dec, "Physical channel configuration not set : guessing" );
 502         for( unsigned int i = 0; i < __MIN( i_order_max, (unsigned)p_sys->p_context->channels ); i++ )
 503         {
 504             if( i < sizeof(pi_channels_map)/sizeof(*pi_channels_map) )
 505                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
 506         }
 507     }
 508     if( i_channels_src != p_sys->p_context->channels && b_trust )
 509         msg_Err( p_dec, "Channel layout not understood" );
 510
 511     uint32_t i_layout_dst;
 512     int      i_channels_dst;
 513     p_sys->b_extract = aout_CheckChannelExtraction( p_sys->pi_extraction,
 514                                                     &i_layout_dst, &i_channels_dst,
 515                                                     NULL, pi_order_src, i_channels_src );
 516     if( i_channels_dst != i_channels_src && b_trust )
 517         msg_Warn( p_dec, "%d channels are dropped", i_channels_src - i_channels_dst );
 518
 519     p_dec->fmt_out.audio.i_physical_channels =
 520     p_dec->fmt_out.audio.i_original_channels = i_layout_dst;
 521     aout_FormatPrepare( &p_dec->fmt_out.audio );
 522 }
 523