git.sesse.net Git - vlc/blob - modules/codec/avcodec/audio.c

   1 /*****************************************************************************
   2  * audio.c: audio decoder using ffmpeg library
   3  *****************************************************************************
   4  * Copyright (C) 1999-2003 the VideoLAN team
   5  * $Id$
   6  *
   7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   8  *          Gildas Bazin <gbazin@videolan.org>
   9  *
  10  * This program is free software; you can redistribute it and/or modify
  11  * it under the terms of the GNU General Public License as published by
  12  * the Free Software Foundation; either version 2 of the License, or
  13  * (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with this program; if not, write to the Free Software
  22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  23  *****************************************************************************/
  24
  25 /*****************************************************************************
  26  * Preamble
  27  *****************************************************************************/
  28 #ifdef HAVE_CONFIG_H
  29 # include "config.h"
  30 #endif
  31
  32 #include <vlc_common.h>
  33 #include <vlc_aout.h>
  34 #include <vlc_codec.h>
  35 #include <vlc_avcodec.h>
  36
  37 /* ffmpeg header */
  38 #ifdef HAVE_LIBAVCODEC_AVCODEC_H
  39 #   include <libavcodec/avcodec.h>
  40 #elif defined(HAVE_FFMPEG_AVCODEC_H)
  41 #   include <ffmpeg/avcodec.h>
  42 #else
  43 #   include <avcodec.h>
  44 #endif
  45
  46 #include "avcodec.h"
  47
  48 /*****************************************************************************
  49  * decoder_sys_t : decoder descriptor
  50  *****************************************************************************/
  51 struct decoder_sys_t
  52 {
  53     FFMPEG_COMMON_MEMBERS
  54
  55     /* Temporary buffer for libavcodec */
  56     int     i_output_max;
  57     uint8_t *p_output;
  58
  59     /*
  60      * Output properties
  61      */
  62     audio_sample_format_t aout_format;
  63     date_t                end_date;
  64
  65     /*
  66      *
  67      */
  68     uint8_t *p_samples;
  69     int     i_samples;
  70
  71     /* */
  72     int     i_reject_count;
  73
  74     /* */
  75     bool    b_extract;
  76     int     pi_extraction[AOUT_CHAN_MAX];
  77     int     i_previous_channels;
  78     int64_t i_previous_layout;
  79 };
  80
  81 #define BLOCK_FLAG_PRIVATE_REALLOCATED (1 << BLOCK_FLAG_PRIVATE_SHIFT)
  82
  83 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust );
  84
  85 static void InitDecoderConfig( decoder_t *p_dec, AVCodecContext *p_context )
  86 {
  87     if( p_dec->fmt_in.i_extra > 0 )
  88     {
  89         const uint8_t * const p_src = p_dec->fmt_in.p_extra;
  90         int i_offset;
  91         int i_size;
  92
  93         if( p_dec->fmt_in.i_codec == VLC_CODEC_FLAC )
  94         {
  95             i_offset = 8;
  96             i_size = p_dec->fmt_in.i_extra - 8;
  97         }
  98         else if( p_dec->fmt_in.i_codec == VLC_CODEC_ALAC )
  99         {
 100             static const uint8_t p_pattern[] = { 0, 0, 0, 36, 'a', 'l', 'a', 'c' };
 101             /* Find alac atom XXX it is a bit ugly */
 102             for( i_offset = 0; i_offset < p_dec->fmt_in.i_extra - sizeof(p_pattern); i_offset++ )
 103             {
 104                 if( !memcmp( &p_src[i_offset], p_pattern, sizeof(p_pattern) ) )
 105                     break;
 106             }
 107             i_size = __MIN( p_dec->fmt_in.i_extra - i_offset, 36 );
 108             if( i_size < 36 )
 109                 i_size = 0;
 110         }
 111         else
 112         {
 113             i_offset = 0;
 114             i_size = p_dec->fmt_in.i_extra;
 115         }
 116
 117         if( i_size > 0 )
 118         {
 119             p_context->extradata =
 120                 malloc( i_size + FF_INPUT_BUFFER_PADDING_SIZE );
 121             if( p_context->extradata )
 122             {
 123                 uint8_t *p_dst = p_context->extradata;
 124
 125                 p_context->extradata_size = i_size;
 126
 127                 memcpy( &p_dst[0],            &p_src[i_offset], i_size );
 128                 memset( &p_dst[i_size], 0, FF_INPUT_BUFFER_PADDING_SIZE );
 129             }
 130         }
 131     }
 132     else
 133     {
 134         p_context->extradata_size = 0;
 135         p_context->extradata = NULL;
 136     }
 137 }
 138
 139 /*****************************************************************************
 140  * InitAudioDec: initialize audio decoder
 141  *****************************************************************************
 142  * The ffmpeg codec will be opened, some memory allocated.
 143  *****************************************************************************/
 144 int InitAudioDec( decoder_t *p_dec, AVCodecContext *p_context,
 145                       AVCodec *p_codec, int i_codec_id, const char *psz_namecodec )
 146 {
 147     decoder_sys_t *p_sys;
 148
 149     /* Allocate the memory needed to store the decoder's structure */
 150     if( ( p_dec->p_sys = p_sys = malloc(sizeof(*p_sys)) ) == NULL )
 151     {
 152         return VLC_ENOMEM;
 153     }
 154
 155     p_codec->type = CODEC_TYPE_AUDIO;
 156     p_context->codec_type = CODEC_TYPE_AUDIO;
 157     p_context->codec_id = i_codec_id;
 158     p_sys->p_context = p_context;
 159     p_sys->p_codec = p_codec;
 160     p_sys->i_codec_id = i_codec_id;
 161     p_sys->psz_namecodec = psz_namecodec;
 162     p_sys->b_delayed_open = true;
 163
 164     // Initialize decoder extradata
 165     InitDecoderConfig( p_dec, p_context);
 166
 167     /* ***** Open the codec ***** */
 168     if( ffmpeg_OpenCodec( p_dec ) < 0 )
 169     {
 170         msg_Err( p_dec, "cannot open codec (%s)", p_sys->psz_namecodec );
 171         free( p_sys->p_context->extradata );
 172         free( p_sys );
 173         return VLC_EGENERIC;
 174     }
 175
 176     switch( i_codec_id )
 177     {
 178     case CODEC_ID_WAVPACK:
 179         p_sys->i_output_max = 8 * sizeof(int32_t) * 131072;
 180         break;
 181     case CODEC_ID_TTA:
 182         p_sys->i_output_max = p_sys->p_context->channels * sizeof(int32_t) * p_sys->p_context->sample_rate * 2;
 183         break;
 184     case CODEC_ID_FLAC:
 185         p_sys->i_output_max = 8 * sizeof(int32_t) * 65535;
 186         break;
 187 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 52, 35, 0 )
 188     case CODEC_ID_WMAPRO:
 189         p_sys->i_output_max = 8 * sizeof(float) * 6144; /* (1 << 12) * 3/2 */
 190         break;
 191 #endif
 192     default:
 193         p_sys->i_output_max = 0;
 194         break;
 195     }
 196     if( p_sys->i_output_max < AVCODEC_MAX_AUDIO_FRAME_SIZE )
 197         p_sys->i_output_max = AVCODEC_MAX_AUDIO_FRAME_SIZE;
 198     msg_Dbg( p_dec, "Using %d bytes output buffer", p_sys->i_output_max );
 199     p_sys->p_output = av_malloc( p_sys->i_output_max );
 200
 201     p_sys->p_samples = NULL;
 202     p_sys->i_samples = 0;
 203     p_sys->i_reject_count = 0;
 204     p_sys->b_extract = false;
 205     p_sys->i_previous_channels = 0;
 206     p_sys->i_previous_layout = 0;
 207
 208     /* */
 209     p_dec->fmt_out.i_cat = AUDIO_ES;
 210     /* Try to set as much information as possible but do not trust it */
 211     SetupOutputFormat( p_dec, false );
 212
 213     date_Set( &p_sys->end_date, 0 );
 214     if( p_dec->fmt_out.audio.i_rate )
 215         date_Init( &p_sys->end_date, p_dec->fmt_out.audio.i_rate, 1 );
 216     else if( p_dec->fmt_in.audio.i_rate )
 217         date_Init( &p_sys->end_date, p_dec->fmt_in.audio.i_rate, 1 );
 218
 219     return VLC_SUCCESS;
 220 }
 221
 222 /*****************************************************************************
 223  * SplitBuffer: Needed because aout really doesn't like big audio chunk and
 224  * wma produces easily > 30000 samples...
 225  *****************************************************************************/
 226 static aout_buffer_t *SplitBuffer( decoder_t *p_dec )
 227 {
 228     decoder_sys_t *p_sys = p_dec->p_sys;
 229     int i_samples = __MIN( p_sys->i_samples, 4096 );
 230     aout_buffer_t *p_buffer;
 231
 232     if( i_samples == 0 ) return NULL;
 233
 234     if( ( p_buffer = decoder_NewAudioBuffer( p_dec, i_samples ) ) == NULL )
 235         return NULL;
 236
 237     p_buffer->i_pts = date_Get( &p_sys->end_date );
 238     p_buffer->i_length = date_Increment( &p_sys->end_date, i_samples )
 239                          - p_buffer->i_pts;
 240
 241     if( p_sys->b_extract )
 242         aout_ChannelExtract( p_buffer->p_buffer, p_dec->fmt_out.audio.i_channels,
 243                              p_sys->p_samples, p_sys->p_context->channels, i_samples,
 244                              p_sys->pi_extraction, p_dec->fmt_out.audio.i_bitspersample );
 245     else
 246         memcpy( p_buffer->p_buffer, p_sys->p_samples, p_buffer->i_buffer );
 247
 248     p_sys->p_samples += i_samples * p_sys->p_context->channels * ( p_dec->fmt_out.audio.i_bitspersample / 8 );
 249     p_sys->i_samples -= i_samples;
 250
 251     return p_buffer;
 252 }
 253
 254 /*****************************************************************************
 255  * DecodeAudio: Called to decode one frame
 256  *****************************************************************************/
 257 aout_buffer_t * DecodeAudio ( decoder_t *p_dec, block_t **pp_block )
 258 {
 259     decoder_sys_t *p_sys = p_dec->p_sys;
 260     int i_used, i_output;
 261     aout_buffer_t *p_buffer;
 262     block_t *p_block;
 263
 264     if( !pp_block || !*pp_block ) return NULL;
 265
 266     p_block = *pp_block;
 267
 268     if( !p_sys->p_context->extradata_size && p_dec->fmt_in.i_extra &&
 269         p_sys->b_delayed_open)
 270     {
 271         InitDecoderConfig( p_dec, p_sys->p_context);
 272         if( ffmpeg_OpenCodec( p_dec ) )
 273             msg_Err( p_dec, "Cannot open decoder %s", p_sys->psz_namecodec );
 274     }
 275     if( p_sys->b_delayed_open )
 276     {
 277         block_Release( p_block );
 278         return NULL;
 279     }
 280
 281     if( p_block->i_flags & (BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED) )
 282     {
 283         block_Release( p_block );
 284         avcodec_flush_buffers( p_sys->p_context );
 285         p_sys->i_samples = 0;
 286         date_Set( &p_sys->end_date, 0 );
 287
 288         if( p_sys->i_codec_id == CODEC_ID_MP2 || p_sys->i_codec_id == CODEC_ID_MP3 )
 289             p_sys->i_reject_count = 3;
 290         return NULL;
 291     }
 292
 293     if( p_sys->i_samples > 0 )
 294     {
 295         /* More data */
 296         p_buffer = SplitBuffer( p_dec );
 297         if( !p_buffer ) block_Release( p_block );
 298         return p_buffer;
 299     }
 300
 301     if( !date_Get( &p_sys->end_date ) && !p_block->i_pts )
 302     {
 303         /* We've just started the stream, wait for the first PTS. */
 304         block_Release( p_block );
 305         return NULL;
 306     }
 307
 308     if( p_block->i_buffer <= 0 )
 309     {
 310         block_Release( p_block );
 311         return NULL;
 312     }
 313
 314     if( (p_block->i_flags & BLOCK_FLAG_PRIVATE_REALLOCATED) == 0 )
 315     {
 316         *pp_block = p_block = block_Realloc( p_block, 0, p_block->i_buffer + FF_INPUT_BUFFER_PADDING_SIZE );
 317         if( !p_block )
 318             return NULL;
 319         p_block->i_buffer -= FF_INPUT_BUFFER_PADDING_SIZE;
 320         memset( &p_block->p_buffer[p_block->i_buffer], 0, FF_INPUT_BUFFER_PADDING_SIZE );
 321
 322         p_block->i_flags |= BLOCK_FLAG_PRIVATE_REALLOCATED;
 323     }
 324
 325     do
 326     {
 327         i_output = __MAX( p_block->i_buffer, p_sys->i_output_max );
 328         if( i_output > p_sys->i_output_max )
 329         {
 330             /* Grow output buffer if necessary (eg. for PCM data) */
 331             p_sys->p_output = av_realloc( p_sys->p_output, i_output );
 332         }
 333
 334         i_used = avcodec_decode_audio2( p_sys->p_context,
 335                                        (int16_t*)p_sys->p_output, &i_output,
 336                                        p_block->p_buffer, p_block->i_buffer );
 337
 338         if( i_used < 0 || i_output < 0 )
 339         {
 340             if( i_used < 0 )
 341                 msg_Warn( p_dec, "cannot decode one frame (%zu bytes)",
 342                           p_block->i_buffer );
 343
 344             block_Release( p_block );
 345             return NULL;
 346         }
 347         else if( (size_t)i_used > p_block->i_buffer )
 348         {
 349             i_used = p_block->i_buffer;
 350         }
 351
 352         p_block->i_buffer -= i_used;
 353         p_block->p_buffer += i_used;
 354
 355     } while( p_block->i_buffer > 0 && i_output <= 0 );
 356
 357     if( p_sys->p_context->channels <= 0 || p_sys->p_context->channels > 8 ||
 358         p_sys->p_context->sample_rate <= 0 )
 359     {
 360         msg_Warn( p_dec, "invalid audio properties channels count %d, sample rate %d",
 361                   p_sys->p_context->channels, p_sys->p_context->sample_rate );
 362         block_Release( p_block );
 363         return NULL;
 364     }
 365
 366     if( p_dec->fmt_out.audio.i_rate != (unsigned int)p_sys->p_context->sample_rate )
 367     {
 368         date_Init( &p_sys->end_date, p_sys->p_context->sample_rate, 1 );
 369         date_Set( &p_sys->end_date, p_block->i_pts );
 370     }
 371
 372     /* **** Set audio output parameters **** */
 373     SetupOutputFormat( p_dec, true );
 374
 375     if( p_block->i_pts != 0 &&
 376         p_block->i_pts != date_Get( &p_sys->end_date ) )
 377     {
 378         date_Set( &p_sys->end_date, p_block->i_pts );
 379     }
 380     p_block->i_pts = 0;
 381
 382     /* **** Now we can output these samples **** */
 383     p_sys->i_samples = i_output / (p_dec->fmt_out.audio.i_bitspersample / 8) / p_sys->p_context->channels;
 384     p_sys->p_samples = p_sys->p_output;
 385
 386     /* Silent unwanted samples */
 387     if( p_sys->i_reject_count > 0 )
 388     {
 389         memset( p_sys->p_output, 0, i_output );
 390         p_sys->i_reject_count--;
 391     }
 392
 393     p_buffer = SplitBuffer( p_dec );
 394     if( !p_buffer ) block_Release( p_block );
 395     return p_buffer;
 396 }
 397
 398 /*****************************************************************************
 399  * EndAudioDec: audio decoder destruction
 400  *****************************************************************************/
 401 void EndAudioDec( decoder_t *p_dec )
 402 {
 403     decoder_sys_t *p_sys = p_dec->p_sys;
 404
 405     av_free( p_sys->p_output );
 406 }
 407
 408 /*****************************************************************************
 409  *
 410  *****************************************************************************/
 411
 412 void GetVlcAudioFormat( vlc_fourcc_t *pi_codec, unsigned *pi_bits, int i_sample_fmt )
 413 {
 414     switch( i_sample_fmt )
 415     {
 416     case SAMPLE_FMT_U8:
 417         *pi_codec = VLC_CODEC_U8;
 418         *pi_bits = 8;
 419         break;
 420     case SAMPLE_FMT_S32:
 421         *pi_codec = VLC_CODEC_S32N;
 422         *pi_bits = 32;
 423         break;
 424     case SAMPLE_FMT_FLT:
 425         *pi_codec = VLC_CODEC_FL32;
 426         *pi_bits = 32;
 427         break;
 428     case SAMPLE_FMT_DBL:
 429         *pi_codec = VLC_CODEC_FL64;
 430         *pi_bits = 64;
 431         break;
 432
 433     case SAMPLE_FMT_S16:
 434     default:
 435         *pi_codec = VLC_CODEC_S16N;
 436         *pi_bits = 16;
 437         break;
 438     }
 439 }
 440
 441 static const uint64_t pi_channels_map[][2] =
 442 {
 443     { CH_FRONT_LEFT,        AOUT_CHAN_LEFT },
 444     { CH_FRONT_RIGHT,       AOUT_CHAN_RIGHT },
 445     { CH_FRONT_CENTER,      AOUT_CHAN_CENTER },
 446     { CH_LOW_FREQUENCY,     AOUT_CHAN_LFE },
 447     { CH_BACK_LEFT,         AOUT_CHAN_REARLEFT },
 448     { CH_BACK_RIGHT,        AOUT_CHAN_REARRIGHT },
 449     { CH_FRONT_LEFT_OF_CENTER, 0 },
 450     { CH_FRONT_RIGHT_OF_CENTER, 0 },
 451     { CH_BACK_CENTER,       AOUT_CHAN_REARCENTER },
 452     { CH_SIDE_LEFT,         AOUT_CHAN_MIDDLELEFT },
 453     { CH_SIDE_RIGHT,        AOUT_CHAN_MIDDLERIGHT },
 454     { CH_TOP_CENTER,        0 },
 455     { CH_TOP_FRONT_LEFT,    0 },
 456     { CH_TOP_FRONT_CENTER,  0 },
 457     { CH_TOP_FRONT_RIGHT,   0 },
 458     { CH_TOP_BACK_LEFT,     0 },
 459     { CH_TOP_BACK_CENTER,   0 },
 460     { CH_TOP_BACK_RIGHT,    0 },
 461     { CH_STEREO_LEFT,       0 },
 462     { CH_STEREO_RIGHT,      0 },
 463 };
 464
 465 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust )
 466 {
 467     decoder_sys_t *p_sys = p_dec->p_sys;
 468
 469     GetVlcAudioFormat( &p_dec->fmt_out.i_codec,
 470                        &p_dec->fmt_out.audio.i_bitspersample,
 471                        p_sys->p_context->sample_fmt );
 472     p_dec->fmt_out.audio.i_rate = p_sys->p_context->sample_rate;
 473
 474     /* */
 475     if( p_sys->i_previous_channels == p_sys->p_context->channels &&
 476         p_sys->i_previous_layout == p_sys->p_context->channel_layout )
 477         return;
 478     if( b_trust )
 479     {
 480         p_sys->i_previous_channels = p_sys->p_context->channels;
 481         p_sys->i_previous_layout = p_sys->p_context->channel_layout;
 482     }
 483
 484     /* Specified order
 485      * FIXME should we use fmt_in.audio.i_physical_channels or not ?
 486      */
 487     const unsigned i_order_max = 8 * sizeof(p_sys->p_context->channel_layout);
 488     uint32_t pi_order_src[i_order_max];
 489     int i_channels_src = 0;
 490
 491     if( p_sys->p_context->channel_layout )
 492     {
 493         for( unsigned i = 0; i < sizeof(pi_channels_map)/sizeof(*pi_channels_map); i++ )
 494         {
 495             if( p_sys->p_context->channel_layout & pi_channels_map[i][0] )
 496                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
 497         }
 498     }
 499     else
 500     {
 501         /* Create default order  */
 502         if( b_trust )
 503             msg_Warn( p_dec, "Physical channel configuration not set : guessing" );
 504         for( unsigned int i = 0; i < __MIN( i_order_max, (unsigned)p_sys->p_context->channels ); i++ )
 505         {
 506             if( i < sizeof(pi_channels_map)/sizeof(*pi_channels_map) )
 507                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
 508         }
 509     }
 510     if( i_channels_src != p_sys->p_context->channels && b_trust )
 511         msg_Err( p_dec, "Channel layout not understood" );
 512
 513     uint32_t i_layout_dst;
 514     int      i_channels_dst;
 515     p_sys->b_extract = aout_CheckChannelExtraction( p_sys->pi_extraction,
 516                                                     &i_layout_dst, &i_channels_dst,
 517                                                     NULL, pi_order_src, i_channels_src );
 518     if( i_channels_dst != i_channels_src && b_trust )
 519         msg_Warn( p_dec, "%d channels are dropped", i_channels_src - i_channels_dst );
 520
 521     p_dec->fmt_out.audio.i_physical_channels =
 522     p_dec->fmt_out.audio.i_original_channels = i_layout_dst;
 523     p_dec->fmt_out.audio.i_channels = i_channels_dst;
 524 }
 525