git.sesse.net Git - vlc/blob - modules/codec/avcodec/audio.c

   1 /*****************************************************************************
   2  * audio.c: audio decoder using ffmpeg library
   3  *****************************************************************************
   4  * Copyright (C) 1999-2003 the VideoLAN team
   5  * $Id$
   6  *
   7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   8  *          Gildas Bazin <gbazin@videolan.org>
   9  *
  10  * This program is free software; you can redistribute it and/or modify
  11  * it under the terms of the GNU General Public License as published by
  12  * the Free Software Foundation; either version 2 of the License, or
  13  * (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with this program; if not, write to the Free Software
  22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  23  *****************************************************************************/
  24
  25 /*****************************************************************************
  26  * Preamble
  27  *****************************************************************************/
  28 #ifdef HAVE_CONFIG_H
  29 # include "config.h"
  30 #endif
  31
  32 #include <vlc_common.h>
  33 #include <vlc_aout.h>
  34 #include <vlc_codec.h>
  35 #include <vlc_avcodec.h>
  36
  37 /* ffmpeg header */
  38 #ifdef HAVE_LIBAVCODEC_AVCODEC_H
  39 #   include <libavcodec/avcodec.h>
  40 #else
  41 #   include <avcodec.h>
  42 #endif
  43
  44 #if LIBAVUTIL_VERSION_INT >= ((50<<16)+(38<<8)+0)
  45 # include "libavutil/audioconvert.h"
  46 #endif
  47
  48 #include "avcodec.h"
  49
  50 /*****************************************************************************
  51  * decoder_sys_t : decoder descriptor
  52  *****************************************************************************/
  53 struct decoder_sys_t
  54 {
  55     AVCODEC_COMMON_MEMBERS
  56
  57     /* Temporary buffer for libavcodec */
  58     int     i_output_max;
  59     uint8_t *p_output;
  60
  61     /*
  62      * Output properties
  63      */
  64     audio_sample_format_t aout_format;
  65     date_t                end_date;
  66
  67     /*
  68      *
  69      */
  70     uint8_t *p_samples;
  71     int     i_samples;
  72
  73     /* */
  74     int     i_reject_count;
  75
  76     /* */
  77     bool    b_extract;
  78     int     pi_extraction[AOUT_CHAN_MAX];
  79     int     i_previous_channels;
  80     int64_t i_previous_layout;
  81 };
  82
  83 #define BLOCK_FLAG_PRIVATE_REALLOCATED (1 << BLOCK_FLAG_PRIVATE_SHIFT)
  84
  85 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust );
  86
  87 static void InitDecoderConfig( decoder_t *p_dec, AVCodecContext *p_context )
  88 {
  89     if( p_dec->fmt_in.i_extra > 0 )
  90     {
  91         const uint8_t * const p_src = p_dec->fmt_in.p_extra;
  92         int i_offset;
  93         int i_size;
  94
  95         if( p_dec->fmt_in.i_codec == VLC_CODEC_FLAC )
  96         {
  97             i_offset = 8;
  98             i_size = p_dec->fmt_in.i_extra - 8;
  99         }
 100         else if( p_dec->fmt_in.i_codec == VLC_CODEC_ALAC )
 101         {
 102             static const uint8_t p_pattern[] = { 0, 0, 0, 36, 'a', 'l', 'a', 'c' };
 103             /* Find alac atom XXX it is a bit ugly */
 104             for( i_offset = 0; i_offset < p_dec->fmt_in.i_extra - sizeof(p_pattern); i_offset++ )
 105             {
 106                 if( !memcmp( &p_src[i_offset], p_pattern, sizeof(p_pattern) ) )
 107                     break;
 108             }
 109             i_size = __MIN( p_dec->fmt_in.i_extra - i_offset, 36 );
 110             if( i_size < 36 )
 111                 i_size = 0;
 112         }
 113         else
 114         {
 115             i_offset = 0;
 116             i_size = p_dec->fmt_in.i_extra;
 117         }
 118
 119         if( i_size > 0 )
 120         {
 121             p_context->extradata =
 122                 malloc( i_size + FF_INPUT_BUFFER_PADDING_SIZE );
 123             if( p_context->extradata )
 124             {
 125                 uint8_t *p_dst = p_context->extradata;
 126
 127                 p_context->extradata_size = i_size;
 128
 129                 memcpy( &p_dst[0],            &p_src[i_offset], i_size );
 130                 memset( &p_dst[i_size], 0, FF_INPUT_BUFFER_PADDING_SIZE );
 131             }
 132         }
 133     }
 134     else
 135     {
 136         p_context->extradata_size = 0;
 137         p_context->extradata = NULL;
 138     }
 139 }
 140
 141 /*****************************************************************************
 142  * InitAudioDec: initialize audio decoder
 143  *****************************************************************************
 144  * The ffmpeg codec will be opened, some memory allocated.
 145  *****************************************************************************/
 146 int InitAudioDec( decoder_t *p_dec, AVCodecContext *p_context,
 147                       AVCodec *p_codec, int i_codec_id, const char *psz_namecodec )
 148 {
 149     decoder_sys_t *p_sys;
 150
 151     /* Allocate the memory needed to store the decoder's structure */
 152     if( ( p_dec->p_sys = p_sys = malloc(sizeof(*p_sys)) ) == NULL )
 153     {
 154         return VLC_ENOMEM;
 155     }
 156
 157     p_codec->type = AVMEDIA_TYPE_AUDIO;
 158     p_context->codec_type = AVMEDIA_TYPE_AUDIO;
 159     p_context->codec_id = i_codec_id;
 160     p_sys->p_context = p_context;
 161     p_sys->p_codec = p_codec;
 162     p_sys->i_codec_id = i_codec_id;
 163     p_sys->psz_namecodec = psz_namecodec;
 164     p_sys->b_delayed_open = true;
 165
 166     // Initialize decoder extradata
 167     InitDecoderConfig( p_dec, p_context);
 168
 169     /* ***** Open the codec ***** */
 170     if( ffmpeg_OpenCodec( p_dec ) < 0 )
 171     {
 172         msg_Err( p_dec, "cannot open codec (%s)", p_sys->psz_namecodec );
 173         free( p_sys->p_context->extradata );
 174         free( p_sys );
 175         return VLC_EGENERIC;
 176     }
 177
 178     switch( i_codec_id )
 179     {
 180     case CODEC_ID_WAVPACK:
 181         p_sys->i_output_max = 8 * sizeof(int32_t) * 131072;
 182         break;
 183     case CODEC_ID_TTA:
 184         p_sys->i_output_max = p_sys->p_context->channels * sizeof(int32_t) * p_sys->p_context->sample_rate * 2;
 185         break;
 186     case CODEC_ID_FLAC:
 187         p_sys->i_output_max = 8 * sizeof(int32_t) * 65535;
 188         break;
 189 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 52, 35, 0 )
 190     case CODEC_ID_WMAPRO:
 191         p_sys->i_output_max = 8 * sizeof(float) * 6144; /* (1 << 12) * 3/2 */
 192         break;
 193 #endif
 194     default:
 195         p_sys->i_output_max = 0;
 196         break;
 197     }
 198     if( p_sys->i_output_max < AVCODEC_MAX_AUDIO_FRAME_SIZE )
 199         p_sys->i_output_max = AVCODEC_MAX_AUDIO_FRAME_SIZE;
 200     msg_Dbg( p_dec, "Using %d bytes output buffer", p_sys->i_output_max );
 201     p_sys->p_output = av_malloc( p_sys->i_output_max );
 202
 203     p_sys->p_samples = NULL;
 204     p_sys->i_samples = 0;
 205     p_sys->i_reject_count = 0;
 206     p_sys->b_extract = false;
 207     p_sys->i_previous_channels = 0;
 208     p_sys->i_previous_layout = 0;
 209
 210     /* */
 211     p_dec->fmt_out.i_cat = AUDIO_ES;
 212     /* Try to set as much information as possible but do not trust it */
 213     SetupOutputFormat( p_dec, false );
 214
 215     date_Set( &p_sys->end_date, 0 );
 216     if( p_dec->fmt_out.audio.i_rate )
 217         date_Init( &p_sys->end_date, p_dec->fmt_out.audio.i_rate, 1 );
 218     else if( p_dec->fmt_in.audio.i_rate )
 219         date_Init( &p_sys->end_date, p_dec->fmt_in.audio.i_rate, 1 );
 220
 221     return VLC_SUCCESS;
 222 }
 223
 224 /*****************************************************************************
 225  * SplitBuffer: Needed because aout really doesn't like big audio chunk and
 226  * wma produces easily > 30000 samples...
 227  *****************************************************************************/
 228 static aout_buffer_t *SplitBuffer( decoder_t *p_dec )
 229 {
 230     decoder_sys_t *p_sys = p_dec->p_sys;
 231     int i_samples = __MIN( p_sys->i_samples, 4096 );
 232     aout_buffer_t *p_buffer;
 233
 234     if( i_samples == 0 ) return NULL;
 235
 236     if( ( p_buffer = decoder_NewAudioBuffer( p_dec, i_samples ) ) == NULL )
 237         return NULL;
 238
 239     p_buffer->i_pts = date_Get( &p_sys->end_date );
 240     p_buffer->i_length = date_Increment( &p_sys->end_date, i_samples )
 241                          - p_buffer->i_pts;
 242
 243     if( p_sys->b_extract )
 244         aout_ChannelExtract( p_buffer->p_buffer, p_dec->fmt_out.audio.i_channels,
 245                              p_sys->p_samples, p_sys->p_context->channels, i_samples,
 246                              p_sys->pi_extraction, p_dec->fmt_out.audio.i_bitspersample );
 247     else
 248         memcpy( p_buffer->p_buffer, p_sys->p_samples, p_buffer->i_buffer );
 249
 250     p_sys->p_samples += i_samples * p_sys->p_context->channels * ( p_dec->fmt_out.audio.i_bitspersample / 8 );
 251     p_sys->i_samples -= i_samples;
 252
 253     return p_buffer;
 254 }
 255
 256 /*****************************************************************************
 257  * DecodeAudio: Called to decode one frame
 258  *****************************************************************************/
 259 aout_buffer_t * DecodeAudio ( decoder_t *p_dec, block_t **pp_block )
 260 {
 261     decoder_sys_t *p_sys = p_dec->p_sys;
 262     int i_used, i_output;
 263     aout_buffer_t *p_buffer;
 264     block_t *p_block;
 265     AVPacket pkt;
 266
 267     if( !pp_block || !*pp_block ) return NULL;
 268
 269     p_block = *pp_block;
 270
 271     if( !p_sys->p_context->extradata_size && p_dec->fmt_in.i_extra &&
 272         p_sys->b_delayed_open)
 273     {
 274         InitDecoderConfig( p_dec, p_sys->p_context);
 275         if( ffmpeg_OpenCodec( p_dec ) )
 276             msg_Err( p_dec, "Cannot open decoder %s", p_sys->psz_namecodec );
 277     }
 278     if( p_sys->b_delayed_open )
 279     {
 280         block_Release( p_block );
 281         return NULL;
 282     }
 283
 284     if( p_block->i_flags & (BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED) )
 285     {
 286         block_Release( p_block );
 287         avcodec_flush_buffers( p_sys->p_context );
 288         p_sys->i_samples = 0;
 289         date_Set( &p_sys->end_date, 0 );
 290
 291         if( p_sys->i_codec_id == CODEC_ID_MP2 || p_sys->i_codec_id == CODEC_ID_MP3 )
 292             p_sys->i_reject_count = 3;
 293         return NULL;
 294     }
 295
 296     if( p_sys->i_samples > 0 )
 297     {
 298         /* More data */
 299         p_buffer = SplitBuffer( p_dec );
 300         if( !p_buffer ) block_Release( p_block );
 301         return p_buffer;
 302     }
 303
 304     if( !date_Get( &p_sys->end_date ) && !p_block->i_pts )
 305     {
 306         /* We've just started the stream, wait for the first PTS. */
 307         block_Release( p_block );
 308         return NULL;
 309     }
 310
 311     if( p_block->i_buffer <= 0 )
 312     {
 313         block_Release( p_block );
 314         return NULL;
 315     }
 316
 317     if( (p_block->i_flags & BLOCK_FLAG_PRIVATE_REALLOCATED) == 0 )
 318     {
 319         *pp_block = p_block = block_Realloc( p_block, 0, p_block->i_buffer + FF_INPUT_BUFFER_PADDING_SIZE );
 320         if( !p_block )
 321             return NULL;
 322         p_block->i_buffer -= FF_INPUT_BUFFER_PADDING_SIZE;
 323         memset( &p_block->p_buffer[p_block->i_buffer], 0, FF_INPUT_BUFFER_PADDING_SIZE );
 324
 325         p_block->i_flags |= BLOCK_FLAG_PRIVATE_REALLOCATED;
 326     }
 327
 328     do
 329     {
 330         i_output = __MAX( p_block->i_buffer, p_sys->i_output_max );
 331         if( i_output > p_sys->i_output_max )
 332         {
 333             /* Grow output buffer if necessary (eg. for PCM data) */
 334             p_sys->p_output = av_realloc( p_sys->p_output, i_output );
 335         }
 336
 337         av_init_packet( &pkt );
 338         pkt.data = p_block->p_buffer;
 339         pkt.size = p_block->i_buffer;
 340         i_used = avcodec_decode_audio3( p_sys->p_context,
 341                                        (int16_t*)p_sys->p_output, &i_output,
 342                                        &pkt );
 343
 344         if( i_used < 0 || i_output < 0 )
 345         {
 346             if( i_used < 0 )
 347                 msg_Warn( p_dec, "cannot decode one frame (%zu bytes)",
 348                           p_block->i_buffer );
 349
 350             block_Release( p_block );
 351             return NULL;
 352         }
 353         else if( (size_t)i_used > p_block->i_buffer )
 354         {
 355             i_used = p_block->i_buffer;
 356         }
 357
 358         p_block->i_buffer -= i_used;
 359         p_block->p_buffer += i_used;
 360
 361     } while( p_block->i_buffer > 0 && i_output <= 0 );
 362
 363     if( p_sys->p_context->channels <= 0 || p_sys->p_context->channels > 8 ||
 364         p_sys->p_context->sample_rate <= 0 )
 365     {
 366         msg_Warn( p_dec, "invalid audio properties channels count %d, sample rate %d",
 367                   p_sys->p_context->channels, p_sys->p_context->sample_rate );
 368         block_Release( p_block );
 369         return NULL;
 370     }
 371
 372     if( p_dec->fmt_out.audio.i_rate != (unsigned int)p_sys->p_context->sample_rate )
 373     {
 374         date_Init( &p_sys->end_date, p_sys->p_context->sample_rate, 1 );
 375         date_Set( &p_sys->end_date, p_block->i_pts );
 376     }
 377
 378     /* **** Set audio output parameters **** */
 379     SetupOutputFormat( p_dec, true );
 380
 381     if( p_block->i_pts != 0 &&
 382         p_block->i_pts != date_Get( &p_sys->end_date ) )
 383     {
 384         date_Set( &p_sys->end_date, p_block->i_pts );
 385     }
 386     p_block->i_pts = 0;
 387
 388     /* **** Now we can output these samples **** */
 389     p_sys->i_samples = i_output / (p_dec->fmt_out.audio.i_bitspersample / 8) / p_sys->p_context->channels;
 390     p_sys->p_samples = p_sys->p_output;
 391
 392     /* Silent unwanted samples */
 393     if( p_sys->i_reject_count > 0 )
 394     {
 395         memset( p_sys->p_output, 0, i_output );
 396         p_sys->i_reject_count--;
 397     }
 398
 399     p_buffer = SplitBuffer( p_dec );
 400     if( !p_buffer ) block_Release( p_block );
 401     return p_buffer;
 402 }
 403
 404 /*****************************************************************************
 405  * EndAudioDec: audio decoder destruction
 406  *****************************************************************************/
 407 void EndAudioDec( decoder_t *p_dec )
 408 {
 409     decoder_sys_t *p_sys = p_dec->p_sys;
 410
 411     av_free( p_sys->p_output );
 412 }
 413
 414 /*****************************************************************************
 415  *
 416  *****************************************************************************/
 417
 418 void GetVlcAudioFormat( vlc_fourcc_t *pi_codec, unsigned *pi_bits, int i_sample_fmt )
 419 {
 420     switch( i_sample_fmt )
 421     {
 422     case AV_SAMPLE_FMT_U8:
 423         *pi_codec = VLC_CODEC_U8;
 424         *pi_bits = 8;
 425         break;
 426     case AV_SAMPLE_FMT_S32:
 427         *pi_codec = VLC_CODEC_S32N;
 428         *pi_bits = 32;
 429         break;
 430     case AV_SAMPLE_FMT_FLT:
 431         *pi_codec = VLC_CODEC_FL32;
 432         *pi_bits = 32;
 433         break;
 434     case AV_SAMPLE_FMT_DBL:
 435         *pi_codec = VLC_CODEC_FL64;
 436         *pi_bits = 64;
 437         break;
 438
 439     case AV_SAMPLE_FMT_S16:
 440     default:
 441         *pi_codec = VLC_CODEC_S16N;
 442         *pi_bits = 16;
 443         break;
 444     }
 445 }
 446
 447 static const uint64_t pi_channels_map[][2] =
 448 {
 449     { AV_CH_FRONT_LEFT,        AOUT_CHAN_LEFT },
 450     { AV_CH_FRONT_RIGHT,       AOUT_CHAN_RIGHT },
 451     { AV_CH_FRONT_CENTER,      AOUT_CHAN_CENTER },
 452     { AV_CH_LOW_FREQUENCY,     AOUT_CHAN_LFE },
 453     { AV_CH_BACK_LEFT,         AOUT_CHAN_REARLEFT },
 454     { AV_CH_BACK_RIGHT,        AOUT_CHAN_REARRIGHT },
 455     { AV_CH_FRONT_LEFT_OF_CENTER, 0 },
 456     { AV_CH_FRONT_RIGHT_OF_CENTER, 0 },
 457     { AV_CH_BACK_CENTER,       AOUT_CHAN_REARCENTER },
 458     { AV_CH_SIDE_LEFT,         AOUT_CHAN_MIDDLELEFT },
 459     { AV_CH_SIDE_RIGHT,        AOUT_CHAN_MIDDLERIGHT },
 460     { AV_CH_TOP_CENTER,        0 },
 461     { AV_CH_TOP_FRONT_LEFT,    0 },
 462     { AV_CH_TOP_FRONT_CENTER,  0 },
 463     { AV_CH_TOP_FRONT_RIGHT,   0 },
 464     { AV_CH_TOP_BACK_LEFT,     0 },
 465     { AV_CH_TOP_BACK_CENTER,   0 },
 466     { AV_CH_TOP_BACK_RIGHT,    0 },
 467     { AV_CH_STEREO_LEFT,       0 },
 468     { AV_CH_STEREO_RIGHT,      0 },
 469 };
 470
 471 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust )
 472 {
 473     decoder_sys_t *p_sys = p_dec->p_sys;
 474
 475     GetVlcAudioFormat( &p_dec->fmt_out.i_codec,
 476                        &p_dec->fmt_out.audio.i_bitspersample,
 477                        p_sys->p_context->sample_fmt );
 478     p_dec->fmt_out.audio.i_rate = p_sys->p_context->sample_rate;
 479
 480     /* */
 481     if( p_sys->i_previous_channels == p_sys->p_context->channels &&
 482         p_sys->i_previous_layout == p_sys->p_context->channel_layout )
 483         return;
 484     if( b_trust )
 485     {
 486         p_sys->i_previous_channels = p_sys->p_context->channels;
 487         p_sys->i_previous_layout = p_sys->p_context->channel_layout;
 488     }
 489
 490     /* Specified order
 491      * FIXME should we use fmt_in.audio.i_physical_channels or not ?
 492      */
 493     const unsigned i_order_max = 8 * sizeof(p_sys->p_context->channel_layout);
 494     uint32_t pi_order_src[i_order_max];
 495     int i_channels_src = 0;
 496
 497     if( p_sys->p_context->channel_layout )
 498     {
 499         for( unsigned i = 0; i < sizeof(pi_channels_map)/sizeof(*pi_channels_map); i++ )
 500         {
 501             if( p_sys->p_context->channel_layout & pi_channels_map[i][0] )
 502                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
 503         }
 504     }
 505     else
 506     {
 507         /* Create default order  */
 508         if( b_trust )
 509             msg_Warn( p_dec, "Physical channel configuration not set : guessing" );
 510         for( unsigned int i = 0; i < __MIN( i_order_max, (unsigned)p_sys->p_context->channels ); i++ )
 511         {
 512             if( i < sizeof(pi_channels_map)/sizeof(*pi_channels_map) )
 513                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
 514         }
 515     }
 516     if( i_channels_src != p_sys->p_context->channels && b_trust )
 517         msg_Err( p_dec, "Channel layout not understood" );
 518
 519     uint32_t i_layout_dst;
 520     int      i_channels_dst;
 521     p_sys->b_extract = aout_CheckChannelExtraction( p_sys->pi_extraction,
 522                                                     &i_layout_dst, &i_channels_dst,
 523                                                     NULL, pi_order_src, i_channels_src );
 524     if( i_channels_dst != i_channels_src && b_trust )
 525         msg_Warn( p_dec, "%d channels are dropped", i_channels_src - i_channels_dst );
 526
 527     p_dec->fmt_out.audio.i_physical_channels =
 528     p_dec->fmt_out.audio.i_original_channels = i_layout_dst;
 529     p_dec->fmt_out.audio.i_channels = i_channels_dst;
 530 }
 531