git.sesse.net Git - vlc/blob - modules/codec/avcodec/audio.c

   1 /*****************************************************************************
   2  * audio.c: audio decoder using ffmpeg library
   3  *****************************************************************************
   4  * Copyright (C) 1999-2003 the VideoLAN team
   5  * $Id$
   6  *
   7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   8  *          Gildas Bazin <gbazin@videolan.org>
   9  *
  10  * This program is free software; you can redistribute it and/or modify
  11  * it under the terms of the GNU General Public License as published by
  12  * the Free Software Foundation; either version 2 of the License, or
  13  * (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with this program; if not, write to the Free Software
  22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  23  *****************************************************************************/
  24
  25 /*****************************************************************************
  26  * Preamble
  27  *****************************************************************************/
  28 #ifdef HAVE_CONFIG_H
  29 # include "config.h"
  30 #endif
  31
  32 #include <vlc_common.h>
  33 #include <vlc_aout.h>
  34 #include <vlc_codec.h>
  35 #include <vlc_avcodec.h>
  36
  37 /* ffmpeg header */
  38 #ifdef HAVE_LIBAVCODEC_AVCODEC_H
  39 #   include <libavcodec/avcodec.h>
  40 #elif defined(HAVE_FFMPEG_AVCODEC_H)
  41 #   include <ffmpeg/avcodec.h>
  42 #else
  43 #   include <avcodec.h>
  44 #endif
  45
  46 #include "avcodec.h"
  47
  48 /*****************************************************************************
  49  * decoder_sys_t : decoder descriptor
  50  *****************************************************************************/
  51 struct decoder_sys_t
  52 {
  53     FFMPEG_COMMON_MEMBERS
  54
  55     /* Temporary buffer for libavcodec */
  56     int     i_output_max;
  57     uint8_t *p_output;
  58
  59     /*
  60      * Output properties
  61      */
  62     audio_sample_format_t aout_format;
  63     date_t                end_date;
  64
  65     /*
  66      *
  67      */
  68     uint8_t *p_samples;
  69     int     i_samples;
  70
  71     /* */
  72     int     i_reject_count;
  73
  74     /* */
  75     bool    b_extract;
  76     int     pi_extraction[AOUT_CHAN_MAX];
  77     int     i_previous_channels;
  78     int64_t i_previous_layout;
  79 };
  80
  81 #define BLOCK_FLAG_PRIVATE_REALLOCATED (1 << BLOCK_FLAG_PRIVATE_SHIFT)
  82
  83 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust );
  84
  85 /*****************************************************************************
  86  * InitAudioDec: initialize audio decoder
  87  *****************************************************************************
  88  * The ffmpeg codec will be opened, some memory allocated.
  89  *****************************************************************************/
  90 int InitAudioDec( decoder_t *p_dec, AVCodecContext *p_context,
  91                       AVCodec *p_codec, int i_codec_id, const char *psz_namecodec )
  92 {
  93     decoder_sys_t *p_sys;
  94
  95     /* Allocate the memory needed to store the decoder's structure */
  96     if( ( p_dec->p_sys = p_sys = malloc(sizeof(*p_sys)) ) == NULL )
  97     {
  98         return VLC_ENOMEM;
  99     }
 100
 101     p_codec->type = CODEC_TYPE_AUDIO;
 102     p_context->codec_type = CODEC_TYPE_AUDIO;
 103     p_context->codec_id = i_codec_id;
 104     p_sys->p_context = p_context;
 105     p_sys->p_codec = p_codec;
 106     p_sys->i_codec_id = i_codec_id;
 107     p_sys->psz_namecodec = psz_namecodec;
 108     p_sys->b_delayed_open = false;
 109
 110     /* ***** Fill p_context with init values ***** */
 111     p_sys->p_context->sample_rate = p_dec->fmt_in.audio.i_rate;
 112     p_sys->p_context->channels = p_dec->fmt_in.audio.i_channels;
 113
 114     p_sys->p_context->block_align = p_dec->fmt_in.audio.i_blockalign;
 115     p_sys->p_context->bit_rate = p_dec->fmt_in.i_bitrate;
 116 #if LIBAVCODEC_VERSION_INT < AV_VERSION_INT( 52, 0, 0 )
 117     p_sys->p_context->bits_per_sample = p_dec->fmt_in.audio.i_bitspersample;
 118 #else
 119     p_sys->p_context->bits_per_coded_sample = p_dec->fmt_in.audio.i_bitspersample;
 120 #endif
 121
 122     if( p_dec->fmt_in.i_extra > 0 )
 123     {
 124         const uint8_t * const p_src = p_dec->fmt_in.p_extra;
 125         int i_offset;
 126         int i_size;
 127
 128         if( p_dec->fmt_in.i_codec == VLC_CODEC_FLAC )
 129         {
 130             i_offset = 8;
 131             i_size = p_dec->fmt_in.i_extra - 8;
 132         }
 133         else if( p_dec->fmt_in.i_codec == VLC_CODEC_ALAC )
 134         {
 135             static const uint8_t p_pattern[] = { 0, 0, 0, 36, 'a', 'l', 'a', 'c' };
 136             /* Find alac atom XXX it is a bit ugly */
 137             for( i_offset = 0; i_offset < p_dec->fmt_in.i_extra - sizeof(p_pattern); i_offset++ )
 138             {
 139                 if( !memcmp( &p_src[i_offset], p_pattern, sizeof(p_pattern) ) )
 140                     break;
 141             }
 142             i_size = __MIN( p_dec->fmt_in.i_extra - i_offset, 36 );
 143             if( i_size < 36 )
 144                 i_size = 0;
 145         }
 146         else
 147         {
 148             i_offset = 0;
 149             i_size = p_dec->fmt_in.i_extra;
 150         }
 151
 152         if( i_size > 0 )
 153         {
 154             p_sys->p_context->extradata =
 155                 malloc( i_size + FF_INPUT_BUFFER_PADDING_SIZE );
 156             if( p_sys->p_context->extradata )
 157             {
 158                 uint8_t *p_dst = p_sys->p_context->extradata;
 159
 160                 p_sys->p_context->extradata_size = i_size;
 161
 162                 memcpy( &p_dst[0],            &p_src[i_offset], i_size );
 163                 memset( &p_dst[i_size], 0, FF_INPUT_BUFFER_PADDING_SIZE );
 164             }
 165         }
 166     }
 167     else
 168     {
 169         p_sys->p_context->extradata_size = 0;
 170         p_sys->p_context->extradata = NULL;
 171     }
 172
 173     /* ***** Open the codec ***** */
 174     int ret;
 175     vlc_avcodec_lock();
 176     ret = avcodec_open( p_sys->p_context, p_sys->p_codec );
 177     vlc_avcodec_unlock();
 178     if( ret < 0 )
 179     {
 180         msg_Err( p_dec, "cannot open codec (%s)", p_sys->psz_namecodec );
 181         free( p_sys->p_context->extradata );
 182         free( p_sys );
 183         return VLC_EGENERIC;
 184     }
 185
 186     msg_Dbg( p_dec, "ffmpeg codec (%s) started", p_sys->psz_namecodec );
 187
 188     switch( i_codec_id )
 189     {
 190     case CODEC_ID_WAVPACK:
 191         p_sys->i_output_max = 8 * sizeof(int32_t) * 131072;
 192         break;
 193     case CODEC_ID_TTA:
 194         p_sys->i_output_max = p_sys->p_context->channels * sizeof(int32_t) * p_sys->p_context->sample_rate * 2;
 195         break;
 196     case CODEC_ID_FLAC:
 197         p_sys->i_output_max = 8 * sizeof(int32_t) * 65535;
 198         break;
 199 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 52, 35, 0 )
 200     case CODEC_ID_WMAPRO:
 201         p_sys->i_output_max = 8 * sizeof(float) * 6144; /* (1 << 12) * 3/2 */
 202         break;
 203 #endif
 204     default:
 205         p_sys->i_output_max = 0;
 206         break;
 207     }
 208     if( p_sys->i_output_max < AVCODEC_MAX_AUDIO_FRAME_SIZE )
 209         p_sys->i_output_max = AVCODEC_MAX_AUDIO_FRAME_SIZE;
 210     msg_Dbg( p_dec, "Using %d bytes output buffer", p_sys->i_output_max );
 211     p_sys->p_output = av_malloc( p_sys->i_output_max );
 212
 213     p_sys->p_samples = NULL;
 214     p_sys->i_samples = 0;
 215     p_sys->i_reject_count = 0;
 216     p_sys->b_extract = false;
 217     p_sys->i_previous_channels = 0;
 218     p_sys->i_previous_layout = 0;
 219
 220     date_Set( &p_sys->end_date, 0 );
 221     if( p_dec->fmt_in.audio.i_rate )
 222         date_Init( &p_sys->end_date, p_dec->fmt_in.audio.i_rate, 1 );
 223
 224     /* */
 225     p_dec->fmt_out.i_cat = AUDIO_ES;
 226     /* Try to set as much informations as possible but do not trust it */
 227     SetupOutputFormat( p_dec, false );
 228
 229     return VLC_SUCCESS;
 230 }
 231
 232 /*****************************************************************************
 233  * SplitBuffer: Needed because aout really doesn't like big audio chunk and
 234  * wma produces easily > 30000 samples...
 235  *****************************************************************************/
 236 static aout_buffer_t *SplitBuffer( decoder_t *p_dec )
 237 {
 238     decoder_sys_t *p_sys = p_dec->p_sys;
 239     int i_samples = __MIN( p_sys->i_samples, 4096 );
 240     aout_buffer_t *p_buffer;
 241
 242     if( i_samples == 0 ) return NULL;
 243
 244     if( ( p_buffer = decoder_NewAudioBuffer( p_dec, i_samples ) ) == NULL )
 245         return NULL;
 246
 247     p_buffer->i_pts = date_Get( &p_sys->end_date );
 248     p_buffer->i_length = date_Increment( &p_sys->end_date, i_samples )
 249                          - p_buffer->i_pts;
 250
 251     if( p_sys->b_extract )
 252         aout_ChannelExtract( p_buffer->p_buffer, p_dec->fmt_out.audio.i_channels,
 253                              p_sys->p_samples, p_sys->p_context->channels, i_samples,
 254                              p_sys->pi_extraction, p_dec->fmt_out.audio.i_bitspersample );
 255     else
 256         memcpy( p_buffer->p_buffer, p_sys->p_samples, p_buffer->i_buffer );
 257
 258     p_sys->p_samples += i_samples * p_sys->p_context->channels * ( p_dec->fmt_out.audio.i_bitspersample / 8 );
 259     p_sys->i_samples -= i_samples;
 260
 261     return p_buffer;
 262 }
 263
 264 /*****************************************************************************
 265  * DecodeAudio: Called to decode one frame
 266  *****************************************************************************/
 267 aout_buffer_t * DecodeAudio ( decoder_t *p_dec, block_t **pp_block )
 268 {
 269     decoder_sys_t *p_sys = p_dec->p_sys;
 270     int i_used, i_output;
 271     aout_buffer_t *p_buffer;
 272     block_t *p_block;
 273
 274     if( !pp_block || !*pp_block ) return NULL;
 275
 276     p_block = *pp_block;
 277
 278     if( p_block->i_flags & (BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED) )
 279     {
 280         block_Release( p_block );
 281         avcodec_flush_buffers( p_sys->p_context );
 282         p_sys->i_samples = 0;
 283         date_Set( &p_sys->end_date, 0 );
 284
 285         if( p_sys->i_codec_id == CODEC_ID_MP2 || p_sys->i_codec_id == CODEC_ID_MP3 )
 286             p_sys->i_reject_count = 3;
 287         return NULL;
 288     }
 289
 290     if( p_sys->i_samples > 0 )
 291     {
 292         /* More data */
 293         p_buffer = SplitBuffer( p_dec );
 294         if( !p_buffer ) block_Release( p_block );
 295         return p_buffer;
 296     }
 297
 298     if( !date_Get( &p_sys->end_date ) && !p_block->i_pts )
 299     {
 300         /* We've just started the stream, wait for the first PTS. */
 301         block_Release( p_block );
 302         return NULL;
 303     }
 304
 305     if( p_block->i_buffer <= 0 )
 306     {
 307         block_Release( p_block );
 308         return NULL;
 309     }
 310
 311     if( (p_block->i_flags & BLOCK_FLAG_PRIVATE_REALLOCATED) == 0 )
 312     {
 313         *pp_block = p_block = block_Realloc( p_block, 0, p_block->i_buffer + FF_INPUT_BUFFER_PADDING_SIZE );
 314         if( !p_block )
 315             return NULL;
 316         p_block->i_buffer -= FF_INPUT_BUFFER_PADDING_SIZE;
 317         memset( &p_block->p_buffer[p_block->i_buffer], 0, FF_INPUT_BUFFER_PADDING_SIZE );
 318
 319         p_block->i_flags |= BLOCK_FLAG_PRIVATE_REALLOCATED;
 320     }
 321
 322     do
 323     {
 324         i_output = __MAX( p_block->i_buffer, p_sys->i_output_max );
 325         if( i_output > p_sys->i_output_max )
 326         {
 327             /* Grow output buffer if necessary (eg. for PCM data) */
 328             p_sys->p_output = av_realloc( p_sys->p_output, i_output );
 329         }
 330
 331 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 52, 0, 0 )
 332         i_used = avcodec_decode_audio2( p_sys->p_context,
 333                                        (int16_t*)p_sys->p_output, &i_output,
 334                                        p_block->p_buffer, p_block->i_buffer );
 335 #else
 336         i_used = avcodec_decode_audio( p_sys->p_context,
 337                                        (int16_t*)p_sys->p_output, &i_output,
 338                                        p_block->p_buffer, p_block->i_buffer );
 339 #endif
 340
 341         if( i_used < 0 || i_output < 0 )
 342         {
 343             if( i_used < 0 )
 344                 msg_Warn( p_dec, "cannot decode one frame (%zu bytes)",
 345                           p_block->i_buffer );
 346
 347             block_Release( p_block );
 348             return NULL;
 349         }
 350         else if( (size_t)i_used > p_block->i_buffer )
 351         {
 352             i_used = p_block->i_buffer;
 353         }
 354
 355         p_block->i_buffer -= i_used;
 356         p_block->p_buffer += i_used;
 357
 358     } while( p_block->i_buffer > 0 && i_output <= 0 );
 359
 360     if( p_sys->p_context->channels <= 0 || p_sys->p_context->channels > 8 ||
 361         p_sys->p_context->sample_rate <= 0 )
 362     {
 363         msg_Warn( p_dec, "invalid audio properties channels count %d, sample rate %d",
 364                   p_sys->p_context->channels, p_sys->p_context->sample_rate );
 365         block_Release( p_block );
 366         return NULL;
 367     }
 368
 369     if( p_dec->fmt_out.audio.i_rate != (unsigned int)p_sys->p_context->sample_rate )
 370     {
 371         date_Init( &p_sys->end_date, p_sys->p_context->sample_rate, 1 );
 372         date_Set( &p_sys->end_date, p_block->i_pts );
 373     }
 374
 375     /* **** Set audio output parameters **** */
 376     SetupOutputFormat( p_dec, true );
 377
 378     if( p_block->i_pts != 0 &&
 379         p_block->i_pts != date_Get( &p_sys->end_date ) )
 380     {
 381         date_Set( &p_sys->end_date, p_block->i_pts );
 382     }
 383     p_block->i_pts = 0;
 384
 385     /* **** Now we can output these samples **** */
 386     p_sys->i_samples = i_output / (p_dec->fmt_out.audio.i_bitspersample / 8) / p_sys->p_context->channels;
 387     p_sys->p_samples = p_sys->p_output;
 388
 389     /* Silent unwanted samples */
 390     if( p_sys->i_reject_count > 0 )
 391     {
 392         memset( p_sys->p_output, 0, i_output );
 393         p_sys->i_reject_count--;
 394     }
 395
 396     p_buffer = SplitBuffer( p_dec );
 397     if( !p_buffer ) block_Release( p_block );
 398     return p_buffer;
 399 }
 400
 401 /*****************************************************************************
 402  * EndAudioDec: audio decoder destruction
 403  *****************************************************************************/
 404 void EndAudioDec( decoder_t *p_dec )
 405 {
 406     decoder_sys_t *p_sys = p_dec->p_sys;
 407
 408     av_free( p_sys->p_output );
 409 }
 410
 411 /*****************************************************************************
 412  *
 413  *****************************************************************************/
 414 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 52, 2, 0 )
 415 #   define LIBAVCODEC_AUDIO_LAYOUT
 416 #else
 417 #   warning "Audio channel layout is unsupported by your avcodec version."
 418 #endif
 419
 420 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
 421 static const uint64_t pi_channels_map[][2] =
 422 {
 423     { CH_FRONT_LEFT,        AOUT_CHAN_LEFT },
 424     { CH_FRONT_RIGHT,       AOUT_CHAN_RIGHT },
 425     { CH_FRONT_CENTER,      AOUT_CHAN_CENTER },
 426     { CH_LOW_FREQUENCY,     AOUT_CHAN_LFE },
 427     { CH_BACK_LEFT,         AOUT_CHAN_REARLEFT },
 428     { CH_BACK_RIGHT,        AOUT_CHAN_REARRIGHT },
 429     { CH_FRONT_LEFT_OF_CENTER, 0 },
 430     { CH_FRONT_RIGHT_OF_CENTER, 0 },
 431     { CH_BACK_CENTER,       AOUT_CHAN_REARCENTER },
 432     { CH_SIDE_LEFT,         AOUT_CHAN_MIDDLELEFT },
 433     { CH_SIDE_RIGHT,        AOUT_CHAN_MIDDLERIGHT },
 434     { CH_TOP_CENTER,        0 },
 435     { CH_TOP_FRONT_LEFT,    0 },
 436     { CH_TOP_FRONT_CENTER,  0 },
 437     { CH_TOP_FRONT_RIGHT,   0 },
 438     { CH_TOP_BACK_LEFT,     0 },
 439     { CH_TOP_BACK_CENTER,   0 },
 440     { CH_TOP_BACK_RIGHT,    0 },
 441     { CH_STEREO_LEFT,       0 },
 442     { CH_STEREO_RIGHT,      0 },
 443 };
 444 #else
 445 static const uint64_t pi_channels_map[][2] =
 446 {
 447     { 0, AOUT_CHAN_LEFT },
 448     { 0, AOUT_CHAN_RIGHT },
 449     { 0, AOUT_CHAN_CENTER },
 450     { 0, AOUT_CHAN_LFE },
 451     { 0, AOUT_CHAN_REARLEFT },
 452     { 0, AOUT_CHAN_REARRIGHT },
 453     { 0, 0 },
 454     { 0, 0 },
 455     { 0, AOUT_CHAN_REARCENTER },
 456     { 0, AOUT_CHAN_MIDDLELEFT },
 457     { 0, AOUT_CHAN_MIDDLERIGHT },
 458     { 0, 0 },
 459     { 0, 0 },
 460     { 0, 0 },
 461     { 0, 0 },
 462     { 0, 0 },
 463     { 0, 0 },
 464     { 0, 0 },
 465     { 0, 0 },
 466     { 0, 0 },
 467 };
 468 #endif
 469
 470 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust )
 471 {
 472     decoder_sys_t *p_sys = p_dec->p_sys;
 473
 474 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 51, 65, 0 )
 475     switch( p_sys->p_context->sample_fmt )
 476     {
 477     case SAMPLE_FMT_U8:
 478         p_dec->fmt_out.i_codec = VLC_CODEC_U8;
 479         p_dec->fmt_out.audio.i_bitspersample = 8;
 480         break;
 481     case SAMPLE_FMT_S32:
 482         p_dec->fmt_out.i_codec = VLC_CODEC_S32N;
 483         p_dec->fmt_out.audio.i_bitspersample = 32;
 484         break;
 485     case SAMPLE_FMT_FLT:
 486         p_dec->fmt_out.i_codec = VLC_CODEC_FL32;
 487         p_dec->fmt_out.audio.i_bitspersample = 32;
 488         break;
 489     case SAMPLE_FMT_DBL:
 490         p_dec->fmt_out.i_codec = VLC_CODEC_FL64;
 491         p_dec->fmt_out.audio.i_bitspersample = 64;
 492         break;
 493
 494     case SAMPLE_FMT_S16:
 495     default:
 496         p_dec->fmt_out.i_codec = VLC_CODEC_S16N;
 497         p_dec->fmt_out.audio.i_bitspersample = 16;
 498         break;
 499     }
 500 #else
 501     p_dec->fmt_out.i_codec = VLC_CODEC_S16N;
 502     p_dec->fmt_out.audio.i_bitspersample = 16;
 503 #endif
 504     p_dec->fmt_out.audio.i_rate     = p_sys->p_context->sample_rate;
 505
 506     /* */
 507 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
 508     if( p_sys->i_previous_channels == p_sys->p_context->channels &&
 509         p_sys->i_previous_layout == p_sys->p_context->channel_layout )
 510         return;
 511 #else
 512     if( p_sys->i_previous_channels == p_sys->p_context->channels )
 513         return;
 514 #endif
 515     if( b_trust )
 516     {
 517         p_sys->i_previous_channels = p_sys->p_context->channels;
 518 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
 519         p_sys->i_previous_layout = p_sys->p_context->channel_layout;
 520 #endif
 521     }
 522
 523     /* Specified order
 524      * FIXME should we use fmt_in.audio.i_physical_channels or not ?
 525      */
 526 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
 527     const unsigned i_order_max = 8 * sizeof(p_sys->p_context->channel_layout);
 528 #else
 529     const unsigned i_order_max = 64;
 530 #endif
 531     uint32_t pi_order_src[i_order_max];
 532     int i_channels_src = 0;
 533
 534 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
 535     if( p_sys->p_context->channel_layout )
 536     {
 537         for( unsigned i = 0; i < sizeof(pi_channels_map)/sizeof(*pi_channels_map); i++ )
 538         {
 539             if( p_sys->p_context->channel_layout & pi_channels_map[i][0] )
 540                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
 541         }
 542     }
 543     else
 544 #endif
 545     {
 546         /* Create default order  */
 547         if( b_trust )
 548             msg_Warn( p_dec, "Physical channel configuration not set : guessing" );
 549         for( unsigned int i = 0; i < __MIN( i_order_max, (unsigned)p_sys->p_context->channels ); i++ )
 550         {
 551             if( i < sizeof(pi_channels_map)/sizeof(*pi_channels_map) )
 552                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
 553         }
 554     }
 555     if( i_channels_src != p_sys->p_context->channels && b_trust )
 556         msg_Err( p_dec, "Channel layout not understood" );
 557
 558     uint32_t i_layout_dst;
 559     int      i_channels_dst;
 560     p_sys->b_extract = aout_CheckChannelExtraction( p_sys->pi_extraction,
 561                                                     &i_layout_dst, &i_channels_dst,
 562                                                     NULL, pi_order_src, i_channels_src );
 563     if( i_channels_dst != i_channels_src && b_trust )
 564         msg_Warn( p_dec, "%d channels are dropped", i_channels_src - i_channels_dst );
 565
 566     p_dec->fmt_out.audio.i_physical_channels =
 567     p_dec->fmt_out.audio.i_original_channels = i_layout_dst;
 568     p_dec->fmt_out.audio.i_channels = i_channels_dst;
 569 }
 570