git.sesse.net Git - vlc/blob - modules/codec/avcodec/audio.c

   1 /*****************************************************************************
   2  * audio.c: audio decoder using ffmpeg library
   3  *****************************************************************************
   4  * Copyright (C) 1999-2003 the VideoLAN team
   5  * $Id$
   6  *
   7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   8  *          Gildas Bazin <gbazin@videolan.org>
   9  *
  10  * This program is free software; you can redistribute it and/or modify
  11  * it under the terms of the GNU General Public License as published by
  12  * the Free Software Foundation; either version 2 of the License, or
  13  * (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with this program; if not, write to the Free Software
  22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  23  *****************************************************************************/
  24
  25 /*****************************************************************************
  26  * Preamble
  27  *****************************************************************************/
  28 #ifdef HAVE_CONFIG_H
  29 # include "config.h"
  30 #endif
  31
  32 #include <vlc_common.h>
  33 #include <vlc_aout.h>
  34 #include <vlc_codec.h>
  35 #include <vlc_avcodec.h>
  36
  37 /* ffmpeg header */
  38 #ifdef HAVE_LIBAVCODEC_AVCODEC_H
  39 #   include <libavcodec/avcodec.h>
  40 #elif defined(HAVE_FFMPEG_AVCODEC_H)
  41 #   include <ffmpeg/avcodec.h>
  42 #else
  43 #   include <avcodec.h>
  44 #endif
  45
  46 #include "avcodec.h"
  47
  48 /*****************************************************************************
  49  * decoder_sys_t : decoder descriptor
  50  *****************************************************************************/
  51 struct decoder_sys_t
  52 {
  53     FFMPEG_COMMON_MEMBERS
  54
  55     /* Temporary buffer for libavcodec */
  56     int     i_output_max;
  57     uint8_t *p_output;
  58
  59     /*
  60      * Output properties
  61      */
  62     audio_sample_format_t aout_format;
  63     audio_date_t          end_date;
  64
  65     /*
  66      *
  67      */
  68     uint8_t *p_samples;
  69     int     i_samples;
  70
  71     /* */
  72     int     i_reject_count;
  73
  74     /* */
  75     bool    b_extract;
  76     int     pi_extraction[AOUT_CHAN_MAX];
  77     int     i_previous_channels;
  78     int64_t i_previous_layout;
  79 };
  80
  81 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust );
  82
  83 /*****************************************************************************
  84  * InitAudioDec: initialize audio decoder
  85  *****************************************************************************
  86  * The ffmpeg codec will be opened, some memory allocated.
  87  *****************************************************************************/
  88 int InitAudioDec( decoder_t *p_dec, AVCodecContext *p_context,
  89                       AVCodec *p_codec, int i_codec_id, const char *psz_namecodec )
  90 {
  91     decoder_sys_t *p_sys;
  92
  93     /* Allocate the memory needed to store the decoder's structure */
  94     if( ( p_dec->p_sys = p_sys = malloc(sizeof(*p_sys)) ) == NULL )
  95     {
  96         return VLC_ENOMEM;
  97     }
  98
  99     p_sys->p_context = p_context;
 100     p_sys->p_codec = p_codec;
 101     p_sys->i_codec_id = i_codec_id;
 102     p_sys->psz_namecodec = psz_namecodec;
 103     p_sys->b_delayed_open = false;
 104
 105     /* ***** Fill p_context with init values ***** */
 106     p_sys->p_context->sample_rate = p_dec->fmt_in.audio.i_rate;
 107     p_sys->p_context->channels = p_dec->fmt_in.audio.i_channels;
 108
 109     p_sys->p_context->block_align = p_dec->fmt_in.audio.i_blockalign;
 110     p_sys->p_context->bit_rate = p_dec->fmt_in.i_bitrate;
 111 #if LIBAVCODEC_VERSION_INT < ((52<<16)+(0<<8)+0)
 112     p_sys->p_context->bits_per_sample = p_dec->fmt_in.audio.i_bitspersample;
 113 #else
 114     p_sys->p_context->bits_per_coded_sample = p_dec->fmt_in.audio.i_bitspersample;
 115 #endif
 116
 117     if( p_dec->fmt_in.i_extra > 0 )
 118     {
 119         const uint8_t * const p_src = p_dec->fmt_in.p_extra;
 120         int i_offset;
 121         int i_size;
 122
 123         if( p_dec->fmt_in.i_codec == VLC_CODEC_FLAC )
 124         {
 125             i_offset = 8;
 126             i_size = p_dec->fmt_in.i_extra - 8;
 127         }
 128         else if( p_dec->fmt_in.i_codec == VLC_CODEC_ALAC )
 129         {
 130             static const uint8_t p_pattern[] = { 0, 0, 0, 36, 'a', 'l', 'a', 'c' };
 131             /* Find alac atom XXX it is a bit ugly */
 132             for( i_offset = 0; i_offset < p_dec->fmt_in.i_extra - sizeof(p_pattern); i_offset++ )
 133             {
 134                 if( !memcmp( &p_src[i_offset], p_pattern, sizeof(p_pattern) ) )
 135                     break;
 136             }
 137             i_size = __MIN( p_dec->fmt_in.i_extra - i_offset, 36 );
 138             if( i_size < 36 )
 139                 i_size = 0;
 140         }
 141         else
 142         {
 143             i_offset = 0;
 144             i_size = p_dec->fmt_in.i_extra;
 145         }
 146
 147         if( i_size > 0 )
 148         {
 149             p_sys->p_context->extradata =
 150                 malloc( i_size + FF_INPUT_BUFFER_PADDING_SIZE );
 151             if( p_sys->p_context->extradata )
 152             {
 153                 uint8_t *p_dst = p_sys->p_context->extradata;
 154
 155                 p_sys->p_context->extradata_size = i_size;
 156
 157                 memcpy( &p_dst[0],            &p_src[i_offset], i_size );
 158                 memset( &p_dst[i_size], 0, FF_INPUT_BUFFER_PADDING_SIZE );
 159             }
 160         }
 161     }
 162     else
 163     {
 164         p_sys->p_context->extradata_size = 0;
 165         p_sys->p_context->extradata = NULL;
 166     }
 167
 168     /* ***** Open the codec ***** */
 169     int ret;
 170     vlc_avcodec_lock();
 171     ret = avcodec_open( p_sys->p_context, p_sys->p_codec );
 172     vlc_avcodec_unlock();
 173     if( ret < 0 )
 174     {
 175         msg_Err( p_dec, "cannot open codec (%s)", p_sys->psz_namecodec );
 176         free( p_sys->p_context->extradata );
 177         free( p_sys );
 178         return VLC_EGENERIC;
 179     }
 180
 181     msg_Dbg( p_dec, "ffmpeg codec (%s) started", p_sys->psz_namecodec );
 182
 183     switch( i_codec_id )
 184     {
 185 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 51, 16, 0 )
 186     case CODEC_ID_WAVPACK:
 187         p_sys->i_output_max = 8 * sizeof(int32_t) * 131072;
 188         break;
 189 #endif
 190     case CODEC_ID_FLAC:
 191         p_sys->i_output_max = 8 * sizeof(int32_t) * 65535;
 192         break;
 193     default:
 194         p_sys->i_output_max = 0;
 195         break;
 196     }
 197     if( p_sys->i_output_max < AVCODEC_MAX_AUDIO_FRAME_SIZE )
 198         p_sys->i_output_max = AVCODEC_MAX_AUDIO_FRAME_SIZE;
 199     msg_Dbg( p_dec, "Using %d bytes output buffer", p_sys->i_output_max );
 200     p_sys->p_output = malloc( p_sys->i_output_max );
 201
 202     p_sys->p_samples = NULL;
 203     p_sys->i_samples = 0;
 204     p_sys->i_reject_count = 0;
 205     p_sys->b_extract = false;
 206     p_sys->i_previous_channels = 0;
 207     p_sys->i_previous_layout = 0;
 208
 209     aout_DateSet( &p_sys->end_date, 0 );
 210     if( p_dec->fmt_in.audio.i_rate )
 211         aout_DateInit( &p_sys->end_date, p_dec->fmt_in.audio.i_rate );
 212
 213     /* */
 214     p_dec->fmt_out.i_cat = AUDIO_ES;
 215     /* Try to set as much informations as possible but do not trust it */
 216     SetupOutputFormat( p_dec, false );
 217
 218     return VLC_SUCCESS;
 219 }
 220
 221 /*****************************************************************************
 222  * SplitBuffer: Needed because aout really doesn't like big audio chunk and
 223  * wma produces easily > 30000 samples...
 224  *****************************************************************************/
 225 static aout_buffer_t *SplitBuffer( decoder_t *p_dec )
 226 {
 227     decoder_sys_t *p_sys = p_dec->p_sys;
 228     int i_samples = __MIN( p_sys->i_samples, 4096 );
 229     aout_buffer_t *p_buffer;
 230
 231     if( i_samples == 0 ) return NULL;
 232
 233     if( ( p_buffer = decoder_NewAudioBuffer( p_dec, i_samples ) ) == NULL )
 234         return NULL;
 235
 236     p_buffer->start_date = aout_DateGet( &p_sys->end_date );
 237     p_buffer->end_date = aout_DateIncrement( &p_sys->end_date, i_samples );
 238
 239     if( p_sys->b_extract )
 240         aout_ChannelExtract( p_buffer->p_buffer, p_dec->fmt_out.audio.i_channels,
 241                              p_sys->p_samples, p_sys->p_context->channels, i_samples,
 242                              p_sys->pi_extraction, p_dec->fmt_out.audio.i_bitspersample );
 243     else
 244         memcpy( p_buffer->p_buffer, p_sys->p_samples, p_buffer->i_nb_bytes );
 245
 246     p_sys->p_samples += p_buffer->i_nb_bytes;
 247     p_sys->i_samples -= i_samples;
 248
 249     return p_buffer;
 250 }
 251
 252 /*****************************************************************************
 253  * DecodeAudio: Called to decode one frame
 254  *****************************************************************************/
 255 aout_buffer_t * DecodeAudio ( decoder_t *p_dec, block_t **pp_block )
 256 {
 257     decoder_sys_t *p_sys = p_dec->p_sys;
 258     int i_used, i_output;
 259     aout_buffer_t *p_buffer;
 260     block_t *p_block;
 261
 262     if( !pp_block || !*pp_block ) return NULL;
 263
 264     p_block = *pp_block;
 265
 266     if( p_block->i_flags & (BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED) )
 267     {
 268         block_Release( p_block );
 269         avcodec_flush_buffers( p_sys->p_context );
 270         p_sys->i_samples = 0;
 271         aout_DateSet( &p_sys->end_date, 0 );
 272
 273         if( p_sys->i_codec_id == CODEC_ID_MP2 || p_sys->i_codec_id == CODEC_ID_MP3 )
 274             p_sys->i_reject_count = 3;
 275         return NULL;
 276     }
 277
 278     if( p_sys->i_samples > 0 )
 279     {
 280         /* More data */
 281         p_buffer = SplitBuffer( p_dec );
 282         if( !p_buffer ) block_Release( p_block );
 283         return p_buffer;
 284     }
 285
 286     if( !aout_DateGet( &p_sys->end_date ) && !p_block->i_pts )
 287     {
 288         /* We've just started the stream, wait for the first PTS. */
 289         block_Release( p_block );
 290         return NULL;
 291     }
 292
 293     if( p_block->i_buffer <= 0 )
 294     {
 295         block_Release( p_block );
 296         return NULL;
 297     }
 298
 299     i_output = __MAX( p_block->i_buffer, p_sys->i_output_max );
 300     if( i_output > p_sys->i_output_max )
 301     {
 302         /* Grow output buffer if necessary (eg. for PCM data) */
 303         p_sys->p_output = realloc( p_sys->p_output, i_output );
 304     }
 305
 306     *pp_block = p_block = block_Realloc( p_block, 0, p_block->i_buffer + FF_INPUT_BUFFER_PADDING_SIZE );
 307     if( !p_block )
 308         return NULL;
 309     p_block->i_buffer -= FF_INPUT_BUFFER_PADDING_SIZE;
 310     memset( &p_block->p_buffer[p_block->i_buffer], 0, FF_INPUT_BUFFER_PADDING_SIZE );
 311
 312 #if LIBAVCODEC_VERSION_INT >= ((52<<16)+(0<<8)+0)
 313     i_used = avcodec_decode_audio2( p_sys->p_context,
 314                                    (int16_t*)p_sys->p_output, &i_output,
 315                                    p_block->p_buffer, p_block->i_buffer );
 316 #else
 317     i_used = avcodec_decode_audio( p_sys->p_context,
 318                                    (int16_t*)p_sys->p_output, &i_output,
 319                                    p_block->p_buffer, p_block->i_buffer );
 320 #endif
 321
 322     if( i_used < 0 || i_output < 0 )
 323     {
 324         if( i_used < 0 )
 325             msg_Warn( p_dec, "cannot decode one frame (%zu bytes)",
 326                       p_block->i_buffer );
 327
 328         block_Release( p_block );
 329         return NULL;
 330     }
 331     else if( (size_t)i_used > p_block->i_buffer )
 332     {
 333         i_used = p_block->i_buffer;
 334     }
 335
 336     p_block->i_buffer -= i_used;
 337     p_block->p_buffer += i_used;
 338
 339     if( p_sys->p_context->channels <= 0 || p_sys->p_context->channels > 8 ||
 340         p_sys->p_context->sample_rate <= 0 )
 341     {
 342         msg_Warn( p_dec, "invalid audio properties channels count %d, sample rate %d",
 343                   p_sys->p_context->channels, p_sys->p_context->sample_rate );
 344         block_Release( p_block );
 345         return NULL;
 346     }
 347
 348     if( p_dec->fmt_out.audio.i_rate != (unsigned int)p_sys->p_context->sample_rate )
 349     {
 350         aout_DateInit( &p_sys->end_date, p_sys->p_context->sample_rate );
 351         aout_DateSet( &p_sys->end_date, p_block->i_pts );
 352     }
 353
 354     /* **** Set audio output parameters **** */
 355     SetupOutputFormat( p_dec, true );
 356
 357     if( p_block->i_pts != 0 &&
 358         p_block->i_pts != aout_DateGet( &p_sys->end_date ) )
 359     {
 360         aout_DateSet( &p_sys->end_date, p_block->i_pts );
 361     }
 362     p_block->i_pts = 0;
 363
 364     /* **** Now we can output these samples **** */
 365     p_sys->i_samples = i_output / (p_dec->fmt_out.audio.i_bitspersample / 8) / p_sys->p_context->channels;
 366     p_sys->p_samples = p_sys->p_output;
 367
 368     /* Silent unwanted samples */
 369     if( p_sys->i_reject_count > 0 )
 370     {
 371         memset( p_sys->p_output, 0, i_output );
 372         p_sys->i_reject_count--;
 373     }
 374
 375     p_buffer = SplitBuffer( p_dec );
 376     if( !p_buffer ) block_Release( p_block );
 377     return p_buffer;
 378 }
 379
 380 /*****************************************************************************
 381  * EndAudioDec: audio decoder destruction
 382  *****************************************************************************/
 383 void EndAudioDec( decoder_t *p_dec )
 384 {
 385     decoder_sys_t *p_sys = p_dec->p_sys;
 386
 387     free( p_sys->p_output );
 388 }
 389
 390 /*****************************************************************************
 391  *
 392  *****************************************************************************/
 393 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 52, 2, 0 )
 394 #   define LIBAVCODEC_AUDIO_LAYOUT
 395 #else
 396 #   warning "Audio channel layout is unsupported by your avcodec version."
 397 #endif
 398
 399 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
 400 static const uint64_t pi_channels_map[][2] =
 401 {
 402     { CH_FRONT_LEFT,        AOUT_CHAN_LEFT },
 403     { CH_FRONT_RIGHT,       AOUT_CHAN_RIGHT },
 404     { CH_FRONT_CENTER,      AOUT_CHAN_CENTER },
 405     { CH_LOW_FREQUENCY,     AOUT_CHAN_LFE },
 406     { CH_BACK_LEFT,         AOUT_CHAN_REARLEFT },
 407     { CH_BACK_RIGHT,        AOUT_CHAN_REARRIGHT },
 408     { CH_FRONT_LEFT_OF_CENTER, 0 },
 409     { CH_FRONT_RIGHT_OF_CENTER, 0 },
 410     { CH_BACK_CENTER,       AOUT_CHAN_REARCENTER },
 411     { CH_SIDE_LEFT,         AOUT_CHAN_MIDDLELEFT },
 412     { CH_SIDE_RIGHT,        AOUT_CHAN_MIDDLERIGHT },
 413     { CH_TOP_CENTER,        0 },
 414     { CH_TOP_FRONT_LEFT,    0 },
 415     { CH_TOP_FRONT_CENTER,  0 },
 416     { CH_TOP_FRONT_RIGHT,   0 },
 417     { CH_TOP_BACK_LEFT,     0 },
 418     { CH_TOP_BACK_CENTER,   0 },
 419     { CH_TOP_BACK_RIGHT,    0 },
 420     { CH_STEREO_LEFT,       0 },
 421     { CH_STEREO_RIGHT,      0 },
 422 };
 423 #else
 424 static const uint64_t pi_channels_map[][2] =
 425 {
 426     { 0, AOUT_CHAN_LEFT },
 427     { 0, AOUT_CHAN_RIGHT },
 428     { 0, AOUT_CHAN_CENTER },
 429     { 0, AOUT_CHAN_LFE },
 430     { 0, AOUT_CHAN_REARLEFT },
 431     { 0, AOUT_CHAN_REARRIGHT },
 432     { 0, 0 },
 433     { 0, 0 },
 434     { 0, AOUT_CHAN_REARCENTER },
 435     { 0, AOUT_CHAN_MIDDLELEFT },
 436     { 0, AOUT_CHAN_MIDDLERIGHT },
 437     { 0, 0 },
 438     { 0, 0 },
 439     { 0, 0 },
 440     { 0, 0 },
 441     { 0, 0 },
 442     { 0, 0 },
 443     { 0, 0 },
 444     { 0, 0 },
 445     { 0, 0 },
 446 };
 447 #endif
 448
 449 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust )
 450 {
 451     decoder_sys_t *p_sys = p_dec->p_sys;
 452
 453 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 51, 65, 0 )
 454     switch( p_sys->p_context->sample_fmt )
 455     {
 456     case SAMPLE_FMT_U8:
 457         p_dec->fmt_out.i_codec = VLC_CODEC_U8;
 458         p_dec->fmt_out.audio.i_bitspersample = 8;
 459         break;
 460     case SAMPLE_FMT_S32:
 461         p_dec->fmt_out.i_codec = AOUT_FMT_S32_NE;
 462         p_dec->fmt_out.audio.i_bitspersample = 32;
 463         break;
 464     case SAMPLE_FMT_FLT:
 465         p_dec->fmt_out.i_codec = VLC_CODEC_FL32;
 466         p_dec->fmt_out.audio.i_bitspersample = 32;
 467         break;
 468     case SAMPLE_FMT_DBL:
 469         p_dec->fmt_out.i_codec = VLC_CODEC_FL64;
 470         p_dec->fmt_out.audio.i_bitspersample = 64;
 471         break;
 472
 473     case SAMPLE_FMT_S16:
 474     default:
 475         p_dec->fmt_out.i_codec = AOUT_FMT_S16_NE;
 476         p_dec->fmt_out.audio.i_bitspersample = 16;
 477         break;
 478     }
 479 #else
 480     p_dec->fmt_out.i_codec = AOUT_FMT_S16_NE;
 481     p_dec->fmt_out.audio.i_bitspersample = 16;
 482 #endif
 483     p_dec->fmt_out.audio.i_rate     = p_sys->p_context->sample_rate;
 484     p_dec->fmt_out.audio.i_channels = p_sys->p_context->channels;
 485
 486     /* */
 487 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
 488     if( p_sys->i_previous_channels == p_sys->p_context->channels &&
 489         p_sys->i_previous_layout == p_sys->p_context->channel_layout )
 490         return;
 491 #else
 492     if( p_sys->i_previous_channels == p_sys->p_context->channels )
 493         return;
 494 #endif
 495     if( b_trust )
 496     {
 497         p_sys->i_previous_channels = p_sys->p_context->channels;
 498 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
 499         p_sys->i_previous_layout = p_sys->p_context->channel_layout;
 500 #endif
 501     }
 502
 503     /* Specified order
 504      * FIXME should we use fmt_in.audio.i_physical_channels or not ?
 505      */
 506 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
 507     const unsigned i_order_max = 8 * sizeof(p_sys->p_context->channel_layout);
 508 #else
 509     const unsigned i_order_max = 64;
 510 #endif
 511     uint32_t pi_order_src[i_order_max];
 512     int i_channels_src = 0;
 513
 514 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
 515     if( p_sys->p_context->channel_layout )
 516     {
 517         for( unsigned i = 0; i < sizeof(pi_channels_map)/sizeof(*pi_channels_map); i++ )
 518         {
 519             if( p_sys->p_context->channel_layout & pi_channels_map[i][0] )
 520                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
 521         }
 522     }
 523     else
 524 #endif
 525     {
 526         /* Create default order  */
 527         if( b_trust )
 528             msg_Warn( p_dec, "Physical channel configuration not set : guessing" );
 529         for( unsigned int i = 0; i < __MIN( i_order_max, (unsigned)p_sys->p_context->channels ); i++ )
 530         {
 531             if( i < sizeof(pi_channels_map)/sizeof(*pi_channels_map) )
 532                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
 533         }
 534     }
 535     if( i_channels_src != p_sys->p_context->channels && b_trust )
 536         msg_Err( p_dec, "Channel layout not understood" );
 537
 538     uint32_t i_layout_dst;
 539     int      i_channels_dst;
 540     p_sys->b_extract = aout_CheckChannelExtraction( p_sys->pi_extraction,
 541                                                     &i_layout_dst, &i_channels_dst,
 542                                                     NULL, pi_order_src, i_channels_src );
 543     if( i_channels_dst != i_channels_src && b_trust )
 544         msg_Warn( p_dec, "%d channels are dropped", i_channels_src - i_channels_dst );
 545
 546     p_dec->fmt_out.audio.i_physical_channels =
 547     p_dec->fmt_out.audio.i_original_channels = i_layout_dst;
 548     p_dec->fmt_out.audio.i_channels = i_channels_dst;
 549 }
 550