git.sesse.net Git - vlc/blob - modules/codec/avcodec/avcodec.c

   1 /*****************************************************************************
   2  * avcodec.c: video and audio decoder and encoder using libavcodec
   3  *****************************************************************************
   4  * Copyright (C) 1999-2008 VLC authors and VideoLAN
   5  * $Id$
   6  *
   7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   8  *          Gildas Bazin <gbazin@videolan.org>
   9  *
  10  * This program is free software; you can redistribute it and/or modify it
  11  * under the terms of the GNU Lesser General Public License as published by
  12  * the Free Software Foundation; either version 2.1 of the License, or
  13  * (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  18  * GNU Lesser General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU Lesser General Public License
  21  * along with this program; if not, write to the Free Software Foundation,
  22  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  23  *****************************************************************************/
  24
  25 /*****************************************************************************
  26  * Preamble
  27  *****************************************************************************/
  28 #ifdef HAVE_CONFIG_H
  29 # include "config.h"
  30 #endif
  31
  32 #include <vlc_common.h>
  33 #include <vlc_plugin.h>
  34 #include <vlc_codec.h>
  35 #include <vlc_avcodec.h>
  36 #include <vlc_cpu.h>
  37
  38 #define HAVE_MMX 1
  39 #include <libavcodec/avcodec.h>
  40
  41 #include "avcodec.h"
  42 #include "chroma.h"
  43 #include "avcommon.h"
  44
  45 #if LIBAVCODEC_VERSION_INT < AV_VERSION_INT( 53, 34, 0 )
  46 #   error You must update libavcodec to a version >= 53.34.0
  47 #endif
  48
  49 /*****************************************************************************
  50  * decoder_sys_t: decoder descriptor
  51  *****************************************************************************/
  52 struct decoder_sys_t
  53 {
  54     /* Common part between video and audio decoder */
  55     AVCODEC_COMMON_MEMBERS
  56 };
  57
  58 /****************************************************************************
  59  * Local prototypes
  60  ****************************************************************************/
  61 static int OpenDecoder( vlc_object_t * );
  62 static void CloseDecoder( vlc_object_t * );
  63
  64 static const int  nloopf_list[] = { 0, 1, 2, 3, 4 };
  65 static const char *const nloopf_list_text[] =
  66   { N_("None"), N_("Non-ref"), N_("Bidir"), N_("Non-key"), N_("All") };
  67
  68 #ifdef ENABLE_SOUT
  69 static const char *const enc_hq_list[] = { "rd", "bits", "simple" };
  70 static const char *const enc_hq_list_text[] = {
  71     N_("rd"), N_("bits"), N_("simple") };
  72 #endif
  73
  74 #ifdef MERGE_FFMPEG
  75 # include "../../demux/avformat/avformat.h"
  76 # include "../../access/avio.h"
  77 #endif
  78
  79 /*****************************************************************************
  80  * Module descriptor
  81  *****************************************************************************/
  82 #define MODULE_DESCRIPTION N_( "Various audio and video decoders/encoders " \
  83         "delivered by the FFmpeg library. This includes (MS)MPEG4, DivX, SV1,"\
  84         "H261, H263, H264, WMV, WMA, AAC, AMR, DV, MJPEG and other codecs")
  85
  86 vlc_module_begin ()
  87     set_shortname( "FFmpeg")
  88     add_shortcut( "ffmpeg" )
  89     set_category( CAT_INPUT )
  90     set_subcategory( SUBCAT_INPUT_VCODEC )
  91     /* decoder main module */
  92     set_description( N_("FFmpeg audio/video decoder") )
  93     set_help( MODULE_DESCRIPTION )
  94     set_capability( "decoder", 70 )
  95     set_section( N_("Decoding") , NULL )
  96     set_callbacks( OpenDecoder, CloseDecoder )
  97
  98
  99     add_obsolete_bool( "ffmpeg-dr" ) /* removed since 2.1.0 */
 100     add_bool( "avcodec-dr", true, DR_TEXT, DR_TEXT, true )
 101     add_obsolete_integer ( "ffmpeg-error-resilience" ) /* removed since 2.1.0 */
 102     add_integer ( "avcodec-error-resilience", 1, ERROR_TEXT,
 103         ERROR_LONGTEXT, true )
 104     add_obsolete_integer ( "ffmpeg-workaround-bugs" ) /* removed since 2.1.0 */
 105     add_integer ( "avcodec-workaround-bugs", 1, BUGS_TEXT, BUGS_LONGTEXT,
 106         false )
 107     add_obsolete_bool( "ffmpeg-hurry-up" ) /* removed since 2.1.0 */
 108     add_bool( "avcodec-hurry-up", true, HURRYUP_TEXT, HURRYUP_LONGTEXT,
 109         false )
 110     add_obsolete_integer( "ffmpeg-skip-frame") /* removed since 2.1.0 */
 111     add_integer( "avcodec-skip-frame", 0, SKIP_FRAME_TEXT,
 112         SKIP_FRAME_LONGTEXT, true )
 113         change_integer_range( -1, 4 )
 114     add_obsolete_integer( "ffmpeg-skip-idct" ) /* removed since 2.1.0 */
 115     add_integer( "avcodec-skip-idct", 0, SKIP_IDCT_TEXT,
 116         SKIP_IDCT_LONGTEXT, true )
 117         change_integer_range( -1, 4 )
 118     add_obsolete_integer ( "ffmpeg-vismv" ) /* removed since 2.1.0 */
 119     add_integer ( "avcodec-vismv", 0, VISMV_TEXT, VISMV_LONGTEXT,
 120         true )
 121     add_obsolete_integer ( "ffmpeg-lowres" ) /* removed since 2.1.0 */
 122     add_integer ( "avcodec-lowres", 0, LOWRES_TEXT, LOWRES_LONGTEXT,
 123         true )
 124         change_integer_range( 0, 2 )
 125     add_obsolete_bool( "ffmpeg-fast" ) /* removed since 2.1.0 */
 126     add_bool( "avcodec-fast", false, FAST_TEXT, FAST_LONGTEXT, false )
 127     add_obsolete_integer ( "ffmpeg-skiploopfilter" ) /* removed since 2.1.0 */
 128     add_integer ( "avcodec-skiploopfilter", 0, SKIPLOOPF_TEXT,
 129                   SKIPLOOPF_LONGTEXT, false)
 130         change_safe ()
 131         change_integer_list( nloopf_list, nloopf_list_text )
 132
 133     add_obsolete_integer( "ffmpeg-debug" ) /* removed since 2.1.0 */
 134     add_integer( "avcodec-debug", 0, DEBUG_TEXT, DEBUG_LONGTEXT,
 135                  true )
 136     add_obsolete_string( "ffmpeg-codec" ) /* removed since 2.1.0 */
 137     add_string( "avcodec-codec", NULL, CODEC_TEXT, CODEC_LONGTEXT, true )
 138     add_obsolete_bool( "ffmpeg-hw" ) /* removed since 2.1.0 */
 139     add_module( "avcodec-hw", "hw decoder", "none", HW_TEXT, HW_LONGTEXT, false )
 140 #if defined(FF_THREAD_FRAME)
 141     add_obsolete_integer( "ffmpeg-threads" ) /* removed since 2.1.0 */
 142     add_integer( "avcodec-threads", 0, THREADS_TEXT, THREADS_LONGTEXT, true );
 143 #endif
 144
 145
 146 #ifdef ENABLE_SOUT
 147     /* encoder submodule */
 148     add_submodule ()
 149     add_shortcut( "ffmpeg" )
 150     set_section( N_("Encoding") , NULL )
 151     set_description( N_("FFmpeg audio/video encoder") )
 152     set_capability( "encoder", 100 )
 153     set_callbacks( OpenEncoder, CloseEncoder )
 154
 155     /* removed in 2.1.0 */
 156     add_obsolete_string( "sout-ffmpeg-codec" )
 157     add_obsolete_string( "sout-ffmpeg-hq" )
 158     add_obsolete_integer( "sout-ffmpeg-keyint" )
 159     add_obsolete_integer( "sout-ffmpeg-bframes" )
 160     add_obsolete_bool( "sout-ffmpeg-hurry-up" )
 161     add_obsolete_bool( "sout-ffmpeg-interlace" )
 162     add_obsolete_bool( "sout-ffmpeg-interlace-me" )
 163     add_obsolete_integer( "sout-ffmpeg-vt" )
 164     add_obsolete_bool( "sout-ffmpeg-pre-me" )
 165     add_obsolete_integer( "sout-ffmpeg-rc-buffer-size" )
 166     add_obsolete_float( "sout-ffmpeg-rc-buffer-aggressivity" )
 167     add_obsolete_float( "sout-ffmpeg-i-quant-factor" )
 168     add_obsolete_integer( "sout-ffmpeg-noise-reduction" )
 169     add_obsolete_bool( "sout-ffmpeg-mpeg4-matrix" )
 170     add_obsolete_integer( "sout-ffmpeg-qmin" )
 171     add_obsolete_integer( "sout-ffmpeg-qmax" )
 172     add_obsolete_bool( "sout-ffmpeg-trellis" )
 173     add_obsolete_float( "sout-ffmpeg-qscale" )
 174     add_obsolete_integer( "sout-ffmpeg-strict" )
 175     add_obsolete_float( "sout-ffmpeg-lumi-masking" )
 176     add_obsolete_float( "sout-ffmpeg-dark-masking" )
 177     add_obsolete_float( "sout-ffmpeg-p-masking" )
 178     add_obsolete_float( "sout-ffmpeg-border-masking" )
 179     add_obsolete_integer( "sout-ffmpeg-luma-elim-threshold" )
 180     add_obsolete_integer( "sout-ffmpeg-chroma-elim-threshold" )
 181     add_obsolete_string( "sout-ffmpeg-aac-profile" )
 182
 183
 184     add_string( ENC_CFG_PREFIX "codec", NULL, CODEC_TEXT, CODEC_LONGTEXT, true )
 185     add_string( ENC_CFG_PREFIX "hq", "simple", ENC_HQ_TEXT,
 186                 ENC_HQ_LONGTEXT, false )
 187         change_string_list( enc_hq_list, enc_hq_list_text )
 188     add_integer( ENC_CFG_PREFIX "keyint", 0, ENC_KEYINT_TEXT,
 189                  ENC_KEYINT_LONGTEXT, false )
 190     add_integer( ENC_CFG_PREFIX "bframes", 0, ENC_BFRAMES_TEXT,
 191                  ENC_BFRAMES_LONGTEXT, false )
 192     add_bool( ENC_CFG_PREFIX "hurry-up", false, ENC_HURRYUP_TEXT,
 193               ENC_HURRYUP_LONGTEXT, false )
 194     add_bool( ENC_CFG_PREFIX "interlace", false, ENC_INTERLACE_TEXT,
 195               ENC_INTERLACE_LONGTEXT, true )
 196     add_bool( ENC_CFG_PREFIX "interlace-me", true, ENC_INTERLACE_ME_TEXT,
 197               ENC_INTERLACE_ME_LONGTEXT, true )
 198     add_integer( ENC_CFG_PREFIX "vt", 0, ENC_VT_TEXT,
 199                  ENC_VT_LONGTEXT, true )
 200     add_bool( ENC_CFG_PREFIX "pre-me", false, ENC_PRE_ME_TEXT,
 201               ENC_PRE_ME_LONGTEXT, true )
 202     add_integer( ENC_CFG_PREFIX "rc-buffer-size", 0,
 203                  ENC_RC_BUF_TEXT, ENC_RC_BUF_LONGTEXT, true )
 204     add_float( ENC_CFG_PREFIX "rc-buffer-aggressivity", 1.0,
 205                ENC_RC_BUF_AGGR_TEXT, ENC_RC_BUF_AGGR_LONGTEXT, true )
 206     add_float( ENC_CFG_PREFIX "i-quant-factor", 0,
 207                ENC_IQUANT_FACTOR_TEXT, ENC_IQUANT_FACTOR_LONGTEXT, true )
 208     add_integer( ENC_CFG_PREFIX "noise-reduction", 0,
 209                  ENC_NOISE_RED_TEXT, ENC_NOISE_RED_LONGTEXT, true )
 210     add_bool( ENC_CFG_PREFIX "mpeg4-matrix", false,
 211               ENC_MPEG4_MATRIX_TEXT, ENC_MPEG4_MATRIX_LONGTEXT, true )
 212     add_integer( ENC_CFG_PREFIX "qmin", 0,
 213                  ENC_QMIN_TEXT, ENC_QMIN_LONGTEXT, true )
 214     add_integer( ENC_CFG_PREFIX "qmax", 0,
 215                  ENC_QMAX_TEXT, ENC_QMAX_LONGTEXT, true )
 216     add_bool( ENC_CFG_PREFIX "trellis", false,
 217               ENC_TRELLIS_TEXT, ENC_TRELLIS_LONGTEXT, true )
 218     add_float( ENC_CFG_PREFIX "qscale", 0,
 219                ENC_QSCALE_TEXT, ENC_QSCALE_LONGTEXT, true )
 220     add_integer( ENC_CFG_PREFIX "strict", 0,
 221                  ENC_STRICT_TEXT, ENC_STRICT_LONGTEXT, true )
 222         change_integer_range( -2, 2 )
 223     add_float( ENC_CFG_PREFIX "lumi-masking", 0.0,
 224                ENC_LUMI_MASKING_TEXT, ENC_LUMI_MASKING_LONGTEXT, true )
 225     add_float( ENC_CFG_PREFIX "dark-masking", 0.0,
 226                ENC_DARK_MASKING_TEXT, ENC_DARK_MASKING_LONGTEXT, true )
 227     add_float( ENC_CFG_PREFIX "p-masking", 0.0,
 228                ENC_P_MASKING_TEXT, ENC_P_MASKING_LONGTEXT, true )
 229     add_float( ENC_CFG_PREFIX "border-masking", 0.0,
 230                ENC_BORDER_MASKING_TEXT, ENC_BORDER_MASKING_LONGTEXT, true )
 231     add_integer( ENC_CFG_PREFIX "luma-elim-threshold", 0,
 232                  ENC_LUMA_ELIM_TEXT, ENC_LUMA_ELIM_LONGTEXT, true )
 233     add_integer( ENC_CFG_PREFIX "chroma-elim-threshold", 0,
 234                  ENC_CHROMA_ELIM_TEXT, ENC_CHROMA_ELIM_LONGTEXT, true )
 235
 236     /* Audio AAC encoder profile */
 237     add_string( ENC_CFG_PREFIX "aac-profile", "low",
 238                 ENC_PROFILE_TEXT, ENC_PROFILE_LONGTEXT, true )
 239 #endif /* ENABLE_SOUT */
 240
 241     /* video filter submodule */
 242     add_submodule ()
 243     set_capability( "video filter2", 0 )
 244     set_callbacks( OpenDeinterlace, CloseDeinterlace )
 245     set_description( N_("FFmpeg deinterlace video filter") )
 246     add_shortcut( "ffmpeg-deinterlace" )
 247
 248 #ifdef MERGE_FFMPEG
 249     add_submodule ()
 250 #   include "../../demux/avformat/avformat.c"
 251     add_submodule ()
 252         AVIO_MODULE
 253 #endif
 254 vlc_module_end ()
 255
 256 /*****************************************************************************
 257  * OpenDecoder: probe the decoder and return score
 258  *****************************************************************************/
 259 static int OpenDecoder( vlc_object_t *p_this )
 260 {
 261     decoder_t *p_dec = (decoder_t*) p_this;
 262     int i_cat, i_codec_id, i_result;
 263     const char *psz_namecodec;
 264
 265     AVCodecContext *p_context = NULL;
 266     AVCodec        *p_codec = NULL;
 267
 268     /* *** determine codec type *** */
 269     if( !GetFfmpegCodec( p_dec->fmt_in.i_codec, &i_cat, &i_codec_id,
 270                              &psz_namecodec ) )
 271     {
 272         return VLC_EGENERIC;
 273     }
 274
 275     /* Initialization must be done before avcodec_find_decoder() */
 276     vlc_init_avcodec();
 277
 278     /* *** ask ffmpeg for a decoder *** */
 279     char *psz_decoder = var_CreateGetString( p_this, "avcodec-codec" );
 280     if( psz_decoder && *psz_decoder )
 281     {
 282         p_codec = avcodec_find_decoder_by_name( psz_decoder );
 283         if( !p_codec )
 284             msg_Err( p_this, "Decoder `%s' not found", psz_decoder );
 285         else if( p_codec->id != i_codec_id )
 286         {
 287             msg_Err( p_this, "Decoder `%s' can't handle %4.4s",
 288                     psz_decoder, (char*)&p_dec->fmt_in.i_codec );
 289             p_codec = NULL;
 290         }
 291     }
 292     free( psz_decoder );
 293     if( !p_codec )
 294         p_codec = avcodec_find_decoder( i_codec_id );
 295     if( !p_codec )
 296     {
 297         msg_Dbg( p_dec, "codec not found (%s)", psz_namecodec );
 298         return VLC_EGENERIC;
 299     }
 300
 301     /* *** get a p_context *** */
 302 #if LIBAVCODEC_VERSION_MAJOR >= 54
 303     p_context = avcodec_alloc_context3(p_codec);
 304 #else
 305     p_context = avcodec_alloc_context();
 306 #endif
 307     if( !p_context )
 308         return VLC_ENOMEM;
 309     p_context->debug = var_InheritInteger( p_dec, "avcodec-debug" );
 310     p_context->opaque = (void *)p_this;
 311
 312     /* set CPU capabilities */
 313 #if LIBAVUTIL_VERSION_CHECK(51, 25, 0, 42, 100)
 314     av_set_cpu_flags_mask( INT_MAX & ~GetVlcDspMask() );
 315 #else
 316     p_context->dsp_mask = GetVlcDspMask();
 317 #endif
 318
 319     p_dec->b_need_packetized = true;
 320     switch( i_cat )
 321     {
 322     case VIDEO_ES:
 323         p_dec->pf_decode_video = DecodeVideo;
 324         i_result =  InitVideoDec ( p_dec, p_context, p_codec,
 325                                        i_codec_id, psz_namecodec );
 326         break;
 327     case AUDIO_ES:
 328         p_dec->pf_decode_audio = DecodeAudio;
 329         i_result =  InitAudioDec ( p_dec, p_context, p_codec,
 330                                        i_codec_id, psz_namecodec );
 331         break;
 332     case SPU_ES:
 333         p_dec->pf_decode_sub = DecodeSubtitle;
 334         i_result =  InitSubtitleDec( p_dec, p_context, p_codec,
 335                                      i_codec_id, psz_namecodec );
 336         break;
 337     default:
 338         i_result = VLC_EGENERIC;
 339     }
 340
 341     if( i_result == VLC_SUCCESS )
 342     {
 343         p_dec->p_sys->i_cat = i_cat;
 344         if( p_context->profile != FF_PROFILE_UNKNOWN)
 345             p_dec->fmt_in.i_profile = p_context->profile;
 346         if( p_context->level != FF_LEVEL_UNKNOWN)
 347             p_dec->fmt_in.i_level = p_context->level;
 348     }
 349
 350     return i_result;
 351 }
 352
 353 /*****************************************************************************
 354  * CloseDecoder: decoder destruction
 355  *****************************************************************************/
 356 static void CloseDecoder( vlc_object_t *p_this )
 357 {
 358     decoder_t *p_dec = (decoder_t *)p_this;
 359     decoder_sys_t *p_sys = p_dec->p_sys;
 360
 361     switch( p_sys->i_cat )
 362     {
 363     case AUDIO_ES:
 364          EndAudioDec ( p_dec );
 365         break;
 366     case VIDEO_ES:
 367          EndVideoDec ( p_dec );
 368         break;
 369     case SPU_ES:
 370          EndSubtitleDec( p_dec );
 371         break;
 372     }
 373
 374     if( p_sys->p_context )
 375     {
 376         free( p_sys->p_context->extradata );
 377         p_sys->p_context->extradata = NULL;
 378
 379         if( !p_sys->b_delayed_open )
 380         {
 381             vlc_avcodec_lock();
 382             avcodec_close( p_sys->p_context );
 383             vlc_avcodec_unlock();
 384         }
 385         msg_Dbg( p_dec, "ffmpeg codec (%s) stopped", p_sys->psz_namecodec );
 386         av_free( p_sys->p_context );
 387     }
 388
 389     free( p_sys );
 390 }
 391
 392 /*****************************************************************************
 393  * ffmpeg_OpenCodec:
 394  *****************************************************************************/
 395 int ffmpeg_OpenCodec( decoder_t *p_dec )
 396 {
 397     decoder_sys_t *p_sys = p_dec->p_sys;
 398
 399     if( p_sys->p_context->extradata_size <= 0 )
 400     {
 401         if( p_sys->i_codec_id == CODEC_ID_VC1 ||
 402             p_sys->i_codec_id == CODEC_ID_VORBIS ||
 403             p_sys->i_codec_id == CODEC_ID_THEORA ||
 404             ( p_sys->i_codec_id == CODEC_ID_AAC &&
 405               !p_dec->fmt_in.b_packetized ) )
 406         {
 407             msg_Warn( p_dec, "waiting for extra data for codec %s",
 408                       p_sys->psz_namecodec );
 409             return 1;
 410         }
 411     }
 412     if( p_dec->fmt_in.i_cat == VIDEO_ES )
 413     {
 414         p_sys->p_context->width  = p_dec->fmt_in.video.i_width;
 415         p_sys->p_context->height = p_dec->fmt_in.video.i_height;
 416         p_sys->p_context->bits_per_coded_sample = p_dec->fmt_in.video.i_bits_per_pixel;
 417     }
 418     else if( p_dec->fmt_in.i_cat == AUDIO_ES )
 419     {
 420         p_sys->p_context->sample_rate = p_dec->fmt_in.audio.i_rate;
 421         p_sys->p_context->channels = p_dec->fmt_in.audio.i_channels;
 422
 423         p_sys->p_context->block_align = p_dec->fmt_in.audio.i_blockalign;
 424         p_sys->p_context->bit_rate = p_dec->fmt_in.i_bitrate;
 425         p_sys->p_context->bits_per_coded_sample = p_dec->fmt_in.audio.i_bitspersample;
 426         if( p_sys->i_codec_id == CODEC_ID_ADPCM_G726 &&
 427             p_sys->p_context->bit_rate > 0 &&
 428             p_sys->p_context->sample_rate >  0)
 429             p_sys->p_context->bits_per_coded_sample = p_sys->p_context->bit_rate /
 430                                                       p_sys->p_context->sample_rate;
 431     }
 432     int ret;
 433     vlc_avcodec_lock();
 434 #if LIBAVCODEC_VERSION_MAJOR >= 54
 435     ret = avcodec_open2( p_sys->p_context, p_sys->p_codec, NULL /* options */ );
 436 #else
 437     ret = avcodec_open( p_sys->p_context, p_sys->p_codec );
 438 #endif
 439     vlc_avcodec_unlock();
 440     if( ret < 0 )
 441         return VLC_EGENERIC;
 442     msg_Dbg( p_dec, "avcodec codec (%s) started", p_sys->psz_namecodec );
 443
 444 #ifdef HAVE_AVCODEC_MT
 445     if( p_dec->fmt_in.i_cat == VIDEO_ES )
 446     {
 447         switch( p_sys->p_context->active_thread_type )
 448         {
 449             case FF_THREAD_FRAME:
 450                 msg_Dbg( p_dec, "using frame thread mode with %d threads",
 451                          p_sys->p_context->thread_count );
 452                 break;
 453             case FF_THREAD_SLICE:
 454                 msg_Dbg( p_dec, "using slice thread mode with %d threads",
 455                          p_sys->p_context->thread_count );
 456                 break;
 457             case 0:
 458                 if( p_sys->p_context->thread_count > 1 )
 459                     msg_Warn( p_dec, "failed to enable threaded decoding" );
 460                 break;
 461             default:
 462                 msg_Warn( p_dec, "using unknown thread mode with %d threads",
 463                           p_sys->p_context->thread_count );
 464                 break;
 465         }
 466     }
 467 #endif
 468
 469     p_sys->b_delayed_open = false;
 470
 471     return VLC_SUCCESS;
 472 }