git.sesse.net Git - ffmpeg/blob - libavcodec/aac.h

   1 /*
   2  * AAC definitions and structures
   3  * Copyright (c) 2005-2006 Oded Shimon ( ods15 ods15 dyndns org )
   4  * Copyright (c) 2006-2007 Maxim Gavrilov ( maxim.gavrilov gmail com )
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 /**
  24  * @file
  25  * AAC definitions and structures
  26  * @author Oded Shimon  ( ods15 ods15 dyndns org )
  27  * @author Maxim Gavrilov ( maxim.gavrilov gmail com )
  28  */
  29
  30 #ifndef AVCODEC_AAC_H
  31 #define AVCODEC_AAC_H
  32
  33
  34 #include "aac_defines.h"
  35 #include "libavutil/float_dsp.h"
  36 #include "libavutil/fixed_dsp.h"
  37 #include "libavutil/mem_internal.h"
  38 #include "avcodec.h"
  39 #if !USE_FIXED
  40 #include "mdct15.h"
  41 #endif
  42 #include "fft.h"
  43 #include "mpeg4audio.h"
  44 #include "sbr.h"
  45
  46 #include <stdint.h>
  47
  48 #define MAX_CHANNELS 64
  49 #define MAX_ELEM_ID 16
  50
  51 #define TNS_MAX_ORDER 20
  52 #define MAX_LTP_LONG_SFB 40
  53
  54 #define CLIP_AVOIDANCE_FACTOR 0.95f
  55
  56 enum RawDataBlockType {
  57     TYPE_SCE,
  58     TYPE_CPE,
  59     TYPE_CCE,
  60     TYPE_LFE,
  61     TYPE_DSE,
  62     TYPE_PCE,
  63     TYPE_FIL,
  64     TYPE_END,
  65 };
  66
  67 enum ExtensionPayloadID {
  68     EXT_FILL,
  69     EXT_FILL_DATA,
  70     EXT_DATA_ELEMENT,
  71     EXT_DYNAMIC_RANGE = 0xb,
  72     EXT_SBR_DATA      = 0xd,
  73     EXT_SBR_DATA_CRC  = 0xe,
  74 };
  75
  76 enum WindowSequence {
  77     ONLY_LONG_SEQUENCE,
  78     LONG_START_SEQUENCE,
  79     EIGHT_SHORT_SEQUENCE,
  80     LONG_STOP_SEQUENCE,
  81 };
  82
  83 enum BandType {
  84     ZERO_BT        = 0,     ///< Scalefactors and spectral data are all zero.
  85     FIRST_PAIR_BT  = 5,     ///< This and later band types encode two values (rather than four) with one code word.
  86     ESC_BT         = 11,    ///< Spectral data are coded with an escape sequence.
  87     RESERVED_BT    = 12,    ///< Band types following are encoded differently from others.
  88     NOISE_BT       = 13,    ///< Spectral data are scaled white noise not coded in the bitstream.
  89     INTENSITY_BT2  = 14,    ///< Scalefactor data are intensity stereo positions (out of phase).
  90     INTENSITY_BT   = 15,    ///< Scalefactor data are intensity stereo positions (in phase).
  91 };
  92
  93 #define IS_CODEBOOK_UNSIGNED(x) (((x) - 1) & 10)
  94
  95 enum ChannelPosition {
  96     AAC_CHANNEL_OFF   = 0,
  97     AAC_CHANNEL_FRONT = 1,
  98     AAC_CHANNEL_SIDE  = 2,
  99     AAC_CHANNEL_BACK  = 3,
 100     AAC_CHANNEL_LFE   = 4,
 101     AAC_CHANNEL_CC    = 5,
 102 };
 103
 104 /**
 105  * The point during decoding at which channel coupling is applied.
 106  */
 107 enum CouplingPoint {
 108     BEFORE_TNS,
 109     BETWEEN_TNS_AND_IMDCT,
 110     AFTER_IMDCT = 3,
 111 };
 112
 113 /**
 114  * Output configuration status
 115  */
 116 enum OCStatus {
 117     OC_NONE,        ///< Output unconfigured
 118     OC_TRIAL_PCE,   ///< Output configuration under trial specified by an inband PCE
 119     OC_TRIAL_FRAME, ///< Output configuration under trial specified by a frame header
 120     OC_GLOBAL_HDR,  ///< Output configuration set in a global header but not yet locked
 121     OC_LOCKED,      ///< Output configuration locked in place
 122 };
 123
 124 typedef struct OutputConfiguration {
 125     MPEG4AudioConfig m4ac;
 126     uint8_t layout_map[MAX_ELEM_ID*4][3];
 127     int layout_map_tags;
 128     int channels;
 129     uint64_t channel_layout;
 130     enum OCStatus status;
 131 } OutputConfiguration;
 132
 133 /**
 134  * Predictor State
 135  */
 136 typedef struct PredictorState {
 137     AAC_FLOAT cor0;
 138     AAC_FLOAT cor1;
 139     AAC_FLOAT var0;
 140     AAC_FLOAT var1;
 141     AAC_FLOAT r0;
 142     AAC_FLOAT r1;
 143     AAC_FLOAT k1;
 144     AAC_FLOAT x_est;
 145 } PredictorState;
 146
 147 #define MAX_PREDICTORS 672
 148
 149 #define SCALE_DIV_512    36    ///< scalefactor difference that corresponds to scale difference in 512 times
 150 #define SCALE_ONE_POS   140    ///< scalefactor index that corresponds to scale=1.0
 151 #define SCALE_MAX_POS   255    ///< scalefactor index maximum value
 152 #define SCALE_MAX_DIFF   60    ///< maximum scalefactor difference allowed by standard
 153 #define SCALE_DIFF_ZERO  60    ///< codebook index corresponding to zero scalefactor indices difference
 154
 155 #define POW_SF2_ZERO    200    ///< ff_aac_pow2sf_tab index corresponding to pow(2, 0);
 156
 157 #define NOISE_PRE       256    ///< preamble for NOISE_BT, put in bitstream with the first noise band
 158 #define NOISE_PRE_BITS    9    ///< length of preamble
 159 #define NOISE_OFFSET     90    ///< subtracted from global gain, used as offset for the preamble
 160
 161 /**
 162  * Long Term Prediction
 163  */
 164 typedef struct LongTermPrediction {
 165     int8_t present;
 166     int16_t lag;
 167     int coef_idx;
 168     INTFLOAT coef;
 169     int8_t used[MAX_LTP_LONG_SFB];
 170 } LongTermPrediction;
 171
 172 /**
 173  * Individual Channel Stream
 174  */
 175 typedef struct IndividualChannelStream {
 176     uint8_t max_sfb;            ///< number of scalefactor bands per group
 177     enum WindowSequence window_sequence[2];
 178     uint8_t use_kb_window[2];   ///< If set, use Kaiser-Bessel window, otherwise use a sine window.
 179     int num_window_groups;
 180     uint8_t group_len[8];
 181     LongTermPrediction ltp;
 182     const uint16_t *swb_offset; ///< table of offsets to the lowest spectral coefficient of a scalefactor band, sfb, for a particular window
 183     const uint8_t *swb_sizes;   ///< table of scalefactor band sizes for a particular window
 184     int num_swb;                ///< number of scalefactor window bands
 185     int num_windows;
 186     int tns_max_bands;
 187     int predictor_present;
 188     int predictor_initialized;
 189     int predictor_reset_group;
 190     int predictor_reset_count[31];  ///< used by encoder to count prediction resets
 191     uint8_t prediction_used[41];
 192     uint8_t window_clipping[8]; ///< set if a certain window is near clipping
 193     float clip_avoidance_factor; ///< set if any window is near clipping to the necessary atennuation factor to avoid it
 194 } IndividualChannelStream;
 195
 196 /**
 197  * Temporal Noise Shaping
 198  */
 199 typedef struct TemporalNoiseShaping {
 200     int present;
 201     int n_filt[8];
 202     int length[8][4];
 203     int direction[8][4];
 204     int order[8][4];
 205     int coef_idx[8][4][TNS_MAX_ORDER];
 206     INTFLOAT coef[8][4][TNS_MAX_ORDER];
 207 } TemporalNoiseShaping;
 208
 209 /**
 210  * Dynamic Range Control - decoded from the bitstream but not processed further.
 211  */
 212 typedef struct DynamicRangeControl {
 213     int pce_instance_tag;                           ///< Indicates with which program the DRC info is associated.
 214     int dyn_rng_sgn[17];                            ///< DRC sign information; 0 - positive, 1 - negative
 215     int dyn_rng_ctl[17];                            ///< DRC magnitude information
 216     int exclude_mask[MAX_CHANNELS];                 ///< Channels to be excluded from DRC processing.
 217     int band_incr;                                  ///< Number of DRC bands greater than 1 having DRC info.
 218     int interpolation_scheme;                       ///< Indicates the interpolation scheme used in the SBR QMF domain.
 219     int band_top[17];                               ///< Indicates the top of the i-th DRC band in units of 4 spectral lines.
 220     int prog_ref_level;                             /**< A reference level for the long-term program audio level for all
 221                                                      *   channels combined.
 222                                                      */
 223 } DynamicRangeControl;
 224
 225 typedef struct Pulse {
 226     int num_pulse;
 227     int start;
 228     int pos[4];
 229     int amp[4];
 230 } Pulse;
 231
 232 /**
 233  * coupling parameters
 234  */
 235 typedef struct ChannelCoupling {
 236     enum CouplingPoint coupling_point;  ///< The point during decoding at which coupling is applied.
 237     int num_coupled;       ///< number of target elements
 238     enum RawDataBlockType type[8];   ///< Type of channel element to be coupled - SCE or CPE.
 239     int id_select[8];      ///< element id
 240     int ch_select[8];      /**< [0] shared list of gains; [1] list of gains for right channel;
 241                             *   [2] list of gains for left channel; [3] lists of gains for both channels
 242                             */
 243     INTFLOAT gain[16][120];
 244 } ChannelCoupling;
 245
 246 /**
 247  * Single Channel Element - used for both SCE and LFE elements.
 248  */
 249 typedef struct SingleChannelElement {
 250     IndividualChannelStream ics;
 251     TemporalNoiseShaping tns;
 252     Pulse pulse;
 253     enum BandType band_type[128];                   ///< band types
 254     enum BandType band_alt[128];                    ///< alternative band type (used by encoder)
 255     int band_type_run_end[120];                     ///< band type run end points
 256     INTFLOAT sf[120];                               ///< scalefactors
 257     int sf_idx[128];                                ///< scalefactor indices (used by encoder)
 258     uint8_t zeroes[128];                            ///< band is not coded (used by encoder)
 259     uint8_t can_pns[128];                           ///< band is allowed to PNS (informative)
 260     float  is_ener[128];                            ///< Intensity stereo pos (used by encoder)
 261     float pns_ener[128];                            ///< Noise energy values (used by encoder)
 262     DECLARE_ALIGNED(32, INTFLOAT, pcoeffs)[1024];   ///< coefficients for IMDCT, pristine
 263     DECLARE_ALIGNED(32, INTFLOAT, coeffs)[1024];    ///< coefficients for IMDCT, maybe processed
 264     DECLARE_ALIGNED(32, INTFLOAT, saved)[1536];     ///< overlap
 265     DECLARE_ALIGNED(32, INTFLOAT, ret_buf)[2048];   ///< PCM output buffer
 266     DECLARE_ALIGNED(16, INTFLOAT, ltp_state)[3072]; ///< time signal for LTP
 267     DECLARE_ALIGNED(32, AAC_FLOAT, lcoeffs)[1024];  ///< MDCT of LTP coefficients (used by encoder)
 268     DECLARE_ALIGNED(32, AAC_FLOAT, prcoeffs)[1024]; ///< Main prediction coefs (used by encoder)
 269     PredictorState predictor_state[MAX_PREDICTORS];
 270     INTFLOAT *ret;                                  ///< PCM output
 271 } SingleChannelElement;
 272
 273 /**
 274  * channel element - generic struct for SCE/CPE/CCE/LFE
 275  */
 276 typedef struct ChannelElement {
 277     int present;
 278     // CPE specific
 279     int common_window;        ///< Set if channels share a common 'IndividualChannelStream' in bitstream.
 280     int     ms_mode;          ///< Signals mid/side stereo flags coding mode (used by encoder)
 281     uint8_t is_mode;          ///< Set if any bands have been encoded using intensity stereo (used by encoder)
 282     uint8_t ms_mask[128];     ///< Set if mid/side stereo is used for each scalefactor window band
 283     uint8_t is_mask[128];     ///< Set if intensity stereo is used (used by encoder)
 284     // shared
 285     SingleChannelElement ch[2];
 286     // CCE specific
 287     ChannelCoupling coup;
 288     SpectralBandReplication sbr;
 289 } ChannelElement;
 290
 291 /**
 292  * main AAC context
 293  */
 294 struct AACContext {
 295     AVClass        *class;
 296     AVCodecContext *avctx;
 297     AVFrame *frame;
 298
 299     int is_saved;                 ///< Set if elements have stored overlap from previous frame.
 300     DynamicRangeControl che_drc;
 301
 302     /**
 303      * @name Channel element related data
 304      * @{
 305      */
 306     ChannelElement          *che[4][MAX_ELEM_ID];
 307     ChannelElement  *tag_che_map[4][MAX_ELEM_ID];
 308     int tags_mapped;
 309     int warned_remapping_once;
 310     /** @} */
 311
 312     /**
 313      * @name temporary aligned temporary buffers
 314      * (We do not want to have these on the stack.)
 315      * @{
 316      */
 317     DECLARE_ALIGNED(32, INTFLOAT, buf_mdct)[1024];
 318     /** @} */
 319
 320     /**
 321      * @name Computed / set up during initialization
 322      * @{
 323      */
 324     FFTContext mdct;
 325     FFTContext mdct_small;
 326     FFTContext mdct_ld;
 327     FFTContext mdct_ltp;
 328 #if USE_FIXED
 329     AVFixedDSPContext *fdsp;
 330 #else
 331     MDCT15Context *mdct120;
 332     MDCT15Context *mdct480;
 333     MDCT15Context *mdct960;
 334     AVFloatDSPContext *fdsp;
 335 #endif /* USE_FIXED */
 336     int random_state;
 337     /** @} */
 338
 339     /**
 340      * @name Members used for output
 341      * @{
 342      */
 343     SingleChannelElement *output_element[MAX_CHANNELS]; ///< Points to each SingleChannelElement
 344     /** @} */
 345
 346
 347     /**
 348      * @name Japanese DTV specific extension
 349      * @{
 350      */
 351     int force_dmono_mode;///< 0->not dmono, 1->use first channel, 2->use second channel
 352     int dmono_mode;      ///< 0->not dmono, 1->use first channel, 2->use second channel
 353     /** @} */
 354
 355     DECLARE_ALIGNED(32, INTFLOAT, temp)[128];
 356
 357     OutputConfiguration oc[2];
 358     int warned_num_aac_frames;
 359     int warned_960_sbr;
 360     unsigned warned_71_wide;
 361     int warned_gain_control;
 362
 363     /* aacdec functions pointers */
 364     void (*imdct_and_windowing)(AACContext *ac, SingleChannelElement *sce);
 365     void (*apply_ltp)(AACContext *ac, SingleChannelElement *sce);
 366     void (*apply_tns)(INTFLOAT coef[1024], TemporalNoiseShaping *tns,
 367                       IndividualChannelStream *ics, int decode);
 368     void (*windowing_and_mdct_ltp)(AACContext *ac, INTFLOAT *out,
 369                                    INTFLOAT *in, IndividualChannelStream *ics);
 370     void (*update_ltp)(AACContext *ac, SingleChannelElement *sce);
 371     void (*vector_pow43)(int *coefs, int len);
 372     void (*subband_scale)(int *dst, int *src, int scale, int offset, int len, void *log_context);
 373
 374 };
 375
 376 void ff_aacdec_init_mips(AACContext *c);
 377
 378 #endif /* AVCODEC_AAC_H */