git.sesse.net Git - ffmpeg/blob - libavcodec/aac.h

   1 /*
   2  * AAC definitions and structures
   3  * Copyright (c) 2005-2006 Oded Shimon ( ods15 ods15 dyndns org )
   4  * Copyright (c) 2006-2007 Maxim Gavrilov ( maxim.gavrilov gmail com )
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 /**
  24  * @file
  25  * AAC definitions and structures
  26  * @author Oded Shimon  ( ods15 ods15 dyndns org )
  27  * @author Maxim Gavrilov ( maxim.gavrilov gmail com )
  28  */
  29
  30 #ifndef AVCODEC_AAC_H
  31 #define AVCODEC_AAC_H
  32
  33 #ifndef USE_FIXED
  34 #define USE_FIXED 0
  35 #endif
  36
  37 #if USE_FIXED
  38
  39 #include "libavutil/softfloat.h"
  40
  41 #define FFT_FLOAT    0
  42 #define FFT_FIXED_32 1
  43
  44 #define AAC_RENAME(x)       x ## _fixed
  45 #define AAC_RENAME_32(x)    x ## _fixed_32
  46 #define AAC_FLOAT SoftFloat
  47 #define INTFLOAT int
  48 #define SHORTFLOAT int16_t
  49 #define AAC_SIGNE           int
  50 #define FIXR(a)             ((int)((a) * 1 + 0.5))
  51 #define FIXR10(a)           ((int)((a) * 1024.0 + 0.5))
  52 #define Q23(a)              (int)((a) * 8388608.0 + 0.5)
  53 #define Q30(x)              (int)((x)*1073741824.0 + 0.5)
  54 #define Q31(x)              (int)((x)*2147483648.0 + 0.5)
  55 #define RANGE15(x)          x
  56 #define GET_GAIN(x, y)      (-(y) << (x)) + 1024
  57 #define AAC_MUL26(x, y)     (int)(((int64_t)(x) * (y) + 0x2000000) >> 26)
  58 #define AAC_MUL30(x, y)     (int)(((int64_t)(x) * (y) + 0x20000000) >> 30)
  59 #define AAC_MUL31(x, y)     (int)(((int64_t)(x) * (y) + 0x40000000) >> 31)
  60
  61 #else
  62
  63 #define FFT_FLOAT    1
  64 #define FFT_FIXED_32 0
  65
  66 #define AAC_RENAME(x)       x
  67 #define AAC_RENAME_32(x)    x
  68 #define AAC_FLOAT float
  69 #define INTFLOAT float
  70 #define SHORTFLOAT float
  71 #define AAC_SIGNE           unsigned
  72 #define FIXR(x)             ((float)(x))
  73 #define FIXR10(x)           ((float)(x))
  74 #define Q23(x)              x
  75 #define Q30(x)              x
  76 #define Q31(x)              x
  77 #define RANGE15(x)          (32768.0 * (x))
  78 #define GET_GAIN(x, y)      powf((x), -(y))
  79 #define AAC_MUL26(x, y)     ((x) * (y))
  80 #define AAC_MUL30(x, y)     ((x) * (y))
  81 #define AAC_MUL31(x, y)     ((x) * (y))
  82
  83 #endif /* USE_FIXED */
  84
  85 #include "libavutil/float_dsp.h"
  86 #include "libavutil/fixed_dsp.h"
  87 #include "avcodec.h"
  88 #if !USE_FIXED
  89 #include "imdct15.h"
  90 #endif
  91 #include "fft.h"
  92 #include "mpeg4audio.h"
  93 #include "sbr.h"
  94
  95 #include <stdint.h>
  96
  97 #define MAX_CHANNELS 64
  98 #define MAX_ELEM_ID 16
  99
 100 #define TNS_MAX_ORDER 20
 101 #define MAX_LTP_LONG_SFB 40
 102
 103 enum RawDataBlockType {
 104     TYPE_SCE,
 105     TYPE_CPE,
 106     TYPE_CCE,
 107     TYPE_LFE,
 108     TYPE_DSE,
 109     TYPE_PCE,
 110     TYPE_FIL,
 111     TYPE_END,
 112 };
 113
 114 enum ExtensionPayloadID {
 115     EXT_FILL,
 116     EXT_FILL_DATA,
 117     EXT_DATA_ELEMENT,
 118     EXT_DYNAMIC_RANGE = 0xb,
 119     EXT_SBR_DATA      = 0xd,
 120     EXT_SBR_DATA_CRC  = 0xe,
 121 };
 122
 123 enum WindowSequence {
 124     ONLY_LONG_SEQUENCE,
 125     LONG_START_SEQUENCE,
 126     EIGHT_SHORT_SEQUENCE,
 127     LONG_STOP_SEQUENCE,
 128 };
 129
 130 enum BandType {
 131     ZERO_BT        = 0,     ///< Scalefactors and spectral data are all zero.
 132     FIRST_PAIR_BT  = 5,     ///< This and later band types encode two values (rather than four) with one code word.
 133     ESC_BT         = 11,    ///< Spectral data are coded with an escape sequence.
 134     RESERVED_BT    = 12,    ///< Band types following are encoded differently from others.
 135     NOISE_BT       = 13,    ///< Spectral data are scaled white noise not coded in the bitstream.
 136     INTENSITY_BT2  = 14,    ///< Scalefactor data are intensity stereo positions (out of phase).
 137     INTENSITY_BT   = 15,    ///< Scalefactor data are intensity stereo positions (in phase).
 138 };
 139
 140 #define IS_CODEBOOK_UNSIGNED(x) (((x) - 1) & 10)
 141
 142 enum ChannelPosition {
 143     AAC_CHANNEL_OFF   = 0,
 144     AAC_CHANNEL_FRONT = 1,
 145     AAC_CHANNEL_SIDE  = 2,
 146     AAC_CHANNEL_BACK  = 3,
 147     AAC_CHANNEL_LFE   = 4,
 148     AAC_CHANNEL_CC    = 5,
 149 };
 150
 151 /**
 152  * The point during decoding at which channel coupling is applied.
 153  */
 154 enum CouplingPoint {
 155     BEFORE_TNS,
 156     BETWEEN_TNS_AND_IMDCT,
 157     AFTER_IMDCT = 3,
 158 };
 159
 160 /**
 161  * Output configuration status
 162  */
 163 enum OCStatus {
 164     OC_NONE,        ///< Output unconfigured
 165     OC_TRIAL_PCE,   ///< Output configuration under trial specified by an inband PCE
 166     OC_TRIAL_FRAME, ///< Output configuration under trial specified by a frame header
 167     OC_GLOBAL_HDR,  ///< Output configuration set in a global header but not yet locked
 168     OC_LOCKED,      ///< Output configuration locked in place
 169 };
 170
 171 typedef struct OutputConfiguration {
 172     MPEG4AudioConfig m4ac;
 173     uint8_t layout_map[MAX_ELEM_ID*4][3];
 174     int layout_map_tags;
 175     int channels;
 176     uint64_t channel_layout;
 177     enum OCStatus status;
 178 } OutputConfiguration;
 179
 180 /**
 181  * Predictor State
 182  */
 183 typedef struct PredictorState {
 184     AAC_FLOAT cor0;
 185     AAC_FLOAT cor1;
 186     AAC_FLOAT var0;
 187     AAC_FLOAT var1;
 188     AAC_FLOAT r0;
 189     AAC_FLOAT r1;
 190 } PredictorState;
 191
 192 #define MAX_PREDICTORS 672
 193
 194 #define SCALE_DIV_512    36    ///< scalefactor difference that corresponds to scale difference in 512 times
 195 #define SCALE_ONE_POS   140    ///< scalefactor index that corresponds to scale=1.0
 196 #define SCALE_MAX_POS   255    ///< scalefactor index maximum value
 197 #define SCALE_MAX_DIFF   60    ///< maximum scalefactor difference allowed by standard
 198 #define SCALE_DIFF_ZERO  60    ///< codebook index corresponding to zero scalefactor indices difference
 199
 200 #define NOISE_PRE       256    ///< preamble for NOISE_BT, put in bitstream with the first noise band
 201 #define NOISE_PRE_BITS    9    ///< length of preamble
 202 #define NOISE_OFFSET     90    ///< subtracted from global gain, used as offset for the preamble
 203
 204 /**
 205  * Long Term Prediction
 206  */
 207 typedef struct LongTermPrediction {
 208     int8_t present;
 209     int16_t lag;
 210     INTFLOAT coef;
 211     int8_t used[MAX_LTP_LONG_SFB];
 212 } LongTermPrediction;
 213
 214 /**
 215  * Individual Channel Stream
 216  */
 217 typedef struct IndividualChannelStream {
 218     uint8_t max_sfb;            ///< number of scalefactor bands per group
 219     enum WindowSequence window_sequence[2];
 220     uint8_t use_kb_window[2];   ///< If set, use Kaiser-Bessel window, otherwise use a sine window.
 221     int num_window_groups;
 222     uint8_t group_len[8];
 223     LongTermPrediction ltp;
 224     const uint16_t *swb_offset; ///< table of offsets to the lowest spectral coefficient of a scalefactor band, sfb, for a particular window
 225     const uint8_t *swb_sizes;   ///< table of scalefactor band sizes for a particular window
 226     int num_swb;                ///< number of scalefactor window bands
 227     int num_windows;
 228     int tns_max_bands;
 229     int predictor_present;
 230     int predictor_initialized;
 231     int predictor_reset_group;
 232     uint8_t prediction_used[41];
 233 } IndividualChannelStream;
 234
 235 /**
 236  * Temporal Noise Shaping
 237  */
 238 typedef struct TemporalNoiseShaping {
 239     int present;
 240     int n_filt[8];
 241     int length[8][4];
 242     int direction[8][4];
 243     int order[8][4];
 244     INTFLOAT coef[8][4][TNS_MAX_ORDER];
 245 } TemporalNoiseShaping;
 246
 247 /**
 248  * Dynamic Range Control - decoded from the bitstream but not processed further.
 249  */
 250 typedef struct DynamicRangeControl {
 251     int pce_instance_tag;                           ///< Indicates with which program the DRC info is associated.
 252     int dyn_rng_sgn[17];                            ///< DRC sign information; 0 - positive, 1 - negative
 253     int dyn_rng_ctl[17];                            ///< DRC magnitude information
 254     int exclude_mask[MAX_CHANNELS];                 ///< Channels to be excluded from DRC processing.
 255     int band_incr;                                  ///< Number of DRC bands greater than 1 having DRC info.
 256     int interpolation_scheme;                       ///< Indicates the interpolation scheme used in the SBR QMF domain.
 257     int band_top[17];                               ///< Indicates the top of the i-th DRC band in units of 4 spectral lines.
 258     int prog_ref_level;                             /**< A reference level for the long-term program audio level for all
 259                                                      *   channels combined.
 260                                                      */
 261 } DynamicRangeControl;
 262
 263 typedef struct Pulse {
 264     int num_pulse;
 265     int start;
 266     int pos[4];
 267     int amp[4];
 268 } Pulse;
 269
 270 /**
 271  * coupling parameters
 272  */
 273 typedef struct ChannelCoupling {
 274     enum CouplingPoint coupling_point;  ///< The point during decoding at which coupling is applied.
 275     int num_coupled;       ///< number of target elements
 276     enum RawDataBlockType type[8];   ///< Type of channel element to be coupled - SCE or CPE.
 277     int id_select[8];      ///< element id
 278     int ch_select[8];      /**< [0] shared list of gains; [1] list of gains for right channel;
 279                             *   [2] list of gains for left channel; [3] lists of gains for both channels
 280                             */
 281     INTFLOAT gain[16][120];
 282 } ChannelCoupling;
 283
 284 /**
 285  * Single Channel Element - used for both SCE and LFE elements.
 286  */
 287 typedef struct SingleChannelElement {
 288     IndividualChannelStream ics;
 289     TemporalNoiseShaping tns;
 290     Pulse pulse;
 291     enum BandType band_type[128];                   ///< band types
 292     int band_type_run_end[120];                     ///< band type run end points
 293     INTFLOAT sf[120];                               ///< scalefactors
 294     int sf_idx[128];                                ///< scalefactor indices (used by encoder)
 295     uint8_t zeroes[128];                            ///< band is not coded (used by encoder)
 296     float  is_ener[128];                            ///< Intensity stereo pos (used by encoder)
 297     float pns_ener[128];                            ///< Noise energy values (used by encoder)
 298     DECLARE_ALIGNED(32, INTFLOAT, pcoeffs)[1024];   ///< coefficients for IMDCT, pristine
 299     DECLARE_ALIGNED(32, INTFLOAT, coeffs)[1024];    ///< coefficients for IMDCT, maybe processed
 300     DECLARE_ALIGNED(32, INTFLOAT, saved)[1536];     ///< overlap
 301     DECLARE_ALIGNED(32, INTFLOAT, ret_buf)[2048];   ///< PCM output buffer
 302     DECLARE_ALIGNED(16, INTFLOAT, ltp_state)[3072]; ///< time signal for LTP
 303     PredictorState predictor_state[MAX_PREDICTORS];
 304     INTFLOAT *ret;                                  ///< PCM output
 305 } SingleChannelElement;
 306
 307 /**
 308  * channel element - generic struct for SCE/CPE/CCE/LFE
 309  */
 310 typedef struct ChannelElement {
 311     int present;
 312     // CPE specific
 313     int common_window;        ///< Set if channels share a common 'IndividualChannelStream' in bitstream.
 314     int     ms_mode;          ///< Signals mid/side stereo flags coding mode (used by encoder)
 315     uint8_t is_mode;          ///< Set if any bands have been encoded using intensity stereo (used by encoder)
 316     uint8_t ms_mask[128];     ///< Set if mid/side stereo is used for each scalefactor window band
 317     uint8_t is_mask[128];     ///< Set if intensity stereo is used (used by encoder)
 318     // shared
 319     SingleChannelElement ch[2];
 320     // CCE specific
 321     ChannelCoupling coup;
 322     SpectralBandReplication sbr;
 323 } ChannelElement;
 324
 325 /**
 326  * main AAC context
 327  */
 328 struct AACContext {
 329     AVClass        *class;
 330     AVCodecContext *avctx;
 331     AVFrame *frame;
 332
 333     int is_saved;                 ///< Set if elements have stored overlap from previous frame.
 334     DynamicRangeControl che_drc;
 335
 336     /**
 337      * @name Channel element related data
 338      * @{
 339      */
 340     ChannelElement          *che[4][MAX_ELEM_ID];
 341     ChannelElement  *tag_che_map[4][MAX_ELEM_ID];
 342     int tags_mapped;
 343     int warned_remapping_once;
 344     /** @} */
 345
 346     /**
 347      * @name temporary aligned temporary buffers
 348      * (We do not want to have these on the stack.)
 349      * @{
 350      */
 351     DECLARE_ALIGNED(32, INTFLOAT, buf_mdct)[1024];
 352     /** @} */
 353
 354     /**
 355      * @name Computed / set up during initialization
 356      * @{
 357      */
 358     FFTContext mdct;
 359     FFTContext mdct_small;
 360     FFTContext mdct_ld;
 361     FFTContext mdct_ltp;
 362 #if USE_FIXED
 363     AVFixedDSPContext *fdsp;
 364 #else
 365     IMDCT15Context *mdct480;
 366     AVFloatDSPContext *fdsp;
 367 #endif /* USE_FIXED */
 368     int random_state;
 369     /** @} */
 370
 371     /**
 372      * @name Members used for output
 373      * @{
 374      */
 375     SingleChannelElement *output_element[MAX_CHANNELS]; ///< Points to each SingleChannelElement
 376     /** @} */
 377
 378
 379     /**
 380      * @name Japanese DTV specific extension
 381      * @{
 382      */
 383     int force_dmono_mode;///< 0->not dmono, 1->use first channel, 2->use second channel
 384     int dmono_mode;      ///< 0->not dmono, 1->use first channel, 2->use second channel
 385     /** @} */
 386
 387     DECLARE_ALIGNED(32, INTFLOAT, temp)[128];
 388
 389     OutputConfiguration oc[2];
 390     int warned_num_aac_frames;
 391
 392     /* aacdec functions pointers */
 393     void (*imdct_and_windowing)(AACContext *ac, SingleChannelElement *sce);
 394     void (*apply_ltp)(AACContext *ac, SingleChannelElement *sce);
 395     void (*apply_tns)(INTFLOAT coef[1024], TemporalNoiseShaping *tns,
 396                       IndividualChannelStream *ics, int decode);
 397     void (*windowing_and_mdct_ltp)(AACContext *ac, INTFLOAT *out,
 398                                    INTFLOAT *in, IndividualChannelStream *ics);
 399     void (*update_ltp)(AACContext *ac, SingleChannelElement *sce);
 400     void (*vector_pow43)(int *coefs, int len);
 401     void (*subband_scale)(int *dst, int *src, int scale, int offset, int len);
 402
 403 };
 404
 405 void ff_aacdec_init_mips(AACContext *c);
 406
 407 #endif /* AVCODEC_AAC_H */