git.sesse.net Git - ffmpeg/blob - libavcodec/wmaprodec.c

   1 /*
   2  * Wmapro compatible decoder
   3  * Copyright (c) 2007 Baptiste Coudurier, Benjamin Larsson, Ulion
   4  * Copyright (c) 2008 - 2011 Sascha Sommer, Benjamin Larsson
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 /**
  24  * @file
  25  * @brief wmapro decoder implementation
  26  * Wmapro is an MDCT based codec comparable to wma standard or AAC.
  27  * The decoding therefore consists of the following steps:
  28  * - bitstream decoding
  29  * - reconstruction of per-channel data
  30  * - rescaling and inverse quantization
  31  * - IMDCT
  32  * - windowing and overlapp-add
  33  *
  34  * The compressed wmapro bitstream is split into individual packets.
  35  * Every such packet contains one or more wma frames.
  36  * The compressed frames may have a variable length and frames may
  37  * cross packet boundaries.
  38  * Common to all wmapro frames is the number of samples that are stored in
  39  * a frame.
  40  * The number of samples and a few other decode flags are stored
  41  * as extradata that has to be passed to the decoder.
  42  *
  43  * The wmapro frames themselves are again split into a variable number of
  44  * subframes. Every subframe contains the data for 2^N time domain samples
  45  * where N varies between 7 and 12.
  46  *
  47  * Example wmapro bitstream (in samples):
  48  *
  49  * ||   packet 0           || packet 1 || packet 2      packets
  50  * ---------------------------------------------------
  51  * || frame 0      || frame 1       || frame 2    ||    frames
  52  * ---------------------------------------------------
  53  * ||   |      |   ||   |   |   |   ||            ||    subframes of channel 0
  54  * ---------------------------------------------------
  55  * ||      |   |   ||   |   |   |   ||            ||    subframes of channel 1
  56  * ---------------------------------------------------
  57  *
  58  * The frame layouts for the individual channels of a wma frame does not need
  59  * to be the same.
  60  *
  61  * However, if the offsets and lengths of several subframes of a frame are the
  62  * same, the subframes of the channels can be grouped.
  63  * Every group may then use special coding techniques like M/S stereo coding
  64  * to improve the compression ratio. These channel transformations do not
  65  * need to be applied to a whole subframe. Instead, they can also work on
  66  * individual scale factor bands (see below).
  67  * The coefficients that carry the audio signal in the frequency domain
  68  * are transmitted as huffman-coded vectors with 4, 2 and 1 elements.
  69  * In addition to that, the encoder can switch to a runlevel coding scheme
  70  * by transmitting subframe_length / 128 zero coefficients.
  71  *
  72  * Before the audio signal can be converted to the time domain, the
  73  * coefficients have to be rescaled and inverse quantized.
  74  * A subframe is therefore split into several scale factor bands that get
  75  * scaled individually.
  76  * Scale factors are submitted for every frame but they might be shared
  77  * between the subframes of a channel. Scale factors are initially DPCM-coded.
  78  * Once scale factors are shared, the differences are transmitted as runlevel
  79  * codes.
  80  * Every subframe length and offset combination in the frame layout shares a
  81  * common quantization factor that can be adjusted for every channel by a
  82  * modifier.
  83  * After the inverse quantization, the coefficients get processed by an IMDCT.
  84  * The resulting values are then windowed with a sine window and the first half
  85  * of the values are added to the second half of the output from the previous
  86  * subframe in order to reconstruct the output samples.
  87  */
  88
  89 #include "libavutil/intreadwrite.h"
  90 #include "avcodec.h"
  91 #include "internal.h"
  92 #include "get_bits.h"
  93 #include "put_bits.h"
  94 #include "wmaprodata.h"
  95 #include "dsputil.h"
  96 #include "fmtconvert.h"
  97 #include "sinewin.h"
  98 #include "wma.h"
  99
 100 /** current decoder limitations */
 101 #define WMAPRO_MAX_CHANNELS    8                             ///< max number of handled channels
 102 #define MAX_SUBFRAMES  32                                    ///< max number of subframes per channel
 103 #define MAX_BANDS      29                                    ///< max number of scale factor bands
 104 #define MAX_FRAMESIZE  32768                                 ///< maximum compressed frame size
 105
 106 #define WMAPRO_BLOCK_MIN_BITS  6                                           ///< log2 of min block size
 107 #define WMAPRO_BLOCK_MAX_BITS 12                                           ///< log2 of max block size
 108 #define WMAPRO_BLOCK_MAX_SIZE (1 << WMAPRO_BLOCK_MAX_BITS)                 ///< maximum block size
 109 #define WMAPRO_BLOCK_SIZES    (WMAPRO_BLOCK_MAX_BITS - WMAPRO_BLOCK_MIN_BITS + 1) ///< possible block sizes
 110
 111
 112 #define VLCBITS            9
 113 #define SCALEVLCBITS       8
 114 #define VEC4MAXDEPTH    ((HUFF_VEC4_MAXBITS+VLCBITS-1)/VLCBITS)
 115 #define VEC2MAXDEPTH    ((HUFF_VEC2_MAXBITS+VLCBITS-1)/VLCBITS)
 116 #define VEC1MAXDEPTH    ((HUFF_VEC1_MAXBITS+VLCBITS-1)/VLCBITS)
 117 #define SCALEMAXDEPTH   ((HUFF_SCALE_MAXBITS+SCALEVLCBITS-1)/SCALEVLCBITS)
 118 #define SCALERLMAXDEPTH ((HUFF_SCALE_RL_MAXBITS+VLCBITS-1)/VLCBITS)
 119
 120 static VLC              sf_vlc;           ///< scale factor DPCM vlc
 121 static VLC              sf_rl_vlc;        ///< scale factor run length vlc
 122 static VLC              vec4_vlc;         ///< 4 coefficients per symbol
 123 static VLC              vec2_vlc;         ///< 2 coefficients per symbol
 124 static VLC              vec1_vlc;         ///< 1 coefficient per symbol
 125 static VLC              coef_vlc[2];      ///< coefficient run length vlc codes
 126 static float            sin64[33];        ///< sinus table for decorrelation
 127
 128 /**
 129  * @brief frame specific decoder context for a single channel
 130  */
 131 typedef struct {
 132     int16_t  prev_block_len;                          ///< length of the previous block
 133     uint8_t  transmit_coefs;
 134     uint8_t  num_subframes;
 135     uint16_t subframe_len[MAX_SUBFRAMES];             ///< subframe length in samples
 136     uint16_t subframe_offset[MAX_SUBFRAMES];          ///< subframe positions in the current frame
 137     uint8_t  cur_subframe;                            ///< current subframe number
 138     uint16_t decoded_samples;                         ///< number of already processed samples
 139     uint8_t  grouped;                                 ///< channel is part of a group
 140     int      quant_step;                              ///< quantization step for the current subframe
 141     int8_t   reuse_sf;                                ///< share scale factors between subframes
 142     int8_t   scale_factor_step;                       ///< scaling step for the current subframe
 143     int      max_scale_factor;                        ///< maximum scale factor for the current subframe
 144     int      saved_scale_factors[2][MAX_BANDS];       ///< resampled and (previously) transmitted scale factor values
 145     int8_t   scale_factor_idx;                        ///< index for the transmitted scale factor values (used for resampling)
 146     int*     scale_factors;                           ///< pointer to the scale factor values used for decoding
 147     uint8_t  table_idx;                               ///< index in sf_offsets for the scale factor reference block
 148     float*   coeffs;                                  ///< pointer to the subframe decode buffer
 149     uint16_t num_vec_coeffs;                          ///< number of vector coded coefficients
 150     DECLARE_ALIGNED(32, float, out)[WMAPRO_BLOCK_MAX_SIZE + WMAPRO_BLOCK_MAX_SIZE / 2]; ///< output buffer
 151 } WMAProChannelCtx;
 152
 153 /**
 154  * @brief channel group for channel transformations
 155  */
 156 typedef struct {
 157     uint8_t num_channels;                                     ///< number of channels in the group
 158     int8_t  transform;                                        ///< transform on / off
 159     int8_t  transform_band[MAX_BANDS];                        ///< controls if the transform is enabled for a certain band
 160     float   decorrelation_matrix[WMAPRO_MAX_CHANNELS*WMAPRO_MAX_CHANNELS];
 161     float*  channel_data[WMAPRO_MAX_CHANNELS];                ///< transformation coefficients
 162 } WMAProChannelGrp;
 163
 164 /**
 165  * @brief main decoder context
 166  */
 167 typedef struct WMAProDecodeCtx {
 168     /* generic decoder variables */
 169     AVCodecContext*  avctx;                         ///< codec context for av_log
 170     AVFrame          frame;                         ///< AVFrame for decoded output
 171     DSPContext       dsp;                           ///< accelerated DSP functions
 172     FmtConvertContext fmt_conv;
 173     uint8_t          frame_data[MAX_FRAMESIZE +
 174                       FF_INPUT_BUFFER_PADDING_SIZE];///< compressed frame data
 175     PutBitContext    pb;                            ///< context for filling the frame_data buffer
 176     FFTContext       mdct_ctx[WMAPRO_BLOCK_SIZES];  ///< MDCT context per block size
 177     DECLARE_ALIGNED(32, float, tmp)[WMAPRO_BLOCK_MAX_SIZE]; ///< IMDCT output buffer
 178     float*           windows[WMAPRO_BLOCK_SIZES];   ///< windows for the different block sizes
 179
 180     /* frame size dependent frame information (set during initialization) */
 181     uint32_t         decode_flags;                  ///< used compression features
 182     uint8_t          len_prefix;                    ///< frame is prefixed with its length
 183     uint8_t          dynamic_range_compression;     ///< frame contains DRC data
 184     uint8_t          bits_per_sample;               ///< integer audio sample size for the unscaled IMDCT output (used to scale to [-1.0, 1.0])
 185     uint16_t         samples_per_frame;             ///< number of samples to output
 186     uint16_t         log2_frame_size;
 187     int8_t           num_channels;                  ///< number of channels in the stream (same as AVCodecContext.num_channels)
 188     int8_t           lfe_channel;                   ///< lfe channel index
 189     uint8_t          max_num_subframes;
 190     uint8_t          subframe_len_bits;             ///< number of bits used for the subframe length
 191     uint8_t          max_subframe_len_bit;          ///< flag indicating that the subframe is of maximum size when the first subframe length bit is 1
 192     uint16_t         min_samples_per_subframe;
 193     int8_t           num_sfb[WMAPRO_BLOCK_SIZES];   ///< scale factor bands per block size
 194     int16_t          sfb_offsets[WMAPRO_BLOCK_SIZES][MAX_BANDS];                    ///< scale factor band offsets (multiples of 4)
 195     int8_t           sf_offsets[WMAPRO_BLOCK_SIZES][WMAPRO_BLOCK_SIZES][MAX_BANDS]; ///< scale factor resample matrix
 196     int16_t          subwoofer_cutoffs[WMAPRO_BLOCK_SIZES]; ///< subwoofer cutoff values
 197
 198     /* packet decode state */
 199     GetBitContext    pgb;                           ///< bitstream reader context for the packet
 200     int              next_packet_start;             ///< start offset of the next wma packet in the demuxer packet
 201     uint8_t          packet_offset;                 ///< frame offset in the packet
 202     uint8_t          packet_sequence_number;        ///< current packet number
 203     int              num_saved_bits;                ///< saved number of bits
 204     int              frame_offset;                  ///< frame offset in the bit reservoir
 205     int              subframe_offset;               ///< subframe offset in the bit reservoir
 206     uint8_t          packet_loss;                   ///< set in case of bitstream error
 207     uint8_t          packet_done;                   ///< set when a packet is fully decoded
 208
 209     /* frame decode state */
 210     uint32_t         frame_num;                     ///< current frame number (not used for decoding)
 211     GetBitContext    gb;                            ///< bitstream reader context
 212     int              buf_bit_size;                  ///< buffer size in bits
 213     uint8_t          drc_gain;                      ///< gain for the DRC tool
 214     int8_t           skip_frame;                    ///< skip output step
 215     int8_t           parsed_all_subframes;          ///< all subframes decoded?
 216
 217     /* subframe/block decode state */
 218     int16_t          subframe_len;                  ///< current subframe length
 219     int8_t           channels_for_cur_subframe;     ///< number of channels that contain the subframe
 220     int8_t           channel_indexes_for_cur_subframe[WMAPRO_MAX_CHANNELS];
 221     int8_t           num_bands;                     ///< number of scale factor bands
 222     int8_t           transmit_num_vec_coeffs;       ///< number of vector coded coefficients is part of the bitstream
 223     int16_t*         cur_sfb_offsets;               ///< sfb offsets for the current block
 224     uint8_t          table_idx;                     ///< index for the num_sfb, sfb_offsets, sf_offsets and subwoofer_cutoffs tables
 225     int8_t           esc_len;                       ///< length of escaped coefficients
 226
 227     uint8_t          num_chgroups;                  ///< number of channel groups
 228     WMAProChannelGrp chgroup[WMAPRO_MAX_CHANNELS];  ///< channel group information
 229
 230     WMAProChannelCtx channel[WMAPRO_MAX_CHANNELS];  ///< per channel data
 231 } WMAProDecodeCtx;
 232
 233
 234 /**
 235  *@brief helper function to print the most important members of the context
 236  *@param s context
 237  */
 238 static void av_cold dump_context(WMAProDecodeCtx *s)
 239 {
 240 #define PRINT(a, b)     av_log(s->avctx, AV_LOG_DEBUG, " %s = %d\n", a, b);
 241 #define PRINT_HEX(a, b) av_log(s->avctx, AV_LOG_DEBUG, " %s = %x\n", a, b);
 242
 243     PRINT("ed sample bit depth", s->bits_per_sample);
 244     PRINT_HEX("ed decode flags", s->decode_flags);
 245     PRINT("samples per frame",   s->samples_per_frame);
 246     PRINT("log2 frame size",     s->log2_frame_size);
 247     PRINT("max num subframes",   s->max_num_subframes);
 248     PRINT("len prefix",          s->len_prefix);
 249     PRINT("num channels",        s->num_channels);
 250 }
 251
 252 /**
 253  *@brief Uninitialize the decoder and free all resources.
 254  *@param avctx codec context
 255  *@return 0 on success, < 0 otherwise
 256  */
 257 static av_cold int decode_end(AVCodecContext *avctx)
 258 {
 259     WMAProDecodeCtx *s = avctx->priv_data;
 260     int i;
 261
 262     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++)
 263         ff_mdct_end(&s->mdct_ctx[i]);
 264
 265     return 0;
 266 }
 267
 268 /**
 269  *@brief Initialize the decoder.
 270  *@param avctx codec context
 271  *@return 0 on success, -1 otherwise
 272  */
 273 static av_cold int decode_init(AVCodecContext *avctx)
 274 {
 275     WMAProDecodeCtx *s = avctx->priv_data;
 276     uint8_t *edata_ptr = avctx->extradata;
 277     unsigned int channel_mask;
 278     int i;
 279     int log2_max_num_subframes;
 280     int num_possible_block_sizes;
 281
 282     s->avctx = avctx;
 283     dsputil_init(&s->dsp, avctx);
 284     ff_fmt_convert_init(&s->fmt_conv, avctx);
 285     init_put_bits(&s->pb, s->frame_data, MAX_FRAMESIZE);
 286
 287     avctx->sample_fmt = AV_SAMPLE_FMT_FLT;
 288
 289     if (avctx->extradata_size >= 18) {
 290         s->decode_flags    = AV_RL16(edata_ptr+14);
 291         channel_mask       = AV_RL32(edata_ptr+2);
 292         s->bits_per_sample = AV_RL16(edata_ptr);
 293         /** dump the extradata */
 294         for (i = 0; i < avctx->extradata_size; i++)
 295             av_dlog(avctx, "[%x] ", avctx->extradata[i]);
 296         av_dlog(avctx, "\n");
 297
 298     } else {
 299         av_log_ask_for_sample(avctx, "Unknown extradata size\n");
 300         return AVERROR_INVALIDDATA;
 301     }
 302
 303     /** generic init */
 304     s->log2_frame_size = av_log2(avctx->block_align) + 4;
 305
 306     /** frame info */
 307     s->skip_frame  = 1; /* skip first frame */
 308     s->packet_loss = 1;
 309     s->len_prefix  = (s->decode_flags & 0x40);
 310
 311     /** get frame len */
 312     s->samples_per_frame = 1 << ff_wma_get_frame_len_bits(avctx->sample_rate,
 313                                                           3, s->decode_flags);
 314
 315     /** subframe info */
 316     log2_max_num_subframes       = ((s->decode_flags & 0x38) >> 3);
 317     s->max_num_subframes         = 1 << log2_max_num_subframes;
 318     if (s->max_num_subframes == 16 || s->max_num_subframes == 4)
 319         s->max_subframe_len_bit = 1;
 320     s->subframe_len_bits = av_log2(log2_max_num_subframes) + 1;
 321
 322     num_possible_block_sizes     = log2_max_num_subframes + 1;
 323     s->min_samples_per_subframe  = s->samples_per_frame / s->max_num_subframes;
 324     s->dynamic_range_compression = (s->decode_flags & 0x80);
 325
 326     if (s->max_num_subframes > MAX_SUBFRAMES) {
 327         av_log(avctx, AV_LOG_ERROR, "invalid number of subframes %i\n",
 328                s->max_num_subframes);
 329         return AVERROR_INVALIDDATA;
 330     }
 331
 332     s->num_channels = avctx->channels;
 333
 334     if (s->num_channels < 0) {
 335         av_log(avctx, AV_LOG_ERROR, "invalid number of channels %d\n", s->num_channels);
 336         return AVERROR_INVALIDDATA;
 337     } else if (s->num_channels > WMAPRO_MAX_CHANNELS) {
 338         av_log_ask_for_sample(avctx, "unsupported number of channels\n");
 339         return AVERROR_PATCHWELCOME;
 340     }
 341
 342     /** init previous block len */
 343     for (i = 0; i < s->num_channels; i++)
 344         s->channel[i].prev_block_len = s->samples_per_frame;
 345
 346     /** extract lfe channel position */
 347     s->lfe_channel = -1;
 348
 349     if (channel_mask & 8) {
 350         unsigned int mask;
 351         for (mask = 1; mask < 16; mask <<= 1) {
 352             if (channel_mask & mask)
 353                 ++s->lfe_channel;
 354         }
 355     }
 356
 357     INIT_VLC_STATIC(&sf_vlc, SCALEVLCBITS, HUFF_SCALE_SIZE,
 358                     scale_huffbits, 1, 1,
 359                     scale_huffcodes, 2, 2, 616);
 360
 361     INIT_VLC_STATIC(&sf_rl_vlc, VLCBITS, HUFF_SCALE_RL_SIZE,
 362                     scale_rl_huffbits, 1, 1,
 363                     scale_rl_huffcodes, 4, 4, 1406);
 364
 365     INIT_VLC_STATIC(&coef_vlc[0], VLCBITS, HUFF_COEF0_SIZE,
 366                     coef0_huffbits, 1, 1,
 367                     coef0_huffcodes, 4, 4, 2108);
 368
 369     INIT_VLC_STATIC(&coef_vlc[1], VLCBITS, HUFF_COEF1_SIZE,
 370                     coef1_huffbits, 1, 1,
 371                     coef1_huffcodes, 4, 4, 3912);
 372
 373     INIT_VLC_STATIC(&vec4_vlc, VLCBITS, HUFF_VEC4_SIZE,
 374                     vec4_huffbits, 1, 1,
 375                     vec4_huffcodes, 2, 2, 604);
 376
 377     INIT_VLC_STATIC(&vec2_vlc, VLCBITS, HUFF_VEC2_SIZE,
 378                     vec2_huffbits, 1, 1,
 379                     vec2_huffcodes, 2, 2, 562);
 380
 381     INIT_VLC_STATIC(&vec1_vlc, VLCBITS, HUFF_VEC1_SIZE,
 382                     vec1_huffbits, 1, 1,
 383                     vec1_huffcodes, 2, 2, 562);
 384
 385     /** calculate number of scale factor bands and their offsets
 386         for every possible block size */
 387     for (i = 0; i < num_possible_block_sizes; i++) {
 388         int subframe_len = s->samples_per_frame >> i;
 389         int x;
 390         int band = 1;
 391
 392         s->sfb_offsets[i][0] = 0;
 393
 394         for (x = 0; x < MAX_BANDS-1 && s->sfb_offsets[i][band - 1] < subframe_len; x++) {
 395             int offset = (subframe_len * 2 * critical_freq[x])
 396                           / s->avctx->sample_rate + 2;
 397             offset &= ~3;
 398             if (offset > s->sfb_offsets[i][band - 1])
 399                 s->sfb_offsets[i][band++] = offset;
 400         }
 401         s->sfb_offsets[i][band - 1] = subframe_len;
 402         s->num_sfb[i]               = band - 1;
 403     }
 404
 405
 406     /** Scale factors can be shared between blocks of different size
 407         as every block has a different scale factor band layout.
 408         The matrix sf_offsets is needed to find the correct scale factor.
 409      */
 410
 411     for (i = 0; i < num_possible_block_sizes; i++) {
 412         int b;
 413         for (b = 0; b < s->num_sfb[i]; b++) {
 414             int x;
 415             int offset = ((s->sfb_offsets[i][b]
 416                            + s->sfb_offsets[i][b + 1] - 1) << i) >> 1;
 417             for (x = 0; x < num_possible_block_sizes; x++) {
 418                 int v = 0;
 419                 while (s->sfb_offsets[x][v + 1] << x < offset)
 420                     ++v;
 421                 s->sf_offsets[i][x][b] = v;
 422             }
 423         }
 424     }
 425
 426     /** init MDCT, FIXME: only init needed sizes */
 427     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++)
 428         ff_mdct_init(&s->mdct_ctx[i], WMAPRO_BLOCK_MIN_BITS+1+i, 1,
 429                      1.0 / (1 << (WMAPRO_BLOCK_MIN_BITS + i - 1))
 430                      / (1 << (s->bits_per_sample - 1)));
 431
 432     /** init MDCT windows: simple sinus window */
 433     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++) {
 434         const int win_idx = WMAPRO_BLOCK_MAX_BITS - i;
 435         ff_init_ff_sine_windows(win_idx);
 436         s->windows[WMAPRO_BLOCK_SIZES - i - 1] = ff_sine_windows[win_idx];
 437     }
 438
 439     /** calculate subwoofer cutoff values */
 440     for (i = 0; i < num_possible_block_sizes; i++) {
 441         int block_size = s->samples_per_frame >> i;
 442         int cutoff = (440*block_size + 3 * (s->avctx->sample_rate >> 1) - 1)
 443                      / s->avctx->sample_rate;
 444         s->subwoofer_cutoffs[i] = av_clip(cutoff, 4, block_size);
 445     }
 446
 447     /** calculate sine values for the decorrelation matrix */
 448     for (i = 0; i < 33; i++)
 449         sin64[i] = sin(i*M_PI / 64.0);
 450
 451     if (avctx->debug & FF_DEBUG_BITSTREAM)
 452         dump_context(s);
 453
 454     avctx->channel_layout = channel_mask;
 455
 456     avcodec_get_frame_defaults(&s->frame);
 457     avctx->coded_frame = &s->frame;
 458
 459     return 0;
 460 }
 461
 462 /**
 463  *@brief Decode the subframe length.
 464  *@param s context
 465  *@param offset sample offset in the frame
 466  *@return decoded subframe length on success, < 0 in case of an error
 467  */
 468 static int decode_subframe_length(WMAProDecodeCtx *s, int offset)
 469 {
 470     int frame_len_shift = 0;
 471     int subframe_len;
 472
 473     /** no need to read from the bitstream when only one length is possible */
 474     if (offset == s->samples_per_frame - s->min_samples_per_subframe)
 475         return s->min_samples_per_subframe;
 476
 477     /** 1 bit indicates if the subframe is of maximum length */
 478     if (s->max_subframe_len_bit) {
 479         if (get_bits1(&s->gb))
 480             frame_len_shift = 1 + get_bits(&s->gb, s->subframe_len_bits-1);
 481     } else
 482         frame_len_shift = get_bits(&s->gb, s->subframe_len_bits);
 483
 484     subframe_len = s->samples_per_frame >> frame_len_shift;
 485
 486     /** sanity check the length */
 487     if (subframe_len < s->min_samples_per_subframe ||
 488         subframe_len > s->samples_per_frame) {
 489         av_log(s->avctx, AV_LOG_ERROR, "broken frame: subframe_len %i\n",
 490                subframe_len);
 491         return AVERROR_INVALIDDATA;
 492     }
 493     return subframe_len;
 494 }
 495
 496 /**
 497  *@brief Decode how the data in the frame is split into subframes.
 498  *       Every WMA frame contains the encoded data for a fixed number of
 499  *       samples per channel. The data for every channel might be split
 500  *       into several subframes. This function will reconstruct the list of
 501  *       subframes for every channel.
 502  *
 503  *       If the subframes are not evenly split, the algorithm estimates the
 504  *       channels with the lowest number of total samples.
 505  *       Afterwards, for each of these channels a bit is read from the
 506  *       bitstream that indicates if the channel contains a subframe with the
 507  *       next subframe size that is going to be read from the bitstream or not.
 508  *       If a channel contains such a subframe, the subframe size gets added to
 509  *       the channel's subframe list.
 510  *       The algorithm repeats these steps until the frame is properly divided
 511  *       between the individual channels.
 512  *
 513  *@param s context
 514  *@return 0 on success, < 0 in case of an error
 515  */
 516 static int decode_tilehdr(WMAProDecodeCtx *s)
 517 {
 518     uint16_t num_samples[WMAPRO_MAX_CHANNELS];        /**< sum of samples for all currently known subframes of a channel */
 519     uint8_t  contains_subframe[WMAPRO_MAX_CHANNELS];  /**< flag indicating if a channel contains the current subframe */
 520     int channels_for_cur_subframe = s->num_channels;  /**< number of channels that contain the current subframe */
 521     int fixed_channel_layout = 0;                     /**< flag indicating that all channels use the same subframe offsets and sizes */
 522     int min_channel_len = 0;                          /**< smallest sum of samples (channels with this length will be processed first) */
 523     int c;
 524
 525     /* Should never consume more than 3073 bits (256 iterations for the
 526      * while loop when always the minimum amount of 128 samples is substracted
 527      * from missing samples in the 8 channel case).
 528      * 1 + BLOCK_MAX_SIZE * MAX_CHANNELS / BLOCK_MIN_SIZE * (MAX_CHANNELS  + 4)
 529      */
 530
 531     /** reset tiling information */
 532     for (c = 0; c < s->num_channels; c++)
 533         s->channel[c].num_subframes = 0;
 534
 535     memset(num_samples, 0, sizeof(num_samples));
 536
 537     if (s->max_num_subframes == 1 || get_bits1(&s->gb))
 538         fixed_channel_layout = 1;
 539
 540     /** loop until the frame data is split between the subframes */
 541     do {
 542         int subframe_len;
 543
 544         /** check which channels contain the subframe */
 545         for (c = 0; c < s->num_channels; c++) {
 546             if (num_samples[c] == min_channel_len) {
 547                 if (fixed_channel_layout || channels_for_cur_subframe == 1 ||
 548                    (min_channel_len == s->samples_per_frame - s->min_samples_per_subframe))
 549                     contains_subframe[c] = 1;
 550                 else
 551                     contains_subframe[c] = get_bits1(&s->gb);
 552             } else
 553                 contains_subframe[c] = 0;
 554         }
 555
 556         /** get subframe length, subframe_len == 0 is not allowed */
 557         if ((subframe_len = decode_subframe_length(s, min_channel_len)) <= 0)
 558             return AVERROR_INVALIDDATA;
 559
 560         /** add subframes to the individual channels and find new min_channel_len */
 561         min_channel_len += subframe_len;
 562         for (c = 0; c < s->num_channels; c++) {
 563             WMAProChannelCtx* chan = &s->channel[c];
 564
 565             if (contains_subframe[c]) {
 566                 if (chan->num_subframes >= MAX_SUBFRAMES) {
 567                     av_log(s->avctx, AV_LOG_ERROR,
 568                            "broken frame: num subframes > 31\n");
 569                     return AVERROR_INVALIDDATA;
 570                 }
 571                 chan->subframe_len[chan->num_subframes] = subframe_len;
 572                 num_samples[c] += subframe_len;
 573                 ++chan->num_subframes;
 574                 if (num_samples[c] > s->samples_per_frame) {
 575                     av_log(s->avctx, AV_LOG_ERROR, "broken frame: "
 576                            "channel len > samples_per_frame\n");
 577                     return AVERROR_INVALIDDATA;
 578                 }
 579             } else if (num_samples[c] <= min_channel_len) {
 580                 if (num_samples[c] < min_channel_len) {
 581                     channels_for_cur_subframe = 0;
 582                     min_channel_len = num_samples[c];
 583                 }
 584                 ++channels_for_cur_subframe;
 585             }
 586         }
 587     } while (min_channel_len < s->samples_per_frame);
 588
 589     for (c = 0; c < s->num_channels; c++) {
 590         int i;
 591         int offset = 0;
 592         for (i = 0; i < s->channel[c].num_subframes; i++) {
 593             av_dlog(s->avctx, "frame[%i] channel[%i] subframe[%i]"
 594                     " len %i\n", s->frame_num, c, i,
 595                     s->channel[c].subframe_len[i]);
 596             s->channel[c].subframe_offset[i] = offset;
 597             offset += s->channel[c].subframe_len[i];
 598         }
 599     }
 600
 601     return 0;
 602 }
 603
 604 /**
 605  *@brief Calculate a decorrelation matrix from the bitstream parameters.
 606  *@param s codec context
 607  *@param chgroup channel group for which the matrix needs to be calculated
 608  */
 609 static void decode_decorrelation_matrix(WMAProDecodeCtx *s,
 610                                         WMAProChannelGrp *chgroup)
 611 {
 612     int i;
 613     int offset = 0;
 614     int8_t rotation_offset[WMAPRO_MAX_CHANNELS * WMAPRO_MAX_CHANNELS];
 615     memset(chgroup->decorrelation_matrix, 0, s->num_channels *
 616            s->num_channels * sizeof(*chgroup->decorrelation_matrix));
 617
 618     for (i = 0; i < chgroup->num_channels * (chgroup->num_channels - 1) >> 1; i++)
 619         rotation_offset[i] = get_bits(&s->gb, 6);
 620
 621     for (i = 0; i < chgroup->num_channels; i++)
 622         chgroup->decorrelation_matrix[chgroup->num_channels * i + i] =
 623             get_bits1(&s->gb) ? 1.0 : -1.0;
 624
 625     for (i = 1; i < chgroup->num_channels; i++) {
 626         int x;
 627         for (x = 0; x < i; x++) {
 628             int y;
 629             for (y = 0; y < i + 1; y++) {
 630                 float v1 = chgroup->decorrelation_matrix[x * chgroup->num_channels + y];
 631                 float v2 = chgroup->decorrelation_matrix[i * chgroup->num_channels + y];
 632                 int n = rotation_offset[offset + x];
 633                 float sinv;
 634                 float cosv;
 635
 636                 if (n < 32) {
 637                     sinv = sin64[n];
 638                     cosv = sin64[32 - n];
 639                 } else {
 640                     sinv =  sin64[64 -  n];
 641                     cosv = -sin64[n  - 32];
 642                 }
 643
 644                 chgroup->decorrelation_matrix[y + x * chgroup->num_channels] =
 645                                                (v1 * sinv) - (v2 * cosv);
 646                 chgroup->decorrelation_matrix[y + i * chgroup->num_channels] =
 647                                                (v1 * cosv) + (v2 * sinv);
 648             }
 649         }
 650         offset += i;
 651     }
 652 }
 653
 654 /**
 655  *@brief Decode channel transformation parameters
 656  *@param s codec context
 657  *@return 0 in case of success, < 0 in case of bitstream errors
 658  */
 659 static int decode_channel_transform(WMAProDecodeCtx* s)
 660 {
 661     int i;
 662     /* should never consume more than 1921 bits for the 8 channel case
 663      * 1 + MAX_CHANNELS * (MAX_CHANNELS + 2 + 3 * MAX_CHANNELS * MAX_CHANNELS
 664      * + MAX_CHANNELS + MAX_BANDS + 1)
 665      */
 666
 667     /** in the one channel case channel transforms are pointless */
 668     s->num_chgroups = 0;
 669     if (s->num_channels > 1) {
 670         int remaining_channels = s->channels_for_cur_subframe;
 671
 672         if (get_bits1(&s->gb)) {
 673             av_log_ask_for_sample(s->avctx,
 674                                   "unsupported channel transform bit\n");
 675             return AVERROR_INVALIDDATA;
 676         }
 677
 678         for (s->num_chgroups = 0; remaining_channels &&
 679              s->num_chgroups < s->channels_for_cur_subframe; s->num_chgroups++) {
 680             WMAProChannelGrp* chgroup = &s->chgroup[s->num_chgroups];
 681             float** channel_data = chgroup->channel_data;
 682             chgroup->num_channels = 0;
 683             chgroup->transform = 0;
 684
 685             /** decode channel mask */
 686             if (remaining_channels > 2) {
 687                 for (i = 0; i < s->channels_for_cur_subframe; i++) {
 688                     int channel_idx = s->channel_indexes_for_cur_subframe[i];
 689                     if (!s->channel[channel_idx].grouped
 690                         && get_bits1(&s->gb)) {
 691                         ++chgroup->num_channels;
 692                         s->channel[channel_idx].grouped = 1;
 693                         *channel_data++ = s->channel[channel_idx].coeffs;
 694                     }
 695                 }
 696             } else {
 697                 chgroup->num_channels = remaining_channels;
 698                 for (i = 0; i < s->channels_for_cur_subframe; i++) {
 699                     int channel_idx = s->channel_indexes_for_cur_subframe[i];
 700                     if (!s->channel[channel_idx].grouped)
 701                         *channel_data++ = s->channel[channel_idx].coeffs;
 702                     s->channel[channel_idx].grouped = 1;
 703                 }
 704             }
 705
 706             /** decode transform type */
 707             if (chgroup->num_channels == 2) {
 708                 if (get_bits1(&s->gb)) {
 709                     if (get_bits1(&s->gb)) {
 710                         av_log_ask_for_sample(s->avctx,
 711                                               "unsupported channel transform type\n");
 712                     }
 713                 } else {
 714                     chgroup->transform = 1;
 715                     if (s->num_channels == 2) {
 716                         chgroup->decorrelation_matrix[0] =  1.0;
 717                         chgroup->decorrelation_matrix[1] = -1.0;
 718                         chgroup->decorrelation_matrix[2] =  1.0;
 719                         chgroup->decorrelation_matrix[3] =  1.0;
 720                     } else {
 721                         /** cos(pi/4) */
 722                         chgroup->decorrelation_matrix[0] =  0.70703125;
 723                         chgroup->decorrelation_matrix[1] = -0.70703125;
 724                         chgroup->decorrelation_matrix[2] =  0.70703125;
 725                         chgroup->decorrelation_matrix[3] =  0.70703125;
 726                     }
 727                 }
 728             } else if (chgroup->num_channels > 2) {
 729                 if (get_bits1(&s->gb)) {
 730                     chgroup->transform = 1;
 731                     if (get_bits1(&s->gb)) {
 732                         decode_decorrelation_matrix(s, chgroup);
 733                     } else {
 734                         /** FIXME: more than 6 coupled channels not supported */
 735                         if (chgroup->num_channels > 6) {
 736                             av_log_ask_for_sample(s->avctx,
 737                                                   "coupled channels > 6\n");
 738                         } else {
 739                             memcpy(chgroup->decorrelation_matrix,
 740                                    default_decorrelation[chgroup->num_channels],
 741                                    chgroup->num_channels * chgroup->num_channels *
 742                                    sizeof(*chgroup->decorrelation_matrix));
 743                         }
 744                     }
 745                 }
 746             }
 747
 748             /** decode transform on / off */
 749             if (chgroup->transform) {
 750                 if (!get_bits1(&s->gb)) {
 751                     int i;
 752                     /** transform can be enabled for individual bands */
 753                     for (i = 0; i < s->num_bands; i++) {
 754                         chgroup->transform_band[i] = get_bits1(&s->gb);
 755                     }
 756                 } else {
 757                     memset(chgroup->transform_band, 1, s->num_bands);
 758                 }
 759             }
 760             remaining_channels -= chgroup->num_channels;
 761         }
 762     }
 763     return 0;
 764 }
 765
 766 /**
 767  *@brief Extract the coefficients from the bitstream.
 768  *@param s codec context
 769  *@param c current channel number
 770  *@return 0 on success, < 0 in case of bitstream errors
 771  */
 772 static int decode_coeffs(WMAProDecodeCtx *s, int c)
 773 {
 774     /* Integers 0..15 as single-precision floats.  The table saves a
 775        costly int to float conversion, and storing the values as
 776        integers allows fast sign-flipping. */
 777     static const uint32_t fval_tab[16] = {
 778         0x00000000, 0x3f800000, 0x40000000, 0x40400000,
 779         0x40800000, 0x40a00000, 0x40c00000, 0x40e00000,
 780         0x41000000, 0x41100000, 0x41200000, 0x41300000,
 781         0x41400000, 0x41500000, 0x41600000, 0x41700000,
 782     };
 783     int vlctable;
 784     VLC* vlc;
 785     WMAProChannelCtx* ci = &s->channel[c];
 786     int rl_mode = 0;
 787     int cur_coeff = 0;
 788     int num_zeros = 0;
 789     const uint16_t* run;
 790     const float* level;
 791
 792     av_dlog(s->avctx, "decode coefficients for channel %i\n", c);
 793
 794     vlctable = get_bits1(&s->gb);
 795     vlc = &coef_vlc[vlctable];
 796
 797     if (vlctable) {
 798         run = coef1_run;
 799         level = coef1_level;
 800     } else {
 801         run = coef0_run;
 802         level = coef0_level;
 803     }
 804
 805     /** decode vector coefficients (consumes up to 167 bits per iteration for
 806       4 vector coded large values) */
 807     while ((s->transmit_num_vec_coeffs || !rl_mode) &&
 808            (cur_coeff + 3 < ci->num_vec_coeffs)) {
 809         uint32_t vals[4];
 810         int i;
 811         unsigned int idx;
 812
 813         idx = get_vlc2(&s->gb, vec4_vlc.table, VLCBITS, VEC4MAXDEPTH);
 814
 815         if (idx == HUFF_VEC4_SIZE - 1) {
 816             for (i = 0; i < 4; i += 2) {
 817                 idx = get_vlc2(&s->gb, vec2_vlc.table, VLCBITS, VEC2MAXDEPTH);
 818                 if (idx == HUFF_VEC2_SIZE - 1) {
 819                     uint32_t v0, v1;
 820                     v0 = get_vlc2(&s->gb, vec1_vlc.table, VLCBITS, VEC1MAXDEPTH);
 821                     if (v0 == HUFF_VEC1_SIZE - 1)
 822                         v0 += ff_wma_get_large_val(&s->gb);
 823                     v1 = get_vlc2(&s->gb, vec1_vlc.table, VLCBITS, VEC1MAXDEPTH);
 824                     if (v1 == HUFF_VEC1_SIZE - 1)
 825                         v1 += ff_wma_get_large_val(&s->gb);
 826                     vals[i  ] = ((av_alias32){ .f32 = v0 }).u32;
 827                     vals[i+1] = ((av_alias32){ .f32 = v1 }).u32;
 828                 } else {
 829                     vals[i]   = fval_tab[symbol_to_vec2[idx] >> 4 ];
 830                     vals[i+1] = fval_tab[symbol_to_vec2[idx] & 0xF];
 831                 }
 832             }
 833         } else {
 834             vals[0] = fval_tab[ symbol_to_vec4[idx] >> 12      ];
 835             vals[1] = fval_tab[(symbol_to_vec4[idx] >> 8) & 0xF];
 836             vals[2] = fval_tab[(symbol_to_vec4[idx] >> 4) & 0xF];
 837             vals[3] = fval_tab[ symbol_to_vec4[idx]       & 0xF];
 838         }
 839
 840         /** decode sign */
 841         for (i = 0; i < 4; i++) {
 842             if (vals[i]) {
 843                 uint32_t sign = get_bits1(&s->gb) - 1;
 844                 AV_WN32A(&ci->coeffs[cur_coeff], vals[i] ^ sign << 31);
 845                 num_zeros = 0;
 846             } else {
 847                 ci->coeffs[cur_coeff] = 0;
 848                 /** switch to run level mode when subframe_len / 128 zeros
 849                     were found in a row */
 850                 rl_mode |= (++num_zeros > s->subframe_len >> 8);
 851             }
 852             ++cur_coeff;
 853         }
 854     }
 855
 856     /** decode run level coded coefficients */
 857     if (cur_coeff < s->subframe_len) {
 858         memset(&ci->coeffs[cur_coeff], 0,
 859                sizeof(*ci->coeffs) * (s->subframe_len - cur_coeff));
 860         if (ff_wma_run_level_decode(s->avctx, &s->gb, vlc,
 861                                     level, run, 1, ci->coeffs,
 862                                     cur_coeff, s->subframe_len,
 863                                     s->subframe_len, s->esc_len, 0))
 864             return AVERROR_INVALIDDATA;
 865     }
 866
 867     return 0;
 868 }
 869
 870 /**
 871  *@brief Extract scale factors from the bitstream.
 872  *@param s codec context
 873  *@return 0 on success, < 0 in case of bitstream errors
 874  */
 875 static int decode_scale_factors(WMAProDecodeCtx* s)
 876 {
 877     int i;
 878
 879     /** should never consume more than 5344 bits
 880      *  MAX_CHANNELS * (1 +  MAX_BANDS * 23)
 881      */
 882
 883     for (i = 0; i < s->channels_for_cur_subframe; i++) {
 884         int c = s->channel_indexes_for_cur_subframe[i];
 885         int* sf;
 886         int* sf_end;
 887         s->channel[c].scale_factors = s->channel[c].saved_scale_factors[!s->channel[c].scale_factor_idx];
 888         sf_end = s->channel[c].scale_factors + s->num_bands;
 889
 890         /** resample scale factors for the new block size
 891          *  as the scale factors might need to be resampled several times
 892          *  before some  new values are transmitted, a backup of the last
 893          *  transmitted scale factors is kept in saved_scale_factors
 894          */
 895         if (s->channel[c].reuse_sf) {
 896             const int8_t* sf_offsets = s->sf_offsets[s->table_idx][s->channel[c].table_idx];
 897             int b;
 898             for (b = 0; b < s->num_bands; b++)
 899                 s->channel[c].scale_factors[b] =
 900                     s->channel[c].saved_scale_factors[s->channel[c].scale_factor_idx][*sf_offsets++];
 901         }
 902
 903         if (!s->channel[c].cur_subframe || get_bits1(&s->gb)) {
 904
 905             if (!s->channel[c].reuse_sf) {
 906                 int val;
 907                 /** decode DPCM coded scale factors */
 908                 s->channel[c].scale_factor_step = get_bits(&s->gb, 2) + 1;
 909                 val = 45 / s->channel[c].scale_factor_step;
 910                 for (sf = s->channel[c].scale_factors; sf < sf_end; sf++) {
 911                     val += get_vlc2(&s->gb, sf_vlc.table, SCALEVLCBITS, SCALEMAXDEPTH) - 60;
 912                     *sf = val;
 913                 }
 914             } else {
 915                 int i;
 916                 /** run level decode differences to the resampled factors */
 917                 for (i = 0; i < s->num_bands; i++) {
 918                     int idx;
 919                     int skip;
 920                     int val;
 921                     int sign;
 922
 923                     idx = get_vlc2(&s->gb, sf_rl_vlc.table, VLCBITS, SCALERLMAXDEPTH);
 924
 925                     if (!idx) {
 926                         uint32_t code = get_bits(&s->gb, 14);
 927                         val  =  code >> 6;
 928                         sign = (code & 1) - 1;
 929                         skip = (code & 0x3f) >> 1;
 930                     } else if (idx == 1) {
 931                         break;
 932                     } else {
 933                         skip = scale_rl_run[idx];
 934                         val  = scale_rl_level[idx];
 935                         sign = get_bits1(&s->gb)-1;
 936                     }
 937
 938                     i += skip;
 939                     if (i >= s->num_bands) {
 940                         av_log(s->avctx, AV_LOG_ERROR,
 941                                "invalid scale factor coding\n");
 942                         return AVERROR_INVALIDDATA;
 943                     }
 944                     s->channel[c].scale_factors[i] += (val ^ sign) - sign;
 945                 }
 946             }
 947             /** swap buffers */
 948             s->channel[c].scale_factor_idx = !s->channel[c].scale_factor_idx;
 949             s->channel[c].table_idx = s->table_idx;
 950             s->channel[c].reuse_sf  = 1;
 951         }
 952
 953         /** calculate new scale factor maximum */
 954         s->channel[c].max_scale_factor = s->channel[c].scale_factors[0];
 955         for (sf = s->channel[c].scale_factors + 1; sf < sf_end; sf++) {
 956             s->channel[c].max_scale_factor =
 957                 FFMAX(s->channel[c].max_scale_factor, *sf);
 958         }
 959
 960     }
 961     return 0;
 962 }
 963
 964 /**
 965  *@brief Reconstruct the individual channel data.
 966  *@param s codec context
 967  */
 968 static void inverse_channel_transform(WMAProDecodeCtx *s)
 969 {
 970     int i;
 971
 972     for (i = 0; i < s->num_chgroups; i++) {
 973         if (s->chgroup[i].transform) {
 974             float data[WMAPRO_MAX_CHANNELS];
 975             const int num_channels = s->chgroup[i].num_channels;
 976             float** ch_data = s->chgroup[i].channel_data;
 977             float** ch_end = ch_data + num_channels;
 978             const int8_t* tb = s->chgroup[i].transform_band;
 979             int16_t* sfb;
 980
 981             /** multichannel decorrelation */
 982             for (sfb = s->cur_sfb_offsets;
 983                  sfb < s->cur_sfb_offsets + s->num_bands; sfb++) {
 984                 int y;
 985                 if (*tb++ == 1) {
 986                     /** multiply values with the decorrelation_matrix */
 987                     for (y = sfb[0]; y < FFMIN(sfb[1], s->subframe_len); y++) {
 988                         const float* mat = s->chgroup[i].decorrelation_matrix;
 989                         const float* data_end = data + num_channels;
 990                         float* data_ptr = data;
 991                         float** ch;
 992
 993                         for (ch = ch_data; ch < ch_end; ch++)
 994                             *data_ptr++ = (*ch)[y];
 995
 996                         for (ch = ch_data; ch < ch_end; ch++) {
 997                             float sum = 0;
 998                             data_ptr = data;
 999                             while (data_ptr < data_end)
1000                                 sum += *data_ptr++ * *mat++;
1001
1002                             (*ch)[y] = sum;
1003                         }
1004                     }
1005                 } else if (s->num_channels == 2) {
1006                     int len = FFMIN(sfb[1], s->subframe_len) - sfb[0];
1007                     s->dsp.vector_fmul_scalar(ch_data[0] + sfb[0],
1008                                               ch_data[0] + sfb[0],
1009                                               181.0 / 128, len);
1010                     s->dsp.vector_fmul_scalar(ch_data[1] + sfb[0],
1011                                               ch_data[1] + sfb[0],
1012                                               181.0 / 128, len);
1013                 }
1014             }
1015         }
1016     }
1017 }
1018
1019 /**
1020  *@brief Apply sine window and reconstruct the output buffer.
1021  *@param s codec context
1022  */
1023 static void wmapro_window(WMAProDecodeCtx *s)
1024 {
1025     int i;
1026     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1027         int c = s->channel_indexes_for_cur_subframe[i];
1028         float* window;
1029         int winlen = s->channel[c].prev_block_len;
1030         float* start = s->channel[c].coeffs - (winlen >> 1);
1031
1032         if (s->subframe_len < winlen) {
1033             start += (winlen - s->subframe_len) >> 1;
1034             winlen = s->subframe_len;
1035         }
1036
1037         window = s->windows[av_log2(winlen) - WMAPRO_BLOCK_MIN_BITS];
1038
1039         winlen >>= 1;
1040
1041         s->dsp.vector_fmul_window(start, start, start + winlen,
1042                                   window, winlen);
1043
1044         s->channel[c].prev_block_len = s->subframe_len;
1045     }
1046 }
1047
1048 /**
1049  *@brief Decode a single subframe (block).
1050  *@param s codec context
1051  *@return 0 on success, < 0 when decoding failed
1052  */
1053 static int decode_subframe(WMAProDecodeCtx *s)
1054 {
1055     int offset = s->samples_per_frame;
1056     int subframe_len = s->samples_per_frame;
1057     int i;
1058     int total_samples   = s->samples_per_frame * s->num_channels;
1059     int transmit_coeffs = 0;
1060     int cur_subwoofer_cutoff;
1061
1062     s->subframe_offset = get_bits_count(&s->gb);
1063
1064     /** reset channel context and find the next block offset and size
1065         == the next block of the channel with the smallest number of
1066         decoded samples
1067     */
1068     for (i = 0; i < s->num_channels; i++) {
1069         s->channel[i].grouped = 0;
1070         if (offset > s->channel[i].decoded_samples) {
1071             offset = s->channel[i].decoded_samples;
1072             subframe_len =
1073                 s->channel[i].subframe_len[s->channel[i].cur_subframe];
1074         }
1075     }
1076
1077     av_dlog(s->avctx,
1078             "processing subframe with offset %i len %i\n", offset, subframe_len);
1079
1080     /** get a list of all channels that contain the estimated block */
1081     s->channels_for_cur_subframe = 0;
1082     for (i = 0; i < s->num_channels; i++) {
1083         const int cur_subframe = s->channel[i].cur_subframe;
1084         /** substract already processed samples */
1085         total_samples -= s->channel[i].decoded_samples;
1086
1087         /** and count if there are multiple subframes that match our profile */
1088         if (offset == s->channel[i].decoded_samples &&
1089             subframe_len == s->channel[i].subframe_len[cur_subframe]) {
1090             total_samples -= s->channel[i].subframe_len[cur_subframe];
1091             s->channel[i].decoded_samples +=
1092                 s->channel[i].subframe_len[cur_subframe];
1093             s->channel_indexes_for_cur_subframe[s->channels_for_cur_subframe] = i;
1094             ++s->channels_for_cur_subframe;
1095         }
1096     }
1097
1098     /** check if the frame will be complete after processing the
1099         estimated block */
1100     if (!total_samples)
1101         s->parsed_all_subframes = 1;
1102
1103
1104     av_dlog(s->avctx, "subframe is part of %i channels\n",
1105             s->channels_for_cur_subframe);
1106
1107     /** calculate number of scale factor bands and their offsets */
1108     s->table_idx         = av_log2(s->samples_per_frame/subframe_len);
1109     s->num_bands         = s->num_sfb[s->table_idx];
1110     s->cur_sfb_offsets   = s->sfb_offsets[s->table_idx];
1111     cur_subwoofer_cutoff = s->subwoofer_cutoffs[s->table_idx];
1112
1113     /** configure the decoder for the current subframe */
1114     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1115         int c = s->channel_indexes_for_cur_subframe[i];
1116
1117         s->channel[c].coeffs = &s->channel[c].out[(s->samples_per_frame >> 1)
1118                                                   + offset];
1119     }
1120
1121     s->subframe_len = subframe_len;
1122     s->esc_len = av_log2(s->subframe_len - 1) + 1;
1123
1124     /** skip extended header if any */
1125     if (get_bits1(&s->gb)) {
1126         int num_fill_bits;
1127         if (!(num_fill_bits = get_bits(&s->gb, 2))) {
1128             int len = get_bits(&s->gb, 4);
1129             num_fill_bits = get_bits(&s->gb, len) + 1;
1130         }
1131
1132         if (num_fill_bits >= 0) {
1133             if (get_bits_count(&s->gb) + num_fill_bits > s->num_saved_bits) {
1134                 av_log(s->avctx, AV_LOG_ERROR, "invalid number of fill bits\n");
1135                 return AVERROR_INVALIDDATA;
1136             }
1137
1138             skip_bits_long(&s->gb, num_fill_bits);
1139         }
1140     }
1141
1142     /** no idea for what the following bit is used */
1143     if (get_bits1(&s->gb)) {
1144         av_log_ask_for_sample(s->avctx, "reserved bit set\n");
1145         return AVERROR_INVALIDDATA;
1146     }
1147
1148
1149     if (decode_channel_transform(s) < 0)
1150         return AVERROR_INVALIDDATA;
1151
1152
1153     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1154         int c = s->channel_indexes_for_cur_subframe[i];
1155         if ((s->channel[c].transmit_coefs = get_bits1(&s->gb)))
1156             transmit_coeffs = 1;
1157     }
1158
1159     if (transmit_coeffs) {
1160         int step;
1161         int quant_step = 90 * s->bits_per_sample >> 4;
1162
1163         /** decode number of vector coded coefficients */
1164         if ((s->transmit_num_vec_coeffs = get_bits1(&s->gb))) {
1165             int num_bits = av_log2((s->subframe_len + 3)/4) + 1;
1166             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1167                 int c = s->channel_indexes_for_cur_subframe[i];
1168                 s->channel[c].num_vec_coeffs = get_bits(&s->gb, num_bits) << 2;
1169             }
1170         } else {
1171             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1172                 int c = s->channel_indexes_for_cur_subframe[i];
1173                 s->channel[c].num_vec_coeffs = s->subframe_len;
1174             }
1175         }
1176         /** decode quantization step */
1177         step = get_sbits(&s->gb, 6);
1178         quant_step += step;
1179         if (step == -32 || step == 31) {
1180             const int sign = (step == 31) - 1;
1181             int quant = 0;
1182             while (get_bits_count(&s->gb) + 5 < s->num_saved_bits &&
1183                    (step = get_bits(&s->gb, 5)) == 31) {
1184                 quant += 31;
1185             }
1186             quant_step += ((quant + step) ^ sign) - sign;
1187         }
1188         if (quant_step < 0) {
1189             av_log(s->avctx, AV_LOG_DEBUG, "negative quant step\n");
1190         }
1191
1192         /** decode quantization step modifiers for every channel */
1193
1194         if (s->channels_for_cur_subframe == 1) {
1195             s->channel[s->channel_indexes_for_cur_subframe[0]].quant_step = quant_step;
1196         } else {
1197             int modifier_len = get_bits(&s->gb, 3);
1198             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1199                 int c = s->channel_indexes_for_cur_subframe[i];
1200                 s->channel[c].quant_step = quant_step;
1201                 if (get_bits1(&s->gb)) {
1202                     if (modifier_len) {
1203                         s->channel[c].quant_step += get_bits(&s->gb, modifier_len) + 1;
1204                     } else
1205                         ++s->channel[c].quant_step;
1206                 }
1207             }
1208         }
1209
1210         /** decode scale factors */
1211         if (decode_scale_factors(s) < 0)
1212             return AVERROR_INVALIDDATA;
1213     }
1214
1215     av_dlog(s->avctx, "BITSTREAM: subframe header length was %i\n",
1216             get_bits_count(&s->gb) - s->subframe_offset);
1217
1218     /** parse coefficients */
1219     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1220         int c = s->channel_indexes_for_cur_subframe[i];
1221         if (s->channel[c].transmit_coefs &&
1222             get_bits_count(&s->gb) < s->num_saved_bits) {
1223             decode_coeffs(s, c);
1224         } else
1225             memset(s->channel[c].coeffs, 0,
1226                    sizeof(*s->channel[c].coeffs) * subframe_len);
1227     }
1228
1229     av_dlog(s->avctx, "BITSTREAM: subframe length was %i\n",
1230             get_bits_count(&s->gb) - s->subframe_offset);
1231
1232     if (transmit_coeffs) {
1233         FFTContext *mdct = &s->mdct_ctx[av_log2(subframe_len) - WMAPRO_BLOCK_MIN_BITS];
1234         /** reconstruct the per channel data */
1235         inverse_channel_transform(s);
1236         for (i = 0; i < s->channels_for_cur_subframe; i++) {
1237             int c = s->channel_indexes_for_cur_subframe[i];
1238             const int* sf = s->channel[c].scale_factors;
1239             int b;
1240
1241             if (c == s->lfe_channel)
1242                 memset(&s->tmp[cur_subwoofer_cutoff], 0, sizeof(*s->tmp) *
1243                        (subframe_len - cur_subwoofer_cutoff));
1244
1245             /** inverse quantization and rescaling */
1246             for (b = 0; b < s->num_bands; b++) {
1247                 const int end = FFMIN(s->cur_sfb_offsets[b+1], s->subframe_len);
1248                 const int exp = s->channel[c].quant_step -
1249                             (s->channel[c].max_scale_factor - *sf++) *
1250                             s->channel[c].scale_factor_step;
1251                 const float quant = pow(10.0, exp / 20.0);
1252                 int start = s->cur_sfb_offsets[b];
1253                 s->dsp.vector_fmul_scalar(s->tmp + start,
1254                                           s->channel[c].coeffs + start,
1255                                           quant, end - start);
1256             }
1257
1258             /** apply imdct (imdct_half == DCTIV with reverse) */
1259             mdct->imdct_half(mdct, s->channel[c].coeffs, s->tmp);
1260         }
1261     }
1262
1263     /** window and overlapp-add */
1264     wmapro_window(s);
1265
1266     /** handled one subframe */
1267     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1268         int c = s->channel_indexes_for_cur_subframe[i];
1269         if (s->channel[c].cur_subframe >= s->channel[c].num_subframes) {
1270             av_log(s->avctx, AV_LOG_ERROR, "broken subframe\n");
1271             return AVERROR_INVALIDDATA;
1272         }
1273         ++s->channel[c].cur_subframe;
1274     }
1275
1276     return 0;
1277 }
1278
1279 /**
1280  *@brief Decode one WMA frame.
1281  *@param s codec context
1282  *@return 0 if the trailer bit indicates that this is the last frame,
1283  *        1 if there are additional frames
1284  */
1285 static int decode_frame(WMAProDecodeCtx *s, int *got_frame_ptr)
1286 {
1287     AVCodecContext *avctx = s->avctx;
1288     GetBitContext* gb = &s->gb;
1289     int more_frames = 0;
1290     int len = 0;
1291     int i, ret;
1292     const float *out_ptr[WMAPRO_MAX_CHANNELS];
1293     float *samples;
1294
1295     /** get frame length */
1296     if (s->len_prefix)
1297         len = get_bits(gb, s->log2_frame_size);
1298
1299     av_dlog(s->avctx, "decoding frame with length %x\n", len);
1300
1301     /** decode tile information */
1302     if (decode_tilehdr(s)) {
1303         s->packet_loss = 1;
1304         return 0;
1305     }
1306
1307     /** read postproc transform */
1308     if (s->num_channels > 1 && get_bits1(gb)) {
1309         if (get_bits1(gb)) {
1310             for (i = 0; i < s->num_channels * s->num_channels; i++)
1311                 skip_bits(gb, 4);
1312         }
1313     }
1314
1315     /** read drc info */
1316     if (s->dynamic_range_compression) {
1317         s->drc_gain = get_bits(gb, 8);
1318         av_dlog(s->avctx, "drc_gain %i\n", s->drc_gain);
1319     }
1320
1321     /** no idea what these are for, might be the number of samples
1322         that need to be skipped at the beginning or end of a stream */
1323     if (get_bits1(gb)) {
1324         int av_unused skip;
1325
1326         /** usually true for the first frame */
1327         if (get_bits1(gb)) {
1328             skip = get_bits(gb, av_log2(s->samples_per_frame * 2));
1329             av_dlog(s->avctx, "start skip: %i\n", skip);
1330         }
1331
1332         /** sometimes true for the last frame */
1333         if (get_bits1(gb)) {
1334             skip = get_bits(gb, av_log2(s->samples_per_frame * 2));
1335             av_dlog(s->avctx, "end skip: %i\n", skip);
1336         }
1337
1338     }
1339
1340     av_dlog(s->avctx, "BITSTREAM: frame header length was %i\n",
1341             get_bits_count(gb) - s->frame_offset);
1342
1343     /** reset subframe states */
1344     s->parsed_all_subframes = 0;
1345     for (i = 0; i < s->num_channels; i++) {
1346         s->channel[i].decoded_samples = 0;
1347         s->channel[i].cur_subframe    = 0;
1348         s->channel[i].reuse_sf        = 0;
1349     }
1350
1351     /** decode all subframes */
1352     while (!s->parsed_all_subframes) {
1353         if (decode_subframe(s) < 0) {
1354             s->packet_loss = 1;
1355             return 0;
1356         }
1357     }
1358
1359     /* get output buffer */
1360     s->frame.nb_samples = s->samples_per_frame;
1361     if ((ret = avctx->get_buffer(avctx, &s->frame)) < 0) {
1362         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
1363         s->packet_loss = 1;
1364         return 0;
1365     }
1366     samples = (float *)s->frame.data[0];
1367
1368     /** interleave samples and write them to the output buffer */
1369     for (i = 0; i < s->num_channels; i++)
1370         out_ptr[i] = s->channel[i].out;
1371     s->fmt_conv.float_interleave(samples, out_ptr, s->samples_per_frame,
1372                                  s->num_channels);
1373
1374     for (i = 0; i < s->num_channels; i++) {
1375         /** reuse second half of the IMDCT output for the next frame */
1376         memcpy(&s->channel[i].out[0],
1377                &s->channel[i].out[s->samples_per_frame],
1378                s->samples_per_frame * sizeof(*s->channel[i].out) >> 1);
1379     }
1380
1381     if (s->skip_frame) {
1382         s->skip_frame = 0;
1383         *got_frame_ptr = 0;
1384     } else {
1385         *got_frame_ptr = 1;
1386     }
1387
1388     if (s->len_prefix) {
1389         if (len != (get_bits_count(gb) - s->frame_offset) + 2) {
1390             /** FIXME: not sure if this is always an error */
1391             av_log(s->avctx, AV_LOG_ERROR,
1392                    "frame[%i] would have to skip %i bits\n", s->frame_num,
1393                    len - (get_bits_count(gb) - s->frame_offset) - 1);
1394             s->packet_loss = 1;
1395             return 0;
1396         }
1397
1398         /** skip the rest of the frame data */
1399         skip_bits_long(gb, len - (get_bits_count(gb) - s->frame_offset) - 1);
1400     } else {
1401         while (get_bits_count(gb) < s->num_saved_bits && get_bits1(gb) == 0) {
1402         }
1403     }
1404
1405     /** decode trailer bit */
1406     more_frames = get_bits1(gb);
1407
1408     ++s->frame_num;
1409     return more_frames;
1410 }
1411
1412 /**
1413  *@brief Calculate remaining input buffer length.
1414  *@param s codec context
1415  *@param gb bitstream reader context
1416  *@return remaining size in bits
1417  */
1418 static int remaining_bits(WMAProDecodeCtx *s, GetBitContext *gb)
1419 {
1420     return s->buf_bit_size - get_bits_count(gb);
1421 }
1422
1423 /**
1424  *@brief Fill the bit reservoir with a (partial) frame.
1425  *@param s codec context
1426  *@param gb bitstream reader context
1427  *@param len length of the partial frame
1428  *@param append decides wether to reset the buffer or not
1429  */
1430 static void save_bits(WMAProDecodeCtx *s, GetBitContext* gb, int len,
1431                       int append)
1432 {
1433     int buflen;
1434
1435     /** when the frame data does not need to be concatenated, the input buffer
1436         is resetted and additional bits from the previous frame are copyed
1437         and skipped later so that a fast byte copy is possible */
1438
1439     if (!append) {
1440         s->frame_offset = get_bits_count(gb) & 7;
1441         s->num_saved_bits = s->frame_offset;
1442         init_put_bits(&s->pb, s->frame_data, MAX_FRAMESIZE);
1443     }
1444
1445     buflen = (put_bits_count(&s->pb) + len + 8) >> 3;
1446
1447     if (len <= 0 || buflen > MAX_FRAMESIZE) {
1448         av_log_ask_for_sample(s->avctx, "input buffer too small\n");
1449         s->packet_loss = 1;
1450         return;
1451     }
1452
1453     s->num_saved_bits += len;
1454     if (!append) {
1455         avpriv_copy_bits(&s->pb, gb->buffer + (get_bits_count(gb) >> 3),
1456                      s->num_saved_bits);
1457     } else {
1458         int align = 8 - (get_bits_count(gb) & 7);
1459         align = FFMIN(align, len);
1460         put_bits(&s->pb, align, get_bits(gb, align));
1461         len -= align;
1462         avpriv_copy_bits(&s->pb, gb->buffer + (get_bits_count(gb) >> 3), len);
1463     }
1464     skip_bits_long(gb, len);
1465
1466     {
1467         PutBitContext tmp = s->pb;
1468         flush_put_bits(&tmp);
1469     }
1470
1471     init_get_bits(&s->gb, s->frame_data, s->num_saved_bits);
1472     skip_bits(&s->gb, s->frame_offset);
1473 }
1474
1475 /**
1476  *@brief Decode a single WMA packet.
1477  *@param avctx codec context
1478  *@param data the output buffer
1479  *@param data_size number of bytes that were written to the output buffer
1480  *@param avpkt input packet
1481  *@return number of bytes that were read from the input buffer
1482  */
1483 static int decode_packet(AVCodecContext *avctx, void *data,
1484                          int *got_frame_ptr, AVPacket* avpkt)
1485 {
1486     WMAProDecodeCtx *s = avctx->priv_data;
1487     GetBitContext* gb  = &s->pgb;
1488     const uint8_t* buf = avpkt->data;
1489     int buf_size       = avpkt->size;
1490     int num_bits_prev_frame;
1491     int packet_sequence_number;
1492
1493     *got_frame_ptr = 0;
1494
1495     if (s->packet_done || s->packet_loss) {
1496         s->packet_done = 0;
1497
1498         /** sanity check for the buffer length */
1499         if (buf_size < avctx->block_align)
1500             return 0;
1501
1502         s->next_packet_start = buf_size - avctx->block_align;
1503         buf_size = avctx->block_align;
1504         s->buf_bit_size = buf_size << 3;
1505
1506         /** parse packet header */
1507         init_get_bits(gb, buf, s->buf_bit_size);
1508         packet_sequence_number = get_bits(gb, 4);
1509         skip_bits(gb, 2);
1510
1511         /** get number of bits that need to be added to the previous frame */
1512         num_bits_prev_frame = get_bits(gb, s->log2_frame_size);
1513         av_dlog(avctx, "packet[%d]: nbpf %x\n", avctx->frame_number,
1514                 num_bits_prev_frame);
1515
1516         /** check for packet loss */
1517         if (!s->packet_loss &&
1518             ((s->packet_sequence_number + 1) & 0xF) != packet_sequence_number) {
1519             s->packet_loss = 1;
1520             av_log(avctx, AV_LOG_ERROR, "Packet loss detected! seq %x vs %x\n",
1521                    s->packet_sequence_number, packet_sequence_number);
1522         }
1523         s->packet_sequence_number = packet_sequence_number;
1524
1525         if (num_bits_prev_frame > 0) {
1526             int remaining_packet_bits = s->buf_bit_size - get_bits_count(gb);
1527             if (num_bits_prev_frame >= remaining_packet_bits) {
1528                 num_bits_prev_frame = remaining_packet_bits;
1529                 s->packet_done = 1;
1530             }
1531
1532             /** append the previous frame data to the remaining data from the
1533                 previous packet to create a full frame */
1534             save_bits(s, gb, num_bits_prev_frame, 1);
1535             av_dlog(avctx, "accumulated %x bits of frame data\n",
1536                     s->num_saved_bits - s->frame_offset);
1537
1538             /** decode the cross packet frame if it is valid */
1539             if (!s->packet_loss)
1540                 decode_frame(s, got_frame_ptr);
1541         } else if (s->num_saved_bits - s->frame_offset) {
1542             av_dlog(avctx, "ignoring %x previously saved bits\n",
1543                     s->num_saved_bits - s->frame_offset);
1544         }
1545
1546         if (s->packet_loss) {
1547             /** reset number of saved bits so that the decoder
1548                 does not start to decode incomplete frames in the
1549                 s->len_prefix == 0 case */
1550             s->num_saved_bits = 0;
1551             s->packet_loss = 0;
1552         }
1553
1554     } else {
1555         int frame_size;
1556         s->buf_bit_size = (avpkt->size - s->next_packet_start) << 3;
1557         init_get_bits(gb, avpkt->data, s->buf_bit_size);
1558         skip_bits(gb, s->packet_offset);
1559         if (s->len_prefix && remaining_bits(s, gb) > s->log2_frame_size &&
1560             (frame_size = show_bits(gb, s->log2_frame_size)) &&
1561             frame_size <= remaining_bits(s, gb)) {
1562             save_bits(s, gb, frame_size, 0);
1563             s->packet_done = !decode_frame(s, got_frame_ptr);
1564         } else if (!s->len_prefix
1565                    && s->num_saved_bits > get_bits_count(&s->gb)) {
1566             /** when the frames do not have a length prefix, we don't know
1567                 the compressed length of the individual frames
1568                 however, we know what part of a new packet belongs to the
1569                 previous frame
1570                 therefore we save the incoming packet first, then we append
1571                 the "previous frame" data from the next packet so that
1572                 we get a buffer that only contains full frames */
1573             s->packet_done = !decode_frame(s, got_frame_ptr);
1574         } else
1575             s->packet_done = 1;
1576     }
1577
1578     if (s->packet_done && !s->packet_loss &&
1579         remaining_bits(s, gb) > 0) {
1580         /** save the rest of the data so that it can be decoded
1581             with the next packet */
1582         save_bits(s, gb, remaining_bits(s, gb), 0);
1583     }
1584
1585     s->packet_offset = get_bits_count(gb) & 7;
1586     if (s->packet_loss)
1587         return AVERROR_INVALIDDATA;
1588
1589     if (*got_frame_ptr)
1590         *(AVFrame *)data = s->frame;
1591
1592     return get_bits_count(gb) >> 3;
1593 }
1594
1595 /**
1596  *@brief Clear decoder buffers (for seeking).
1597  *@param avctx codec context
1598  */
1599 static void flush(AVCodecContext *avctx)
1600 {
1601     WMAProDecodeCtx *s = avctx->priv_data;
1602     int i;
1603     /** reset output buffer as a part of it is used during the windowing of a
1604         new frame */
1605     for (i = 0; i < s->num_channels; i++)
1606         memset(s->channel[i].out, 0, s->samples_per_frame *
1607                sizeof(*s->channel[i].out));
1608     s->packet_loss = 1;
1609 }
1610
1611
1612 /**
1613  *@brief wmapro decoder
1614  */
1615 AVCodec ff_wmapro_decoder = {
1616     .name           = "wmapro",
1617     .type           = AVMEDIA_TYPE_AUDIO,
1618     .id             = CODEC_ID_WMAPRO,
1619     .priv_data_size = sizeof(WMAProDecodeCtx),
1620     .init           = decode_init,
1621     .close          = decode_end,
1622     .decode         = decode_packet,
1623     .capabilities   = CODEC_CAP_SUBFRAMES | CODEC_CAP_DR1,
1624     .flush= flush,
1625     .long_name = NULL_IF_CONFIG_SMALL("Windows Media Audio 9 Professional"),
1626 };