git.sesse.net Git - ffmpeg/blob - libavcodec/wmaprodec.c

   1 /*
   2  * Wmapro compatible decoder
   3  * Copyright (c) 2007 Baptiste Coudurier, Benjamin Larsson, Ulion
   4  * Copyright (c) 2008 - 2011 Sascha Sommer, Benjamin Larsson
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 /**
  24  * @file
  25  * @brief wmapro decoder implementation
  26  * Wmapro is an MDCT based codec comparable to wma standard or AAC.
  27  * The decoding therefore consists of the following steps:
  28  * - bitstream decoding
  29  * - reconstruction of per-channel data
  30  * - rescaling and inverse quantization
  31  * - IMDCT
  32  * - windowing and overlapp-add
  33  *
  34  * The compressed wmapro bitstream is split into individual packets.
  35  * Every such packet contains one or more wma frames.
  36  * The compressed frames may have a variable length and frames may
  37  * cross packet boundaries.
  38  * Common to all wmapro frames is the number of samples that are stored in
  39  * a frame.
  40  * The number of samples and a few other decode flags are stored
  41  * as extradata that has to be passed to the decoder.
  42  *
  43  * The wmapro frames themselves are again split into a variable number of
  44  * subframes. Every subframe contains the data for 2^N time domain samples
  45  * where N varies between 7 and 12.
  46  *
  47  * Example wmapro bitstream (in samples):
  48  *
  49  * ||   packet 0           || packet 1 || packet 2      packets
  50  * ---------------------------------------------------
  51  * || frame 0      || frame 1       || frame 2    ||    frames
  52  * ---------------------------------------------------
  53  * ||   |      |   ||   |   |   |   ||            ||    subframes of channel 0
  54  * ---------------------------------------------------
  55  * ||      |   |   ||   |   |   |   ||            ||    subframes of channel 1
  56  * ---------------------------------------------------
  57  *
  58  * The frame layouts for the individual channels of a wma frame does not need
  59  * to be the same.
  60  *
  61  * However, if the offsets and lengths of several subframes of a frame are the
  62  * same, the subframes of the channels can be grouped.
  63  * Every group may then use special coding techniques like M/S stereo coding
  64  * to improve the compression ratio. These channel transformations do not
  65  * need to be applied to a whole subframe. Instead, they can also work on
  66  * individual scale factor bands (see below).
  67  * The coefficients that carry the audio signal in the frequency domain
  68  * are transmitted as huffman-coded vectors with 4, 2 and 1 elements.
  69  * In addition to that, the encoder can switch to a runlevel coding scheme
  70  * by transmitting subframe_length / 128 zero coefficients.
  71  *
  72  * Before the audio signal can be converted to the time domain, the
  73  * coefficients have to be rescaled and inverse quantized.
  74  * A subframe is therefore split into several scale factor bands that get
  75  * scaled individually.
  76  * Scale factors are submitted for every frame but they might be shared
  77  * between the subframes of a channel. Scale factors are initially DPCM-coded.
  78  * Once scale factors are shared, the differences are transmitted as runlevel
  79  * codes.
  80  * Every subframe length and offset combination in the frame layout shares a
  81  * common quantization factor that can be adjusted for every channel by a
  82  * modifier.
  83  * After the inverse quantization, the coefficients get processed by an IMDCT.
  84  * The resulting values are then windowed with a sine window and the first half
  85  * of the values are added to the second half of the output from the previous
  86  * subframe in order to reconstruct the output samples.
  87  */
  88
  89 #include "libavutil/intfloat.h"
  90 #include "libavutil/intreadwrite.h"
  91 #include "avcodec.h"
  92 #include "internal.h"
  93 #include "get_bits.h"
  94 #include "put_bits.h"
  95 #include "wmaprodata.h"
  96 #include "dsputil.h"
  97 #include "fmtconvert.h"
  98 #include "sinewin.h"
  99 #include "wma.h"
 100 #include "wma_common.h"
 101
 102 /** current decoder limitations */
 103 #define WMAPRO_MAX_CHANNELS    8                             ///< max number of handled channels
 104 #define MAX_SUBFRAMES  32                                    ///< max number of subframes per channel
 105 #define MAX_BANDS      29                                    ///< max number of scale factor bands
 106 #define MAX_FRAMESIZE  32768                                 ///< maximum compressed frame size
 107
 108 #define WMAPRO_BLOCK_MIN_BITS  6                                           ///< log2 of min block size
 109 #define WMAPRO_BLOCK_MAX_BITS 13                                           ///< log2 of max block size
 110 #define WMAPRO_BLOCK_MAX_SIZE (1 << WMAPRO_BLOCK_MAX_BITS)                 ///< maximum block size
 111 #define WMAPRO_BLOCK_SIZES    (WMAPRO_BLOCK_MAX_BITS - WMAPRO_BLOCK_MIN_BITS + 1) ///< possible block sizes
 112
 113
 114 #define VLCBITS            9
 115 #define SCALEVLCBITS       8
 116 #define VEC4MAXDEPTH    ((HUFF_VEC4_MAXBITS+VLCBITS-1)/VLCBITS)
 117 #define VEC2MAXDEPTH    ((HUFF_VEC2_MAXBITS+VLCBITS-1)/VLCBITS)
 118 #define VEC1MAXDEPTH    ((HUFF_VEC1_MAXBITS+VLCBITS-1)/VLCBITS)
 119 #define SCALEMAXDEPTH   ((HUFF_SCALE_MAXBITS+SCALEVLCBITS-1)/SCALEVLCBITS)
 120 #define SCALERLMAXDEPTH ((HUFF_SCALE_RL_MAXBITS+VLCBITS-1)/VLCBITS)
 121
 122 static VLC              sf_vlc;           ///< scale factor DPCM vlc
 123 static VLC              sf_rl_vlc;        ///< scale factor run length vlc
 124 static VLC              vec4_vlc;         ///< 4 coefficients per symbol
 125 static VLC              vec2_vlc;         ///< 2 coefficients per symbol
 126 static VLC              vec1_vlc;         ///< 1 coefficient per symbol
 127 static VLC              coef_vlc[2];      ///< coefficient run length vlc codes
 128 static float            sin64[33];        ///< sinus table for decorrelation
 129
 130 /**
 131  * @brief frame specific decoder context for a single channel
 132  */
 133 typedef struct {
 134     int16_t  prev_block_len;                          ///< length of the previous block
 135     uint8_t  transmit_coefs;
 136     uint8_t  num_subframes;
 137     uint16_t subframe_len[MAX_SUBFRAMES];             ///< subframe length in samples
 138     uint16_t subframe_offset[MAX_SUBFRAMES];          ///< subframe positions in the current frame
 139     uint8_t  cur_subframe;                            ///< current subframe number
 140     uint16_t decoded_samples;                         ///< number of already processed samples
 141     uint8_t  grouped;                                 ///< channel is part of a group
 142     int      quant_step;                              ///< quantization step for the current subframe
 143     int8_t   reuse_sf;                                ///< share scale factors between subframes
 144     int8_t   scale_factor_step;                       ///< scaling step for the current subframe
 145     int      max_scale_factor;                        ///< maximum scale factor for the current subframe
 146     int      saved_scale_factors[2][MAX_BANDS];       ///< resampled and (previously) transmitted scale factor values
 147     int8_t   scale_factor_idx;                        ///< index for the transmitted scale factor values (used for resampling)
 148     int*     scale_factors;                           ///< pointer to the scale factor values used for decoding
 149     uint8_t  table_idx;                               ///< index in sf_offsets for the scale factor reference block
 150     float*   coeffs;                                  ///< pointer to the subframe decode buffer
 151     uint16_t num_vec_coeffs;                          ///< number of vector coded coefficients
 152     DECLARE_ALIGNED(32, float, out)[WMAPRO_BLOCK_MAX_SIZE + WMAPRO_BLOCK_MAX_SIZE / 2]; ///< output buffer
 153 } WMAProChannelCtx;
 154
 155 /**
 156  * @brief channel group for channel transformations
 157  */
 158 typedef struct {
 159     uint8_t num_channels;                                     ///< number of channels in the group
 160     int8_t  transform;                                        ///< transform on / off
 161     int8_t  transform_band[MAX_BANDS];                        ///< controls if the transform is enabled for a certain band
 162     float   decorrelation_matrix[WMAPRO_MAX_CHANNELS*WMAPRO_MAX_CHANNELS];
 163     float*  channel_data[WMAPRO_MAX_CHANNELS];                ///< transformation coefficients
 164 } WMAProChannelGrp;
 165
 166 /**
 167  * @brief main decoder context
 168  */
 169 typedef struct WMAProDecodeCtx {
 170     /* generic decoder variables */
 171     AVCodecContext*  avctx;                         ///< codec context for av_log
 172     AVFrame          frame;                         ///< AVFrame for decoded output
 173     DSPContext       dsp;                           ///< accelerated DSP functions
 174     FmtConvertContext fmt_conv;
 175     uint8_t          frame_data[MAX_FRAMESIZE +
 176                       FF_INPUT_BUFFER_PADDING_SIZE];///< compressed frame data
 177     PutBitContext    pb;                            ///< context for filling the frame_data buffer
 178     FFTContext       mdct_ctx[WMAPRO_BLOCK_SIZES];  ///< MDCT context per block size
 179     DECLARE_ALIGNED(32, float, tmp)[WMAPRO_BLOCK_MAX_SIZE]; ///< IMDCT output buffer
 180     float*           windows[WMAPRO_BLOCK_SIZES];   ///< windows for the different block sizes
 181
 182     /* frame size dependent frame information (set during initialization) */
 183     uint32_t         decode_flags;                  ///< used compression features
 184     uint8_t          len_prefix;                    ///< frame is prefixed with its length
 185     uint8_t          dynamic_range_compression;     ///< frame contains DRC data
 186     uint8_t          bits_per_sample;               ///< integer audio sample size for the unscaled IMDCT output (used to scale to [-1.0, 1.0])
 187     uint16_t         samples_per_frame;             ///< number of samples to output
 188     uint16_t         log2_frame_size;
 189     int8_t           num_channels;                  ///< number of channels in the stream (same as AVCodecContext.num_channels)
 190     int8_t           lfe_channel;                   ///< lfe channel index
 191     uint8_t          max_num_subframes;
 192     uint8_t          subframe_len_bits;             ///< number of bits used for the subframe length
 193     uint8_t          max_subframe_len_bit;          ///< flag indicating that the subframe is of maximum size when the first subframe length bit is 1
 194     uint16_t         min_samples_per_subframe;
 195     int8_t           num_sfb[WMAPRO_BLOCK_SIZES];   ///< scale factor bands per block size
 196     int16_t          sfb_offsets[WMAPRO_BLOCK_SIZES][MAX_BANDS];                    ///< scale factor band offsets (multiples of 4)
 197     int8_t           sf_offsets[WMAPRO_BLOCK_SIZES][WMAPRO_BLOCK_SIZES][MAX_BANDS]; ///< scale factor resample matrix
 198     int16_t          subwoofer_cutoffs[WMAPRO_BLOCK_SIZES]; ///< subwoofer cutoff values
 199
 200     /* packet decode state */
 201     GetBitContext    pgb;                           ///< bitstream reader context for the packet
 202     int              next_packet_start;             ///< start offset of the next wma packet in the demuxer packet
 203     uint8_t          packet_offset;                 ///< frame offset in the packet
 204     uint8_t          packet_sequence_number;        ///< current packet number
 205     int              num_saved_bits;                ///< saved number of bits
 206     int              frame_offset;                  ///< frame offset in the bit reservoir
 207     int              subframe_offset;               ///< subframe offset in the bit reservoir
 208     uint8_t          packet_loss;                   ///< set in case of bitstream error
 209     uint8_t          packet_done;                   ///< set when a packet is fully decoded
 210
 211     /* frame decode state */
 212     uint32_t         frame_num;                     ///< current frame number (not used for decoding)
 213     GetBitContext    gb;                            ///< bitstream reader context
 214     int              buf_bit_size;                  ///< buffer size in bits
 215     uint8_t          drc_gain;                      ///< gain for the DRC tool
 216     int8_t           skip_frame;                    ///< skip output step
 217     int8_t           parsed_all_subframes;          ///< all subframes decoded?
 218
 219     /* subframe/block decode state */
 220     int16_t          subframe_len;                  ///< current subframe length
 221     int8_t           channels_for_cur_subframe;     ///< number of channels that contain the subframe
 222     int8_t           channel_indexes_for_cur_subframe[WMAPRO_MAX_CHANNELS];
 223     int8_t           num_bands;                     ///< number of scale factor bands
 224     int8_t           transmit_num_vec_coeffs;       ///< number of vector coded coefficients is part of the bitstream
 225     int16_t*         cur_sfb_offsets;               ///< sfb offsets for the current block
 226     uint8_t          table_idx;                     ///< index for the num_sfb, sfb_offsets, sf_offsets and subwoofer_cutoffs tables
 227     int8_t           esc_len;                       ///< length of escaped coefficients
 228
 229     uint8_t          num_chgroups;                  ///< number of channel groups
 230     WMAProChannelGrp chgroup[WMAPRO_MAX_CHANNELS];  ///< channel group information
 231
 232     WMAProChannelCtx channel[WMAPRO_MAX_CHANNELS];  ///< per channel data
 233 } WMAProDecodeCtx;
 234
 235
 236 /**
 237  *@brief helper function to print the most important members of the context
 238  *@param s context
 239  */
 240 static av_cold void dump_context(WMAProDecodeCtx *s)
 241 {
 242 #define PRINT(a, b)     av_log(s->avctx, AV_LOG_DEBUG, " %s = %d\n", a, b);
 243 #define PRINT_HEX(a, b) av_log(s->avctx, AV_LOG_DEBUG, " %s = %x\n", a, b);
 244
 245     PRINT("ed sample bit depth", s->bits_per_sample);
 246     PRINT_HEX("ed decode flags", s->decode_flags);
 247     PRINT("samples per frame",   s->samples_per_frame);
 248     PRINT("log2 frame size",     s->log2_frame_size);
 249     PRINT("max num subframes",   s->max_num_subframes);
 250     PRINT("len prefix",          s->len_prefix);
 251     PRINT("num channels",        s->num_channels);
 252 }
 253
 254 /**
 255  *@brief Uninitialize the decoder and free all resources.
 256  *@param avctx codec context
 257  *@return 0 on success, < 0 otherwise
 258  */
 259 static av_cold int decode_end(AVCodecContext *avctx)
 260 {
 261     WMAProDecodeCtx *s = avctx->priv_data;
 262     int i;
 263
 264     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++)
 265         ff_mdct_end(&s->mdct_ctx[i]);
 266
 267     return 0;
 268 }
 269
 270 /**
 271  *@brief Initialize the decoder.
 272  *@param avctx codec context
 273  *@return 0 on success, -1 otherwise
 274  */
 275 static av_cold int decode_init(AVCodecContext *avctx)
 276 {
 277     WMAProDecodeCtx *s = avctx->priv_data;
 278     uint8_t *edata_ptr = avctx->extradata;
 279     unsigned int channel_mask;
 280     int i, bits;
 281     int log2_max_num_subframes;
 282     int num_possible_block_sizes;
 283
 284     s->avctx = avctx;
 285     ff_dsputil_init(&s->dsp, avctx);
 286     ff_fmt_convert_init(&s->fmt_conv, avctx);
 287     init_put_bits(&s->pb, s->frame_data, MAX_FRAMESIZE);
 288
 289     avctx->sample_fmt = AV_SAMPLE_FMT_FLT;
 290
 291     if (avctx->extradata_size >= 18) {
 292         s->decode_flags    = AV_RL16(edata_ptr+14);
 293         channel_mask       = AV_RL32(edata_ptr+2);
 294         s->bits_per_sample = AV_RL16(edata_ptr);
 295         /** dump the extradata */
 296         for (i = 0; i < avctx->extradata_size; i++)
 297             av_dlog(avctx, "[%x] ", avctx->extradata[i]);
 298         av_dlog(avctx, "\n");
 299
 300     } else {
 301         av_log_ask_for_sample(avctx, "Unknown extradata size\n");
 302         return AVERROR_INVALIDDATA;
 303     }
 304
 305     /** generic init */
 306     s->log2_frame_size = av_log2(avctx->block_align) + 4;
 307
 308     /** frame info */
 309     s->skip_frame  = 1; /* skip first frame */
 310     s->packet_loss = 1;
 311     s->len_prefix  = (s->decode_flags & 0x40);
 312
 313     /** get frame len */
 314     bits = ff_wma_get_frame_len_bits(avctx->sample_rate, 3, s->decode_flags);
 315     if (bits > WMAPRO_BLOCK_MAX_BITS) {
 316         av_log_missing_feature(avctx, "14-bits block sizes", 1);
 317         return AVERROR_INVALIDDATA;
 318     }
 319     s->samples_per_frame = 1 << bits;
 320
 321     /** subframe info */
 322     log2_max_num_subframes       = ((s->decode_flags & 0x38) >> 3);
 323     s->max_num_subframes         = 1 << log2_max_num_subframes;
 324     if (s->max_num_subframes == 16 || s->max_num_subframes == 4)
 325         s->max_subframe_len_bit = 1;
 326     s->subframe_len_bits = av_log2(log2_max_num_subframes) + 1;
 327
 328     num_possible_block_sizes     = log2_max_num_subframes + 1;
 329     s->min_samples_per_subframe  = s->samples_per_frame / s->max_num_subframes;
 330     s->dynamic_range_compression = (s->decode_flags & 0x80);
 331
 332     if (s->max_num_subframes > MAX_SUBFRAMES) {
 333         av_log(avctx, AV_LOG_ERROR, "invalid number of subframes %i\n",
 334                s->max_num_subframes);
 335         return AVERROR_INVALIDDATA;
 336     }
 337
 338     if (s->min_samples_per_subframe < (1<<WMAPRO_BLOCK_MIN_BITS)) {
 339         av_log(avctx, AV_LOG_ERROR, "min_samples_per_subframe of %d too small\n",
 340                s->min_samples_per_subframe);
 341         return AVERROR_INVALIDDATA;
 342     }
 343
 344     s->num_channels = avctx->channels;
 345
 346     if (s->num_channels < 0) {
 347         av_log(avctx, AV_LOG_ERROR, "invalid number of channels %d\n", s->num_channels);
 348         return AVERROR_INVALIDDATA;
 349     } else if (s->num_channels > WMAPRO_MAX_CHANNELS) {
 350         av_log_ask_for_sample(avctx, "unsupported number of channels\n");
 351         return AVERROR_PATCHWELCOME;
 352     }
 353
 354     /** init previous block len */
 355     for (i = 0; i < s->num_channels; i++)
 356         s->channel[i].prev_block_len = s->samples_per_frame;
 357
 358     /** extract lfe channel position */
 359     s->lfe_channel = -1;
 360
 361     if (channel_mask & 8) {
 362         unsigned int mask;
 363         for (mask = 1; mask < 16; mask <<= 1) {
 364             if (channel_mask & mask)
 365                 ++s->lfe_channel;
 366         }
 367     }
 368
 369     INIT_VLC_STATIC(&sf_vlc, SCALEVLCBITS, HUFF_SCALE_SIZE,
 370                     scale_huffbits, 1, 1,
 371                     scale_huffcodes, 2, 2, 616);
 372
 373     INIT_VLC_STATIC(&sf_rl_vlc, VLCBITS, HUFF_SCALE_RL_SIZE,
 374                     scale_rl_huffbits, 1, 1,
 375                     scale_rl_huffcodes, 4, 4, 1406);
 376
 377     INIT_VLC_STATIC(&coef_vlc[0], VLCBITS, HUFF_COEF0_SIZE,
 378                     coef0_huffbits, 1, 1,
 379                     coef0_huffcodes, 4, 4, 2108);
 380
 381     INIT_VLC_STATIC(&coef_vlc[1], VLCBITS, HUFF_COEF1_SIZE,
 382                     coef1_huffbits, 1, 1,
 383                     coef1_huffcodes, 4, 4, 3912);
 384
 385     INIT_VLC_STATIC(&vec4_vlc, VLCBITS, HUFF_VEC4_SIZE,
 386                     vec4_huffbits, 1, 1,
 387                     vec4_huffcodes, 2, 2, 604);
 388
 389     INIT_VLC_STATIC(&vec2_vlc, VLCBITS, HUFF_VEC2_SIZE,
 390                     vec2_huffbits, 1, 1,
 391                     vec2_huffcodes, 2, 2, 562);
 392
 393     INIT_VLC_STATIC(&vec1_vlc, VLCBITS, HUFF_VEC1_SIZE,
 394                     vec1_huffbits, 1, 1,
 395                     vec1_huffcodes, 2, 2, 562);
 396
 397     /** calculate number of scale factor bands and their offsets
 398         for every possible block size */
 399     for (i = 0; i < num_possible_block_sizes; i++) {
 400         int subframe_len = s->samples_per_frame >> i;
 401         int x;
 402         int band = 1;
 403
 404         s->sfb_offsets[i][0] = 0;
 405
 406         for (x = 0; x < MAX_BANDS-1 && s->sfb_offsets[i][band - 1] < subframe_len; x++) {
 407             int offset = (subframe_len * 2 * critical_freq[x])
 408                           / s->avctx->sample_rate + 2;
 409             offset &= ~3;
 410             if (offset > s->sfb_offsets[i][band - 1])
 411                 s->sfb_offsets[i][band++] = offset;
 412         }
 413         s->sfb_offsets[i][band - 1] = subframe_len;
 414         s->num_sfb[i]               = band - 1;
 415     }
 416
 417
 418     /** Scale factors can be shared between blocks of different size
 419         as every block has a different scale factor band layout.
 420         The matrix sf_offsets is needed to find the correct scale factor.
 421      */
 422
 423     for (i = 0; i < num_possible_block_sizes; i++) {
 424         int b;
 425         for (b = 0; b < s->num_sfb[i]; b++) {
 426             int x;
 427             int offset = ((s->sfb_offsets[i][b]
 428                            + s->sfb_offsets[i][b + 1] - 1) << i) >> 1;
 429             for (x = 0; x < num_possible_block_sizes; x++) {
 430                 int v = 0;
 431                 while (s->sfb_offsets[x][v + 1] << x < offset)
 432                     ++v;
 433                 s->sf_offsets[i][x][b] = v;
 434             }
 435         }
 436     }
 437
 438     /** init MDCT, FIXME: only init needed sizes */
 439     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++)
 440         ff_mdct_init(&s->mdct_ctx[i], WMAPRO_BLOCK_MIN_BITS+1+i, 1,
 441                      1.0 / (1 << (WMAPRO_BLOCK_MIN_BITS + i - 1))
 442                      / (1 << (s->bits_per_sample - 1)));
 443
 444     /** init MDCT windows: simple sinus window */
 445     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++) {
 446         const int win_idx = WMAPRO_BLOCK_MAX_BITS - i;
 447         ff_init_ff_sine_windows(win_idx);
 448         s->windows[WMAPRO_BLOCK_SIZES - i - 1] = ff_sine_windows[win_idx];
 449     }
 450
 451     /** calculate subwoofer cutoff values */
 452     for (i = 0; i < num_possible_block_sizes; i++) {
 453         int block_size = s->samples_per_frame >> i;
 454         int cutoff = (440*block_size + 3 * (s->avctx->sample_rate >> 1) - 1)
 455                      / s->avctx->sample_rate;
 456         s->subwoofer_cutoffs[i] = av_clip(cutoff, 4, block_size);
 457     }
 458
 459     /** calculate sine values for the decorrelation matrix */
 460     for (i = 0; i < 33; i++)
 461         sin64[i] = sin(i*M_PI / 64.0);
 462
 463     if (avctx->debug & FF_DEBUG_BITSTREAM)
 464         dump_context(s);
 465
 466     avctx->channel_layout = channel_mask;
 467
 468     avcodec_get_frame_defaults(&s->frame);
 469     avctx->coded_frame = &s->frame;
 470
 471     return 0;
 472 }
 473
 474 /**
 475  *@brief Decode the subframe length.
 476  *@param s context
 477  *@param offset sample offset in the frame
 478  *@return decoded subframe length on success, < 0 in case of an error
 479  */
 480 static int decode_subframe_length(WMAProDecodeCtx *s, int offset)
 481 {
 482     int frame_len_shift = 0;
 483     int subframe_len;
 484
 485     /** no need to read from the bitstream when only one length is possible */
 486     if (offset == s->samples_per_frame - s->min_samples_per_subframe)
 487         return s->min_samples_per_subframe;
 488
 489     /** 1 bit indicates if the subframe is of maximum length */
 490     if (s->max_subframe_len_bit) {
 491         if (get_bits1(&s->gb))
 492             frame_len_shift = 1 + get_bits(&s->gb, s->subframe_len_bits-1);
 493     } else
 494         frame_len_shift = get_bits(&s->gb, s->subframe_len_bits);
 495
 496     subframe_len = s->samples_per_frame >> frame_len_shift;
 497
 498     /** sanity check the length */
 499     if (subframe_len < s->min_samples_per_subframe ||
 500         subframe_len > s->samples_per_frame) {
 501         av_log(s->avctx, AV_LOG_ERROR, "broken frame: subframe_len %i\n",
 502                subframe_len);
 503         return AVERROR_INVALIDDATA;
 504     }
 505     return subframe_len;
 506 }
 507
 508 /**
 509  *@brief Decode how the data in the frame is split into subframes.
 510  *       Every WMA frame contains the encoded data for a fixed number of
 511  *       samples per channel. The data for every channel might be split
 512  *       into several subframes. This function will reconstruct the list of
 513  *       subframes for every channel.
 514  *
 515  *       If the subframes are not evenly split, the algorithm estimates the
 516  *       channels with the lowest number of total samples.
 517  *       Afterwards, for each of these channels a bit is read from the
 518  *       bitstream that indicates if the channel contains a subframe with the
 519  *       next subframe size that is going to be read from the bitstream or not.
 520  *       If a channel contains such a subframe, the subframe size gets added to
 521  *       the channel's subframe list.
 522  *       The algorithm repeats these steps until the frame is properly divided
 523  *       between the individual channels.
 524  *
 525  *@param s context
 526  *@return 0 on success, < 0 in case of an error
 527  */
 528 static int decode_tilehdr(WMAProDecodeCtx *s)
 529 {
 530     uint16_t num_samples[WMAPRO_MAX_CHANNELS] = { 0 };/**< sum of samples for all currently known subframes of a channel */
 531     uint8_t  contains_subframe[WMAPRO_MAX_CHANNELS];  /**< flag indicating if a channel contains the current subframe */
 532     int channels_for_cur_subframe = s->num_channels;  /**< number of channels that contain the current subframe */
 533     int fixed_channel_layout = 0;                     /**< flag indicating that all channels use the same subframe offsets and sizes */
 534     int min_channel_len = 0;                          /**< smallest sum of samples (channels with this length will be processed first) */
 535     int c;
 536
 537     /* Should never consume more than 3073 bits (256 iterations for the
 538      * while loop when always the minimum amount of 128 samples is substracted
 539      * from missing samples in the 8 channel case).
 540      * 1 + BLOCK_MAX_SIZE * MAX_CHANNELS / BLOCK_MIN_SIZE * (MAX_CHANNELS  + 4)
 541      */
 542
 543     /** reset tiling information */
 544     for (c = 0; c < s->num_channels; c++)
 545         s->channel[c].num_subframes = 0;
 546
 547     if (s->max_num_subframes == 1 || get_bits1(&s->gb))
 548         fixed_channel_layout = 1;
 549
 550     /** loop until the frame data is split between the subframes */
 551     do {
 552         int subframe_len;
 553
 554         /** check which channels contain the subframe */
 555         for (c = 0; c < s->num_channels; c++) {
 556             if (num_samples[c] == min_channel_len) {
 557                 if (fixed_channel_layout || channels_for_cur_subframe == 1 ||
 558                    (min_channel_len == s->samples_per_frame - s->min_samples_per_subframe))
 559                     contains_subframe[c] = 1;
 560                 else
 561                     contains_subframe[c] = get_bits1(&s->gb);
 562             } else
 563                 contains_subframe[c] = 0;
 564         }
 565
 566         /** get subframe length, subframe_len == 0 is not allowed */
 567         if ((subframe_len = decode_subframe_length(s, min_channel_len)) <= 0)
 568             return AVERROR_INVALIDDATA;
 569
 570         /** add subframes to the individual channels and find new min_channel_len */
 571         min_channel_len += subframe_len;
 572         for (c = 0; c < s->num_channels; c++) {
 573             WMAProChannelCtx* chan = &s->channel[c];
 574
 575             if (contains_subframe[c]) {
 576                 if (chan->num_subframes >= MAX_SUBFRAMES) {
 577                     av_log(s->avctx, AV_LOG_ERROR,
 578                            "broken frame: num subframes > 31\n");
 579                     return AVERROR_INVALIDDATA;
 580                 }
 581                 chan->subframe_len[chan->num_subframes] = subframe_len;
 582                 num_samples[c] += subframe_len;
 583                 ++chan->num_subframes;
 584                 if (num_samples[c] > s->samples_per_frame) {
 585                     av_log(s->avctx, AV_LOG_ERROR, "broken frame: "
 586                            "channel len > samples_per_frame\n");
 587                     return AVERROR_INVALIDDATA;
 588                 }
 589             } else if (num_samples[c] <= min_channel_len) {
 590                 if (num_samples[c] < min_channel_len) {
 591                     channels_for_cur_subframe = 0;
 592                     min_channel_len = num_samples[c];
 593                 }
 594                 ++channels_for_cur_subframe;
 595             }
 596         }
 597     } while (min_channel_len < s->samples_per_frame);
 598
 599     for (c = 0; c < s->num_channels; c++) {
 600         int i;
 601         int offset = 0;
 602         for (i = 0; i < s->channel[c].num_subframes; i++) {
 603             av_dlog(s->avctx, "frame[%i] channel[%i] subframe[%i]"
 604                     " len %i\n", s->frame_num, c, i,
 605                     s->channel[c].subframe_len[i]);
 606             s->channel[c].subframe_offset[i] = offset;
 607             offset += s->channel[c].subframe_len[i];
 608         }
 609     }
 610
 611     return 0;
 612 }
 613
 614 /**
 615  *@brief Calculate a decorrelation matrix from the bitstream parameters.
 616  *@param s codec context
 617  *@param chgroup channel group for which the matrix needs to be calculated
 618  */
 619 static void decode_decorrelation_matrix(WMAProDecodeCtx *s,
 620                                         WMAProChannelGrp *chgroup)
 621 {
 622     int i;
 623     int offset = 0;
 624     int8_t rotation_offset[WMAPRO_MAX_CHANNELS * WMAPRO_MAX_CHANNELS];
 625     memset(chgroup->decorrelation_matrix, 0, s->num_channels *
 626            s->num_channels * sizeof(*chgroup->decorrelation_matrix));
 627
 628     for (i = 0; i < chgroup->num_channels * (chgroup->num_channels - 1) >> 1; i++)
 629         rotation_offset[i] = get_bits(&s->gb, 6);
 630
 631     for (i = 0; i < chgroup->num_channels; i++)
 632         chgroup->decorrelation_matrix[chgroup->num_channels * i + i] =
 633             get_bits1(&s->gb) ? 1.0 : -1.0;
 634
 635     for (i = 1; i < chgroup->num_channels; i++) {
 636         int x;
 637         for (x = 0; x < i; x++) {
 638             int y;
 639             for (y = 0; y < i + 1; y++) {
 640                 float v1 = chgroup->decorrelation_matrix[x * chgroup->num_channels + y];
 641                 float v2 = chgroup->decorrelation_matrix[i * chgroup->num_channels + y];
 642                 int n = rotation_offset[offset + x];
 643                 float sinv;
 644                 float cosv;
 645
 646                 if (n < 32) {
 647                     sinv = sin64[n];
 648                     cosv = sin64[32 - n];
 649                 } else {
 650                     sinv =  sin64[64 -  n];
 651                     cosv = -sin64[n  - 32];
 652                 }
 653
 654                 chgroup->decorrelation_matrix[y + x * chgroup->num_channels] =
 655                                                (v1 * sinv) - (v2 * cosv);
 656                 chgroup->decorrelation_matrix[y + i * chgroup->num_channels] =
 657                                                (v1 * cosv) + (v2 * sinv);
 658             }
 659         }
 660         offset += i;
 661     }
 662 }
 663
 664 /**
 665  *@brief Decode channel transformation parameters
 666  *@param s codec context
 667  *@return 0 in case of success, < 0 in case of bitstream errors
 668  */
 669 static int decode_channel_transform(WMAProDecodeCtx* s)
 670 {
 671     int i;
 672     /* should never consume more than 1921 bits for the 8 channel case
 673      * 1 + MAX_CHANNELS * (MAX_CHANNELS + 2 + 3 * MAX_CHANNELS * MAX_CHANNELS
 674      * + MAX_CHANNELS + MAX_BANDS + 1)
 675      */
 676
 677     /** in the one channel case channel transforms are pointless */
 678     s->num_chgroups = 0;
 679     if (s->num_channels > 1) {
 680         int remaining_channels = s->channels_for_cur_subframe;
 681
 682         if (get_bits1(&s->gb)) {
 683             av_log_ask_for_sample(s->avctx,
 684                                   "unsupported channel transform bit\n");
 685             return AVERROR_INVALIDDATA;
 686         }
 687
 688         for (s->num_chgroups = 0; remaining_channels &&
 689              s->num_chgroups < s->channels_for_cur_subframe; s->num_chgroups++) {
 690             WMAProChannelGrp* chgroup = &s->chgroup[s->num_chgroups];
 691             float** channel_data = chgroup->channel_data;
 692             chgroup->num_channels = 0;
 693             chgroup->transform = 0;
 694
 695             /** decode channel mask */
 696             if (remaining_channels > 2) {
 697                 for (i = 0; i < s->channels_for_cur_subframe; i++) {
 698                     int channel_idx = s->channel_indexes_for_cur_subframe[i];
 699                     if (!s->channel[channel_idx].grouped
 700                         && get_bits1(&s->gb)) {
 701                         ++chgroup->num_channels;
 702                         s->channel[channel_idx].grouped = 1;
 703                         *channel_data++ = s->channel[channel_idx].coeffs;
 704                     }
 705                 }
 706             } else {
 707                 chgroup->num_channels = remaining_channels;
 708                 for (i = 0; i < s->channels_for_cur_subframe; i++) {
 709                     int channel_idx = s->channel_indexes_for_cur_subframe[i];
 710                     if (!s->channel[channel_idx].grouped)
 711                         *channel_data++ = s->channel[channel_idx].coeffs;
 712                     s->channel[channel_idx].grouped = 1;
 713                 }
 714             }
 715
 716             /** decode transform type */
 717             if (chgroup->num_channels == 2) {
 718                 if (get_bits1(&s->gb)) {
 719                     if (get_bits1(&s->gb)) {
 720                         av_log_ask_for_sample(s->avctx,
 721                                               "unsupported channel transform type\n");
 722                     }
 723                 } else {
 724                     chgroup->transform = 1;
 725                     if (s->num_channels == 2) {
 726                         chgroup->decorrelation_matrix[0] =  1.0;
 727                         chgroup->decorrelation_matrix[1] = -1.0;
 728                         chgroup->decorrelation_matrix[2] =  1.0;
 729                         chgroup->decorrelation_matrix[3] =  1.0;
 730                     } else {
 731                         /** cos(pi/4) */
 732                         chgroup->decorrelation_matrix[0] =  0.70703125;
 733                         chgroup->decorrelation_matrix[1] = -0.70703125;
 734                         chgroup->decorrelation_matrix[2] =  0.70703125;
 735                         chgroup->decorrelation_matrix[3] =  0.70703125;
 736                     }
 737                 }
 738             } else if (chgroup->num_channels > 2) {
 739                 if (get_bits1(&s->gb)) {
 740                     chgroup->transform = 1;
 741                     if (get_bits1(&s->gb)) {
 742                         decode_decorrelation_matrix(s, chgroup);
 743                     } else {
 744                         /** FIXME: more than 6 coupled channels not supported */
 745                         if (chgroup->num_channels > 6) {
 746                             av_log_ask_for_sample(s->avctx,
 747                                                   "coupled channels > 6\n");
 748                         } else {
 749                             memcpy(chgroup->decorrelation_matrix,
 750                                    default_decorrelation[chgroup->num_channels],
 751                                    chgroup->num_channels * chgroup->num_channels *
 752                                    sizeof(*chgroup->decorrelation_matrix));
 753                         }
 754                     }
 755                 }
 756             }
 757
 758             /** decode transform on / off */
 759             if (chgroup->transform) {
 760                 if (!get_bits1(&s->gb)) {
 761                     int i;
 762                     /** transform can be enabled for individual bands */
 763                     for (i = 0; i < s->num_bands; i++) {
 764                         chgroup->transform_band[i] = get_bits1(&s->gb);
 765                     }
 766                 } else {
 767                     memset(chgroup->transform_band, 1, s->num_bands);
 768                 }
 769             }
 770             remaining_channels -= chgroup->num_channels;
 771         }
 772     }
 773     return 0;
 774 }
 775
 776 /**
 777  *@brief Extract the coefficients from the bitstream.
 778  *@param s codec context
 779  *@param c current channel number
 780  *@return 0 on success, < 0 in case of bitstream errors
 781  */
 782 static int decode_coeffs(WMAProDecodeCtx *s, int c)
 783 {
 784     /* Integers 0..15 as single-precision floats.  The table saves a
 785        costly int to float conversion, and storing the values as
 786        integers allows fast sign-flipping. */
 787     static const uint32_t fval_tab[16] = {
 788         0x00000000, 0x3f800000, 0x40000000, 0x40400000,
 789         0x40800000, 0x40a00000, 0x40c00000, 0x40e00000,
 790         0x41000000, 0x41100000, 0x41200000, 0x41300000,
 791         0x41400000, 0x41500000, 0x41600000, 0x41700000,
 792     };
 793     int vlctable;
 794     VLC* vlc;
 795     WMAProChannelCtx* ci = &s->channel[c];
 796     int rl_mode = 0;
 797     int cur_coeff = 0;
 798     int num_zeros = 0;
 799     const uint16_t* run;
 800     const float* level;
 801
 802     av_dlog(s->avctx, "decode coefficients for channel %i\n", c);
 803
 804     vlctable = get_bits1(&s->gb);
 805     vlc = &coef_vlc[vlctable];
 806
 807     if (vlctable) {
 808         run = coef1_run;
 809         level = coef1_level;
 810     } else {
 811         run = coef0_run;
 812         level = coef0_level;
 813     }
 814
 815     /** decode vector coefficients (consumes up to 167 bits per iteration for
 816       4 vector coded large values) */
 817     while ((s->transmit_num_vec_coeffs || !rl_mode) &&
 818            (cur_coeff + 3 < ci->num_vec_coeffs)) {
 819         uint32_t vals[4];
 820         int i;
 821         unsigned int idx;
 822
 823         idx = get_vlc2(&s->gb, vec4_vlc.table, VLCBITS, VEC4MAXDEPTH);
 824
 825         if (idx == HUFF_VEC4_SIZE - 1) {
 826             for (i = 0; i < 4; i += 2) {
 827                 idx = get_vlc2(&s->gb, vec2_vlc.table, VLCBITS, VEC2MAXDEPTH);
 828                 if (idx == HUFF_VEC2_SIZE - 1) {
 829                     uint32_t v0, v1;
 830                     v0 = get_vlc2(&s->gb, vec1_vlc.table, VLCBITS, VEC1MAXDEPTH);
 831                     if (v0 == HUFF_VEC1_SIZE - 1)
 832                         v0 += ff_wma_get_large_val(&s->gb);
 833                     v1 = get_vlc2(&s->gb, vec1_vlc.table, VLCBITS, VEC1MAXDEPTH);
 834                     if (v1 == HUFF_VEC1_SIZE - 1)
 835                         v1 += ff_wma_get_large_val(&s->gb);
 836                     vals[i  ] = av_float2int(v0);
 837                     vals[i+1] = av_float2int(v1);
 838                 } else {
 839                     vals[i]   = fval_tab[symbol_to_vec2[idx] >> 4 ];
 840                     vals[i+1] = fval_tab[symbol_to_vec2[idx] & 0xF];
 841                 }
 842             }
 843         } else {
 844             vals[0] = fval_tab[ symbol_to_vec4[idx] >> 12      ];
 845             vals[1] = fval_tab[(symbol_to_vec4[idx] >> 8) & 0xF];
 846             vals[2] = fval_tab[(symbol_to_vec4[idx] >> 4) & 0xF];
 847             vals[3] = fval_tab[ symbol_to_vec4[idx]       & 0xF];
 848         }
 849
 850         /** decode sign */
 851         for (i = 0; i < 4; i++) {
 852             if (vals[i]) {
 853                 uint32_t sign = get_bits1(&s->gb) - 1;
 854                 AV_WN32A(&ci->coeffs[cur_coeff], vals[i] ^ sign << 31);
 855                 num_zeros = 0;
 856             } else {
 857                 ci->coeffs[cur_coeff] = 0;
 858                 /** switch to run level mode when subframe_len / 128 zeros
 859                     were found in a row */
 860                 rl_mode |= (++num_zeros > s->subframe_len >> 8);
 861             }
 862             ++cur_coeff;
 863         }
 864     }
 865
 866     /** decode run level coded coefficients */
 867     if (cur_coeff < s->subframe_len) {
 868         memset(&ci->coeffs[cur_coeff], 0,
 869                sizeof(*ci->coeffs) * (s->subframe_len - cur_coeff));
 870         if (ff_wma_run_level_decode(s->avctx, &s->gb, vlc,
 871                                     level, run, 1, ci->coeffs,
 872                                     cur_coeff, s->subframe_len,
 873                                     s->subframe_len, s->esc_len, 0))
 874             return AVERROR_INVALIDDATA;
 875     }
 876
 877     return 0;
 878 }
 879
 880 /**
 881  *@brief Extract scale factors from the bitstream.
 882  *@param s codec context
 883  *@return 0 on success, < 0 in case of bitstream errors
 884  */
 885 static int decode_scale_factors(WMAProDecodeCtx* s)
 886 {
 887     int i;
 888
 889     /** should never consume more than 5344 bits
 890      *  MAX_CHANNELS * (1 +  MAX_BANDS * 23)
 891      */
 892
 893     for (i = 0; i < s->channels_for_cur_subframe; i++) {
 894         int c = s->channel_indexes_for_cur_subframe[i];
 895         int* sf;
 896         int* sf_end;
 897         s->channel[c].scale_factors = s->channel[c].saved_scale_factors[!s->channel[c].scale_factor_idx];
 898         sf_end = s->channel[c].scale_factors + s->num_bands;
 899
 900         /** resample scale factors for the new block size
 901          *  as the scale factors might need to be resampled several times
 902          *  before some  new values are transmitted, a backup of the last
 903          *  transmitted scale factors is kept in saved_scale_factors
 904          */
 905         if (s->channel[c].reuse_sf) {
 906             const int8_t* sf_offsets = s->sf_offsets[s->table_idx][s->channel[c].table_idx];
 907             int b;
 908             for (b = 0; b < s->num_bands; b++)
 909                 s->channel[c].scale_factors[b] =
 910                     s->channel[c].saved_scale_factors[s->channel[c].scale_factor_idx][*sf_offsets++];
 911         }
 912
 913         if (!s->channel[c].cur_subframe || get_bits1(&s->gb)) {
 914
 915             if (!s->channel[c].reuse_sf) {
 916                 int val;
 917                 /** decode DPCM coded scale factors */
 918                 s->channel[c].scale_factor_step = get_bits(&s->gb, 2) + 1;
 919                 val = 45 / s->channel[c].scale_factor_step;
 920                 for (sf = s->channel[c].scale_factors; sf < sf_end; sf++) {
 921                     val += get_vlc2(&s->gb, sf_vlc.table, SCALEVLCBITS, SCALEMAXDEPTH) - 60;
 922                     *sf = val;
 923                 }
 924             } else {
 925                 int i;
 926                 /** run level decode differences to the resampled factors */
 927                 for (i = 0; i < s->num_bands; i++) {
 928                     int idx;
 929                     int skip;
 930                     int val;
 931                     int sign;
 932
 933                     idx = get_vlc2(&s->gb, sf_rl_vlc.table, VLCBITS, SCALERLMAXDEPTH);
 934
 935                     if (!idx) {
 936                         uint32_t code = get_bits(&s->gb, 14);
 937                         val  =  code >> 6;
 938                         sign = (code & 1) - 1;
 939                         skip = (code & 0x3f) >> 1;
 940                     } else if (idx == 1) {
 941                         break;
 942                     } else {
 943                         skip = scale_rl_run[idx];
 944                         val  = scale_rl_level[idx];
 945                         sign = get_bits1(&s->gb)-1;
 946                     }
 947
 948                     i += skip;
 949                     if (i >= s->num_bands) {
 950                         av_log(s->avctx, AV_LOG_ERROR,
 951                                "invalid scale factor coding\n");
 952                         return AVERROR_INVALIDDATA;
 953                     }
 954                     s->channel[c].scale_factors[i] += (val ^ sign) - sign;
 955                 }
 956             }
 957             /** swap buffers */
 958             s->channel[c].scale_factor_idx = !s->channel[c].scale_factor_idx;
 959             s->channel[c].table_idx = s->table_idx;
 960             s->channel[c].reuse_sf  = 1;
 961         }
 962
 963         /** calculate new scale factor maximum */
 964         s->channel[c].max_scale_factor = s->channel[c].scale_factors[0];
 965         for (sf = s->channel[c].scale_factors + 1; sf < sf_end; sf++) {
 966             s->channel[c].max_scale_factor =
 967                 FFMAX(s->channel[c].max_scale_factor, *sf);
 968         }
 969
 970     }
 971     return 0;
 972 }
 973
 974 /**
 975  *@brief Reconstruct the individual channel data.
 976  *@param s codec context
 977  */
 978 static void inverse_channel_transform(WMAProDecodeCtx *s)
 979 {
 980     int i;
 981
 982     for (i = 0; i < s->num_chgroups; i++) {
 983         if (s->chgroup[i].transform) {
 984             float data[WMAPRO_MAX_CHANNELS];
 985             const int num_channels = s->chgroup[i].num_channels;
 986             float** ch_data = s->chgroup[i].channel_data;
 987             float** ch_end = ch_data + num_channels;
 988             const int8_t* tb = s->chgroup[i].transform_band;
 989             int16_t* sfb;
 990
 991             /** multichannel decorrelation */
 992             for (sfb = s->cur_sfb_offsets;
 993                  sfb < s->cur_sfb_offsets + s->num_bands; sfb++) {
 994                 int y;
 995                 if (*tb++ == 1) {
 996                     /** multiply values with the decorrelation_matrix */
 997                     for (y = sfb[0]; y < FFMIN(sfb[1], s->subframe_len); y++) {
 998                         const float* mat = s->chgroup[i].decorrelation_matrix;
 999                         const float* data_end = data + num_channels;
1000                         float* data_ptr = data;
1001                         float** ch;
1002
1003                         for (ch = ch_data; ch < ch_end; ch++)
1004                             *data_ptr++ = (*ch)[y];
1005
1006                         for (ch = ch_data; ch < ch_end; ch++) {
1007                             float sum = 0;
1008                             data_ptr = data;
1009                             while (data_ptr < data_end)
1010                                 sum += *data_ptr++ * *mat++;
1011
1012                             (*ch)[y] = sum;
1013                         }
1014                     }
1015                 } else if (s->num_channels == 2) {
1016                     int len = FFMIN(sfb[1], s->subframe_len) - sfb[0];
1017                     s->dsp.vector_fmul_scalar(ch_data[0] + sfb[0],
1018                                               ch_data[0] + sfb[0],
1019                                               181.0 / 128, len);
1020                     s->dsp.vector_fmul_scalar(ch_data[1] + sfb[0],
1021                                               ch_data[1] + sfb[0],
1022                                               181.0 / 128, len);
1023                 }
1024             }
1025         }
1026     }
1027 }
1028
1029 /**
1030  *@brief Apply sine window and reconstruct the output buffer.
1031  *@param s codec context
1032  */
1033 static void wmapro_window(WMAProDecodeCtx *s)
1034 {
1035     int i;
1036     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1037         int c = s->channel_indexes_for_cur_subframe[i];
1038         float* window;
1039         int winlen = s->channel[c].prev_block_len;
1040         float* start = s->channel[c].coeffs - (winlen >> 1);
1041
1042         if (s->subframe_len < winlen) {
1043             start += (winlen - s->subframe_len) >> 1;
1044             winlen = s->subframe_len;
1045         }
1046
1047         window = s->windows[av_log2(winlen) - WMAPRO_BLOCK_MIN_BITS];
1048
1049         winlen >>= 1;
1050
1051         s->dsp.vector_fmul_window(start, start, start + winlen,
1052                                   window, winlen);
1053
1054         s->channel[c].prev_block_len = s->subframe_len;
1055     }
1056 }
1057
1058 /**
1059  *@brief Decode a single subframe (block).
1060  *@param s codec context
1061  *@return 0 on success, < 0 when decoding failed
1062  */
1063 static int decode_subframe(WMAProDecodeCtx *s)
1064 {
1065     int offset = s->samples_per_frame;
1066     int subframe_len = s->samples_per_frame;
1067     int i;
1068     int total_samples   = s->samples_per_frame * s->num_channels;
1069     int transmit_coeffs = 0;
1070     int cur_subwoofer_cutoff;
1071
1072     s->subframe_offset = get_bits_count(&s->gb);
1073
1074     /** reset channel context and find the next block offset and size
1075         == the next block of the channel with the smallest number of
1076         decoded samples
1077     */
1078     for (i = 0; i < s->num_channels; i++) {
1079         s->channel[i].grouped = 0;
1080         if (offset > s->channel[i].decoded_samples) {
1081             offset = s->channel[i].decoded_samples;
1082             subframe_len =
1083                 s->channel[i].subframe_len[s->channel[i].cur_subframe];
1084         }
1085     }
1086
1087     av_dlog(s->avctx,
1088             "processing subframe with offset %i len %i\n", offset, subframe_len);
1089
1090     /** get a list of all channels that contain the estimated block */
1091     s->channels_for_cur_subframe = 0;
1092     for (i = 0; i < s->num_channels; i++) {
1093         const int cur_subframe = s->channel[i].cur_subframe;
1094         /** substract already processed samples */
1095         total_samples -= s->channel[i].decoded_samples;
1096
1097         /** and count if there are multiple subframes that match our profile */
1098         if (offset == s->channel[i].decoded_samples &&
1099             subframe_len == s->channel[i].subframe_len[cur_subframe]) {
1100             total_samples -= s->channel[i].subframe_len[cur_subframe];
1101             s->channel[i].decoded_samples +=
1102                 s->channel[i].subframe_len[cur_subframe];
1103             s->channel_indexes_for_cur_subframe[s->channels_for_cur_subframe] = i;
1104             ++s->channels_for_cur_subframe;
1105         }
1106     }
1107
1108     /** check if the frame will be complete after processing the
1109         estimated block */
1110     if (!total_samples)
1111         s->parsed_all_subframes = 1;
1112
1113
1114     av_dlog(s->avctx, "subframe is part of %i channels\n",
1115             s->channels_for_cur_subframe);
1116
1117     /** calculate number of scale factor bands and their offsets */
1118     s->table_idx         = av_log2(s->samples_per_frame/subframe_len);
1119     s->num_bands         = s->num_sfb[s->table_idx];
1120     s->cur_sfb_offsets   = s->sfb_offsets[s->table_idx];
1121     cur_subwoofer_cutoff = s->subwoofer_cutoffs[s->table_idx];
1122
1123     /** configure the decoder for the current subframe */
1124     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1125         int c = s->channel_indexes_for_cur_subframe[i];
1126
1127         s->channel[c].coeffs = &s->channel[c].out[(s->samples_per_frame >> 1)
1128                                                   + offset];
1129     }
1130
1131     s->subframe_len = subframe_len;
1132     s->esc_len = av_log2(s->subframe_len - 1) + 1;
1133
1134     /** skip extended header if any */
1135     if (get_bits1(&s->gb)) {
1136         int num_fill_bits;
1137         if (!(num_fill_bits = get_bits(&s->gb, 2))) {
1138             int len = get_bits(&s->gb, 4);
1139             num_fill_bits = (len ? get_bits(&s->gb, len) : 0) + 1;
1140         }
1141
1142         if (num_fill_bits >= 0) {
1143             if (get_bits_count(&s->gb) + num_fill_bits > s->num_saved_bits) {
1144                 av_log(s->avctx, AV_LOG_ERROR, "invalid number of fill bits\n");
1145                 return AVERROR_INVALIDDATA;
1146             }
1147
1148             skip_bits_long(&s->gb, num_fill_bits);
1149         }
1150     }
1151
1152     /** no idea for what the following bit is used */
1153     if (get_bits1(&s->gb)) {
1154         av_log_ask_for_sample(s->avctx, "reserved bit set\n");
1155         return AVERROR_INVALIDDATA;
1156     }
1157
1158
1159     if (decode_channel_transform(s) < 0)
1160         return AVERROR_INVALIDDATA;
1161
1162
1163     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1164         int c = s->channel_indexes_for_cur_subframe[i];
1165         if ((s->channel[c].transmit_coefs = get_bits1(&s->gb)))
1166             transmit_coeffs = 1;
1167     }
1168
1169     av_assert0(s->subframe_len <= WMAPRO_BLOCK_MAX_SIZE);
1170     if (transmit_coeffs) {
1171         int step;
1172         int quant_step = 90 * s->bits_per_sample >> 4;
1173
1174         /** decode number of vector coded coefficients */
1175         if ((s->transmit_num_vec_coeffs = get_bits1(&s->gb))) {
1176             int num_bits = av_log2((s->subframe_len + 3)/4) + 1;
1177             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1178                 int c = s->channel_indexes_for_cur_subframe[i];
1179                 int num_vec_coeffs = get_bits(&s->gb, num_bits) << 2;
1180                 if (num_vec_coeffs > s->subframe_len) {
1181                     av_log(s->avctx, AV_LOG_ERROR, "num_vec_coeffs %d is too large\n", num_vec_coeffs);
1182                     return AVERROR_INVALIDDATA;
1183                 }
1184                 s->channel[c].num_vec_coeffs = num_vec_coeffs;
1185             }
1186         } else {
1187             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1188                 int c = s->channel_indexes_for_cur_subframe[i];
1189                 s->channel[c].num_vec_coeffs = s->subframe_len;
1190             }
1191         }
1192         /** decode quantization step */
1193         step = get_sbits(&s->gb, 6);
1194         quant_step += step;
1195         if (step == -32 || step == 31) {
1196             const int sign = (step == 31) - 1;
1197             int quant = 0;
1198             while (get_bits_count(&s->gb) + 5 < s->num_saved_bits &&
1199                    (step = get_bits(&s->gb, 5)) == 31) {
1200                 quant += 31;
1201             }
1202             quant_step += ((quant + step) ^ sign) - sign;
1203         }
1204         if (quant_step < 0) {
1205             av_log(s->avctx, AV_LOG_DEBUG, "negative quant step\n");
1206         }
1207
1208         /** decode quantization step modifiers for every channel */
1209
1210         if (s->channels_for_cur_subframe == 1) {
1211             s->channel[s->channel_indexes_for_cur_subframe[0]].quant_step = quant_step;
1212         } else {
1213             int modifier_len = get_bits(&s->gb, 3);
1214             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1215                 int c = s->channel_indexes_for_cur_subframe[i];
1216                 s->channel[c].quant_step = quant_step;
1217                 if (get_bits1(&s->gb)) {
1218                     if (modifier_len) {
1219                         s->channel[c].quant_step += get_bits(&s->gb, modifier_len) + 1;
1220                     } else
1221                         ++s->channel[c].quant_step;
1222                 }
1223             }
1224         }
1225
1226         /** decode scale factors */
1227         if (decode_scale_factors(s) < 0)
1228             return AVERROR_INVALIDDATA;
1229     }
1230
1231     av_dlog(s->avctx, "BITSTREAM: subframe header length was %i\n",
1232             get_bits_count(&s->gb) - s->subframe_offset);
1233
1234     /** parse coefficients */
1235     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1236         int c = s->channel_indexes_for_cur_subframe[i];
1237         if (s->channel[c].transmit_coefs &&
1238             get_bits_count(&s->gb) < s->num_saved_bits) {
1239             decode_coeffs(s, c);
1240         } else
1241             memset(s->channel[c].coeffs, 0,
1242                    sizeof(*s->channel[c].coeffs) * subframe_len);
1243     }
1244
1245     av_dlog(s->avctx, "BITSTREAM: subframe length was %i\n",
1246             get_bits_count(&s->gb) - s->subframe_offset);
1247
1248     if (transmit_coeffs) {
1249         FFTContext *mdct = &s->mdct_ctx[av_log2(subframe_len) - WMAPRO_BLOCK_MIN_BITS];
1250         /** reconstruct the per channel data */
1251         inverse_channel_transform(s);
1252         for (i = 0; i < s->channels_for_cur_subframe; i++) {
1253             int c = s->channel_indexes_for_cur_subframe[i];
1254             const int* sf = s->channel[c].scale_factors;
1255             int b;
1256
1257             if (c == s->lfe_channel)
1258                 memset(&s->tmp[cur_subwoofer_cutoff], 0, sizeof(*s->tmp) *
1259                        (subframe_len - cur_subwoofer_cutoff));
1260
1261             /** inverse quantization and rescaling */
1262             for (b = 0; b < s->num_bands; b++) {
1263                 const int end = FFMIN(s->cur_sfb_offsets[b+1], s->subframe_len);
1264                 const int exp = s->channel[c].quant_step -
1265                             (s->channel[c].max_scale_factor - *sf++) *
1266                             s->channel[c].scale_factor_step;
1267                 const float quant = pow(10.0, exp / 20.0);
1268                 int start = s->cur_sfb_offsets[b];
1269                 s->dsp.vector_fmul_scalar(s->tmp + start,
1270                                           s->channel[c].coeffs + start,
1271                                           quant, end - start);
1272             }
1273
1274             /** apply imdct (imdct_half == DCTIV with reverse) */
1275             mdct->imdct_half(mdct, s->channel[c].coeffs, s->tmp);
1276         }
1277     }
1278
1279     /** window and overlapp-add */
1280     wmapro_window(s);
1281
1282     /** handled one subframe */
1283     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1284         int c = s->channel_indexes_for_cur_subframe[i];
1285         if (s->channel[c].cur_subframe >= s->channel[c].num_subframes) {
1286             av_log(s->avctx, AV_LOG_ERROR, "broken subframe\n");
1287             return AVERROR_INVALIDDATA;
1288         }
1289         ++s->channel[c].cur_subframe;
1290     }
1291
1292     return 0;
1293 }
1294
1295 /**
1296  *@brief Decode one WMA frame.
1297  *@param s codec context
1298  *@return 0 if the trailer bit indicates that this is the last frame,
1299  *        1 if there are additional frames
1300  */
1301 static int decode_frame(WMAProDecodeCtx *s, int *got_frame_ptr)
1302 {
1303     AVCodecContext *avctx = s->avctx;
1304     GetBitContext* gb = &s->gb;
1305     int more_frames = 0;
1306     int len = 0;
1307     int i, ret;
1308     const float *out_ptr[WMAPRO_MAX_CHANNELS];
1309     float *samples;
1310
1311     /** get frame length */
1312     if (s->len_prefix)
1313         len = get_bits(gb, s->log2_frame_size);
1314
1315     av_dlog(s->avctx, "decoding frame with length %x\n", len);
1316
1317     /** decode tile information */
1318     if (decode_tilehdr(s)) {
1319         s->packet_loss = 1;
1320         return 0;
1321     }
1322
1323     /** read postproc transform */
1324     if (s->num_channels > 1 && get_bits1(gb)) {
1325         if (get_bits1(gb)) {
1326             for (i = 0; i < s->num_channels * s->num_channels; i++)
1327                 skip_bits(gb, 4);
1328         }
1329     }
1330
1331     /** read drc info */
1332     if (s->dynamic_range_compression) {
1333         s->drc_gain = get_bits(gb, 8);
1334         av_dlog(s->avctx, "drc_gain %i\n", s->drc_gain);
1335     }
1336
1337     /** no idea what these are for, might be the number of samples
1338         that need to be skipped at the beginning or end of a stream */
1339     if (get_bits1(gb)) {
1340         int av_unused skip;
1341
1342         /** usually true for the first frame */
1343         if (get_bits1(gb)) {
1344             skip = get_bits(gb, av_log2(s->samples_per_frame * 2));
1345             av_dlog(s->avctx, "start skip: %i\n", skip);
1346         }
1347
1348         /** sometimes true for the last frame */
1349         if (get_bits1(gb)) {
1350             skip = get_bits(gb, av_log2(s->samples_per_frame * 2));
1351             av_dlog(s->avctx, "end skip: %i\n", skip);
1352         }
1353
1354     }
1355
1356     av_dlog(s->avctx, "BITSTREAM: frame header length was %i\n",
1357             get_bits_count(gb) - s->frame_offset);
1358
1359     /** reset subframe states */
1360     s->parsed_all_subframes = 0;
1361     for (i = 0; i < s->num_channels; i++) {
1362         s->channel[i].decoded_samples = 0;
1363         s->channel[i].cur_subframe    = 0;
1364         s->channel[i].reuse_sf        = 0;
1365     }
1366
1367     /** decode all subframes */
1368     while (!s->parsed_all_subframes) {
1369         if (decode_subframe(s) < 0) {
1370             s->packet_loss = 1;
1371             return 0;
1372         }
1373     }
1374
1375     /* get output buffer */
1376     s->frame.nb_samples = s->samples_per_frame;
1377     if ((ret = avctx->get_buffer(avctx, &s->frame)) < 0) {
1378         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
1379         s->packet_loss = 1;
1380         return 0;
1381     }
1382     samples = (float *)s->frame.data[0];
1383
1384     /** interleave samples and write them to the output buffer */
1385     for (i = 0; i < s->num_channels; i++)
1386         out_ptr[i] = s->channel[i].out;
1387     s->fmt_conv.float_interleave(samples, out_ptr, s->samples_per_frame,
1388                                  s->num_channels);
1389
1390     for (i = 0; i < s->num_channels; i++) {
1391         /** reuse second half of the IMDCT output for the next frame */
1392         memcpy(&s->channel[i].out[0],
1393                &s->channel[i].out[s->samples_per_frame],
1394                s->samples_per_frame * sizeof(*s->channel[i].out) >> 1);
1395     }
1396
1397     if (s->skip_frame) {
1398         s->skip_frame = 0;
1399         *got_frame_ptr = 0;
1400     } else {
1401         *got_frame_ptr = 1;
1402     }
1403
1404     if (s->len_prefix) {
1405         if (len != (get_bits_count(gb) - s->frame_offset) + 2) {
1406             /** FIXME: not sure if this is always an error */
1407             av_log(s->avctx, AV_LOG_ERROR,
1408                    "frame[%i] would have to skip %i bits\n", s->frame_num,
1409                    len - (get_bits_count(gb) - s->frame_offset) - 1);
1410             s->packet_loss = 1;
1411             return 0;
1412         }
1413
1414         /** skip the rest of the frame data */
1415         skip_bits_long(gb, len - (get_bits_count(gb) - s->frame_offset) - 1);
1416     } else {
1417         while (get_bits_count(gb) < s->num_saved_bits && get_bits1(gb) == 0) {
1418         }
1419     }
1420
1421     /** decode trailer bit */
1422     more_frames = get_bits1(gb);
1423
1424     ++s->frame_num;
1425     return more_frames;
1426 }
1427
1428 /**
1429  *@brief Calculate remaining input buffer length.
1430  *@param s codec context
1431  *@param gb bitstream reader context
1432  *@return remaining size in bits
1433  */
1434 static int remaining_bits(WMAProDecodeCtx *s, GetBitContext *gb)
1435 {
1436     return s->buf_bit_size - get_bits_count(gb);
1437 }
1438
1439 /**
1440  *@brief Fill the bit reservoir with a (partial) frame.
1441  *@param s codec context
1442  *@param gb bitstream reader context
1443  *@param len length of the partial frame
1444  *@param append decides whether to reset the buffer or not
1445  */
1446 static void save_bits(WMAProDecodeCtx *s, GetBitContext* gb, int len,
1447                       int append)
1448 {
1449     int buflen;
1450
1451     /** when the frame data does not need to be concatenated, the input buffer
1452         is resetted and additional bits from the previous frame are copyed
1453         and skipped later so that a fast byte copy is possible */
1454
1455     if (!append) {
1456         s->frame_offset = get_bits_count(gb) & 7;
1457         s->num_saved_bits = s->frame_offset;
1458         init_put_bits(&s->pb, s->frame_data, MAX_FRAMESIZE);
1459     }
1460
1461     buflen = (put_bits_count(&s->pb) + len + 8) >> 3;
1462
1463     if (len <= 0 || buflen > MAX_FRAMESIZE) {
1464         av_log_ask_for_sample(s->avctx, "input buffer too small\n");
1465         s->packet_loss = 1;
1466         return;
1467     }
1468
1469     s->num_saved_bits += len;
1470     if (!append) {
1471         avpriv_copy_bits(&s->pb, gb->buffer + (get_bits_count(gb) >> 3),
1472                      s->num_saved_bits);
1473     } else {
1474         int align = 8 - (get_bits_count(gb) & 7);
1475         align = FFMIN(align, len);
1476         put_bits(&s->pb, align, get_bits(gb, align));
1477         len -= align;
1478         avpriv_copy_bits(&s->pb, gb->buffer + (get_bits_count(gb) >> 3), len);
1479     }
1480     skip_bits_long(gb, len);
1481
1482     {
1483         PutBitContext tmp = s->pb;
1484         flush_put_bits(&tmp);
1485     }
1486
1487     init_get_bits(&s->gb, s->frame_data, s->num_saved_bits);
1488     skip_bits(&s->gb, s->frame_offset);
1489 }
1490
1491 /**
1492  *@brief Decode a single WMA packet.
1493  *@param avctx codec context
1494  *@param data the output buffer
1495  *@param avpkt input packet
1496  *@return number of bytes that were read from the input buffer
1497  */
1498 static int decode_packet(AVCodecContext *avctx, void *data,
1499                          int *got_frame_ptr, AVPacket* avpkt)
1500 {
1501     WMAProDecodeCtx *s = avctx->priv_data;
1502     GetBitContext* gb  = &s->pgb;
1503     const uint8_t* buf = avpkt->data;
1504     int buf_size       = avpkt->size;
1505     int num_bits_prev_frame;
1506     int packet_sequence_number;
1507
1508     *got_frame_ptr = 0;
1509
1510     if (s->packet_done || s->packet_loss) {
1511         s->packet_done = 0;
1512
1513         /** sanity check for the buffer length */
1514         if (buf_size < avctx->block_align)
1515             return 0;
1516
1517         s->next_packet_start = buf_size - avctx->block_align;
1518         buf_size = avctx->block_align;
1519         s->buf_bit_size = buf_size << 3;
1520
1521         /** parse packet header */
1522         init_get_bits(gb, buf, s->buf_bit_size);
1523         packet_sequence_number = get_bits(gb, 4);
1524         skip_bits(gb, 2);
1525
1526         /** get number of bits that need to be added to the previous frame */
1527         num_bits_prev_frame = get_bits(gb, s->log2_frame_size);
1528         av_dlog(avctx, "packet[%d]: nbpf %x\n", avctx->frame_number,
1529                 num_bits_prev_frame);
1530
1531         /** check for packet loss */
1532         if (!s->packet_loss &&
1533             ((s->packet_sequence_number + 1) & 0xF) != packet_sequence_number) {
1534             s->packet_loss = 1;
1535             av_log(avctx, AV_LOG_ERROR, "Packet loss detected! seq %x vs %x\n",
1536                    s->packet_sequence_number, packet_sequence_number);
1537         }
1538         s->packet_sequence_number = packet_sequence_number;
1539
1540         if (num_bits_prev_frame > 0) {
1541             int remaining_packet_bits = s->buf_bit_size - get_bits_count(gb);
1542             if (num_bits_prev_frame >= remaining_packet_bits) {
1543                 num_bits_prev_frame = remaining_packet_bits;
1544                 s->packet_done = 1;
1545             }
1546
1547             /** append the previous frame data to the remaining data from the
1548                 previous packet to create a full frame */
1549             save_bits(s, gb, num_bits_prev_frame, 1);
1550             av_dlog(avctx, "accumulated %x bits of frame data\n",
1551                     s->num_saved_bits - s->frame_offset);
1552
1553             /** decode the cross packet frame if it is valid */
1554             if (!s->packet_loss)
1555                 decode_frame(s, got_frame_ptr);
1556         } else if (s->num_saved_bits - s->frame_offset) {
1557             av_dlog(avctx, "ignoring %x previously saved bits\n",
1558                     s->num_saved_bits - s->frame_offset);
1559         }
1560
1561         if (s->packet_loss) {
1562             /** reset number of saved bits so that the decoder
1563                 does not start to decode incomplete frames in the
1564                 s->len_prefix == 0 case */
1565             s->num_saved_bits = 0;
1566             s->packet_loss = 0;
1567         }
1568
1569     } else {
1570         int frame_size;
1571         s->buf_bit_size = (avpkt->size - s->next_packet_start) << 3;
1572         init_get_bits(gb, avpkt->data, s->buf_bit_size);
1573         skip_bits(gb, s->packet_offset);
1574         if (s->len_prefix && remaining_bits(s, gb) > s->log2_frame_size &&
1575             (frame_size = show_bits(gb, s->log2_frame_size)) &&
1576             frame_size <= remaining_bits(s, gb)) {
1577             save_bits(s, gb, frame_size, 0);
1578             s->packet_done = !decode_frame(s, got_frame_ptr);
1579         } else if (!s->len_prefix
1580                    && s->num_saved_bits > get_bits_count(&s->gb)) {
1581             /** when the frames do not have a length prefix, we don't know
1582                 the compressed length of the individual frames
1583                 however, we know what part of a new packet belongs to the
1584                 previous frame
1585                 therefore we save the incoming packet first, then we append
1586                 the "previous frame" data from the next packet so that
1587                 we get a buffer that only contains full frames */
1588             s->packet_done = !decode_frame(s, got_frame_ptr);
1589         } else
1590             s->packet_done = 1;
1591     }
1592
1593     if (s->packet_done && !s->packet_loss &&
1594         remaining_bits(s, gb) > 0) {
1595         /** save the rest of the data so that it can be decoded
1596             with the next packet */
1597         save_bits(s, gb, remaining_bits(s, gb), 0);
1598     }
1599
1600     s->packet_offset = get_bits_count(gb) & 7;
1601     if (s->packet_loss)
1602         return AVERROR_INVALIDDATA;
1603
1604     if (*got_frame_ptr)
1605         *(AVFrame *)data = s->frame;
1606
1607     return get_bits_count(gb) >> 3;
1608 }
1609
1610 /**
1611  *@brief Clear decoder buffers (for seeking).
1612  *@param avctx codec context
1613  */
1614 static void flush(AVCodecContext *avctx)
1615 {
1616     WMAProDecodeCtx *s = avctx->priv_data;
1617     int i;
1618     /** reset output buffer as a part of it is used during the windowing of a
1619         new frame */
1620     for (i = 0; i < s->num_channels; i++)
1621         memset(s->channel[i].out, 0, s->samples_per_frame *
1622                sizeof(*s->channel[i].out));
1623     s->packet_loss = 1;
1624 }
1625
1626
1627 /**
1628  *@brief wmapro decoder
1629  */
1630 AVCodec ff_wmapro_decoder = {
1631     .name           = "wmapro",
1632     .type           = AVMEDIA_TYPE_AUDIO,
1633     .id             = CODEC_ID_WMAPRO,
1634     .priv_data_size = sizeof(WMAProDecodeCtx),
1635     .init           = decode_init,
1636     .close          = decode_end,
1637     .decode         = decode_packet,
1638     .capabilities   = CODEC_CAP_SUBFRAMES | CODEC_CAP_DR1,
1639     .flush          = flush,
1640     .long_name      = NULL_IF_CONFIG_SMALL("Windows Media Audio 9 Professional"),
1641 };