git.sesse.net Git - ffmpeg/blob - libavcodec/wmaprodec.c

   1 /*
   2  * Wmapro compatible decoder
   3  * Copyright (c) 2007 Baptiste Coudurier, Benjamin Larsson, Ulion
   4  * Copyright (c) 2008 - 2011 Sascha Sommer, Benjamin Larsson
   5  *
   6  * This file is part of Libav.
   7  *
   8  * Libav is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * Libav is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with Libav; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 /**
  24  * @file
  25  * @brief wmapro decoder implementation
  26  * Wmapro is an MDCT based codec comparable to wma standard or AAC.
  27  * The decoding therefore consists of the following steps:
  28  * - bitstream decoding
  29  * - reconstruction of per-channel data
  30  * - rescaling and inverse quantization
  31  * - IMDCT
  32  * - windowing and overlapp-add
  33  *
  34  * The compressed wmapro bitstream is split into individual packets.
  35  * Every such packet contains one or more wma frames.
  36  * The compressed frames may have a variable length and frames may
  37  * cross packet boundaries.
  38  * Common to all wmapro frames is the number of samples that are stored in
  39  * a frame.
  40  * The number of samples and a few other decode flags are stored
  41  * as extradata that has to be passed to the decoder.
  42  *
  43  * The wmapro frames themselves are again split into a variable number of
  44  * subframes. Every subframe contains the data for 2^N time domain samples
  45  * where N varies between 7 and 12.
  46  *
  47  * Example wmapro bitstream (in samples):
  48  *
  49  * ||   packet 0           || packet 1 || packet 2      packets
  50  * ---------------------------------------------------
  51  * || frame 0      || frame 1       || frame 2    ||    frames
  52  * ---------------------------------------------------
  53  * ||   |      |   ||   |   |   |   ||            ||    subframes of channel 0
  54  * ---------------------------------------------------
  55  * ||      |   |   ||   |   |   |   ||            ||    subframes of channel 1
  56  * ---------------------------------------------------
  57  *
  58  * The frame layouts for the individual channels of a wma frame does not need
  59  * to be the same.
  60  *
  61  * However, if the offsets and lengths of several subframes of a frame are the
  62  * same, the subframes of the channels can be grouped.
  63  * Every group may then use special coding techniques like M/S stereo coding
  64  * to improve the compression ratio. These channel transformations do not
  65  * need to be applied to a whole subframe. Instead, they can also work on
  66  * individual scale factor bands (see below).
  67  * The coefficients that carry the audio signal in the frequency domain
  68  * are transmitted as huffman-coded vectors with 4, 2 and 1 elements.
  69  * In addition to that, the encoder can switch to a runlevel coding scheme
  70  * by transmitting subframe_length / 128 zero coefficients.
  71  *
  72  * Before the audio signal can be converted to the time domain, the
  73  * coefficients have to be rescaled and inverse quantized.
  74  * A subframe is therefore split into several scale factor bands that get
  75  * scaled individually.
  76  * Scale factors are submitted for every frame but they might be shared
  77  * between the subframes of a channel. Scale factors are initially DPCM-coded.
  78  * Once scale factors are shared, the differences are transmitted as runlevel
  79  * codes.
  80  * Every subframe length and offset combination in the frame layout shares a
  81  * common quantization factor that can be adjusted for every channel by a
  82  * modifier.
  83  * After the inverse quantization, the coefficients get processed by an IMDCT.
  84  * The resulting values are then windowed with a sine window and the first half
  85  * of the values are added to the second half of the output from the previous
  86  * subframe in order to reconstruct the output samples.
  87  */
  88
  89 #include "libavutil/float_dsp.h"
  90 #include "libavutil/intfloat.h"
  91 #include "libavutil/intreadwrite.h"
  92 #include "avcodec.h"
  93 #include "internal.h"
  94 #include "get_bits.h"
  95 #include "put_bits.h"
  96 #include "wmaprodata.h"
  97 #include "sinewin.h"
  98 #include "wma.h"
  99 #include "wma_common.h"
 100
 101 /** current decoder limitations */
 102 #define WMAPRO_MAX_CHANNELS    8                             ///< max number of handled channels
 103 #define MAX_SUBFRAMES  32                                    ///< max number of subframes per channel
 104 #define MAX_BANDS      29                                    ///< max number of scale factor bands
 105 #define MAX_FRAMESIZE  32768                                 ///< maximum compressed frame size
 106
 107 #define WMAPRO_BLOCK_MIN_BITS  6                                           ///< log2 of min block size
 108 #define WMAPRO_BLOCK_MAX_BITS 13                                           ///< log2 of max block size
 109 #define WMAPRO_BLOCK_MAX_SIZE (1 << WMAPRO_BLOCK_MAX_BITS)                 ///< maximum block size
 110 #define WMAPRO_BLOCK_SIZES    (WMAPRO_BLOCK_MAX_BITS - WMAPRO_BLOCK_MIN_BITS + 1) ///< possible block sizes
 111
 112
 113 #define VLCBITS            9
 114 #define SCALEVLCBITS       8
 115 #define VEC4MAXDEPTH    ((HUFF_VEC4_MAXBITS+VLCBITS-1)/VLCBITS)
 116 #define VEC2MAXDEPTH    ((HUFF_VEC2_MAXBITS+VLCBITS-1)/VLCBITS)
 117 #define VEC1MAXDEPTH    ((HUFF_VEC1_MAXBITS+VLCBITS-1)/VLCBITS)
 118 #define SCALEMAXDEPTH   ((HUFF_SCALE_MAXBITS+SCALEVLCBITS-1)/SCALEVLCBITS)
 119 #define SCALERLMAXDEPTH ((HUFF_SCALE_RL_MAXBITS+VLCBITS-1)/VLCBITS)
 120
 121 static VLC              sf_vlc;           ///< scale factor DPCM vlc
 122 static VLC              sf_rl_vlc;        ///< scale factor run length vlc
 123 static VLC              vec4_vlc;         ///< 4 coefficients per symbol
 124 static VLC              vec2_vlc;         ///< 2 coefficients per symbol
 125 static VLC              vec1_vlc;         ///< 1 coefficient per symbol
 126 static VLC              coef_vlc[2];      ///< coefficient run length vlc codes
 127 static float            sin64[33];        ///< sinus table for decorrelation
 128
 129 /**
 130  * @brief frame specific decoder context for a single channel
 131  */
 132 typedef struct {
 133     int16_t  prev_block_len;                          ///< length of the previous block
 134     uint8_t  transmit_coefs;
 135     uint8_t  num_subframes;
 136     uint16_t subframe_len[MAX_SUBFRAMES];             ///< subframe length in samples
 137     uint16_t subframe_offset[MAX_SUBFRAMES];          ///< subframe positions in the current frame
 138     uint8_t  cur_subframe;                            ///< current subframe number
 139     uint16_t decoded_samples;                         ///< number of already processed samples
 140     uint8_t  grouped;                                 ///< channel is part of a group
 141     int      quant_step;                              ///< quantization step for the current subframe
 142     int8_t   reuse_sf;                                ///< share scale factors between subframes
 143     int8_t   scale_factor_step;                       ///< scaling step for the current subframe
 144     int      max_scale_factor;                        ///< maximum scale factor for the current subframe
 145     int      saved_scale_factors[2][MAX_BANDS];       ///< resampled and (previously) transmitted scale factor values
 146     int8_t   scale_factor_idx;                        ///< index for the transmitted scale factor values (used for resampling)
 147     int*     scale_factors;                           ///< pointer to the scale factor values used for decoding
 148     uint8_t  table_idx;                               ///< index in sf_offsets for the scale factor reference block
 149     float*   coeffs;                                  ///< pointer to the subframe decode buffer
 150     uint16_t num_vec_coeffs;                          ///< number of vector coded coefficients
 151     DECLARE_ALIGNED(32, float, out)[WMAPRO_BLOCK_MAX_SIZE + WMAPRO_BLOCK_MAX_SIZE / 2]; ///< output buffer
 152 } WMAProChannelCtx;
 153
 154 /**
 155  * @brief channel group for channel transformations
 156  */
 157 typedef struct {
 158     uint8_t num_channels;                                     ///< number of channels in the group
 159     int8_t  transform;                                        ///< transform on / off
 160     int8_t  transform_band[MAX_BANDS];                        ///< controls if the transform is enabled for a certain band
 161     float   decorrelation_matrix[WMAPRO_MAX_CHANNELS*WMAPRO_MAX_CHANNELS];
 162     float*  channel_data[WMAPRO_MAX_CHANNELS];                ///< transformation coefficients
 163 } WMAProChannelGrp;
 164
 165 /**
 166  * @brief main decoder context
 167  */
 168 typedef struct WMAProDecodeCtx {
 169     /* generic decoder variables */
 170     AVCodecContext*  avctx;                         ///< codec context for av_log
 171     AVFloatDSPContext fdsp;
 172     uint8_t          frame_data[MAX_FRAMESIZE +
 173                       FF_INPUT_BUFFER_PADDING_SIZE];///< compressed frame data
 174     PutBitContext    pb;                            ///< context for filling the frame_data buffer
 175     FFTContext       mdct_ctx[WMAPRO_BLOCK_SIZES];  ///< MDCT context per block size
 176     DECLARE_ALIGNED(32, float, tmp)[WMAPRO_BLOCK_MAX_SIZE]; ///< IMDCT output buffer
 177     float*           windows[WMAPRO_BLOCK_SIZES];   ///< windows for the different block sizes
 178
 179     /* frame size dependent frame information (set during initialization) */
 180     uint32_t         decode_flags;                  ///< used compression features
 181     uint8_t          len_prefix;                    ///< frame is prefixed with its length
 182     uint8_t          dynamic_range_compression;     ///< frame contains DRC data
 183     uint8_t          bits_per_sample;               ///< integer audio sample size for the unscaled IMDCT output (used to scale to [-1.0, 1.0])
 184     uint16_t         samples_per_frame;             ///< number of samples to output
 185     uint16_t         log2_frame_size;
 186     int8_t           lfe_channel;                   ///< lfe channel index
 187     uint8_t          max_num_subframes;
 188     uint8_t          subframe_len_bits;             ///< number of bits used for the subframe length
 189     uint8_t          max_subframe_len_bit;          ///< flag indicating that the subframe is of maximum size when the first subframe length bit is 1
 190     uint16_t         min_samples_per_subframe;
 191     int8_t           num_sfb[WMAPRO_BLOCK_SIZES];   ///< scale factor bands per block size
 192     int16_t          sfb_offsets[WMAPRO_BLOCK_SIZES][MAX_BANDS];                    ///< scale factor band offsets (multiples of 4)
 193     int8_t           sf_offsets[WMAPRO_BLOCK_SIZES][WMAPRO_BLOCK_SIZES][MAX_BANDS]; ///< scale factor resample matrix
 194     int16_t          subwoofer_cutoffs[WMAPRO_BLOCK_SIZES]; ///< subwoofer cutoff values
 195
 196     /* packet decode state */
 197     GetBitContext    pgb;                           ///< bitstream reader context for the packet
 198     int              next_packet_start;             ///< start offset of the next wma packet in the demuxer packet
 199     uint8_t          packet_offset;                 ///< frame offset in the packet
 200     uint8_t          packet_sequence_number;        ///< current packet number
 201     int              num_saved_bits;                ///< saved number of bits
 202     int              frame_offset;                  ///< frame offset in the bit reservoir
 203     int              subframe_offset;               ///< subframe offset in the bit reservoir
 204     uint8_t          packet_loss;                   ///< set in case of bitstream error
 205     uint8_t          packet_done;                   ///< set when a packet is fully decoded
 206
 207     /* frame decode state */
 208     uint32_t         frame_num;                     ///< current frame number (not used for decoding)
 209     GetBitContext    gb;                            ///< bitstream reader context
 210     int              buf_bit_size;                  ///< buffer size in bits
 211     uint8_t          drc_gain;                      ///< gain for the DRC tool
 212     int8_t           skip_frame;                    ///< skip output step
 213     int8_t           parsed_all_subframes;          ///< all subframes decoded?
 214
 215     /* subframe/block decode state */
 216     int16_t          subframe_len;                  ///< current subframe length
 217     int8_t           channels_for_cur_subframe;     ///< number of channels that contain the subframe
 218     int8_t           channel_indexes_for_cur_subframe[WMAPRO_MAX_CHANNELS];
 219     int8_t           num_bands;                     ///< number of scale factor bands
 220     int8_t           transmit_num_vec_coeffs;       ///< number of vector coded coefficients is part of the bitstream
 221     int16_t*         cur_sfb_offsets;               ///< sfb offsets for the current block
 222     uint8_t          table_idx;                     ///< index for the num_sfb, sfb_offsets, sf_offsets and subwoofer_cutoffs tables
 223     int8_t           esc_len;                       ///< length of escaped coefficients
 224
 225     uint8_t          num_chgroups;                  ///< number of channel groups
 226     WMAProChannelGrp chgroup[WMAPRO_MAX_CHANNELS];  ///< channel group information
 227
 228     WMAProChannelCtx channel[WMAPRO_MAX_CHANNELS];  ///< per channel data
 229 } WMAProDecodeCtx;
 230
 231
 232 /**
 233  *@brief helper function to print the most important members of the context
 234  *@param s context
 235  */
 236 static av_cold void dump_context(WMAProDecodeCtx *s)
 237 {
 238 #define PRINT(a, b)     av_log(s->avctx, AV_LOG_DEBUG, " %s = %d\n", a, b);
 239 #define PRINT_HEX(a, b) av_log(s->avctx, AV_LOG_DEBUG, " %s = %x\n", a, b);
 240
 241     PRINT("ed sample bit depth", s->bits_per_sample);
 242     PRINT_HEX("ed decode flags", s->decode_flags);
 243     PRINT("samples per frame",   s->samples_per_frame);
 244     PRINT("log2 frame size",     s->log2_frame_size);
 245     PRINT("max num subframes",   s->max_num_subframes);
 246     PRINT("len prefix",          s->len_prefix);
 247     PRINT("num channels",        s->avctx->channels);
 248 }
 249
 250 /**
 251  *@brief Uninitialize the decoder and free all resources.
 252  *@param avctx codec context
 253  *@return 0 on success, < 0 otherwise
 254  */
 255 static av_cold int decode_end(AVCodecContext *avctx)
 256 {
 257     WMAProDecodeCtx *s = avctx->priv_data;
 258     int i;
 259
 260     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++)
 261         ff_mdct_end(&s->mdct_ctx[i]);
 262
 263     return 0;
 264 }
 265
 266 /**
 267  *@brief Initialize the decoder.
 268  *@param avctx codec context
 269  *@return 0 on success, -1 otherwise
 270  */
 271 static av_cold int decode_init(AVCodecContext *avctx)
 272 {
 273     WMAProDecodeCtx *s = avctx->priv_data;
 274     uint8_t *edata_ptr = avctx->extradata;
 275     unsigned int channel_mask;
 276     int i, bits;
 277     int log2_max_num_subframes;
 278     int num_possible_block_sizes;
 279
 280     if (!avctx->block_align) {
 281         av_log(avctx, AV_LOG_ERROR, "block_align is not set\n");
 282         return AVERROR(EINVAL);
 283     }
 284
 285     s->avctx = avctx;
 286     avpriv_float_dsp_init(&s->fdsp, avctx->flags & CODEC_FLAG_BITEXACT);
 287
 288     init_put_bits(&s->pb, s->frame_data, MAX_FRAMESIZE);
 289
 290     avctx->sample_fmt = AV_SAMPLE_FMT_FLTP;
 291
 292     if (avctx->extradata_size >= 18) {
 293         s->decode_flags    = AV_RL16(edata_ptr+14);
 294         channel_mask       = AV_RL32(edata_ptr+2);
 295         s->bits_per_sample = AV_RL16(edata_ptr);
 296         /** dump the extradata */
 297         for (i = 0; i < avctx->extradata_size; i++)
 298             av_dlog(avctx, "[%x] ", avctx->extradata[i]);
 299         av_dlog(avctx, "\n");
 300
 301     } else {
 302         av_log_ask_for_sample(avctx, "Unknown extradata size\n");
 303         return AVERROR_PATCHWELCOME;
 304     }
 305
 306     /** generic init */
 307     s->log2_frame_size = av_log2(avctx->block_align) + 4;
 308
 309     /** frame info */
 310     s->skip_frame  = 1; /* skip first frame */
 311     s->packet_loss = 1;
 312     s->len_prefix  = (s->decode_flags & 0x40);
 313
 314     /** get frame len */
 315     bits = ff_wma_get_frame_len_bits(avctx->sample_rate, 3, s->decode_flags);
 316     if (bits > WMAPRO_BLOCK_MAX_BITS) {
 317         av_log_missing_feature(avctx, "14-bits block sizes", 1);
 318         return AVERROR_PATCHWELCOME;
 319     }
 320     s->samples_per_frame = 1 << bits;
 321
 322     /** subframe info */
 323     log2_max_num_subframes       = ((s->decode_flags & 0x38) >> 3);
 324     s->max_num_subframes         = 1 << log2_max_num_subframes;
 325     if (s->max_num_subframes == 16 || s->max_num_subframes == 4)
 326         s->max_subframe_len_bit = 1;
 327     s->subframe_len_bits = av_log2(log2_max_num_subframes) + 1;
 328
 329     num_possible_block_sizes     = log2_max_num_subframes + 1;
 330     s->min_samples_per_subframe  = s->samples_per_frame / s->max_num_subframes;
 331     s->dynamic_range_compression = (s->decode_flags & 0x80);
 332
 333     if (s->max_num_subframes > MAX_SUBFRAMES) {
 334         av_log(avctx, AV_LOG_ERROR, "invalid number of subframes %i\n",
 335                s->max_num_subframes);
 336         return AVERROR_INVALIDDATA;
 337     }
 338
 339     if (s->avctx->sample_rate <= 0) {
 340         av_log(avctx, AV_LOG_ERROR, "invalid sample rate\n");
 341         return AVERROR_INVALIDDATA;
 342     }
 343
 344     if (avctx->channels < 0) {
 345         av_log(avctx, AV_LOG_ERROR, "invalid number of channels %d\n",
 346                avctx->channels);
 347         return AVERROR_INVALIDDATA;
 348     } else if (avctx->channels > WMAPRO_MAX_CHANNELS) {
 349         av_log_ask_for_sample(avctx, "unsupported number of channels\n");
 350         return AVERROR_PATCHWELCOME;
 351     }
 352
 353     /** init previous block len */
 354     for (i = 0; i < avctx->channels; i++)
 355         s->channel[i].prev_block_len = s->samples_per_frame;
 356
 357     /** extract lfe channel position */
 358     s->lfe_channel = -1;
 359
 360     if (channel_mask & 8) {
 361         unsigned int mask;
 362         for (mask = 1; mask < 16; mask <<= 1) {
 363             if (channel_mask & mask)
 364                 ++s->lfe_channel;
 365         }
 366     }
 367
 368     INIT_VLC_STATIC(&sf_vlc, SCALEVLCBITS, HUFF_SCALE_SIZE,
 369                     scale_huffbits, 1, 1,
 370                     scale_huffcodes, 2, 2, 616);
 371
 372     INIT_VLC_STATIC(&sf_rl_vlc, VLCBITS, HUFF_SCALE_RL_SIZE,
 373                     scale_rl_huffbits, 1, 1,
 374                     scale_rl_huffcodes, 4, 4, 1406);
 375
 376     INIT_VLC_STATIC(&coef_vlc[0], VLCBITS, HUFF_COEF0_SIZE,
 377                     coef0_huffbits, 1, 1,
 378                     coef0_huffcodes, 4, 4, 2108);
 379
 380     INIT_VLC_STATIC(&coef_vlc[1], VLCBITS, HUFF_COEF1_SIZE,
 381                     coef1_huffbits, 1, 1,
 382                     coef1_huffcodes, 4, 4, 3912);
 383
 384     INIT_VLC_STATIC(&vec4_vlc, VLCBITS, HUFF_VEC4_SIZE,
 385                     vec4_huffbits, 1, 1,
 386                     vec4_huffcodes, 2, 2, 604);
 387
 388     INIT_VLC_STATIC(&vec2_vlc, VLCBITS, HUFF_VEC2_SIZE,
 389                     vec2_huffbits, 1, 1,
 390                     vec2_huffcodes, 2, 2, 562);
 391
 392     INIT_VLC_STATIC(&vec1_vlc, VLCBITS, HUFF_VEC1_SIZE,
 393                     vec1_huffbits, 1, 1,
 394                     vec1_huffcodes, 2, 2, 562);
 395
 396     /** calculate number of scale factor bands and their offsets
 397         for every possible block size */
 398     for (i = 0; i < num_possible_block_sizes; i++) {
 399         int subframe_len = s->samples_per_frame >> i;
 400         int x;
 401         int band = 1;
 402
 403         s->sfb_offsets[i][0] = 0;
 404
 405         for (x = 0; x < MAX_BANDS-1 && s->sfb_offsets[i][band - 1] < subframe_len; x++) {
 406             int offset = (subframe_len * 2 * critical_freq[x])
 407                           / s->avctx->sample_rate + 2;
 408             offset &= ~3;
 409             if (offset > s->sfb_offsets[i][band - 1])
 410                 s->sfb_offsets[i][band++] = offset;
 411         }
 412         s->sfb_offsets[i][band - 1] = subframe_len;
 413         s->num_sfb[i]               = band - 1;
 414     }
 415
 416
 417     /** Scale factors can be shared between blocks of different size
 418         as every block has a different scale factor band layout.
 419         The matrix sf_offsets is needed to find the correct scale factor.
 420      */
 421
 422     for (i = 0; i < num_possible_block_sizes; i++) {
 423         int b;
 424         for (b = 0; b < s->num_sfb[i]; b++) {
 425             int x;
 426             int offset = ((s->sfb_offsets[i][b]
 427                            + s->sfb_offsets[i][b + 1] - 1) << i) >> 1;
 428             for (x = 0; x < num_possible_block_sizes; x++) {
 429                 int v = 0;
 430                 while (s->sfb_offsets[x][v + 1] << x < offset)
 431                     ++v;
 432                 s->sf_offsets[i][x][b] = v;
 433             }
 434         }
 435     }
 436
 437     /** init MDCT, FIXME: only init needed sizes */
 438     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++)
 439         ff_mdct_init(&s->mdct_ctx[i], WMAPRO_BLOCK_MIN_BITS+1+i, 1,
 440                      1.0 / (1 << (WMAPRO_BLOCK_MIN_BITS + i - 1))
 441                      / (1 << (s->bits_per_sample - 1)));
 442
 443     /** init MDCT windows: simple sinus window */
 444     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++) {
 445         const int win_idx = WMAPRO_BLOCK_MAX_BITS - i;
 446         ff_init_ff_sine_windows(win_idx);
 447         s->windows[WMAPRO_BLOCK_SIZES - i - 1] = ff_sine_windows[win_idx];
 448     }
 449
 450     /** calculate subwoofer cutoff values */
 451     for (i = 0; i < num_possible_block_sizes; i++) {
 452         int block_size = s->samples_per_frame >> i;
 453         int cutoff = (440*block_size + 3 * (s->avctx->sample_rate >> 1) - 1)
 454                      / s->avctx->sample_rate;
 455         s->subwoofer_cutoffs[i] = av_clip(cutoff, 4, block_size);
 456     }
 457
 458     /** calculate sine values for the decorrelation matrix */
 459     for (i = 0; i < 33; i++)
 460         sin64[i] = sin(i*M_PI / 64.0);
 461
 462     if (avctx->debug & FF_DEBUG_BITSTREAM)
 463         dump_context(s);
 464
 465     avctx->channel_layout = channel_mask;
 466
 467     return 0;
 468 }
 469
 470 /**
 471  *@brief Decode the subframe length.
 472  *@param s context
 473  *@param offset sample offset in the frame
 474  *@return decoded subframe length on success, < 0 in case of an error
 475  */
 476 static int decode_subframe_length(WMAProDecodeCtx *s, int offset)
 477 {
 478     int frame_len_shift = 0;
 479     int subframe_len;
 480
 481     /** no need to read from the bitstream when only one length is possible */
 482     if (offset == s->samples_per_frame - s->min_samples_per_subframe)
 483         return s->min_samples_per_subframe;
 484
 485     /** 1 bit indicates if the subframe is of maximum length */
 486     if (s->max_subframe_len_bit) {
 487         if (get_bits1(&s->gb))
 488             frame_len_shift = 1 + get_bits(&s->gb, s->subframe_len_bits-1);
 489     } else
 490         frame_len_shift = get_bits(&s->gb, s->subframe_len_bits);
 491
 492     subframe_len = s->samples_per_frame >> frame_len_shift;
 493
 494     /** sanity check the length */
 495     if (subframe_len < s->min_samples_per_subframe ||
 496         subframe_len > s->samples_per_frame) {
 497         av_log(s->avctx, AV_LOG_ERROR, "broken frame: subframe_len %i\n",
 498                subframe_len);
 499         return AVERROR_INVALIDDATA;
 500     }
 501     return subframe_len;
 502 }
 503
 504 /**
 505  *@brief Decode how the data in the frame is split into subframes.
 506  *       Every WMA frame contains the encoded data for a fixed number of
 507  *       samples per channel. The data for every channel might be split
 508  *       into several subframes. This function will reconstruct the list of
 509  *       subframes for every channel.
 510  *
 511  *       If the subframes are not evenly split, the algorithm estimates the
 512  *       channels with the lowest number of total samples.
 513  *       Afterwards, for each of these channels a bit is read from the
 514  *       bitstream that indicates if the channel contains a subframe with the
 515  *       next subframe size that is going to be read from the bitstream or not.
 516  *       If a channel contains such a subframe, the subframe size gets added to
 517  *       the channel's subframe list.
 518  *       The algorithm repeats these steps until the frame is properly divided
 519  *       between the individual channels.
 520  *
 521  *@param s context
 522  *@return 0 on success, < 0 in case of an error
 523  */
 524 static int decode_tilehdr(WMAProDecodeCtx *s)
 525 {
 526     uint16_t num_samples[WMAPRO_MAX_CHANNELS] = { 0 };/**< sum of samples for all currently known subframes of a channel */
 527     uint8_t  contains_subframe[WMAPRO_MAX_CHANNELS];  /**< flag indicating if a channel contains the current subframe */
 528     int channels_for_cur_subframe = s->avctx->channels; /**< number of channels that contain the current subframe */
 529     int fixed_channel_layout = 0;                     /**< flag indicating that all channels use the same subframe offsets and sizes */
 530     int min_channel_len = 0;                          /**< smallest sum of samples (channels with this length will be processed first) */
 531     int c;
 532
 533     /* Should never consume more than 3073 bits (256 iterations for the
 534      * while loop when always the minimum amount of 128 samples is subtracted
 535      * from missing samples in the 8 channel case).
 536      * 1 + BLOCK_MAX_SIZE * MAX_CHANNELS / BLOCK_MIN_SIZE * (MAX_CHANNELS  + 4)
 537      */
 538
 539     /** reset tiling information */
 540     for (c = 0; c < s->avctx->channels; c++)
 541         s->channel[c].num_subframes = 0;
 542
 543     if (s->max_num_subframes == 1 || get_bits1(&s->gb))
 544         fixed_channel_layout = 1;
 545
 546     /** loop until the frame data is split between the subframes */
 547     do {
 548         int subframe_len;
 549
 550         /** check which channels contain the subframe */
 551         for (c = 0; c < s->avctx->channels; c++) {
 552             if (num_samples[c] == min_channel_len) {
 553                 if (fixed_channel_layout || channels_for_cur_subframe == 1 ||
 554                    (min_channel_len == s->samples_per_frame - s->min_samples_per_subframe))
 555                     contains_subframe[c] = 1;
 556                 else
 557                     contains_subframe[c] = get_bits1(&s->gb);
 558             } else
 559                 contains_subframe[c] = 0;
 560         }
 561
 562         /** get subframe length, subframe_len == 0 is not allowed */
 563         if ((subframe_len = decode_subframe_length(s, min_channel_len)) <= 0)
 564             return AVERROR_INVALIDDATA;
 565
 566         /** add subframes to the individual channels and find new min_channel_len */
 567         min_channel_len += subframe_len;
 568         for (c = 0; c < s->avctx->channels; c++) {
 569             WMAProChannelCtx* chan = &s->channel[c];
 570
 571             if (contains_subframe[c]) {
 572                 if (chan->num_subframes >= MAX_SUBFRAMES) {
 573                     av_log(s->avctx, AV_LOG_ERROR,
 574                            "broken frame: num subframes > 31\n");
 575                     return AVERROR_INVALIDDATA;
 576                 }
 577                 chan->subframe_len[chan->num_subframes] = subframe_len;
 578                 num_samples[c] += subframe_len;
 579                 ++chan->num_subframes;
 580                 if (num_samples[c] > s->samples_per_frame) {
 581                     av_log(s->avctx, AV_LOG_ERROR, "broken frame: "
 582                            "channel len > samples_per_frame\n");
 583                     return AVERROR_INVALIDDATA;
 584                 }
 585             } else if (num_samples[c] <= min_channel_len) {
 586                 if (num_samples[c] < min_channel_len) {
 587                     channels_for_cur_subframe = 0;
 588                     min_channel_len = num_samples[c];
 589                 }
 590                 ++channels_for_cur_subframe;
 591             }
 592         }
 593     } while (min_channel_len < s->samples_per_frame);
 594
 595     for (c = 0; c < s->avctx->channels; c++) {
 596         int i;
 597         int offset = 0;
 598         for (i = 0; i < s->channel[c].num_subframes; i++) {
 599             av_dlog(s->avctx, "frame[%i] channel[%i] subframe[%i]"
 600                     " len %i\n", s->frame_num, c, i,
 601                     s->channel[c].subframe_len[i]);
 602             s->channel[c].subframe_offset[i] = offset;
 603             offset += s->channel[c].subframe_len[i];
 604         }
 605     }
 606
 607     return 0;
 608 }
 609
 610 /**
 611  *@brief Calculate a decorrelation matrix from the bitstream parameters.
 612  *@param s codec context
 613  *@param chgroup channel group for which the matrix needs to be calculated
 614  */
 615 static void decode_decorrelation_matrix(WMAProDecodeCtx *s,
 616                                         WMAProChannelGrp *chgroup)
 617 {
 618     int i;
 619     int offset = 0;
 620     int8_t rotation_offset[WMAPRO_MAX_CHANNELS * WMAPRO_MAX_CHANNELS];
 621     memset(chgroup->decorrelation_matrix, 0, s->avctx->channels *
 622            s->avctx->channels * sizeof(*chgroup->decorrelation_matrix));
 623
 624     for (i = 0; i < chgroup->num_channels * (chgroup->num_channels - 1) >> 1; i++)
 625         rotation_offset[i] = get_bits(&s->gb, 6);
 626
 627     for (i = 0; i < chgroup->num_channels; i++)
 628         chgroup->decorrelation_matrix[chgroup->num_channels * i + i] =
 629             get_bits1(&s->gb) ? 1.0 : -1.0;
 630
 631     for (i = 1; i < chgroup->num_channels; i++) {
 632         int x;
 633         for (x = 0; x < i; x++) {
 634             int y;
 635             for (y = 0; y < i + 1; y++) {
 636                 float v1 = chgroup->decorrelation_matrix[x * chgroup->num_channels + y];
 637                 float v2 = chgroup->decorrelation_matrix[i * chgroup->num_channels + y];
 638                 int n = rotation_offset[offset + x];
 639                 float sinv;
 640                 float cosv;
 641
 642                 if (n < 32) {
 643                     sinv = sin64[n];
 644                     cosv = sin64[32 - n];
 645                 } else {
 646                     sinv =  sin64[64 -  n];
 647                     cosv = -sin64[n  - 32];
 648                 }
 649
 650                 chgroup->decorrelation_matrix[y + x * chgroup->num_channels] =
 651                                                (v1 * sinv) - (v2 * cosv);
 652                 chgroup->decorrelation_matrix[y + i * chgroup->num_channels] =
 653                                                (v1 * cosv) + (v2 * sinv);
 654             }
 655         }
 656         offset += i;
 657     }
 658 }
 659
 660 /**
 661  *@brief Decode channel transformation parameters
 662  *@param s codec context
 663  *@return 0 in case of success, < 0 in case of bitstream errors
 664  */
 665 static int decode_channel_transform(WMAProDecodeCtx* s)
 666 {
 667     int i;
 668     /* should never consume more than 1921 bits for the 8 channel case
 669      * 1 + MAX_CHANNELS * (MAX_CHANNELS + 2 + 3 * MAX_CHANNELS * MAX_CHANNELS
 670      * + MAX_CHANNELS + MAX_BANDS + 1)
 671      */
 672
 673     /** in the one channel case channel transforms are pointless */
 674     s->num_chgroups = 0;
 675     if (s->avctx->channels > 1) {
 676         int remaining_channels = s->channels_for_cur_subframe;
 677
 678         if (get_bits1(&s->gb)) {
 679             av_log_ask_for_sample(s->avctx,
 680                                   "unsupported channel transform bit\n");
 681             return AVERROR_PATCHWELCOME;
 682         }
 683
 684         for (s->num_chgroups = 0; remaining_channels &&
 685              s->num_chgroups < s->channels_for_cur_subframe; s->num_chgroups++) {
 686             WMAProChannelGrp* chgroup = &s->chgroup[s->num_chgroups];
 687             float** channel_data = chgroup->channel_data;
 688             chgroup->num_channels = 0;
 689             chgroup->transform = 0;
 690
 691             /** decode channel mask */
 692             if (remaining_channels > 2) {
 693                 for (i = 0; i < s->channels_for_cur_subframe; i++) {
 694                     int channel_idx = s->channel_indexes_for_cur_subframe[i];
 695                     if (!s->channel[channel_idx].grouped
 696                         && get_bits1(&s->gb)) {
 697                         ++chgroup->num_channels;
 698                         s->channel[channel_idx].grouped = 1;
 699                         *channel_data++ = s->channel[channel_idx].coeffs;
 700                     }
 701                 }
 702             } else {
 703                 chgroup->num_channels = remaining_channels;
 704                 for (i = 0; i < s->channels_for_cur_subframe; i++) {
 705                     int channel_idx = s->channel_indexes_for_cur_subframe[i];
 706                     if (!s->channel[channel_idx].grouped)
 707                         *channel_data++ = s->channel[channel_idx].coeffs;
 708                     s->channel[channel_idx].grouped = 1;
 709                 }
 710             }
 711
 712             /** decode transform type */
 713             if (chgroup->num_channels == 2) {
 714                 if (get_bits1(&s->gb)) {
 715                     if (get_bits1(&s->gb)) {
 716                         av_log_ask_for_sample(s->avctx,
 717                                               "unsupported channel transform type\n");
 718                     }
 719                 } else {
 720                     chgroup->transform = 1;
 721                     if (s->avctx->channels == 2) {
 722                         chgroup->decorrelation_matrix[0] =  1.0;
 723                         chgroup->decorrelation_matrix[1] = -1.0;
 724                         chgroup->decorrelation_matrix[2] =  1.0;
 725                         chgroup->decorrelation_matrix[3] =  1.0;
 726                     } else {
 727                         /** cos(pi/4) */
 728                         chgroup->decorrelation_matrix[0] =  0.70703125;
 729                         chgroup->decorrelation_matrix[1] = -0.70703125;
 730                         chgroup->decorrelation_matrix[2] =  0.70703125;
 731                         chgroup->decorrelation_matrix[3] =  0.70703125;
 732                     }
 733                 }
 734             } else if (chgroup->num_channels > 2) {
 735                 if (get_bits1(&s->gb)) {
 736                     chgroup->transform = 1;
 737                     if (get_bits1(&s->gb)) {
 738                         decode_decorrelation_matrix(s, chgroup);
 739                     } else {
 740                         /** FIXME: more than 6 coupled channels not supported */
 741                         if (chgroup->num_channels > 6) {
 742                             av_log_ask_for_sample(s->avctx,
 743                                                   "coupled channels > 6\n");
 744                         } else {
 745                             memcpy(chgroup->decorrelation_matrix,
 746                                    default_decorrelation[chgroup->num_channels],
 747                                    chgroup->num_channels * chgroup->num_channels *
 748                                    sizeof(*chgroup->decorrelation_matrix));
 749                         }
 750                     }
 751                 }
 752             }
 753
 754             /** decode transform on / off */
 755             if (chgroup->transform) {
 756                 if (!get_bits1(&s->gb)) {
 757                     int i;
 758                     /** transform can be enabled for individual bands */
 759                     for (i = 0; i < s->num_bands; i++) {
 760                         chgroup->transform_band[i] = get_bits1(&s->gb);
 761                     }
 762                 } else {
 763                     memset(chgroup->transform_band, 1, s->num_bands);
 764                 }
 765             }
 766             remaining_channels -= chgroup->num_channels;
 767         }
 768     }
 769     return 0;
 770 }
 771
 772 /**
 773  *@brief Extract the coefficients from the bitstream.
 774  *@param s codec context
 775  *@param c current channel number
 776  *@return 0 on success, < 0 in case of bitstream errors
 777  */
 778 static int decode_coeffs(WMAProDecodeCtx *s, int c)
 779 {
 780     /* Integers 0..15 as single-precision floats.  The table saves a
 781        costly int to float conversion, and storing the values as
 782        integers allows fast sign-flipping. */
 783     static const uint32_t fval_tab[16] = {
 784         0x00000000, 0x3f800000, 0x40000000, 0x40400000,
 785         0x40800000, 0x40a00000, 0x40c00000, 0x40e00000,
 786         0x41000000, 0x41100000, 0x41200000, 0x41300000,
 787         0x41400000, 0x41500000, 0x41600000, 0x41700000,
 788     };
 789     int vlctable;
 790     VLC* vlc;
 791     WMAProChannelCtx* ci = &s->channel[c];
 792     int rl_mode = 0;
 793     int cur_coeff = 0;
 794     int num_zeros = 0;
 795     const uint16_t* run;
 796     const float* level;
 797
 798     av_dlog(s->avctx, "decode coefficients for channel %i\n", c);
 799
 800     vlctable = get_bits1(&s->gb);
 801     vlc = &coef_vlc[vlctable];
 802
 803     if (vlctable) {
 804         run = coef1_run;
 805         level = coef1_level;
 806     } else {
 807         run = coef0_run;
 808         level = coef0_level;
 809     }
 810
 811     /** decode vector coefficients (consumes up to 167 bits per iteration for
 812       4 vector coded large values) */
 813     while ((s->transmit_num_vec_coeffs || !rl_mode) &&
 814            (cur_coeff + 3 < ci->num_vec_coeffs)) {
 815         uint32_t vals[4];
 816         int i;
 817         unsigned int idx;
 818
 819         idx = get_vlc2(&s->gb, vec4_vlc.table, VLCBITS, VEC4MAXDEPTH);
 820
 821         if (idx == HUFF_VEC4_SIZE - 1) {
 822             for (i = 0; i < 4; i += 2) {
 823                 idx = get_vlc2(&s->gb, vec2_vlc.table, VLCBITS, VEC2MAXDEPTH);
 824                 if (idx == HUFF_VEC2_SIZE - 1) {
 825                     uint32_t v0, v1;
 826                     v0 = get_vlc2(&s->gb, vec1_vlc.table, VLCBITS, VEC1MAXDEPTH);
 827                     if (v0 == HUFF_VEC1_SIZE - 1)
 828                         v0 += ff_wma_get_large_val(&s->gb);
 829                     v1 = get_vlc2(&s->gb, vec1_vlc.table, VLCBITS, VEC1MAXDEPTH);
 830                     if (v1 == HUFF_VEC1_SIZE - 1)
 831                         v1 += ff_wma_get_large_val(&s->gb);
 832                     vals[i  ] = av_float2int(v0);
 833                     vals[i+1] = av_float2int(v1);
 834                 } else {
 835                     vals[i]   = fval_tab[symbol_to_vec2[idx] >> 4 ];
 836                     vals[i+1] = fval_tab[symbol_to_vec2[idx] & 0xF];
 837                 }
 838             }
 839         } else {
 840             vals[0] = fval_tab[ symbol_to_vec4[idx] >> 12      ];
 841             vals[1] = fval_tab[(symbol_to_vec4[idx] >> 8) & 0xF];
 842             vals[2] = fval_tab[(symbol_to_vec4[idx] >> 4) & 0xF];
 843             vals[3] = fval_tab[ symbol_to_vec4[idx]       & 0xF];
 844         }
 845
 846         /** decode sign */
 847         for (i = 0; i < 4; i++) {
 848             if (vals[i]) {
 849                 uint32_t sign = get_bits1(&s->gb) - 1;
 850                 AV_WN32A(&ci->coeffs[cur_coeff], vals[i] ^ sign << 31);
 851                 num_zeros = 0;
 852             } else {
 853                 ci->coeffs[cur_coeff] = 0;
 854                 /** switch to run level mode when subframe_len / 128 zeros
 855                     were found in a row */
 856                 rl_mode |= (++num_zeros > s->subframe_len >> 8);
 857             }
 858             ++cur_coeff;
 859         }
 860     }
 861
 862     /** decode run level coded coefficients */
 863     if (cur_coeff < s->subframe_len) {
 864         memset(&ci->coeffs[cur_coeff], 0,
 865                sizeof(*ci->coeffs) * (s->subframe_len - cur_coeff));
 866         if (ff_wma_run_level_decode(s->avctx, &s->gb, vlc,
 867                                     level, run, 1, ci->coeffs,
 868                                     cur_coeff, s->subframe_len,
 869                                     s->subframe_len, s->esc_len, 0))
 870             return AVERROR_INVALIDDATA;
 871     }
 872
 873     return 0;
 874 }
 875
 876 /**
 877  *@brief Extract scale factors from the bitstream.
 878  *@param s codec context
 879  *@return 0 on success, < 0 in case of bitstream errors
 880  */
 881 static int decode_scale_factors(WMAProDecodeCtx* s)
 882 {
 883     int i;
 884
 885     /** should never consume more than 5344 bits
 886      *  MAX_CHANNELS * (1 +  MAX_BANDS * 23)
 887      */
 888
 889     for (i = 0; i < s->channels_for_cur_subframe; i++) {
 890         int c = s->channel_indexes_for_cur_subframe[i];
 891         int* sf;
 892         int* sf_end;
 893         s->channel[c].scale_factors = s->channel[c].saved_scale_factors[!s->channel[c].scale_factor_idx];
 894         sf_end = s->channel[c].scale_factors + s->num_bands;
 895
 896         /** resample scale factors for the new block size
 897          *  as the scale factors might need to be resampled several times
 898          *  before some  new values are transmitted, a backup of the last
 899          *  transmitted scale factors is kept in saved_scale_factors
 900          */
 901         if (s->channel[c].reuse_sf) {
 902             const int8_t* sf_offsets = s->sf_offsets[s->table_idx][s->channel[c].table_idx];
 903             int b;
 904             for (b = 0; b < s->num_bands; b++)
 905                 s->channel[c].scale_factors[b] =
 906                     s->channel[c].saved_scale_factors[s->channel[c].scale_factor_idx][*sf_offsets++];
 907         }
 908
 909         if (!s->channel[c].cur_subframe || get_bits1(&s->gb)) {
 910
 911             if (!s->channel[c].reuse_sf) {
 912                 int val;
 913                 /** decode DPCM coded scale factors */
 914                 s->channel[c].scale_factor_step = get_bits(&s->gb, 2) + 1;
 915                 val = 45 / s->channel[c].scale_factor_step;
 916                 for (sf = s->channel[c].scale_factors; sf < sf_end; sf++) {
 917                     val += get_vlc2(&s->gb, sf_vlc.table, SCALEVLCBITS, SCALEMAXDEPTH) - 60;
 918                     *sf = val;
 919                 }
 920             } else {
 921                 int i;
 922                 /** run level decode differences to the resampled factors */
 923                 for (i = 0; i < s->num_bands; i++) {
 924                     int idx;
 925                     int skip;
 926                     int val;
 927                     int sign;
 928
 929                     idx = get_vlc2(&s->gb, sf_rl_vlc.table, VLCBITS, SCALERLMAXDEPTH);
 930
 931                     if (!idx) {
 932                         uint32_t code = get_bits(&s->gb, 14);
 933                         val  =  code >> 6;
 934                         sign = (code & 1) - 1;
 935                         skip = (code & 0x3f) >> 1;
 936                     } else if (idx == 1) {
 937                         break;
 938                     } else {
 939                         skip = scale_rl_run[idx];
 940                         val  = scale_rl_level[idx];
 941                         sign = get_bits1(&s->gb)-1;
 942                     }
 943
 944                     i += skip;
 945                     if (i >= s->num_bands) {
 946                         av_log(s->avctx, AV_LOG_ERROR,
 947                                "invalid scale factor coding\n");
 948                         return AVERROR_INVALIDDATA;
 949                     }
 950                     s->channel[c].scale_factors[i] += (val ^ sign) - sign;
 951                 }
 952             }
 953             /** swap buffers */
 954             s->channel[c].scale_factor_idx = !s->channel[c].scale_factor_idx;
 955             s->channel[c].table_idx = s->table_idx;
 956             s->channel[c].reuse_sf  = 1;
 957         }
 958
 959         /** calculate new scale factor maximum */
 960         s->channel[c].max_scale_factor = s->channel[c].scale_factors[0];
 961         for (sf = s->channel[c].scale_factors + 1; sf < sf_end; sf++) {
 962             s->channel[c].max_scale_factor =
 963                 FFMAX(s->channel[c].max_scale_factor, *sf);
 964         }
 965
 966     }
 967     return 0;
 968 }
 969
 970 /**
 971  *@brief Reconstruct the individual channel data.
 972  *@param s codec context
 973  */
 974 static void inverse_channel_transform(WMAProDecodeCtx *s)
 975 {
 976     int i;
 977
 978     for (i = 0; i < s->num_chgroups; i++) {
 979         if (s->chgroup[i].transform) {
 980             float data[WMAPRO_MAX_CHANNELS];
 981             const int num_channels = s->chgroup[i].num_channels;
 982             float** ch_data = s->chgroup[i].channel_data;
 983             float** ch_end = ch_data + num_channels;
 984             const int8_t* tb = s->chgroup[i].transform_band;
 985             int16_t* sfb;
 986
 987             /** multichannel decorrelation */
 988             for (sfb = s->cur_sfb_offsets;
 989                  sfb < s->cur_sfb_offsets + s->num_bands; sfb++) {
 990                 int y;
 991                 if (*tb++ == 1) {
 992                     /** multiply values with the decorrelation_matrix */
 993                     for (y = sfb[0]; y < FFMIN(sfb[1], s->subframe_len); y++) {
 994                         const float* mat = s->chgroup[i].decorrelation_matrix;
 995                         const float* data_end = data + num_channels;
 996                         float* data_ptr = data;
 997                         float** ch;
 998
 999                         for (ch = ch_data; ch < ch_end; ch++)
1000                             *data_ptr++ = (*ch)[y];
1001
1002                         for (ch = ch_data; ch < ch_end; ch++) {
1003                             float sum = 0;
1004                             data_ptr = data;
1005                             while (data_ptr < data_end)
1006                                 sum += *data_ptr++ * *mat++;
1007
1008                             (*ch)[y] = sum;
1009                         }
1010                     }
1011                 } else if (s->avctx->channels == 2) {
1012                     int len = FFMIN(sfb[1], s->subframe_len) - sfb[0];
1013                     s->fdsp.vector_fmul_scalar(ch_data[0] + sfb[0],
1014                                                ch_data[0] + sfb[0],
1015                                                181.0 / 128, len);
1016                     s->fdsp.vector_fmul_scalar(ch_data[1] + sfb[0],
1017                                                ch_data[1] + sfb[0],
1018                                                181.0 / 128, len);
1019                 }
1020             }
1021         }
1022     }
1023 }
1024
1025 /**
1026  *@brief Apply sine window and reconstruct the output buffer.
1027  *@param s codec context
1028  */
1029 static void wmapro_window(WMAProDecodeCtx *s)
1030 {
1031     int i;
1032     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1033         int c = s->channel_indexes_for_cur_subframe[i];
1034         float* window;
1035         int winlen = s->channel[c].prev_block_len;
1036         float* start = s->channel[c].coeffs - (winlen >> 1);
1037
1038         if (s->subframe_len < winlen) {
1039             start += (winlen - s->subframe_len) >> 1;
1040             winlen = s->subframe_len;
1041         }
1042
1043         window = s->windows[av_log2(winlen) - WMAPRO_BLOCK_MIN_BITS];
1044
1045         winlen >>= 1;
1046
1047         s->fdsp.vector_fmul_window(start, start, start + winlen,
1048                                    window, winlen);
1049
1050         s->channel[c].prev_block_len = s->subframe_len;
1051     }
1052 }
1053
1054 /**
1055  *@brief Decode a single subframe (block).
1056  *@param s codec context
1057  *@return 0 on success, < 0 when decoding failed
1058  */
1059 static int decode_subframe(WMAProDecodeCtx *s)
1060 {
1061     int offset = s->samples_per_frame;
1062     int subframe_len = s->samples_per_frame;
1063     int i;
1064     int total_samples   = s->samples_per_frame * s->avctx->channels;
1065     int transmit_coeffs = 0;
1066     int cur_subwoofer_cutoff;
1067
1068     s->subframe_offset = get_bits_count(&s->gb);
1069
1070     /** reset channel context and find the next block offset and size
1071         == the next block of the channel with the smallest number of
1072         decoded samples
1073     */
1074     for (i = 0; i < s->avctx->channels; i++) {
1075         s->channel[i].grouped = 0;
1076         if (offset > s->channel[i].decoded_samples) {
1077             offset = s->channel[i].decoded_samples;
1078             subframe_len =
1079                 s->channel[i].subframe_len[s->channel[i].cur_subframe];
1080         }
1081     }
1082
1083     av_dlog(s->avctx,
1084             "processing subframe with offset %i len %i\n", offset, subframe_len);
1085
1086     /** get a list of all channels that contain the estimated block */
1087     s->channels_for_cur_subframe = 0;
1088     for (i = 0; i < s->avctx->channels; i++) {
1089         const int cur_subframe = s->channel[i].cur_subframe;
1090         /** subtract already processed samples */
1091         total_samples -= s->channel[i].decoded_samples;
1092
1093         /** and count if there are multiple subframes that match our profile */
1094         if (offset == s->channel[i].decoded_samples &&
1095             subframe_len == s->channel[i].subframe_len[cur_subframe]) {
1096             total_samples -= s->channel[i].subframe_len[cur_subframe];
1097             s->channel[i].decoded_samples +=
1098                 s->channel[i].subframe_len[cur_subframe];
1099             s->channel_indexes_for_cur_subframe[s->channels_for_cur_subframe] = i;
1100             ++s->channels_for_cur_subframe;
1101         }
1102     }
1103
1104     /** check if the frame will be complete after processing the
1105         estimated block */
1106     if (!total_samples)
1107         s->parsed_all_subframes = 1;
1108
1109
1110     av_dlog(s->avctx, "subframe is part of %i channels\n",
1111             s->channels_for_cur_subframe);
1112
1113     /** calculate number of scale factor bands and their offsets */
1114     s->table_idx         = av_log2(s->samples_per_frame/subframe_len);
1115     s->num_bands         = s->num_sfb[s->table_idx];
1116     s->cur_sfb_offsets   = s->sfb_offsets[s->table_idx];
1117     cur_subwoofer_cutoff = s->subwoofer_cutoffs[s->table_idx];
1118
1119     /** configure the decoder for the current subframe */
1120     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1121         int c = s->channel_indexes_for_cur_subframe[i];
1122
1123         s->channel[c].coeffs = &s->channel[c].out[(s->samples_per_frame >> 1)
1124                                                   + offset];
1125     }
1126
1127     s->subframe_len = subframe_len;
1128     s->esc_len = av_log2(s->subframe_len - 1) + 1;
1129
1130     /** skip extended header if any */
1131     if (get_bits1(&s->gb)) {
1132         int num_fill_bits;
1133         if (!(num_fill_bits = get_bits(&s->gb, 2))) {
1134             int len = get_bits(&s->gb, 4);
1135             num_fill_bits = get_bits(&s->gb, len) + 1;
1136         }
1137
1138         if (num_fill_bits >= 0) {
1139             if (get_bits_count(&s->gb) + num_fill_bits > s->num_saved_bits) {
1140                 av_log(s->avctx, AV_LOG_ERROR, "invalid number of fill bits\n");
1141                 return AVERROR_INVALIDDATA;
1142             }
1143
1144             skip_bits_long(&s->gb, num_fill_bits);
1145         }
1146     }
1147
1148     /** no idea for what the following bit is used */
1149     if (get_bits1(&s->gb)) {
1150         av_log_ask_for_sample(s->avctx, "reserved bit set\n");
1151         return AVERROR_PATCHWELCOME;
1152     }
1153
1154
1155     if (decode_channel_transform(s) < 0)
1156         return AVERROR_INVALIDDATA;
1157
1158
1159     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1160         int c = s->channel_indexes_for_cur_subframe[i];
1161         if ((s->channel[c].transmit_coefs = get_bits1(&s->gb)))
1162             transmit_coeffs = 1;
1163     }
1164
1165     if (transmit_coeffs) {
1166         int step;
1167         int quant_step = 90 * s->bits_per_sample >> 4;
1168
1169         /** decode number of vector coded coefficients */
1170         if ((s->transmit_num_vec_coeffs = get_bits1(&s->gb))) {
1171             int num_bits = av_log2((s->subframe_len + 3)/4) + 1;
1172             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1173                 int c = s->channel_indexes_for_cur_subframe[i];
1174                 int num_vec_coeffs = get_bits(&s->gb, num_bits) << 2;
1175                 if (num_vec_coeffs > WMAPRO_BLOCK_MAX_SIZE) {
1176                     av_log(s->avctx, AV_LOG_ERROR, "num_vec_coeffs %d is too large\n", num_vec_coeffs);
1177                     return AVERROR_INVALIDDATA;
1178                 }
1179                 s->channel[c].num_vec_coeffs = num_vec_coeffs;
1180             }
1181         } else {
1182             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1183                 int c = s->channel_indexes_for_cur_subframe[i];
1184                 s->channel[c].num_vec_coeffs = s->subframe_len;
1185             }
1186         }
1187         /** decode quantization step */
1188         step = get_sbits(&s->gb, 6);
1189         quant_step += step;
1190         if (step == -32 || step == 31) {
1191             const int sign = (step == 31) - 1;
1192             int quant = 0;
1193             while (get_bits_count(&s->gb) + 5 < s->num_saved_bits &&
1194                    (step = get_bits(&s->gb, 5)) == 31) {
1195                 quant += 31;
1196             }
1197             quant_step += ((quant + step) ^ sign) - sign;
1198         }
1199         if (quant_step < 0) {
1200             av_log(s->avctx, AV_LOG_DEBUG, "negative quant step\n");
1201         }
1202
1203         /** decode quantization step modifiers for every channel */
1204
1205         if (s->channels_for_cur_subframe == 1) {
1206             s->channel[s->channel_indexes_for_cur_subframe[0]].quant_step = quant_step;
1207         } else {
1208             int modifier_len = get_bits(&s->gb, 3);
1209             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1210                 int c = s->channel_indexes_for_cur_subframe[i];
1211                 s->channel[c].quant_step = quant_step;
1212                 if (get_bits1(&s->gb)) {
1213                     if (modifier_len) {
1214                         s->channel[c].quant_step += get_bits(&s->gb, modifier_len) + 1;
1215                     } else
1216                         ++s->channel[c].quant_step;
1217                 }
1218             }
1219         }
1220
1221         /** decode scale factors */
1222         if (decode_scale_factors(s) < 0)
1223             return AVERROR_INVALIDDATA;
1224     }
1225
1226     av_dlog(s->avctx, "BITSTREAM: subframe header length was %i\n",
1227             get_bits_count(&s->gb) - s->subframe_offset);
1228
1229     /** parse coefficients */
1230     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1231         int c = s->channel_indexes_for_cur_subframe[i];
1232         if (s->channel[c].transmit_coefs &&
1233             get_bits_count(&s->gb) < s->num_saved_bits) {
1234             decode_coeffs(s, c);
1235         } else
1236             memset(s->channel[c].coeffs, 0,
1237                    sizeof(*s->channel[c].coeffs) * subframe_len);
1238     }
1239
1240     av_dlog(s->avctx, "BITSTREAM: subframe length was %i\n",
1241             get_bits_count(&s->gb) - s->subframe_offset);
1242
1243     if (transmit_coeffs) {
1244         FFTContext *mdct = &s->mdct_ctx[av_log2(subframe_len) - WMAPRO_BLOCK_MIN_BITS];
1245         /** reconstruct the per channel data */
1246         inverse_channel_transform(s);
1247         for (i = 0; i < s->channels_for_cur_subframe; i++) {
1248             int c = s->channel_indexes_for_cur_subframe[i];
1249             const int* sf = s->channel[c].scale_factors;
1250             int b;
1251
1252             if (c == s->lfe_channel)
1253                 memset(&s->tmp[cur_subwoofer_cutoff], 0, sizeof(*s->tmp) *
1254                        (subframe_len - cur_subwoofer_cutoff));
1255
1256             /** inverse quantization and rescaling */
1257             for (b = 0; b < s->num_bands; b++) {
1258                 const int end = FFMIN(s->cur_sfb_offsets[b+1], s->subframe_len);
1259                 const int exp = s->channel[c].quant_step -
1260                             (s->channel[c].max_scale_factor - *sf++) *
1261                             s->channel[c].scale_factor_step;
1262                 const float quant = pow(10.0, exp / 20.0);
1263                 int start = s->cur_sfb_offsets[b];
1264                 s->fdsp.vector_fmul_scalar(s->tmp + start,
1265                                            s->channel[c].coeffs + start,
1266                                            quant, end - start);
1267             }
1268
1269             /** apply imdct (imdct_half == DCTIV with reverse) */
1270             mdct->imdct_half(mdct, s->channel[c].coeffs, s->tmp);
1271         }
1272     }
1273
1274     /** window and overlapp-add */
1275     wmapro_window(s);
1276
1277     /** handled one subframe */
1278     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1279         int c = s->channel_indexes_for_cur_subframe[i];
1280         if (s->channel[c].cur_subframe >= s->channel[c].num_subframes) {
1281             av_log(s->avctx, AV_LOG_ERROR, "broken subframe\n");
1282             return AVERROR_INVALIDDATA;
1283         }
1284         ++s->channel[c].cur_subframe;
1285     }
1286
1287     return 0;
1288 }
1289
1290 /**
1291  *@brief Decode one WMA frame.
1292  *@param s codec context
1293  *@return 0 if the trailer bit indicates that this is the last frame,
1294  *        1 if there are additional frames
1295  */
1296 static int decode_frame(WMAProDecodeCtx *s, AVFrame *frame, int *got_frame_ptr)
1297 {
1298     AVCodecContext *avctx = s->avctx;
1299     GetBitContext* gb = &s->gb;
1300     int more_frames = 0;
1301     int len = 0;
1302     int i, ret;
1303
1304     /** get frame length */
1305     if (s->len_prefix)
1306         len = get_bits(gb, s->log2_frame_size);
1307
1308     av_dlog(s->avctx, "decoding frame with length %x\n", len);
1309
1310     /** decode tile information */
1311     if (decode_tilehdr(s)) {
1312         s->packet_loss = 1;
1313         return 0;
1314     }
1315
1316     /** read postproc transform */
1317     if (s->avctx->channels > 1 && get_bits1(gb)) {
1318         if (get_bits1(gb)) {
1319             for (i = 0; i < avctx->channels * avctx->channels; i++)
1320                 skip_bits(gb, 4);
1321         }
1322     }
1323
1324     /** read drc info */
1325     if (s->dynamic_range_compression) {
1326         s->drc_gain = get_bits(gb, 8);
1327         av_dlog(s->avctx, "drc_gain %i\n", s->drc_gain);
1328     }
1329
1330     /** no idea what these are for, might be the number of samples
1331         that need to be skipped at the beginning or end of a stream */
1332     if (get_bits1(gb)) {
1333         int av_unused skip;
1334
1335         /** usually true for the first frame */
1336         if (get_bits1(gb)) {
1337             skip = get_bits(gb, av_log2(s->samples_per_frame * 2));
1338             av_dlog(s->avctx, "start skip: %i\n", skip);
1339         }
1340
1341         /** sometimes true for the last frame */
1342         if (get_bits1(gb)) {
1343             skip = get_bits(gb, av_log2(s->samples_per_frame * 2));
1344             av_dlog(s->avctx, "end skip: %i\n", skip);
1345         }
1346
1347     }
1348
1349     av_dlog(s->avctx, "BITSTREAM: frame header length was %i\n",
1350             get_bits_count(gb) - s->frame_offset);
1351
1352     /** reset subframe states */
1353     s->parsed_all_subframes = 0;
1354     for (i = 0; i < avctx->channels; i++) {
1355         s->channel[i].decoded_samples = 0;
1356         s->channel[i].cur_subframe    = 0;
1357         s->channel[i].reuse_sf        = 0;
1358     }
1359
1360     /** decode all subframes */
1361     while (!s->parsed_all_subframes) {
1362         if (decode_subframe(s) < 0) {
1363             s->packet_loss = 1;
1364             return 0;
1365         }
1366     }
1367
1368     /* get output buffer */
1369     frame->nb_samples = s->samples_per_frame;
1370     if ((ret = ff_get_buffer(avctx, frame, 0)) < 0) {
1371         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
1372         s->packet_loss = 1;
1373         return 0;
1374     }
1375
1376     /** copy samples to the output buffer */
1377     for (i = 0; i < avctx->channels; i++)
1378         memcpy(frame->extended_data[i], s->channel[i].out,
1379                s->samples_per_frame * sizeof(*s->channel[i].out));
1380
1381     for (i = 0; i < avctx->channels; i++) {
1382         /** reuse second half of the IMDCT output for the next frame */
1383         memcpy(&s->channel[i].out[0],
1384                &s->channel[i].out[s->samples_per_frame],
1385                s->samples_per_frame * sizeof(*s->channel[i].out) >> 1);
1386     }
1387
1388     if (s->skip_frame) {
1389         s->skip_frame = 0;
1390         *got_frame_ptr = 0;
1391         av_frame_unref(frame);
1392     } else {
1393         *got_frame_ptr = 1;
1394     }
1395
1396     if (s->len_prefix) {
1397         if (len != (get_bits_count(gb) - s->frame_offset) + 2) {
1398             /** FIXME: not sure if this is always an error */
1399             av_log(s->avctx, AV_LOG_ERROR,
1400                    "frame[%i] would have to skip %i bits\n", s->frame_num,
1401                    len - (get_bits_count(gb) - s->frame_offset) - 1);
1402             s->packet_loss = 1;
1403             return 0;
1404         }
1405
1406         /** skip the rest of the frame data */
1407         skip_bits_long(gb, len - (get_bits_count(gb) - s->frame_offset) - 1);
1408     } else {
1409         while (get_bits_count(gb) < s->num_saved_bits && get_bits1(gb) == 0) {
1410         }
1411     }
1412
1413     /** decode trailer bit */
1414     more_frames = get_bits1(gb);
1415
1416     ++s->frame_num;
1417     return more_frames;
1418 }
1419
1420 /**
1421  *@brief Calculate remaining input buffer length.
1422  *@param s codec context
1423  *@param gb bitstream reader context
1424  *@return remaining size in bits
1425  */
1426 static int remaining_bits(WMAProDecodeCtx *s, GetBitContext *gb)
1427 {
1428     return s->buf_bit_size - get_bits_count(gb);
1429 }
1430
1431 /**
1432  *@brief Fill the bit reservoir with a (partial) frame.
1433  *@param s codec context
1434  *@param gb bitstream reader context
1435  *@param len length of the partial frame
1436  *@param append decides whether to reset the buffer or not
1437  */
1438 static void save_bits(WMAProDecodeCtx *s, GetBitContext* gb, int len,
1439                       int append)
1440 {
1441     int buflen;
1442
1443     /** when the frame data does not need to be concatenated, the input buffer
1444         is resetted and additional bits from the previous frame are copyed
1445         and skipped later so that a fast byte copy is possible */
1446
1447     if (!append) {
1448         s->frame_offset = get_bits_count(gb) & 7;
1449         s->num_saved_bits = s->frame_offset;
1450         init_put_bits(&s->pb, s->frame_data, MAX_FRAMESIZE);
1451     }
1452
1453     buflen = (s->num_saved_bits + len + 8) >> 3;
1454
1455     if (len <= 0 || buflen > MAX_FRAMESIZE) {
1456         av_log_ask_for_sample(s->avctx, "input buffer too small\n");
1457         s->packet_loss = 1;
1458         return;
1459     }
1460
1461     s->num_saved_bits += len;
1462     if (!append) {
1463         avpriv_copy_bits(&s->pb, gb->buffer + (get_bits_count(gb) >> 3),
1464                      s->num_saved_bits);
1465     } else {
1466         int align = 8 - (get_bits_count(gb) & 7);
1467         align = FFMIN(align, len);
1468         put_bits(&s->pb, align, get_bits(gb, align));
1469         len -= align;
1470         avpriv_copy_bits(&s->pb, gb->buffer + (get_bits_count(gb) >> 3), len);
1471     }
1472     skip_bits_long(gb, len);
1473
1474     {
1475         PutBitContext tmp = s->pb;
1476         flush_put_bits(&tmp);
1477     }
1478
1479     init_get_bits(&s->gb, s->frame_data, s->num_saved_bits);
1480     skip_bits(&s->gb, s->frame_offset);
1481 }
1482
1483 /**
1484  *@brief Decode a single WMA packet.
1485  *@param avctx codec context
1486  *@param data the output buffer
1487  *@param avpkt input packet
1488  *@return number of bytes that were read from the input buffer
1489  */
1490 static int decode_packet(AVCodecContext *avctx, void *data,
1491                          int *got_frame_ptr, AVPacket* avpkt)
1492 {
1493     WMAProDecodeCtx *s = avctx->priv_data;
1494     GetBitContext* gb  = &s->pgb;
1495     const uint8_t* buf = avpkt->data;
1496     int buf_size       = avpkt->size;
1497     int num_bits_prev_frame;
1498     int packet_sequence_number;
1499
1500     *got_frame_ptr = 0;
1501
1502     if (s->packet_done || s->packet_loss) {
1503         s->packet_done = 0;
1504
1505         /** sanity check for the buffer length */
1506         if (buf_size < avctx->block_align) {
1507             av_log(avctx, AV_LOG_ERROR, "Input packet too small (%d < %d)\n",
1508                    buf_size, avctx->block_align);
1509             return AVERROR_INVALIDDATA;
1510         }
1511
1512         s->next_packet_start = buf_size - avctx->block_align;
1513         buf_size = avctx->block_align;
1514         s->buf_bit_size = buf_size << 3;
1515
1516         /** parse packet header */
1517         init_get_bits(gb, buf, s->buf_bit_size);
1518         packet_sequence_number = get_bits(gb, 4);
1519         skip_bits(gb, 2);
1520
1521         /** get number of bits that need to be added to the previous frame */
1522         num_bits_prev_frame = get_bits(gb, s->log2_frame_size);
1523         av_dlog(avctx, "packet[%d]: nbpf %x\n", avctx->frame_number,
1524                 num_bits_prev_frame);
1525
1526         /** check for packet loss */
1527         if (!s->packet_loss &&
1528             ((s->packet_sequence_number + 1) & 0xF) != packet_sequence_number) {
1529             s->packet_loss = 1;
1530             av_log(avctx, AV_LOG_ERROR, "Packet loss detected! seq %x vs %x\n",
1531                    s->packet_sequence_number, packet_sequence_number);
1532         }
1533         s->packet_sequence_number = packet_sequence_number;
1534
1535         if (num_bits_prev_frame > 0) {
1536             int remaining_packet_bits = s->buf_bit_size - get_bits_count(gb);
1537             if (num_bits_prev_frame >= remaining_packet_bits) {
1538                 num_bits_prev_frame = remaining_packet_bits;
1539                 s->packet_done = 1;
1540             }
1541
1542             /** append the previous frame data to the remaining data from the
1543                 previous packet to create a full frame */
1544             save_bits(s, gb, num_bits_prev_frame, 1);
1545             av_dlog(avctx, "accumulated %x bits of frame data\n",
1546                     s->num_saved_bits - s->frame_offset);
1547
1548             /** decode the cross packet frame if it is valid */
1549             if (!s->packet_loss)
1550                 decode_frame(s, data, got_frame_ptr);
1551         } else if (s->num_saved_bits - s->frame_offset) {
1552             av_dlog(avctx, "ignoring %x previously saved bits\n",
1553                     s->num_saved_bits - s->frame_offset);
1554         }
1555
1556         if (s->packet_loss) {
1557             /** reset number of saved bits so that the decoder
1558                 does not start to decode incomplete frames in the
1559                 s->len_prefix == 0 case */
1560             s->num_saved_bits = 0;
1561             s->packet_loss = 0;
1562         }
1563
1564     } else {
1565         int frame_size;
1566         s->buf_bit_size = (avpkt->size - s->next_packet_start) << 3;
1567         init_get_bits(gb, avpkt->data, s->buf_bit_size);
1568         skip_bits(gb, s->packet_offset);
1569         if (s->len_prefix && remaining_bits(s, gb) > s->log2_frame_size &&
1570             (frame_size = show_bits(gb, s->log2_frame_size)) &&
1571             frame_size <= remaining_bits(s, gb)) {
1572             save_bits(s, gb, frame_size, 0);
1573             s->packet_done = !decode_frame(s, data, got_frame_ptr);
1574         } else if (!s->len_prefix
1575                    && s->num_saved_bits > get_bits_count(&s->gb)) {
1576             /** when the frames do not have a length prefix, we don't know
1577                 the compressed length of the individual frames
1578                 however, we know what part of a new packet belongs to the
1579                 previous frame
1580                 therefore we save the incoming packet first, then we append
1581                 the "previous frame" data from the next packet so that
1582                 we get a buffer that only contains full frames */
1583             s->packet_done = !decode_frame(s, data, got_frame_ptr);
1584         } else
1585             s->packet_done = 1;
1586     }
1587
1588     if (s->packet_done && !s->packet_loss &&
1589         remaining_bits(s, gb) > 0) {
1590         /** save the rest of the data so that it can be decoded
1591             with the next packet */
1592         save_bits(s, gb, remaining_bits(s, gb), 0);
1593     }
1594
1595     s->packet_offset = get_bits_count(gb) & 7;
1596     if (s->packet_loss)
1597         return AVERROR_INVALIDDATA;
1598
1599     return get_bits_count(gb) >> 3;
1600 }
1601
1602 /**
1603  *@brief Clear decoder buffers (for seeking).
1604  *@param avctx codec context
1605  */
1606 static void flush(AVCodecContext *avctx)
1607 {
1608     WMAProDecodeCtx *s = avctx->priv_data;
1609     int i;
1610     /** reset output buffer as a part of it is used during the windowing of a
1611         new frame */
1612     for (i = 0; i < avctx->channels; i++)
1613         memset(s->channel[i].out, 0, s->samples_per_frame *
1614                sizeof(*s->channel[i].out));
1615     s->packet_loss = 1;
1616 }
1617
1618
1619 /**
1620  *@brief wmapro decoder
1621  */
1622 AVCodec ff_wmapro_decoder = {
1623     .name           = "wmapro",
1624     .type           = AVMEDIA_TYPE_AUDIO,
1625     .id             = AV_CODEC_ID_WMAPRO,
1626     .priv_data_size = sizeof(WMAProDecodeCtx),
1627     .init           = decode_init,
1628     .close          = decode_end,
1629     .decode         = decode_packet,
1630     .capabilities   = CODEC_CAP_SUBFRAMES | CODEC_CAP_DR1,
1631     .flush          = flush,
1632     .long_name      = NULL_IF_CONFIG_SMALL("Windows Media Audio 9 Professional"),
1633     .sample_fmts    = (const enum AVSampleFormat[]) { AV_SAMPLE_FMT_FLTP,
1634                                                       AV_SAMPLE_FMT_NONE },
1635 };