git.sesse.net Git - ffmpeg/blob - libavcodec/wmaprodec.c

   1 /*
   2  * Wmapro compatible decoder
   3  * Copyright (c) 2007 Baptiste Coudurier, Benjamin Larsson, Ulion
   4  * Copyright (c) 2008 - 2011 Sascha Sommer, Benjamin Larsson
   5  *
   6  * This file is part of Libav.
   7  *
   8  * Libav is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * Libav is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with Libav; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 /**
  24  * @file
  25  * @brief wmapro decoder implementation
  26  * Wmapro is an MDCT based codec comparable to wma standard or AAC.
  27  * The decoding therefore consists of the following steps:
  28  * - bitstream decoding
  29  * - reconstruction of per-channel data
  30  * - rescaling and inverse quantization
  31  * - IMDCT
  32  * - windowing and overlapp-add
  33  *
  34  * The compressed wmapro bitstream is split into individual packets.
  35  * Every such packet contains one or more wma frames.
  36  * The compressed frames may have a variable length and frames may
  37  * cross packet boundaries.
  38  * Common to all wmapro frames is the number of samples that are stored in
  39  * a frame.
  40  * The number of samples and a few other decode flags are stored
  41  * as extradata that has to be passed to the decoder.
  42  *
  43  * The wmapro frames themselves are again split into a variable number of
  44  * subframes. Every subframe contains the data for 2^N time domain samples
  45  * where N varies between 7 and 12.
  46  *
  47  * Example wmapro bitstream (in samples):
  48  *
  49  * ||   packet 0           || packet 1 || packet 2      packets
  50  * ---------------------------------------------------
  51  * || frame 0      || frame 1       || frame 2    ||    frames
  52  * ---------------------------------------------------
  53  * ||   |      |   ||   |   |   |   ||            ||    subframes of channel 0
  54  * ---------------------------------------------------
  55  * ||      |   |   ||   |   |   |   ||            ||    subframes of channel 1
  56  * ---------------------------------------------------
  57  *
  58  * The frame layouts for the individual channels of a wma frame does not need
  59  * to be the same.
  60  *
  61  * However, if the offsets and lengths of several subframes of a frame are the
  62  * same, the subframes of the channels can be grouped.
  63  * Every group may then use special coding techniques like M/S stereo coding
  64  * to improve the compression ratio. These channel transformations do not
  65  * need to be applied to a whole subframe. Instead, they can also work on
  66  * individual scale factor bands (see below).
  67  * The coefficients that carry the audio signal in the frequency domain
  68  * are transmitted as huffman-coded vectors with 4, 2 and 1 elements.
  69  * In addition to that, the encoder can switch to a runlevel coding scheme
  70  * by transmitting subframe_length / 128 zero coefficients.
  71  *
  72  * Before the audio signal can be converted to the time domain, the
  73  * coefficients have to be rescaled and inverse quantized.
  74  * A subframe is therefore split into several scale factor bands that get
  75  * scaled individually.
  76  * Scale factors are submitted for every frame but they might be shared
  77  * between the subframes of a channel. Scale factors are initially DPCM-coded.
  78  * Once scale factors are shared, the differences are transmitted as runlevel
  79  * codes.
  80  * Every subframe length and offset combination in the frame layout shares a
  81  * common quantization factor that can be adjusted for every channel by a
  82  * modifier.
  83  * After the inverse quantization, the coefficients get processed by an IMDCT.
  84  * The resulting values are then windowed with a sine window and the first half
  85  * of the values are added to the second half of the output from the previous
  86  * subframe in order to reconstruct the output samples.
  87  */
  88
  89 #include "libavutil/float_dsp.h"
  90 #include "libavutil/intfloat.h"
  91 #include "libavutil/intreadwrite.h"
  92 #include "avcodec.h"
  93 #include "internal.h"
  94 #include "get_bits.h"
  95 #include "put_bits.h"
  96 #include "wmaprodata.h"
  97 #include "sinewin.h"
  98 #include "wma.h"
  99 #include "wma_common.h"
 100
 101 /** current decoder limitations */
 102 #define WMAPRO_MAX_CHANNELS    8                             ///< max number of handled channels
 103 #define MAX_SUBFRAMES  32                                    ///< max number of subframes per channel
 104 #define MAX_BANDS      29                                    ///< max number of scale factor bands
 105 #define MAX_FRAMESIZE  32768                                 ///< maximum compressed frame size
 106
 107 #define WMAPRO_BLOCK_MIN_BITS  6                                           ///< log2 of min block size
 108 #define WMAPRO_BLOCK_MAX_BITS 13                                           ///< log2 of max block size
 109 #define WMAPRO_BLOCK_MAX_SIZE (1 << WMAPRO_BLOCK_MAX_BITS)                 ///< maximum block size
 110 #define WMAPRO_BLOCK_SIZES    (WMAPRO_BLOCK_MAX_BITS - WMAPRO_BLOCK_MIN_BITS + 1) ///< possible block sizes
 111
 112
 113 #define VLCBITS            9
 114 #define SCALEVLCBITS       8
 115 #define VEC4MAXDEPTH    ((HUFF_VEC4_MAXBITS+VLCBITS-1)/VLCBITS)
 116 #define VEC2MAXDEPTH    ((HUFF_VEC2_MAXBITS+VLCBITS-1)/VLCBITS)
 117 #define VEC1MAXDEPTH    ((HUFF_VEC1_MAXBITS+VLCBITS-1)/VLCBITS)
 118 #define SCALEMAXDEPTH   ((HUFF_SCALE_MAXBITS+SCALEVLCBITS-1)/SCALEVLCBITS)
 119 #define SCALERLMAXDEPTH ((HUFF_SCALE_RL_MAXBITS+VLCBITS-1)/VLCBITS)
 120
 121 static VLC              sf_vlc;           ///< scale factor DPCM vlc
 122 static VLC              sf_rl_vlc;        ///< scale factor run length vlc
 123 static VLC              vec4_vlc;         ///< 4 coefficients per symbol
 124 static VLC              vec2_vlc;         ///< 2 coefficients per symbol
 125 static VLC              vec1_vlc;         ///< 1 coefficient per symbol
 126 static VLC              coef_vlc[2];      ///< coefficient run length vlc codes
 127 static float            sin64[33];        ///< sinus table for decorrelation
 128
 129 /**
 130  * @brief frame specific decoder context for a single channel
 131  */
 132 typedef struct {
 133     int16_t  prev_block_len;                          ///< length of the previous block
 134     uint8_t  transmit_coefs;
 135     uint8_t  num_subframes;
 136     uint16_t subframe_len[MAX_SUBFRAMES];             ///< subframe length in samples
 137     uint16_t subframe_offset[MAX_SUBFRAMES];          ///< subframe positions in the current frame
 138     uint8_t  cur_subframe;                            ///< current subframe number
 139     uint16_t decoded_samples;                         ///< number of already processed samples
 140     uint8_t  grouped;                                 ///< channel is part of a group
 141     int      quant_step;                              ///< quantization step for the current subframe
 142     int8_t   reuse_sf;                                ///< share scale factors between subframes
 143     int8_t   scale_factor_step;                       ///< scaling step for the current subframe
 144     int      max_scale_factor;                        ///< maximum scale factor for the current subframe
 145     int      saved_scale_factors[2][MAX_BANDS];       ///< resampled and (previously) transmitted scale factor values
 146     int8_t   scale_factor_idx;                        ///< index for the transmitted scale factor values (used for resampling)
 147     int*     scale_factors;                           ///< pointer to the scale factor values used for decoding
 148     uint8_t  table_idx;                               ///< index in sf_offsets for the scale factor reference block
 149     float*   coeffs;                                  ///< pointer to the subframe decode buffer
 150     uint16_t num_vec_coeffs;                          ///< number of vector coded coefficients
 151     DECLARE_ALIGNED(32, float, out)[WMAPRO_BLOCK_MAX_SIZE + WMAPRO_BLOCK_MAX_SIZE / 2]; ///< output buffer
 152 } WMAProChannelCtx;
 153
 154 /**
 155  * @brief channel group for channel transformations
 156  */
 157 typedef struct {
 158     uint8_t num_channels;                                     ///< number of channels in the group
 159     int8_t  transform;                                        ///< transform on / off
 160     int8_t  transform_band[MAX_BANDS];                        ///< controls if the transform is enabled for a certain band
 161     float   decorrelation_matrix[WMAPRO_MAX_CHANNELS*WMAPRO_MAX_CHANNELS];
 162     float*  channel_data[WMAPRO_MAX_CHANNELS];                ///< transformation coefficients
 163 } WMAProChannelGrp;
 164
 165 /**
 166  * @brief main decoder context
 167  */
 168 typedef struct WMAProDecodeCtx {
 169     /* generic decoder variables */
 170     AVCodecContext*  avctx;                         ///< codec context for av_log
 171     AVFloatDSPContext fdsp;
 172     uint8_t          frame_data[MAX_FRAMESIZE +
 173                       FF_INPUT_BUFFER_PADDING_SIZE];///< compressed frame data
 174     PutBitContext    pb;                            ///< context for filling the frame_data buffer
 175     FFTContext       mdct_ctx[WMAPRO_BLOCK_SIZES];  ///< MDCT context per block size
 176     DECLARE_ALIGNED(32, float, tmp)[WMAPRO_BLOCK_MAX_SIZE]; ///< IMDCT output buffer
 177     float*           windows[WMAPRO_BLOCK_SIZES];   ///< windows for the different block sizes
 178
 179     /* frame size dependent frame information (set during initialization) */
 180     uint32_t         decode_flags;                  ///< used compression features
 181     uint8_t          len_prefix;                    ///< frame is prefixed with its length
 182     uint8_t          dynamic_range_compression;     ///< frame contains DRC data
 183     uint8_t          bits_per_sample;               ///< integer audio sample size for the unscaled IMDCT output (used to scale to [-1.0, 1.0])
 184     uint16_t         samples_per_frame;             ///< number of samples to output
 185     uint16_t         log2_frame_size;
 186     int8_t           lfe_channel;                   ///< lfe channel index
 187     uint8_t          max_num_subframes;
 188     uint8_t          subframe_len_bits;             ///< number of bits used for the subframe length
 189     uint8_t          max_subframe_len_bit;          ///< flag indicating that the subframe is of maximum size when the first subframe length bit is 1
 190     uint16_t         min_samples_per_subframe;
 191     int8_t           num_sfb[WMAPRO_BLOCK_SIZES];   ///< scale factor bands per block size
 192     int16_t          sfb_offsets[WMAPRO_BLOCK_SIZES][MAX_BANDS];                    ///< scale factor band offsets (multiples of 4)
 193     int8_t           sf_offsets[WMAPRO_BLOCK_SIZES][WMAPRO_BLOCK_SIZES][MAX_BANDS]; ///< scale factor resample matrix
 194     int16_t          subwoofer_cutoffs[WMAPRO_BLOCK_SIZES]; ///< subwoofer cutoff values
 195
 196     /* packet decode state */
 197     GetBitContext    pgb;                           ///< bitstream reader context for the packet
 198     int              next_packet_start;             ///< start offset of the next wma packet in the demuxer packet
 199     uint8_t          packet_offset;                 ///< frame offset in the packet
 200     uint8_t          packet_sequence_number;        ///< current packet number
 201     int              num_saved_bits;                ///< saved number of bits
 202     int              frame_offset;                  ///< frame offset in the bit reservoir
 203     int              subframe_offset;               ///< subframe offset in the bit reservoir
 204     uint8_t          packet_loss;                   ///< set in case of bitstream error
 205     uint8_t          packet_done;                   ///< set when a packet is fully decoded
 206
 207     /* frame decode state */
 208     uint32_t         frame_num;                     ///< current frame number (not used for decoding)
 209     GetBitContext    gb;                            ///< bitstream reader context
 210     int              buf_bit_size;                  ///< buffer size in bits
 211     uint8_t          drc_gain;                      ///< gain for the DRC tool
 212     int8_t           skip_frame;                    ///< skip output step
 213     int8_t           parsed_all_subframes;          ///< all subframes decoded?
 214
 215     /* subframe/block decode state */
 216     int16_t          subframe_len;                  ///< current subframe length
 217     int8_t           channels_for_cur_subframe;     ///< number of channels that contain the subframe
 218     int8_t           channel_indexes_for_cur_subframe[WMAPRO_MAX_CHANNELS];
 219     int8_t           num_bands;                     ///< number of scale factor bands
 220     int8_t           transmit_num_vec_coeffs;       ///< number of vector coded coefficients is part of the bitstream
 221     int16_t*         cur_sfb_offsets;               ///< sfb offsets for the current block
 222     uint8_t          table_idx;                     ///< index for the num_sfb, sfb_offsets, sf_offsets and subwoofer_cutoffs tables
 223     int8_t           esc_len;                       ///< length of escaped coefficients
 224
 225     uint8_t          num_chgroups;                  ///< number of channel groups
 226     WMAProChannelGrp chgroup[WMAPRO_MAX_CHANNELS];  ///< channel group information
 227
 228     WMAProChannelCtx channel[WMAPRO_MAX_CHANNELS];  ///< per channel data
 229 } WMAProDecodeCtx;
 230
 231
 232 /**
 233  *@brief helper function to print the most important members of the context
 234  *@param s context
 235  */
 236 static av_cold void dump_context(WMAProDecodeCtx *s)
 237 {
 238 #define PRINT(a, b)     av_log(s->avctx, AV_LOG_DEBUG, " %s = %d\n", a, b);
 239 #define PRINT_HEX(a, b) av_log(s->avctx, AV_LOG_DEBUG, " %s = %x\n", a, b);
 240
 241     PRINT("ed sample bit depth", s->bits_per_sample);
 242     PRINT_HEX("ed decode flags", s->decode_flags);
 243     PRINT("samples per frame",   s->samples_per_frame);
 244     PRINT("log2 frame size",     s->log2_frame_size);
 245     PRINT("max num subframes",   s->max_num_subframes);
 246     PRINT("len prefix",          s->len_prefix);
 247     PRINT("num channels",        s->avctx->channels);
 248 }
 249
 250 /**
 251  *@brief Uninitialize the decoder and free all resources.
 252  *@param avctx codec context
 253  *@return 0 on success, < 0 otherwise
 254  */
 255 static av_cold int decode_end(AVCodecContext *avctx)
 256 {
 257     WMAProDecodeCtx *s = avctx->priv_data;
 258     int i;
 259
 260     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++)
 261         ff_mdct_end(&s->mdct_ctx[i]);
 262
 263     return 0;
 264 }
 265
 266 /**
 267  *@brief Initialize the decoder.
 268  *@param avctx codec context
 269  *@return 0 on success, -1 otherwise
 270  */
 271 static av_cold int decode_init(AVCodecContext *avctx)
 272 {
 273     WMAProDecodeCtx *s = avctx->priv_data;
 274     uint8_t *edata_ptr = avctx->extradata;
 275     unsigned int channel_mask;
 276     int i, bits;
 277     int log2_max_num_subframes;
 278     int num_possible_block_sizes;
 279
 280     if (!avctx->block_align) {
 281         av_log(avctx, AV_LOG_ERROR, "block_align is not set\n");
 282         return AVERROR(EINVAL);
 283     }
 284
 285     s->avctx = avctx;
 286     avpriv_float_dsp_init(&s->fdsp, avctx->flags & CODEC_FLAG_BITEXACT);
 287
 288     init_put_bits(&s->pb, s->frame_data, MAX_FRAMESIZE);
 289
 290     avctx->sample_fmt = AV_SAMPLE_FMT_FLTP;
 291
 292     if (avctx->extradata_size >= 18) {
 293         s->decode_flags    = AV_RL16(edata_ptr+14);
 294         channel_mask       = AV_RL32(edata_ptr+2);
 295         s->bits_per_sample = AV_RL16(edata_ptr);
 296         /** dump the extradata */
 297         for (i = 0; i < avctx->extradata_size; i++)
 298             av_dlog(avctx, "[%x] ", avctx->extradata[i]);
 299         av_dlog(avctx, "\n");
 300
 301     } else {
 302         avpriv_request_sample(avctx, "Unknown extradata size");
 303         return AVERROR_PATCHWELCOME;
 304     }
 305
 306     /** generic init */
 307     s->log2_frame_size = av_log2(avctx->block_align) + 4;
 308
 309     /** frame info */
 310     s->skip_frame  = 1; /* skip first frame */
 311     s->packet_loss = 1;
 312     s->len_prefix  = (s->decode_flags & 0x40);
 313
 314     /** get frame len */
 315     bits = ff_wma_get_frame_len_bits(avctx->sample_rate, 3, s->decode_flags);
 316     if (bits > WMAPRO_BLOCK_MAX_BITS) {
 317         avpriv_request_sample(avctx, "14-bit block sizes");
 318         return AVERROR_PATCHWELCOME;
 319     }
 320     s->samples_per_frame = 1 << bits;
 321
 322     /** subframe info */
 323     log2_max_num_subframes       = ((s->decode_flags & 0x38) >> 3);
 324     s->max_num_subframes         = 1 << log2_max_num_subframes;
 325     if (s->max_num_subframes == 16 || s->max_num_subframes == 4)
 326         s->max_subframe_len_bit = 1;
 327     s->subframe_len_bits = av_log2(log2_max_num_subframes) + 1;
 328
 329     num_possible_block_sizes     = log2_max_num_subframes + 1;
 330     s->min_samples_per_subframe  = s->samples_per_frame / s->max_num_subframes;
 331     s->dynamic_range_compression = (s->decode_flags & 0x80);
 332
 333     if (s->max_num_subframes > MAX_SUBFRAMES) {
 334         av_log(avctx, AV_LOG_ERROR, "invalid number of subframes %i\n",
 335                s->max_num_subframes);
 336         return AVERROR_INVALIDDATA;
 337     }
 338
 339     if (s->avctx->sample_rate <= 0) {
 340         av_log(avctx, AV_LOG_ERROR, "invalid sample rate\n");
 341         return AVERROR_INVALIDDATA;
 342     }
 343
 344     if (avctx->channels < 0) {
 345         av_log(avctx, AV_LOG_ERROR, "invalid number of channels %d\n",
 346                avctx->channels);
 347         return AVERROR_INVALIDDATA;
 348     } else if (avctx->channels > WMAPRO_MAX_CHANNELS) {
 349         avpriv_request_sample(avctx,
 350                               "More than %d channels", WMAPRO_MAX_CHANNELS);
 351         return AVERROR_PATCHWELCOME;
 352     }
 353
 354     /** init previous block len */
 355     for (i = 0; i < avctx->channels; i++)
 356         s->channel[i].prev_block_len = s->samples_per_frame;
 357
 358     /** extract lfe channel position */
 359     s->lfe_channel = -1;
 360
 361     if (channel_mask & 8) {
 362         unsigned int mask;
 363         for (mask = 1; mask < 16; mask <<= 1) {
 364             if (channel_mask & mask)
 365                 ++s->lfe_channel;
 366         }
 367     }
 368
 369     INIT_VLC_STATIC(&sf_vlc, SCALEVLCBITS, HUFF_SCALE_SIZE,
 370                     scale_huffbits, 1, 1,
 371                     scale_huffcodes, 2, 2, 616);
 372
 373     INIT_VLC_STATIC(&sf_rl_vlc, VLCBITS, HUFF_SCALE_RL_SIZE,
 374                     scale_rl_huffbits, 1, 1,
 375                     scale_rl_huffcodes, 4, 4, 1406);
 376
 377     INIT_VLC_STATIC(&coef_vlc[0], VLCBITS, HUFF_COEF0_SIZE,
 378                     coef0_huffbits, 1, 1,
 379                     coef0_huffcodes, 4, 4, 2108);
 380
 381     INIT_VLC_STATIC(&coef_vlc[1], VLCBITS, HUFF_COEF1_SIZE,
 382                     coef1_huffbits, 1, 1,
 383                     coef1_huffcodes, 4, 4, 3912);
 384
 385     INIT_VLC_STATIC(&vec4_vlc, VLCBITS, HUFF_VEC4_SIZE,
 386                     vec4_huffbits, 1, 1,
 387                     vec4_huffcodes, 2, 2, 604);
 388
 389     INIT_VLC_STATIC(&vec2_vlc, VLCBITS, HUFF_VEC2_SIZE,
 390                     vec2_huffbits, 1, 1,
 391                     vec2_huffcodes, 2, 2, 562);
 392
 393     INIT_VLC_STATIC(&vec1_vlc, VLCBITS, HUFF_VEC1_SIZE,
 394                     vec1_huffbits, 1, 1,
 395                     vec1_huffcodes, 2, 2, 562);
 396
 397     /** calculate number of scale factor bands and their offsets
 398         for every possible block size */
 399     for (i = 0; i < num_possible_block_sizes; i++) {
 400         int subframe_len = s->samples_per_frame >> i;
 401         int x;
 402         int band = 1;
 403
 404         s->sfb_offsets[i][0] = 0;
 405
 406         for (x = 0; x < MAX_BANDS-1 && s->sfb_offsets[i][band - 1] < subframe_len; x++) {
 407             int offset = (subframe_len * 2 * critical_freq[x])
 408                           / s->avctx->sample_rate + 2;
 409             offset &= ~3;
 410             if (offset > s->sfb_offsets[i][band - 1])
 411                 s->sfb_offsets[i][band++] = offset;
 412         }
 413         s->sfb_offsets[i][band - 1] = subframe_len;
 414         s->num_sfb[i]               = band - 1;
 415     }
 416
 417
 418     /** Scale factors can be shared between blocks of different size
 419         as every block has a different scale factor band layout.
 420         The matrix sf_offsets is needed to find the correct scale factor.
 421      */
 422
 423     for (i = 0; i < num_possible_block_sizes; i++) {
 424         int b;
 425         for (b = 0; b < s->num_sfb[i]; b++) {
 426             int x;
 427             int offset = ((s->sfb_offsets[i][b]
 428                            + s->sfb_offsets[i][b + 1] - 1) << i) >> 1;
 429             for (x = 0; x < num_possible_block_sizes; x++) {
 430                 int v = 0;
 431                 while (s->sfb_offsets[x][v + 1] << x < offset)
 432                     ++v;
 433                 s->sf_offsets[i][x][b] = v;
 434             }
 435         }
 436     }
 437
 438     /** init MDCT, FIXME: only init needed sizes */
 439     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++)
 440         ff_mdct_init(&s->mdct_ctx[i], WMAPRO_BLOCK_MIN_BITS+1+i, 1,
 441                      1.0 / (1 << (WMAPRO_BLOCK_MIN_BITS + i - 1))
 442                      / (1 << (s->bits_per_sample - 1)));
 443
 444     /** init MDCT windows: simple sinus window */
 445     for (i = 0; i < WMAPRO_BLOCK_SIZES; i++) {
 446         const int win_idx = WMAPRO_BLOCK_MAX_BITS - i;
 447         ff_init_ff_sine_windows(win_idx);
 448         s->windows[WMAPRO_BLOCK_SIZES - i - 1] = ff_sine_windows[win_idx];
 449     }
 450
 451     /** calculate subwoofer cutoff values */
 452     for (i = 0; i < num_possible_block_sizes; i++) {
 453         int block_size = s->samples_per_frame >> i;
 454         int cutoff = (440*block_size + 3 * (s->avctx->sample_rate >> 1) - 1)
 455                      / s->avctx->sample_rate;
 456         s->subwoofer_cutoffs[i] = av_clip(cutoff, 4, block_size);
 457     }
 458
 459     /** calculate sine values for the decorrelation matrix */
 460     for (i = 0; i < 33; i++)
 461         sin64[i] = sin(i*M_PI / 64.0);
 462
 463     if (avctx->debug & FF_DEBUG_BITSTREAM)
 464         dump_context(s);
 465
 466     avctx->channel_layout = channel_mask;
 467
 468     return 0;
 469 }
 470
 471 /**
 472  *@brief Decode the subframe length.
 473  *@param s context
 474  *@param offset sample offset in the frame
 475  *@return decoded subframe length on success, < 0 in case of an error
 476  */
 477 static int decode_subframe_length(WMAProDecodeCtx *s, int offset)
 478 {
 479     int frame_len_shift = 0;
 480     int subframe_len;
 481
 482     /** no need to read from the bitstream when only one length is possible */
 483     if (offset == s->samples_per_frame - s->min_samples_per_subframe)
 484         return s->min_samples_per_subframe;
 485
 486     /** 1 bit indicates if the subframe is of maximum length */
 487     if (s->max_subframe_len_bit) {
 488         if (get_bits1(&s->gb))
 489             frame_len_shift = 1 + get_bits(&s->gb, s->subframe_len_bits-1);
 490     } else
 491         frame_len_shift = get_bits(&s->gb, s->subframe_len_bits);
 492
 493     subframe_len = s->samples_per_frame >> frame_len_shift;
 494
 495     /** sanity check the length */
 496     if (subframe_len < s->min_samples_per_subframe ||
 497         subframe_len > s->samples_per_frame) {
 498         av_log(s->avctx, AV_LOG_ERROR, "broken frame: subframe_len %i\n",
 499                subframe_len);
 500         return AVERROR_INVALIDDATA;
 501     }
 502     return subframe_len;
 503 }
 504
 505 /**
 506  *@brief Decode how the data in the frame is split into subframes.
 507  *       Every WMA frame contains the encoded data for a fixed number of
 508  *       samples per channel. The data for every channel might be split
 509  *       into several subframes. This function will reconstruct the list of
 510  *       subframes for every channel.
 511  *
 512  *       If the subframes are not evenly split, the algorithm estimates the
 513  *       channels with the lowest number of total samples.
 514  *       Afterwards, for each of these channels a bit is read from the
 515  *       bitstream that indicates if the channel contains a subframe with the
 516  *       next subframe size that is going to be read from the bitstream or not.
 517  *       If a channel contains such a subframe, the subframe size gets added to
 518  *       the channel's subframe list.
 519  *       The algorithm repeats these steps until the frame is properly divided
 520  *       between the individual channels.
 521  *
 522  *@param s context
 523  *@return 0 on success, < 0 in case of an error
 524  */
 525 static int decode_tilehdr(WMAProDecodeCtx *s)
 526 {
 527     uint16_t num_samples[WMAPRO_MAX_CHANNELS] = { 0 };/**< sum of samples for all currently known subframes of a channel */
 528     uint8_t  contains_subframe[WMAPRO_MAX_CHANNELS];  /**< flag indicating if a channel contains the current subframe */
 529     int channels_for_cur_subframe = s->avctx->channels; /**< number of channels that contain the current subframe */
 530     int fixed_channel_layout = 0;                     /**< flag indicating that all channels use the same subframe offsets and sizes */
 531     int min_channel_len = 0;                          /**< smallest sum of samples (channels with this length will be processed first) */
 532     int c;
 533
 534     /* Should never consume more than 3073 bits (256 iterations for the
 535      * while loop when always the minimum amount of 128 samples is subtracted
 536      * from missing samples in the 8 channel case).
 537      * 1 + BLOCK_MAX_SIZE * MAX_CHANNELS / BLOCK_MIN_SIZE * (MAX_CHANNELS  + 4)
 538      */
 539
 540     /** reset tiling information */
 541     for (c = 0; c < s->avctx->channels; c++)
 542         s->channel[c].num_subframes = 0;
 543
 544     if (s->max_num_subframes == 1 || get_bits1(&s->gb))
 545         fixed_channel_layout = 1;
 546
 547     /** loop until the frame data is split between the subframes */
 548     do {
 549         int subframe_len;
 550
 551         /** check which channels contain the subframe */
 552         for (c = 0; c < s->avctx->channels; c++) {
 553             if (num_samples[c] == min_channel_len) {
 554                 if (fixed_channel_layout || channels_for_cur_subframe == 1 ||
 555                    (min_channel_len == s->samples_per_frame - s->min_samples_per_subframe))
 556                     contains_subframe[c] = 1;
 557                 else
 558                     contains_subframe[c] = get_bits1(&s->gb);
 559             } else
 560                 contains_subframe[c] = 0;
 561         }
 562
 563         /** get subframe length, subframe_len == 0 is not allowed */
 564         if ((subframe_len = decode_subframe_length(s, min_channel_len)) <= 0)
 565             return AVERROR_INVALIDDATA;
 566
 567         /** add subframes to the individual channels and find new min_channel_len */
 568         min_channel_len += subframe_len;
 569         for (c = 0; c < s->avctx->channels; c++) {
 570             WMAProChannelCtx* chan = &s->channel[c];
 571
 572             if (contains_subframe[c]) {
 573                 if (chan->num_subframes >= MAX_SUBFRAMES) {
 574                     av_log(s->avctx, AV_LOG_ERROR,
 575                            "broken frame: num subframes > 31\n");
 576                     return AVERROR_INVALIDDATA;
 577                 }
 578                 chan->subframe_len[chan->num_subframes] = subframe_len;
 579                 num_samples[c] += subframe_len;
 580                 ++chan->num_subframes;
 581                 if (num_samples[c] > s->samples_per_frame) {
 582                     av_log(s->avctx, AV_LOG_ERROR, "broken frame: "
 583                            "channel len > samples_per_frame\n");
 584                     return AVERROR_INVALIDDATA;
 585                 }
 586             } else if (num_samples[c] <= min_channel_len) {
 587                 if (num_samples[c] < min_channel_len) {
 588                     channels_for_cur_subframe = 0;
 589                     min_channel_len = num_samples[c];
 590                 }
 591                 ++channels_for_cur_subframe;
 592             }
 593         }
 594     } while (min_channel_len < s->samples_per_frame);
 595
 596     for (c = 0; c < s->avctx->channels; c++) {
 597         int i;
 598         int offset = 0;
 599         for (i = 0; i < s->channel[c].num_subframes; i++) {
 600             av_dlog(s->avctx, "frame[%i] channel[%i] subframe[%i]"
 601                     " len %i\n", s->frame_num, c, i,
 602                     s->channel[c].subframe_len[i]);
 603             s->channel[c].subframe_offset[i] = offset;
 604             offset += s->channel[c].subframe_len[i];
 605         }
 606     }
 607
 608     return 0;
 609 }
 610
 611 /**
 612  *@brief Calculate a decorrelation matrix from the bitstream parameters.
 613  *@param s codec context
 614  *@param chgroup channel group for which the matrix needs to be calculated
 615  */
 616 static void decode_decorrelation_matrix(WMAProDecodeCtx *s,
 617                                         WMAProChannelGrp *chgroup)
 618 {
 619     int i;
 620     int offset = 0;
 621     int8_t rotation_offset[WMAPRO_MAX_CHANNELS * WMAPRO_MAX_CHANNELS];
 622     memset(chgroup->decorrelation_matrix, 0, s->avctx->channels *
 623            s->avctx->channels * sizeof(*chgroup->decorrelation_matrix));
 624
 625     for (i = 0; i < chgroup->num_channels * (chgroup->num_channels - 1) >> 1; i++)
 626         rotation_offset[i] = get_bits(&s->gb, 6);
 627
 628     for (i = 0; i < chgroup->num_channels; i++)
 629         chgroup->decorrelation_matrix[chgroup->num_channels * i + i] =
 630             get_bits1(&s->gb) ? 1.0 : -1.0;
 631
 632     for (i = 1; i < chgroup->num_channels; i++) {
 633         int x;
 634         for (x = 0; x < i; x++) {
 635             int y;
 636             for (y = 0; y < i + 1; y++) {
 637                 float v1 = chgroup->decorrelation_matrix[x * chgroup->num_channels + y];
 638                 float v2 = chgroup->decorrelation_matrix[i * chgroup->num_channels + y];
 639                 int n = rotation_offset[offset + x];
 640                 float sinv;
 641                 float cosv;
 642
 643                 if (n < 32) {
 644                     sinv = sin64[n];
 645                     cosv = sin64[32 - n];
 646                 } else {
 647                     sinv =  sin64[64 -  n];
 648                     cosv = -sin64[n  - 32];
 649                 }
 650
 651                 chgroup->decorrelation_matrix[y + x * chgroup->num_channels] =
 652                                                (v1 * sinv) - (v2 * cosv);
 653                 chgroup->decorrelation_matrix[y + i * chgroup->num_channels] =
 654                                                (v1 * cosv) + (v2 * sinv);
 655             }
 656         }
 657         offset += i;
 658     }
 659 }
 660
 661 /**
 662  *@brief Decode channel transformation parameters
 663  *@param s codec context
 664  *@return 0 in case of success, < 0 in case of bitstream errors
 665  */
 666 static int decode_channel_transform(WMAProDecodeCtx* s)
 667 {
 668     int i;
 669     /* should never consume more than 1921 bits for the 8 channel case
 670      * 1 + MAX_CHANNELS * (MAX_CHANNELS + 2 + 3 * MAX_CHANNELS * MAX_CHANNELS
 671      * + MAX_CHANNELS + MAX_BANDS + 1)
 672      */
 673
 674     /** in the one channel case channel transforms are pointless */
 675     s->num_chgroups = 0;
 676     if (s->avctx->channels > 1) {
 677         int remaining_channels = s->channels_for_cur_subframe;
 678
 679         if (get_bits1(&s->gb)) {
 680             avpriv_request_sample(s->avctx,
 681                                   "Channel transform bit");
 682             return AVERROR_PATCHWELCOME;
 683         }
 684
 685         for (s->num_chgroups = 0; remaining_channels &&
 686              s->num_chgroups < s->channels_for_cur_subframe; s->num_chgroups++) {
 687             WMAProChannelGrp* chgroup = &s->chgroup[s->num_chgroups];
 688             float** channel_data = chgroup->channel_data;
 689             chgroup->num_channels = 0;
 690             chgroup->transform = 0;
 691
 692             /** decode channel mask */
 693             if (remaining_channels > 2) {
 694                 for (i = 0; i < s->channels_for_cur_subframe; i++) {
 695                     int channel_idx = s->channel_indexes_for_cur_subframe[i];
 696                     if (!s->channel[channel_idx].grouped
 697                         && get_bits1(&s->gb)) {
 698                         ++chgroup->num_channels;
 699                         s->channel[channel_idx].grouped = 1;
 700                         *channel_data++ = s->channel[channel_idx].coeffs;
 701                     }
 702                 }
 703             } else {
 704                 chgroup->num_channels = remaining_channels;
 705                 for (i = 0; i < s->channels_for_cur_subframe; i++) {
 706                     int channel_idx = s->channel_indexes_for_cur_subframe[i];
 707                     if (!s->channel[channel_idx].grouped)
 708                         *channel_data++ = s->channel[channel_idx].coeffs;
 709                     s->channel[channel_idx].grouped = 1;
 710                 }
 711             }
 712
 713             /** decode transform type */
 714             if (chgroup->num_channels == 2) {
 715                 if (get_bits1(&s->gb)) {
 716                     if (get_bits1(&s->gb)) {
 717                         avpriv_request_sample(s->avctx,
 718                                               "Unknown channel transform type");
 719                         return AVERROR_PATCHWELCOME;
 720                     }
 721                 } else {
 722                     chgroup->transform = 1;
 723                     if (s->avctx->channels == 2) {
 724                         chgroup->decorrelation_matrix[0] =  1.0;
 725                         chgroup->decorrelation_matrix[1] = -1.0;
 726                         chgroup->decorrelation_matrix[2] =  1.0;
 727                         chgroup->decorrelation_matrix[3] =  1.0;
 728                     } else {
 729                         /** cos(pi/4) */
 730                         chgroup->decorrelation_matrix[0] =  0.70703125;
 731                         chgroup->decorrelation_matrix[1] = -0.70703125;
 732                         chgroup->decorrelation_matrix[2] =  0.70703125;
 733                         chgroup->decorrelation_matrix[3] =  0.70703125;
 734                     }
 735                 }
 736             } else if (chgroup->num_channels > 2) {
 737                 if (get_bits1(&s->gb)) {
 738                     chgroup->transform = 1;
 739                     if (get_bits1(&s->gb)) {
 740                         decode_decorrelation_matrix(s, chgroup);
 741                     } else {
 742                         /** FIXME: more than 6 coupled channels not supported */
 743                         if (chgroup->num_channels > 6) {
 744                             avpriv_request_sample(s->avctx,
 745                                                   "Coupled channels > 6");
 746                         } else {
 747                             memcpy(chgroup->decorrelation_matrix,
 748                                    default_decorrelation[chgroup->num_channels],
 749                                    chgroup->num_channels * chgroup->num_channels *
 750                                    sizeof(*chgroup->decorrelation_matrix));
 751                         }
 752                     }
 753                 }
 754             }
 755
 756             /** decode transform on / off */
 757             if (chgroup->transform) {
 758                 if (!get_bits1(&s->gb)) {
 759                     int i;
 760                     /** transform can be enabled for individual bands */
 761                     for (i = 0; i < s->num_bands; i++) {
 762                         chgroup->transform_band[i] = get_bits1(&s->gb);
 763                     }
 764                 } else {
 765                     memset(chgroup->transform_band, 1, s->num_bands);
 766                 }
 767             }
 768             remaining_channels -= chgroup->num_channels;
 769         }
 770     }
 771     return 0;
 772 }
 773
 774 /**
 775  *@brief Extract the coefficients from the bitstream.
 776  *@param s codec context
 777  *@param c current channel number
 778  *@return 0 on success, < 0 in case of bitstream errors
 779  */
 780 static int decode_coeffs(WMAProDecodeCtx *s, int c)
 781 {
 782     /* Integers 0..15 as single-precision floats.  The table saves a
 783        costly int to float conversion, and storing the values as
 784        integers allows fast sign-flipping. */
 785     static const uint32_t fval_tab[16] = {
 786         0x00000000, 0x3f800000, 0x40000000, 0x40400000,
 787         0x40800000, 0x40a00000, 0x40c00000, 0x40e00000,
 788         0x41000000, 0x41100000, 0x41200000, 0x41300000,
 789         0x41400000, 0x41500000, 0x41600000, 0x41700000,
 790     };
 791     int vlctable;
 792     VLC* vlc;
 793     WMAProChannelCtx* ci = &s->channel[c];
 794     int rl_mode = 0;
 795     int cur_coeff = 0;
 796     int num_zeros = 0;
 797     const uint16_t* run;
 798     const float* level;
 799
 800     av_dlog(s->avctx, "decode coefficients for channel %i\n", c);
 801
 802     vlctable = get_bits1(&s->gb);
 803     vlc = &coef_vlc[vlctable];
 804
 805     if (vlctable) {
 806         run = coef1_run;
 807         level = coef1_level;
 808     } else {
 809         run = coef0_run;
 810         level = coef0_level;
 811     }
 812
 813     /** decode vector coefficients (consumes up to 167 bits per iteration for
 814       4 vector coded large values) */
 815     while ((s->transmit_num_vec_coeffs || !rl_mode) &&
 816            (cur_coeff + 3 < ci->num_vec_coeffs)) {
 817         uint32_t vals[4];
 818         int i;
 819         unsigned int idx;
 820
 821         idx = get_vlc2(&s->gb, vec4_vlc.table, VLCBITS, VEC4MAXDEPTH);
 822
 823         if (idx == HUFF_VEC4_SIZE - 1) {
 824             for (i = 0; i < 4; i += 2) {
 825                 idx = get_vlc2(&s->gb, vec2_vlc.table, VLCBITS, VEC2MAXDEPTH);
 826                 if (idx == HUFF_VEC2_SIZE - 1) {
 827                     uint32_t v0, v1;
 828                     v0 = get_vlc2(&s->gb, vec1_vlc.table, VLCBITS, VEC1MAXDEPTH);
 829                     if (v0 == HUFF_VEC1_SIZE - 1)
 830                         v0 += ff_wma_get_large_val(&s->gb);
 831                     v1 = get_vlc2(&s->gb, vec1_vlc.table, VLCBITS, VEC1MAXDEPTH);
 832                     if (v1 == HUFF_VEC1_SIZE - 1)
 833                         v1 += ff_wma_get_large_val(&s->gb);
 834                     vals[i  ] = av_float2int(v0);
 835                     vals[i+1] = av_float2int(v1);
 836                 } else {
 837                     vals[i]   = fval_tab[symbol_to_vec2[idx] >> 4 ];
 838                     vals[i+1] = fval_tab[symbol_to_vec2[idx] & 0xF];
 839                 }
 840             }
 841         } else {
 842             vals[0] = fval_tab[ symbol_to_vec4[idx] >> 12      ];
 843             vals[1] = fval_tab[(symbol_to_vec4[idx] >> 8) & 0xF];
 844             vals[2] = fval_tab[(symbol_to_vec4[idx] >> 4) & 0xF];
 845             vals[3] = fval_tab[ symbol_to_vec4[idx]       & 0xF];
 846         }
 847
 848         /** decode sign */
 849         for (i = 0; i < 4; i++) {
 850             if (vals[i]) {
 851                 uint32_t sign = get_bits1(&s->gb) - 1;
 852                 AV_WN32A(&ci->coeffs[cur_coeff], vals[i] ^ sign << 31);
 853                 num_zeros = 0;
 854             } else {
 855                 ci->coeffs[cur_coeff] = 0;
 856                 /** switch to run level mode when subframe_len / 128 zeros
 857                     were found in a row */
 858                 rl_mode |= (++num_zeros > s->subframe_len >> 8);
 859             }
 860             ++cur_coeff;
 861         }
 862     }
 863
 864     /** decode run level coded coefficients */
 865     if (cur_coeff < s->subframe_len) {
 866         memset(&ci->coeffs[cur_coeff], 0,
 867                sizeof(*ci->coeffs) * (s->subframe_len - cur_coeff));
 868         if (ff_wma_run_level_decode(s->avctx, &s->gb, vlc,
 869                                     level, run, 1, ci->coeffs,
 870                                     cur_coeff, s->subframe_len,
 871                                     s->subframe_len, s->esc_len, 0))
 872             return AVERROR_INVALIDDATA;
 873     }
 874
 875     return 0;
 876 }
 877
 878 /**
 879  *@brief Extract scale factors from the bitstream.
 880  *@param s codec context
 881  *@return 0 on success, < 0 in case of bitstream errors
 882  */
 883 static int decode_scale_factors(WMAProDecodeCtx* s)
 884 {
 885     int i;
 886
 887     /** should never consume more than 5344 bits
 888      *  MAX_CHANNELS * (1 +  MAX_BANDS * 23)
 889      */
 890
 891     for (i = 0; i < s->channels_for_cur_subframe; i++) {
 892         int c = s->channel_indexes_for_cur_subframe[i];
 893         int* sf;
 894         int* sf_end;
 895         s->channel[c].scale_factors = s->channel[c].saved_scale_factors[!s->channel[c].scale_factor_idx];
 896         sf_end = s->channel[c].scale_factors + s->num_bands;
 897
 898         /** resample scale factors for the new block size
 899          *  as the scale factors might need to be resampled several times
 900          *  before some  new values are transmitted, a backup of the last
 901          *  transmitted scale factors is kept in saved_scale_factors
 902          */
 903         if (s->channel[c].reuse_sf) {
 904             const int8_t* sf_offsets = s->sf_offsets[s->table_idx][s->channel[c].table_idx];
 905             int b;
 906             for (b = 0; b < s->num_bands; b++)
 907                 s->channel[c].scale_factors[b] =
 908                     s->channel[c].saved_scale_factors[s->channel[c].scale_factor_idx][*sf_offsets++];
 909         }
 910
 911         if (!s->channel[c].cur_subframe || get_bits1(&s->gb)) {
 912
 913             if (!s->channel[c].reuse_sf) {
 914                 int val;
 915                 /** decode DPCM coded scale factors */
 916                 s->channel[c].scale_factor_step = get_bits(&s->gb, 2) + 1;
 917                 val = 45 / s->channel[c].scale_factor_step;
 918                 for (sf = s->channel[c].scale_factors; sf < sf_end; sf++) {
 919                     val += get_vlc2(&s->gb, sf_vlc.table, SCALEVLCBITS, SCALEMAXDEPTH) - 60;
 920                     *sf = val;
 921                 }
 922             } else {
 923                 int i;
 924                 /** run level decode differences to the resampled factors */
 925                 for (i = 0; i < s->num_bands; i++) {
 926                     int idx;
 927                     int skip;
 928                     int val;
 929                     int sign;
 930
 931                     idx = get_vlc2(&s->gb, sf_rl_vlc.table, VLCBITS, SCALERLMAXDEPTH);
 932
 933                     if (!idx) {
 934                         uint32_t code = get_bits(&s->gb, 14);
 935                         val  =  code >> 6;
 936                         sign = (code & 1) - 1;
 937                         skip = (code & 0x3f) >> 1;
 938                     } else if (idx == 1) {
 939                         break;
 940                     } else {
 941                         skip = scale_rl_run[idx];
 942                         val  = scale_rl_level[idx];
 943                         sign = get_bits1(&s->gb)-1;
 944                     }
 945
 946                     i += skip;
 947                     if (i >= s->num_bands) {
 948                         av_log(s->avctx, AV_LOG_ERROR,
 949                                "invalid scale factor coding\n");
 950                         return AVERROR_INVALIDDATA;
 951                     }
 952                     s->channel[c].scale_factors[i] += (val ^ sign) - sign;
 953                 }
 954             }
 955             /** swap buffers */
 956             s->channel[c].scale_factor_idx = !s->channel[c].scale_factor_idx;
 957             s->channel[c].table_idx = s->table_idx;
 958             s->channel[c].reuse_sf  = 1;
 959         }
 960
 961         /** calculate new scale factor maximum */
 962         s->channel[c].max_scale_factor = s->channel[c].scale_factors[0];
 963         for (sf = s->channel[c].scale_factors + 1; sf < sf_end; sf++) {
 964             s->channel[c].max_scale_factor =
 965                 FFMAX(s->channel[c].max_scale_factor, *sf);
 966         }
 967
 968     }
 969     return 0;
 970 }
 971
 972 /**
 973  *@brief Reconstruct the individual channel data.
 974  *@param s codec context
 975  */
 976 static void inverse_channel_transform(WMAProDecodeCtx *s)
 977 {
 978     int i;
 979
 980     for (i = 0; i < s->num_chgroups; i++) {
 981         if (s->chgroup[i].transform) {
 982             float data[WMAPRO_MAX_CHANNELS];
 983             const int num_channels = s->chgroup[i].num_channels;
 984             float** ch_data = s->chgroup[i].channel_data;
 985             float** ch_end = ch_data + num_channels;
 986             const int8_t* tb = s->chgroup[i].transform_band;
 987             int16_t* sfb;
 988
 989             /** multichannel decorrelation */
 990             for (sfb = s->cur_sfb_offsets;
 991                  sfb < s->cur_sfb_offsets + s->num_bands; sfb++) {
 992                 int y;
 993                 if (*tb++ == 1) {
 994                     /** multiply values with the decorrelation_matrix */
 995                     for (y = sfb[0]; y < FFMIN(sfb[1], s->subframe_len); y++) {
 996                         const float* mat = s->chgroup[i].decorrelation_matrix;
 997                         const float* data_end = data + num_channels;
 998                         float* data_ptr = data;
 999                         float** ch;
1000
1001                         for (ch = ch_data; ch < ch_end; ch++)
1002                             *data_ptr++ = (*ch)[y];
1003
1004                         for (ch = ch_data; ch < ch_end; ch++) {
1005                             float sum = 0;
1006                             data_ptr = data;
1007                             while (data_ptr < data_end)
1008                                 sum += *data_ptr++ * *mat++;
1009
1010                             (*ch)[y] = sum;
1011                         }
1012                     }
1013                 } else if (s->avctx->channels == 2) {
1014                     int len = FFMIN(sfb[1], s->subframe_len) - sfb[0];
1015                     s->fdsp.vector_fmul_scalar(ch_data[0] + sfb[0],
1016                                                ch_data[0] + sfb[0],
1017                                                181.0 / 128, len);
1018                     s->fdsp.vector_fmul_scalar(ch_data[1] + sfb[0],
1019                                                ch_data[1] + sfb[0],
1020                                                181.0 / 128, len);
1021                 }
1022             }
1023         }
1024     }
1025 }
1026
1027 /**
1028  *@brief Apply sine window and reconstruct the output buffer.
1029  *@param s codec context
1030  */
1031 static void wmapro_window(WMAProDecodeCtx *s)
1032 {
1033     int i;
1034     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1035         int c = s->channel_indexes_for_cur_subframe[i];
1036         float* window;
1037         int winlen = s->channel[c].prev_block_len;
1038         float* start = s->channel[c].coeffs - (winlen >> 1);
1039
1040         if (s->subframe_len < winlen) {
1041             start += (winlen - s->subframe_len) >> 1;
1042             winlen = s->subframe_len;
1043         }
1044
1045         window = s->windows[av_log2(winlen) - WMAPRO_BLOCK_MIN_BITS];
1046
1047         winlen >>= 1;
1048
1049         s->fdsp.vector_fmul_window(start, start, start + winlen,
1050                                    window, winlen);
1051
1052         s->channel[c].prev_block_len = s->subframe_len;
1053     }
1054 }
1055
1056 /**
1057  *@brief Decode a single subframe (block).
1058  *@param s codec context
1059  *@return 0 on success, < 0 when decoding failed
1060  */
1061 static int decode_subframe(WMAProDecodeCtx *s)
1062 {
1063     int offset = s->samples_per_frame;
1064     int subframe_len = s->samples_per_frame;
1065     int i;
1066     int total_samples   = s->samples_per_frame * s->avctx->channels;
1067     int transmit_coeffs = 0;
1068     int cur_subwoofer_cutoff;
1069
1070     s->subframe_offset = get_bits_count(&s->gb);
1071
1072     /** reset channel context and find the next block offset and size
1073         == the next block of the channel with the smallest number of
1074         decoded samples
1075     */
1076     for (i = 0; i < s->avctx->channels; i++) {
1077         s->channel[i].grouped = 0;
1078         if (offset > s->channel[i].decoded_samples) {
1079             offset = s->channel[i].decoded_samples;
1080             subframe_len =
1081                 s->channel[i].subframe_len[s->channel[i].cur_subframe];
1082         }
1083     }
1084
1085     av_dlog(s->avctx,
1086             "processing subframe with offset %i len %i\n", offset, subframe_len);
1087
1088     /** get a list of all channels that contain the estimated block */
1089     s->channels_for_cur_subframe = 0;
1090     for (i = 0; i < s->avctx->channels; i++) {
1091         const int cur_subframe = s->channel[i].cur_subframe;
1092         /** subtract already processed samples */
1093         total_samples -= s->channel[i].decoded_samples;
1094
1095         /** and count if there are multiple subframes that match our profile */
1096         if (offset == s->channel[i].decoded_samples &&
1097             subframe_len == s->channel[i].subframe_len[cur_subframe]) {
1098             total_samples -= s->channel[i].subframe_len[cur_subframe];
1099             s->channel[i].decoded_samples +=
1100                 s->channel[i].subframe_len[cur_subframe];
1101             s->channel_indexes_for_cur_subframe[s->channels_for_cur_subframe] = i;
1102             ++s->channels_for_cur_subframe;
1103         }
1104     }
1105
1106     /** check if the frame will be complete after processing the
1107         estimated block */
1108     if (!total_samples)
1109         s->parsed_all_subframes = 1;
1110
1111
1112     av_dlog(s->avctx, "subframe is part of %i channels\n",
1113             s->channels_for_cur_subframe);
1114
1115     /** calculate number of scale factor bands and their offsets */
1116     s->table_idx         = av_log2(s->samples_per_frame/subframe_len);
1117     s->num_bands         = s->num_sfb[s->table_idx];
1118     s->cur_sfb_offsets   = s->sfb_offsets[s->table_idx];
1119     cur_subwoofer_cutoff = s->subwoofer_cutoffs[s->table_idx];
1120
1121     /** configure the decoder for the current subframe */
1122     offset += s->samples_per_frame >> 1;
1123
1124     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1125         int c = s->channel_indexes_for_cur_subframe[i];
1126
1127         s->channel[c].coeffs = &s->channel[c].out[offset];
1128     }
1129
1130     s->subframe_len = subframe_len;
1131     s->esc_len = av_log2(s->subframe_len - 1) + 1;
1132
1133     /** skip extended header if any */
1134     if (get_bits1(&s->gb)) {
1135         int num_fill_bits;
1136         if (!(num_fill_bits = get_bits(&s->gb, 2))) {
1137             int len = get_bits(&s->gb, 4);
1138             num_fill_bits = get_bits(&s->gb, len) + 1;
1139         }
1140
1141         if (num_fill_bits >= 0) {
1142             if (get_bits_count(&s->gb) + num_fill_bits > s->num_saved_bits) {
1143                 av_log(s->avctx, AV_LOG_ERROR, "invalid number of fill bits\n");
1144                 return AVERROR_INVALIDDATA;
1145             }
1146
1147             skip_bits_long(&s->gb, num_fill_bits);
1148         }
1149     }
1150
1151     /** no idea for what the following bit is used */
1152     if (get_bits1(&s->gb)) {
1153         avpriv_request_sample(s->avctx, "Reserved bit");
1154         return AVERROR_PATCHWELCOME;
1155     }
1156
1157
1158     if (decode_channel_transform(s) < 0)
1159         return AVERROR_INVALIDDATA;
1160
1161
1162     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1163         int c = s->channel_indexes_for_cur_subframe[i];
1164         if ((s->channel[c].transmit_coefs = get_bits1(&s->gb)))
1165             transmit_coeffs = 1;
1166     }
1167
1168     if (transmit_coeffs) {
1169         int step;
1170         int quant_step = 90 * s->bits_per_sample >> 4;
1171
1172         /** decode number of vector coded coefficients */
1173         if ((s->transmit_num_vec_coeffs = get_bits1(&s->gb))) {
1174             int num_bits = av_log2((s->subframe_len + 3)/4) + 1;
1175             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1176                 int c = s->channel_indexes_for_cur_subframe[i];
1177                 int num_vec_coeffs = get_bits(&s->gb, num_bits) << 2;
1178                 if (num_vec_coeffs + offset > FF_ARRAY_ELEMS(s->channel[c].out)) {
1179                     av_log(s->avctx, AV_LOG_ERROR, "num_vec_coeffs %d is too large\n", num_vec_coeffs);
1180                     return AVERROR_INVALIDDATA;
1181                 }
1182                 s->channel[c].num_vec_coeffs = num_vec_coeffs;
1183             }
1184         } else {
1185             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1186                 int c = s->channel_indexes_for_cur_subframe[i];
1187                 s->channel[c].num_vec_coeffs = s->subframe_len;
1188             }
1189         }
1190         /** decode quantization step */
1191         step = get_sbits(&s->gb, 6);
1192         quant_step += step;
1193         if (step == -32 || step == 31) {
1194             const int sign = (step == 31) - 1;
1195             int quant = 0;
1196             while (get_bits_count(&s->gb) + 5 < s->num_saved_bits &&
1197                    (step = get_bits(&s->gb, 5)) == 31) {
1198                 quant += 31;
1199             }
1200             quant_step += ((quant + step) ^ sign) - sign;
1201         }
1202         if (quant_step < 0) {
1203             av_log(s->avctx, AV_LOG_DEBUG, "negative quant step\n");
1204         }
1205
1206         /** decode quantization step modifiers for every channel */
1207
1208         if (s->channels_for_cur_subframe == 1) {
1209             s->channel[s->channel_indexes_for_cur_subframe[0]].quant_step = quant_step;
1210         } else {
1211             int modifier_len = get_bits(&s->gb, 3);
1212             for (i = 0; i < s->channels_for_cur_subframe; i++) {
1213                 int c = s->channel_indexes_for_cur_subframe[i];
1214                 s->channel[c].quant_step = quant_step;
1215                 if (get_bits1(&s->gb)) {
1216                     if (modifier_len) {
1217                         s->channel[c].quant_step += get_bits(&s->gb, modifier_len) + 1;
1218                     } else
1219                         ++s->channel[c].quant_step;
1220                 }
1221             }
1222         }
1223
1224         /** decode scale factors */
1225         if (decode_scale_factors(s) < 0)
1226             return AVERROR_INVALIDDATA;
1227     }
1228
1229     av_dlog(s->avctx, "BITSTREAM: subframe header length was %i\n",
1230             get_bits_count(&s->gb) - s->subframe_offset);
1231
1232     /** parse coefficients */
1233     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1234         int c = s->channel_indexes_for_cur_subframe[i];
1235         if (s->channel[c].transmit_coefs &&
1236             get_bits_count(&s->gb) < s->num_saved_bits) {
1237             decode_coeffs(s, c);
1238         } else
1239             memset(s->channel[c].coeffs, 0,
1240                    sizeof(*s->channel[c].coeffs) * subframe_len);
1241     }
1242
1243     av_dlog(s->avctx, "BITSTREAM: subframe length was %i\n",
1244             get_bits_count(&s->gb) - s->subframe_offset);
1245
1246     if (transmit_coeffs) {
1247         FFTContext *mdct = &s->mdct_ctx[av_log2(subframe_len) - WMAPRO_BLOCK_MIN_BITS];
1248         /** reconstruct the per channel data */
1249         inverse_channel_transform(s);
1250         for (i = 0; i < s->channels_for_cur_subframe; i++) {
1251             int c = s->channel_indexes_for_cur_subframe[i];
1252             const int* sf = s->channel[c].scale_factors;
1253             int b;
1254
1255             if (c == s->lfe_channel)
1256                 memset(&s->tmp[cur_subwoofer_cutoff], 0, sizeof(*s->tmp) *
1257                        (subframe_len - cur_subwoofer_cutoff));
1258
1259             /** inverse quantization and rescaling */
1260             for (b = 0; b < s->num_bands; b++) {
1261                 const int end = FFMIN(s->cur_sfb_offsets[b+1], s->subframe_len);
1262                 const int exp = s->channel[c].quant_step -
1263                             (s->channel[c].max_scale_factor - *sf++) *
1264                             s->channel[c].scale_factor_step;
1265                 const float quant = pow(10.0, exp / 20.0);
1266                 int start = s->cur_sfb_offsets[b];
1267                 s->fdsp.vector_fmul_scalar(s->tmp + start,
1268                                            s->channel[c].coeffs + start,
1269                                            quant, end - start);
1270             }
1271
1272             /** apply imdct (imdct_half == DCTIV with reverse) */
1273             mdct->imdct_half(mdct, s->channel[c].coeffs, s->tmp);
1274         }
1275     }
1276
1277     /** window and overlapp-add */
1278     wmapro_window(s);
1279
1280     /** handled one subframe */
1281     for (i = 0; i < s->channels_for_cur_subframe; i++) {
1282         int c = s->channel_indexes_for_cur_subframe[i];
1283         if (s->channel[c].cur_subframe >= s->channel[c].num_subframes) {
1284             av_log(s->avctx, AV_LOG_ERROR, "broken subframe\n");
1285             return AVERROR_INVALIDDATA;
1286         }
1287         ++s->channel[c].cur_subframe;
1288     }
1289
1290     return 0;
1291 }
1292
1293 /**
1294  *@brief Decode one WMA frame.
1295  *@param s codec context
1296  *@return 0 if the trailer bit indicates that this is the last frame,
1297  *        1 if there are additional frames
1298  */
1299 static int decode_frame(WMAProDecodeCtx *s, AVFrame *frame, int *got_frame_ptr)
1300 {
1301     AVCodecContext *avctx = s->avctx;
1302     GetBitContext* gb = &s->gb;
1303     int more_frames = 0;
1304     int len = 0;
1305     int i, ret;
1306
1307     /** get frame length */
1308     if (s->len_prefix)
1309         len = get_bits(gb, s->log2_frame_size);
1310
1311     av_dlog(s->avctx, "decoding frame with length %x\n", len);
1312
1313     /** decode tile information */
1314     if (decode_tilehdr(s)) {
1315         s->packet_loss = 1;
1316         return 0;
1317     }
1318
1319     /** read postproc transform */
1320     if (s->avctx->channels > 1 && get_bits1(gb)) {
1321         if (get_bits1(gb)) {
1322             for (i = 0; i < avctx->channels * avctx->channels; i++)
1323                 skip_bits(gb, 4);
1324         }
1325     }
1326
1327     /** read drc info */
1328     if (s->dynamic_range_compression) {
1329         s->drc_gain = get_bits(gb, 8);
1330         av_dlog(s->avctx, "drc_gain %i\n", s->drc_gain);
1331     }
1332
1333     /** no idea what these are for, might be the number of samples
1334         that need to be skipped at the beginning or end of a stream */
1335     if (get_bits1(gb)) {
1336         int av_unused skip;
1337
1338         /** usually true for the first frame */
1339         if (get_bits1(gb)) {
1340             skip = get_bits(gb, av_log2(s->samples_per_frame * 2));
1341             av_dlog(s->avctx, "start skip: %i\n", skip);
1342         }
1343
1344         /** sometimes true for the last frame */
1345         if (get_bits1(gb)) {
1346             skip = get_bits(gb, av_log2(s->samples_per_frame * 2));
1347             av_dlog(s->avctx, "end skip: %i\n", skip);
1348         }
1349
1350     }
1351
1352     av_dlog(s->avctx, "BITSTREAM: frame header length was %i\n",
1353             get_bits_count(gb) - s->frame_offset);
1354
1355     /** reset subframe states */
1356     s->parsed_all_subframes = 0;
1357     for (i = 0; i < avctx->channels; i++) {
1358         s->channel[i].decoded_samples = 0;
1359         s->channel[i].cur_subframe    = 0;
1360         s->channel[i].reuse_sf        = 0;
1361     }
1362
1363     /** decode all subframes */
1364     while (!s->parsed_all_subframes) {
1365         if (decode_subframe(s) < 0) {
1366             s->packet_loss = 1;
1367             return 0;
1368         }
1369     }
1370
1371     /* get output buffer */
1372     frame->nb_samples = s->samples_per_frame;
1373     if ((ret = ff_get_buffer(avctx, frame, 0)) < 0) {
1374         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
1375         s->packet_loss = 1;
1376         return 0;
1377     }
1378
1379     /** copy samples to the output buffer */
1380     for (i = 0; i < avctx->channels; i++)
1381         memcpy(frame->extended_data[i], s->channel[i].out,
1382                s->samples_per_frame * sizeof(*s->channel[i].out));
1383
1384     for (i = 0; i < avctx->channels; i++) {
1385         /** reuse second half of the IMDCT output for the next frame */
1386         memcpy(&s->channel[i].out[0],
1387                &s->channel[i].out[s->samples_per_frame],
1388                s->samples_per_frame * sizeof(*s->channel[i].out) >> 1);
1389     }
1390
1391     if (s->skip_frame) {
1392         s->skip_frame = 0;
1393         *got_frame_ptr = 0;
1394         av_frame_unref(frame);
1395     } else {
1396         *got_frame_ptr = 1;
1397     }
1398
1399     if (s->len_prefix) {
1400         if (len != (get_bits_count(gb) - s->frame_offset) + 2) {
1401             /** FIXME: not sure if this is always an error */
1402             av_log(s->avctx, AV_LOG_ERROR,
1403                    "frame[%i] would have to skip %i bits\n", s->frame_num,
1404                    len - (get_bits_count(gb) - s->frame_offset) - 1);
1405             s->packet_loss = 1;
1406             return 0;
1407         }
1408
1409         /** skip the rest of the frame data */
1410         skip_bits_long(gb, len - (get_bits_count(gb) - s->frame_offset) - 1);
1411     } else {
1412         while (get_bits_count(gb) < s->num_saved_bits && get_bits1(gb) == 0) {
1413         }
1414     }
1415
1416     /** decode trailer bit */
1417     more_frames = get_bits1(gb);
1418
1419     ++s->frame_num;
1420     return more_frames;
1421 }
1422
1423 /**
1424  *@brief Calculate remaining input buffer length.
1425  *@param s codec context
1426  *@param gb bitstream reader context
1427  *@return remaining size in bits
1428  */
1429 static int remaining_bits(WMAProDecodeCtx *s, GetBitContext *gb)
1430 {
1431     return s->buf_bit_size - get_bits_count(gb);
1432 }
1433
1434 /**
1435  *@brief Fill the bit reservoir with a (partial) frame.
1436  *@param s codec context
1437  *@param gb bitstream reader context
1438  *@param len length of the partial frame
1439  *@param append decides whether to reset the buffer or not
1440  */
1441 static void save_bits(WMAProDecodeCtx *s, GetBitContext* gb, int len,
1442                       int append)
1443 {
1444     int buflen;
1445
1446     /** when the frame data does not need to be concatenated, the input buffer
1447         is resetted and additional bits from the previous frame are copyed
1448         and skipped later so that a fast byte copy is possible */
1449
1450     if (!append) {
1451         s->frame_offset = get_bits_count(gb) & 7;
1452         s->num_saved_bits = s->frame_offset;
1453         init_put_bits(&s->pb, s->frame_data, MAX_FRAMESIZE);
1454     }
1455
1456     buflen = (s->num_saved_bits + len + 8) >> 3;
1457
1458     if (len <= 0 || buflen > MAX_FRAMESIZE) {
1459         avpriv_request_sample(s->avctx, "Too small input buffer");
1460         s->packet_loss = 1;
1461         return;
1462     }
1463
1464     if (len > put_bits_left(&s->pb)) {
1465         av_log(s->avctx, AV_LOG_ERROR,
1466                "Cannot append %d bits, only %d bits available.\n",
1467                len, put_bits_left(&s->pb));
1468         s->packet_loss = 1;
1469         return;
1470     }
1471
1472     s->num_saved_bits += len;
1473     if (!append) {
1474         avpriv_copy_bits(&s->pb, gb->buffer + (get_bits_count(gb) >> 3),
1475                      s->num_saved_bits);
1476     } else {
1477         int align = 8 - (get_bits_count(gb) & 7);
1478         align = FFMIN(align, len);
1479         put_bits(&s->pb, align, get_bits(gb, align));
1480         len -= align;
1481         avpriv_copy_bits(&s->pb, gb->buffer + (get_bits_count(gb) >> 3), len);
1482     }
1483     skip_bits_long(gb, len);
1484
1485     {
1486         PutBitContext tmp = s->pb;
1487         flush_put_bits(&tmp);
1488     }
1489
1490     init_get_bits(&s->gb, s->frame_data, s->num_saved_bits);
1491     skip_bits(&s->gb, s->frame_offset);
1492 }
1493
1494 /**
1495  *@brief Decode a single WMA packet.
1496  *@param avctx codec context
1497  *@param data the output buffer
1498  *@param avpkt input packet
1499  *@return number of bytes that were read from the input buffer
1500  */
1501 static int decode_packet(AVCodecContext *avctx, void *data,
1502                          int *got_frame_ptr, AVPacket* avpkt)
1503 {
1504     WMAProDecodeCtx *s = avctx->priv_data;
1505     GetBitContext* gb  = &s->pgb;
1506     const uint8_t* buf = avpkt->data;
1507     int buf_size       = avpkt->size;
1508     int num_bits_prev_frame;
1509     int packet_sequence_number;
1510
1511     *got_frame_ptr = 0;
1512
1513     if (s->packet_done || s->packet_loss) {
1514         s->packet_done = 0;
1515
1516         /** sanity check for the buffer length */
1517         if (buf_size < avctx->block_align) {
1518             av_log(avctx, AV_LOG_ERROR, "Input packet too small (%d < %d)\n",
1519                    buf_size, avctx->block_align);
1520             return AVERROR_INVALIDDATA;
1521         }
1522
1523         s->next_packet_start = buf_size - avctx->block_align;
1524         buf_size = avctx->block_align;
1525         s->buf_bit_size = buf_size << 3;
1526
1527         /** parse packet header */
1528         init_get_bits(gb, buf, s->buf_bit_size);
1529         packet_sequence_number = get_bits(gb, 4);
1530         skip_bits(gb, 2);
1531
1532         /** get number of bits that need to be added to the previous frame */
1533         num_bits_prev_frame = get_bits(gb, s->log2_frame_size);
1534         av_dlog(avctx, "packet[%d]: nbpf %x\n", avctx->frame_number,
1535                 num_bits_prev_frame);
1536
1537         /** check for packet loss */
1538         if (!s->packet_loss &&
1539             ((s->packet_sequence_number + 1) & 0xF) != packet_sequence_number) {
1540             s->packet_loss = 1;
1541             av_log(avctx, AV_LOG_ERROR, "Packet loss detected! seq %x vs %x\n",
1542                    s->packet_sequence_number, packet_sequence_number);
1543         }
1544         s->packet_sequence_number = packet_sequence_number;
1545
1546         if (num_bits_prev_frame > 0) {
1547             int remaining_packet_bits = s->buf_bit_size - get_bits_count(gb);
1548             if (num_bits_prev_frame >= remaining_packet_bits) {
1549                 num_bits_prev_frame = remaining_packet_bits;
1550                 s->packet_done = 1;
1551             }
1552
1553             /** append the previous frame data to the remaining data from the
1554                 previous packet to create a full frame */
1555             save_bits(s, gb, num_bits_prev_frame, 1);
1556             av_dlog(avctx, "accumulated %x bits of frame data\n",
1557                     s->num_saved_bits - s->frame_offset);
1558
1559             /** decode the cross packet frame if it is valid */
1560             if (!s->packet_loss)
1561                 decode_frame(s, data, got_frame_ptr);
1562         } else if (s->num_saved_bits - s->frame_offset) {
1563             av_dlog(avctx, "ignoring %x previously saved bits\n",
1564                     s->num_saved_bits - s->frame_offset);
1565         }
1566
1567         if (s->packet_loss) {
1568             /** reset number of saved bits so that the decoder
1569                 does not start to decode incomplete frames in the
1570                 s->len_prefix == 0 case */
1571             s->num_saved_bits = 0;
1572             s->packet_loss = 0;
1573         }
1574
1575     } else {
1576         int frame_size;
1577         s->buf_bit_size = (avpkt->size - s->next_packet_start) << 3;
1578         init_get_bits(gb, avpkt->data, s->buf_bit_size);
1579         skip_bits(gb, s->packet_offset);
1580         if (s->len_prefix && remaining_bits(s, gb) > s->log2_frame_size &&
1581             (frame_size = show_bits(gb, s->log2_frame_size)) &&
1582             frame_size <= remaining_bits(s, gb)) {
1583             save_bits(s, gb, frame_size, 0);
1584             s->packet_done = !decode_frame(s, data, got_frame_ptr);
1585         } else if (!s->len_prefix
1586                    && s->num_saved_bits > get_bits_count(&s->gb)) {
1587             /** when the frames do not have a length prefix, we don't know
1588                 the compressed length of the individual frames
1589                 however, we know what part of a new packet belongs to the
1590                 previous frame
1591                 therefore we save the incoming packet first, then we append
1592                 the "previous frame" data from the next packet so that
1593                 we get a buffer that only contains full frames */
1594             s->packet_done = !decode_frame(s, data, got_frame_ptr);
1595         } else
1596             s->packet_done = 1;
1597     }
1598
1599     if (s->packet_done && !s->packet_loss &&
1600         remaining_bits(s, gb) > 0) {
1601         /** save the rest of the data so that it can be decoded
1602             with the next packet */
1603         save_bits(s, gb, remaining_bits(s, gb), 0);
1604     }
1605
1606     s->packet_offset = get_bits_count(gb) & 7;
1607     if (s->packet_loss)
1608         return AVERROR_INVALIDDATA;
1609
1610     return get_bits_count(gb) >> 3;
1611 }
1612
1613 /**
1614  *@brief Clear decoder buffers (for seeking).
1615  *@param avctx codec context
1616  */
1617 static void flush(AVCodecContext *avctx)
1618 {
1619     WMAProDecodeCtx *s = avctx->priv_data;
1620     int i;
1621     /** reset output buffer as a part of it is used during the windowing of a
1622         new frame */
1623     for (i = 0; i < avctx->channels; i++)
1624         memset(s->channel[i].out, 0, s->samples_per_frame *
1625                sizeof(*s->channel[i].out));
1626     s->packet_loss = 1;
1627 }
1628
1629
1630 /**
1631  *@brief wmapro decoder
1632  */
1633 AVCodec ff_wmapro_decoder = {
1634     .name           = "wmapro",
1635     .type           = AVMEDIA_TYPE_AUDIO,
1636     .id             = AV_CODEC_ID_WMAPRO,
1637     .priv_data_size = sizeof(WMAProDecodeCtx),
1638     .init           = decode_init,
1639     .close          = decode_end,
1640     .decode         = decode_packet,
1641     .capabilities   = CODEC_CAP_SUBFRAMES | CODEC_CAP_DR1,
1642     .flush          = flush,
1643     .long_name      = NULL_IF_CONFIG_SMALL("Windows Media Audio 9 Professional"),
1644     .sample_fmts    = (const enum AVSampleFormat[]) { AV_SAMPLE_FMT_FLTP,
1645                                                       AV_SAMPLE_FMT_NONE },
1646 };