]> git.sesse.net Git - ffmpeg/blob - libavcodec/qdm2.c
frame_thread_encoder: silence integer to pointer without cast warning
[ffmpeg] / libavcodec / qdm2.c
1 /*
2  * QDM2 compatible decoder
3  * Copyright (c) 2003 Ewald Snel
4  * Copyright (c) 2005 Benjamin Larsson
5  * Copyright (c) 2005 Alex Beregszaszi
6  * Copyright (c) 2005 Roberto Togni
7  *
8  * This file is part of FFmpeg.
9  *
10  * FFmpeg is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * FFmpeg is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with FFmpeg; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 /**
26  * @file
27  * QDM2 decoder
28  * @author Ewald Snel, Benjamin Larsson, Alex Beregszaszi, Roberto Togni
29  *
30  * The decoder is not perfect yet, there are still some distortions
31  * especially on files encoded with 16 or 8 subbands.
32  */
33
34 #include <math.h>
35 #include <stddef.h>
36 #include <stdio.h>
37
38 #define BITSTREAM_READER_LE
39 #include "libavutil/audioconvert.h"
40 #include "avcodec.h"
41 #include "get_bits.h"
42 #include "dsputil.h"
43 #include "rdft.h"
44 #include "mpegaudiodsp.h"
45 #include "mpegaudio.h"
46
47 #include "qdm2data.h"
48 #include "qdm2_tablegen.h"
49
50 #undef NDEBUG
51 #include <assert.h>
52
53
54 #define QDM2_LIST_ADD(list, size, packet) \
55 do { \
56       if (size > 0) { \
57     list[size - 1].next = &list[size]; \
58       } \
59       list[size].packet = packet; \
60       list[size].next = NULL; \
61       size++; \
62 } while(0)
63
64 // Result is 8, 16 or 30
65 #define QDM2_SB_USED(sub_sampling) (((sub_sampling) >= 2) ? 30 : 8 << (sub_sampling))
66
67 #define FIX_NOISE_IDX(noise_idx) \
68   if ((noise_idx) >= 3840) \
69     (noise_idx) -= 3840; \
70
71 #define SB_DITHERING_NOISE(sb,noise_idx) (noise_table[(noise_idx)++] * sb_noise_attenuation[(sb)])
72
73 #define SAMPLES_NEEDED \
74      av_log (NULL,AV_LOG_INFO,"This file triggers some untested code. Please contact the developers.\n");
75
76 #define SAMPLES_NEEDED_2(why) \
77      av_log (NULL,AV_LOG_INFO,"This file triggers some missing code. Please contact the developers.\nPosition: %s\n",why);
78
79 #define QDM2_MAX_FRAME_SIZE 512
80
81 typedef int8_t sb_int8_array[2][30][64];
82
83 /**
84  * Subpacket
85  */
86 typedef struct {
87     int type;            ///< subpacket type
88     unsigned int size;   ///< subpacket size
89     const uint8_t *data; ///< pointer to subpacket data (points to input data buffer, it's not a private copy)
90 } QDM2SubPacket;
91
92 /**
93  * A node in the subpacket list
94  */
95 typedef struct QDM2SubPNode {
96     QDM2SubPacket *packet;      ///< packet
97     struct QDM2SubPNode *next; ///< pointer to next packet in the list, NULL if leaf node
98 } QDM2SubPNode;
99
100 typedef struct {
101     float re;
102     float im;
103 } QDM2Complex;
104
105 typedef struct {
106     float level;
107     QDM2Complex *complex;
108     const float *table;
109     int   phase;
110     int   phase_shift;
111     int   duration;
112     short time_index;
113     short cutoff;
114 } FFTTone;
115
116 typedef struct {
117     int16_t sub_packet;
118     uint8_t channel;
119     int16_t offset;
120     int16_t exp;
121     uint8_t phase;
122 } FFTCoefficient;
123
124 typedef struct {
125     DECLARE_ALIGNED(32, QDM2Complex, complex)[MPA_MAX_CHANNELS][256];
126 } QDM2FFT;
127
128 /**
129  * QDM2 decoder context
130  */
131 typedef struct {
132     AVFrame frame;
133
134     /// Parameters from codec header, do not change during playback
135     int nb_channels;         ///< number of channels
136     int channels;            ///< number of channels
137     int group_size;          ///< size of frame group (16 frames per group)
138     int fft_size;            ///< size of FFT, in complex numbers
139     int checksum_size;       ///< size of data block, used also for checksum
140
141     /// Parameters built from header parameters, do not change during playback
142     int group_order;         ///< order of frame group
143     int fft_order;           ///< order of FFT (actually fftorder+1)
144     int frame_size;          ///< size of data frame
145     int frequency_range;
146     int sub_sampling;        ///< subsampling: 0=25%, 1=50%, 2=100% */
147     int coeff_per_sb_select; ///< selector for "num. of coeffs. per subband" tables. Can be 0, 1, 2
148     int cm_table_select;     ///< selector for "coding method" tables. Can be 0, 1 (from init: 0-4)
149
150     /// Packets and packet lists
151     QDM2SubPacket sub_packets[16];      ///< the packets themselves
152     QDM2SubPNode sub_packet_list_A[16]; ///< list of all packets
153     QDM2SubPNode sub_packet_list_B[16]; ///< FFT packets B are on list
154     int sub_packets_B;                  ///< number of packets on 'B' list
155     QDM2SubPNode sub_packet_list_C[16]; ///< packets with errors?
156     QDM2SubPNode sub_packet_list_D[16]; ///< DCT packets
157
158     /// FFT and tones
159     FFTTone fft_tones[1000];
160     int fft_tone_start;
161     int fft_tone_end;
162     FFTCoefficient fft_coefs[1000];
163     int fft_coefs_index;
164     int fft_coefs_min_index[5];
165     int fft_coefs_max_index[5];
166     int fft_level_exp[6];
167     RDFTContext rdft_ctx;
168     QDM2FFT fft;
169
170     /// I/O data
171     const uint8_t *compressed_data;
172     int compressed_size;
173     float output_buffer[QDM2_MAX_FRAME_SIZE * MPA_MAX_CHANNELS * 2];
174
175     /// Synthesis filter
176     MPADSPContext mpadsp;
177     DECLARE_ALIGNED(32, float, synth_buf)[MPA_MAX_CHANNELS][512*2];
178     int synth_buf_offset[MPA_MAX_CHANNELS];
179     DECLARE_ALIGNED(32, float, sb_samples)[MPA_MAX_CHANNELS][128][SBLIMIT];
180     DECLARE_ALIGNED(32, float, samples)[MPA_MAX_CHANNELS * MPA_FRAME_SIZE];
181
182     /// Mixed temporary data used in decoding
183     float tone_level[MPA_MAX_CHANNELS][30][64];
184     int8_t coding_method[MPA_MAX_CHANNELS][30][64];
185     int8_t quantized_coeffs[MPA_MAX_CHANNELS][10][8];
186     int8_t tone_level_idx_base[MPA_MAX_CHANNELS][30][8];
187     int8_t tone_level_idx_hi1[MPA_MAX_CHANNELS][3][8][8];
188     int8_t tone_level_idx_mid[MPA_MAX_CHANNELS][26][8];
189     int8_t tone_level_idx_hi2[MPA_MAX_CHANNELS][26];
190     int8_t tone_level_idx[MPA_MAX_CHANNELS][30][64];
191     int8_t tone_level_idx_temp[MPA_MAX_CHANNELS][30][64];
192
193     // Flags
194     int has_errors;         ///< packet has errors
195     int superblocktype_2_3; ///< select fft tables and some algorithm based on superblock type
196     int do_synth_filter;    ///< used to perform or skip synthesis filter
197
198     int sub_packet;
199     int noise_idx; ///< index for dithering noise table
200 } QDM2Context;
201
202
203 static VLC vlc_tab_level;
204 static VLC vlc_tab_diff;
205 static VLC vlc_tab_run;
206 static VLC fft_level_exp_alt_vlc;
207 static VLC fft_level_exp_vlc;
208 static VLC fft_stereo_exp_vlc;
209 static VLC fft_stereo_phase_vlc;
210 static VLC vlc_tab_tone_level_idx_hi1;
211 static VLC vlc_tab_tone_level_idx_mid;
212 static VLC vlc_tab_tone_level_idx_hi2;
213 static VLC vlc_tab_type30;
214 static VLC vlc_tab_type34;
215 static VLC vlc_tab_fft_tone_offset[5];
216
217 static const uint16_t qdm2_vlc_offs[] = {
218     0,260,566,598,894,1166,1230,1294,1678,1950,2214,2278,2310,2570,2834,3124,3448,3838,
219 };
220
221 static av_cold void qdm2_init_vlc(void)
222 {
223     static int vlcs_initialized = 0;
224     static VLC_TYPE qdm2_table[3838][2];
225
226     if (!vlcs_initialized) {
227
228         vlc_tab_level.table = &qdm2_table[qdm2_vlc_offs[0]];
229         vlc_tab_level.table_allocated = qdm2_vlc_offs[1] - qdm2_vlc_offs[0];
230         init_vlc (&vlc_tab_level, 8, 24,
231             vlc_tab_level_huffbits, 1, 1,
232             vlc_tab_level_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
233
234         vlc_tab_diff.table = &qdm2_table[qdm2_vlc_offs[1]];
235         vlc_tab_diff.table_allocated = qdm2_vlc_offs[2] - qdm2_vlc_offs[1];
236         init_vlc (&vlc_tab_diff, 8, 37,
237             vlc_tab_diff_huffbits, 1, 1,
238             vlc_tab_diff_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
239
240         vlc_tab_run.table = &qdm2_table[qdm2_vlc_offs[2]];
241         vlc_tab_run.table_allocated = qdm2_vlc_offs[3] - qdm2_vlc_offs[2];
242         init_vlc (&vlc_tab_run, 5, 6,
243             vlc_tab_run_huffbits, 1, 1,
244             vlc_tab_run_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
245
246         fft_level_exp_alt_vlc.table = &qdm2_table[qdm2_vlc_offs[3]];
247         fft_level_exp_alt_vlc.table_allocated = qdm2_vlc_offs[4] - qdm2_vlc_offs[3];
248         init_vlc (&fft_level_exp_alt_vlc, 8, 28,
249             fft_level_exp_alt_huffbits, 1, 1,
250             fft_level_exp_alt_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
251
252
253         fft_level_exp_vlc.table = &qdm2_table[qdm2_vlc_offs[4]];
254         fft_level_exp_vlc.table_allocated = qdm2_vlc_offs[5] - qdm2_vlc_offs[4];
255         init_vlc (&fft_level_exp_vlc, 8, 20,
256             fft_level_exp_huffbits, 1, 1,
257             fft_level_exp_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
258
259         fft_stereo_exp_vlc.table = &qdm2_table[qdm2_vlc_offs[5]];
260         fft_stereo_exp_vlc.table_allocated = qdm2_vlc_offs[6] - qdm2_vlc_offs[5];
261         init_vlc (&fft_stereo_exp_vlc, 6, 7,
262             fft_stereo_exp_huffbits, 1, 1,
263             fft_stereo_exp_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
264
265         fft_stereo_phase_vlc.table = &qdm2_table[qdm2_vlc_offs[6]];
266         fft_stereo_phase_vlc.table_allocated = qdm2_vlc_offs[7] - qdm2_vlc_offs[6];
267         init_vlc (&fft_stereo_phase_vlc, 6, 9,
268             fft_stereo_phase_huffbits, 1, 1,
269             fft_stereo_phase_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
270
271         vlc_tab_tone_level_idx_hi1.table = &qdm2_table[qdm2_vlc_offs[7]];
272         vlc_tab_tone_level_idx_hi1.table_allocated = qdm2_vlc_offs[8] - qdm2_vlc_offs[7];
273         init_vlc (&vlc_tab_tone_level_idx_hi1, 8, 20,
274             vlc_tab_tone_level_idx_hi1_huffbits, 1, 1,
275             vlc_tab_tone_level_idx_hi1_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
276
277         vlc_tab_tone_level_idx_mid.table = &qdm2_table[qdm2_vlc_offs[8]];
278         vlc_tab_tone_level_idx_mid.table_allocated = qdm2_vlc_offs[9] - qdm2_vlc_offs[8];
279         init_vlc (&vlc_tab_tone_level_idx_mid, 8, 24,
280             vlc_tab_tone_level_idx_mid_huffbits, 1, 1,
281             vlc_tab_tone_level_idx_mid_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
282
283         vlc_tab_tone_level_idx_hi2.table = &qdm2_table[qdm2_vlc_offs[9]];
284         vlc_tab_tone_level_idx_hi2.table_allocated = qdm2_vlc_offs[10] - qdm2_vlc_offs[9];
285         init_vlc (&vlc_tab_tone_level_idx_hi2, 8, 24,
286             vlc_tab_tone_level_idx_hi2_huffbits, 1, 1,
287             vlc_tab_tone_level_idx_hi2_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
288
289         vlc_tab_type30.table = &qdm2_table[qdm2_vlc_offs[10]];
290         vlc_tab_type30.table_allocated = qdm2_vlc_offs[11] - qdm2_vlc_offs[10];
291         init_vlc (&vlc_tab_type30, 6, 9,
292             vlc_tab_type30_huffbits, 1, 1,
293             vlc_tab_type30_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
294
295         vlc_tab_type34.table = &qdm2_table[qdm2_vlc_offs[11]];
296         vlc_tab_type34.table_allocated = qdm2_vlc_offs[12] - qdm2_vlc_offs[11];
297         init_vlc (&vlc_tab_type34, 5, 10,
298             vlc_tab_type34_huffbits, 1, 1,
299             vlc_tab_type34_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
300
301         vlc_tab_fft_tone_offset[0].table = &qdm2_table[qdm2_vlc_offs[12]];
302         vlc_tab_fft_tone_offset[0].table_allocated = qdm2_vlc_offs[13] - qdm2_vlc_offs[12];
303         init_vlc (&vlc_tab_fft_tone_offset[0], 8, 23,
304             vlc_tab_fft_tone_offset_0_huffbits, 1, 1,
305             vlc_tab_fft_tone_offset_0_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
306
307         vlc_tab_fft_tone_offset[1].table = &qdm2_table[qdm2_vlc_offs[13]];
308         vlc_tab_fft_tone_offset[1].table_allocated = qdm2_vlc_offs[14] - qdm2_vlc_offs[13];
309         init_vlc (&vlc_tab_fft_tone_offset[1], 8, 28,
310             vlc_tab_fft_tone_offset_1_huffbits, 1, 1,
311             vlc_tab_fft_tone_offset_1_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
312
313         vlc_tab_fft_tone_offset[2].table = &qdm2_table[qdm2_vlc_offs[14]];
314         vlc_tab_fft_tone_offset[2].table_allocated = qdm2_vlc_offs[15] - qdm2_vlc_offs[14];
315         init_vlc (&vlc_tab_fft_tone_offset[2], 8, 32,
316             vlc_tab_fft_tone_offset_2_huffbits, 1, 1,
317             vlc_tab_fft_tone_offset_2_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
318
319         vlc_tab_fft_tone_offset[3].table = &qdm2_table[qdm2_vlc_offs[15]];
320         vlc_tab_fft_tone_offset[3].table_allocated = qdm2_vlc_offs[16] - qdm2_vlc_offs[15];
321         init_vlc (&vlc_tab_fft_tone_offset[3], 8, 35,
322             vlc_tab_fft_tone_offset_3_huffbits, 1, 1,
323             vlc_tab_fft_tone_offset_3_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
324
325         vlc_tab_fft_tone_offset[4].table = &qdm2_table[qdm2_vlc_offs[16]];
326         vlc_tab_fft_tone_offset[4].table_allocated = qdm2_vlc_offs[17] - qdm2_vlc_offs[16];
327         init_vlc (&vlc_tab_fft_tone_offset[4], 8, 38,
328             vlc_tab_fft_tone_offset_4_huffbits, 1, 1,
329             vlc_tab_fft_tone_offset_4_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
330
331         vlcs_initialized=1;
332     }
333 }
334
335 static int qdm2_get_vlc (GetBitContext *gb, VLC *vlc, int flag, int depth)
336 {
337     int value;
338
339     value = get_vlc2(gb, vlc->table, vlc->bits, depth);
340
341     /* stage-2, 3 bits exponent escape sequence */
342     if (value-- == 0)
343         value = get_bits (gb, get_bits (gb, 3) + 1);
344
345     /* stage-3, optional */
346     if (flag) {
347         int tmp;
348
349         if (value >= 60) {
350             av_log(0, AV_LOG_ERROR, "value %d in qdm2_get_vlc too large\n", value);
351             return 0;
352         }
353
354         tmp= vlc_stage3_values[value];
355
356         if ((value & ~3) > 0)
357             tmp += get_bits (gb, (value >> 2));
358         value = tmp;
359     }
360
361     return value;
362 }
363
364
365 static int qdm2_get_se_vlc (VLC *vlc, GetBitContext *gb, int depth)
366 {
367     int value = qdm2_get_vlc (gb, vlc, 0, depth);
368
369     return (value & 1) ? ((value + 1) >> 1) : -(value >> 1);
370 }
371
372
373 /**
374  * QDM2 checksum
375  *
376  * @param data      pointer to data to be checksum'ed
377  * @param length    data length
378  * @param value     checksum value
379  *
380  * @return          0 if checksum is OK
381  */
382 static uint16_t qdm2_packet_checksum (const uint8_t *data, int length, int value) {
383     int i;
384
385     for (i=0; i < length; i++)
386         value -= data[i];
387
388     return (uint16_t)(value & 0xffff);
389 }
390
391
392 /**
393  * Fill a QDM2SubPacket structure with packet type, size, and data pointer.
394  *
395  * @param gb            bitreader context
396  * @param sub_packet    packet under analysis
397  */
398 static void qdm2_decode_sub_packet_header (GetBitContext *gb, QDM2SubPacket *sub_packet)
399 {
400     sub_packet->type = get_bits (gb, 8);
401
402     if (sub_packet->type == 0) {
403         sub_packet->size = 0;
404         sub_packet->data = NULL;
405     } else {
406         sub_packet->size = get_bits (gb, 8);
407
408       if (sub_packet->type & 0x80) {
409           sub_packet->size <<= 8;
410           sub_packet->size  |= get_bits (gb, 8);
411           sub_packet->type  &= 0x7f;
412       }
413
414       if (sub_packet->type == 0x7f)
415           sub_packet->type |= (get_bits (gb, 8) << 8);
416
417       sub_packet->data = &gb->buffer[get_bits_count(gb) / 8]; // FIXME: this depends on bitreader internal data
418     }
419
420     av_log(NULL,AV_LOG_DEBUG,"Subpacket: type=%d size=%d start_offs=%x\n",
421         sub_packet->type, sub_packet->size, get_bits_count(gb) / 8);
422 }
423
424
425 /**
426  * Return node pointer to first packet of requested type in list.
427  *
428  * @param list    list of subpackets to be scanned
429  * @param type    type of searched subpacket
430  * @return        node pointer for subpacket if found, else NULL
431  */
432 static QDM2SubPNode* qdm2_search_subpacket_type_in_list (QDM2SubPNode *list, int type)
433 {
434     while (list != NULL && list->packet != NULL) {
435         if (list->packet->type == type)
436             return list;
437         list = list->next;
438     }
439     return NULL;
440 }
441
442
443 /**
444  * Replace 8 elements with their average value.
445  * Called by qdm2_decode_superblock before starting subblock decoding.
446  *
447  * @param q       context
448  */
449 static void average_quantized_coeffs (QDM2Context *q)
450 {
451     int i, j, n, ch, sum;
452
453     n = coeff_per_sb_for_avg[q->coeff_per_sb_select][QDM2_SB_USED(q->sub_sampling) - 1] + 1;
454
455     for (ch = 0; ch < q->nb_channels; ch++)
456         for (i = 0; i < n; i++) {
457             sum = 0;
458
459             for (j = 0; j < 8; j++)
460                 sum += q->quantized_coeffs[ch][i][j];
461
462             sum /= 8;
463             if (sum > 0)
464                 sum--;
465
466             for (j=0; j < 8; j++)
467                 q->quantized_coeffs[ch][i][j] = sum;
468         }
469 }
470
471
472 /**
473  * Build subband samples with noise weighted by q->tone_level.
474  * Called by synthfilt_build_sb_samples.
475  *
476  * @param q     context
477  * @param sb    subband index
478  */
479 static void build_sb_samples_from_noise (QDM2Context *q, int sb)
480 {
481     int ch, j;
482
483     FIX_NOISE_IDX(q->noise_idx);
484
485     if (!q->nb_channels)
486         return;
487
488     for (ch = 0; ch < q->nb_channels; ch++)
489         for (j = 0; j < 64; j++) {
490             q->sb_samples[ch][j * 2][sb] = SB_DITHERING_NOISE(sb,q->noise_idx) * q->tone_level[ch][sb][j];
491             q->sb_samples[ch][j * 2 + 1][sb] = SB_DITHERING_NOISE(sb,q->noise_idx) * q->tone_level[ch][sb][j];
492         }
493 }
494
495
496 /**
497  * Called while processing data from subpackets 11 and 12.
498  * Used after making changes to coding_method array.
499  *
500  * @param sb               subband index
501  * @param channels         number of channels
502  * @param coding_method    q->coding_method[0][0][0]
503  */
504 static void fix_coding_method_array (int sb, int channels, sb_int8_array coding_method)
505 {
506     int j,k;
507     int ch;
508     int run, case_val;
509     static const int switchtable[23] = {0,5,1,5,5,5,5,5,2,5,5,5,5,5,5,5,3,5,5,5,5,5,4};
510
511     for (ch = 0; ch < channels; ch++) {
512         for (j = 0; j < 64; ) {
513             if((coding_method[ch][sb][j] - 8) > 22) {
514                 run = 1;
515                 case_val = 8;
516             } else {
517                 switch (switchtable[coding_method[ch][sb][j]-8]) {
518                     case 0: run = 10; case_val = 10; break;
519                     case 1: run = 1; case_val = 16; break;
520                     case 2: run = 5; case_val = 24; break;
521                     case 3: run = 3; case_val = 30; break;
522                     case 4: run = 1; case_val = 30; break;
523                     case 5: run = 1; case_val = 8; break;
524                     default: run = 1; case_val = 8; break;
525                 }
526             }
527             for (k = 0; k < run; k++)
528                 if (j + k < 128)
529                     if (coding_method[ch][sb + (j + k) / 64][(j + k) % 64] > coding_method[ch][sb][j])
530                         if (k > 0) {
531                            SAMPLES_NEEDED
532                             //not debugged, almost never used
533                             memset(&coding_method[ch][sb][j + k], case_val, k * sizeof(int8_t));
534                             memset(&coding_method[ch][sb][j + k], case_val, 3 * sizeof(int8_t));
535                         }
536             j += run;
537         }
538     }
539 }
540
541
542 /**
543  * Related to synthesis filter
544  * Called by process_subpacket_10
545  *
546  * @param q       context
547  * @param flag    1 if called after getting data from subpacket 10, 0 if no subpacket 10
548  */
549 static void fill_tone_level_array (QDM2Context *q, int flag)
550 {
551     int i, sb, ch, sb_used;
552     int tmp, tab;
553
554     for (ch = 0; ch < q->nb_channels; ch++)
555         for (sb = 0; sb < 30; sb++)
556             for (i = 0; i < 8; i++) {
557                 if ((tab=coeff_per_sb_for_dequant[q->coeff_per_sb_select][sb]) < (last_coeff[q->coeff_per_sb_select] - 1))
558                     tmp = q->quantized_coeffs[ch][tab + 1][i] * dequant_table[q->coeff_per_sb_select][tab + 1][sb]+
559                           q->quantized_coeffs[ch][tab][i] * dequant_table[q->coeff_per_sb_select][tab][sb];
560                 else
561                     tmp = q->quantized_coeffs[ch][tab][i] * dequant_table[q->coeff_per_sb_select][tab][sb];
562                 if(tmp < 0)
563                     tmp += 0xff;
564                 q->tone_level_idx_base[ch][sb][i] = (tmp / 256) & 0xff;
565             }
566
567     sb_used = QDM2_SB_USED(q->sub_sampling);
568
569     if ((q->superblocktype_2_3 != 0) && !flag) {
570         for (sb = 0; sb < sb_used; sb++)
571             for (ch = 0; ch < q->nb_channels; ch++)
572                 for (i = 0; i < 64; i++) {
573                     q->tone_level_idx[ch][sb][i] = q->tone_level_idx_base[ch][sb][i / 8];
574                     if (q->tone_level_idx[ch][sb][i] < 0)
575                         q->tone_level[ch][sb][i] = 0;
576                     else
577                         q->tone_level[ch][sb][i] = fft_tone_level_table[0][q->tone_level_idx[ch][sb][i] & 0x3f];
578                 }
579     } else {
580         tab = q->superblocktype_2_3 ? 0 : 1;
581         for (sb = 0; sb < sb_used; sb++) {
582             if ((sb >= 4) && (sb <= 23)) {
583                 for (ch = 0; ch < q->nb_channels; ch++)
584                     for (i = 0; i < 64; i++) {
585                         tmp = q->tone_level_idx_base[ch][sb][i / 8] -
586                               q->tone_level_idx_hi1[ch][sb / 8][i / 8][i % 8] -
587                               q->tone_level_idx_mid[ch][sb - 4][i / 8] -
588                               q->tone_level_idx_hi2[ch][sb - 4];
589                         q->tone_level_idx[ch][sb][i] = tmp & 0xff;
590                         if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
591                             q->tone_level[ch][sb][i] = 0;
592                         else
593                             q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
594                 }
595             } else {
596                 if (sb > 4) {
597                     for (ch = 0; ch < q->nb_channels; ch++)
598                         for (i = 0; i < 64; i++) {
599                             tmp = q->tone_level_idx_base[ch][sb][i / 8] -
600                                   q->tone_level_idx_hi1[ch][2][i / 8][i % 8] -
601                                   q->tone_level_idx_hi2[ch][sb - 4];
602                             q->tone_level_idx[ch][sb][i] = tmp & 0xff;
603                             if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
604                                 q->tone_level[ch][sb][i] = 0;
605                             else
606                                 q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
607                     }
608                 } else {
609                     for (ch = 0; ch < q->nb_channels; ch++)
610                         for (i = 0; i < 64; i++) {
611                             tmp = q->tone_level_idx[ch][sb][i] = q->tone_level_idx_base[ch][sb][i / 8];
612                             if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
613                                 q->tone_level[ch][sb][i] = 0;
614                             else
615                                 q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
616                         }
617                 }
618             }
619         }
620     }
621
622     return;
623 }
624
625
626 /**
627  * Related to synthesis filter
628  * Called by process_subpacket_11
629  * c is built with data from subpacket 11
630  * Most of this function is used only if superblock_type_2_3 == 0, never seen it in samples
631  *
632  * @param tone_level_idx
633  * @param tone_level_idx_temp
634  * @param coding_method        q->coding_method[0][0][0]
635  * @param nb_channels          number of channels
636  * @param c                    coming from subpacket 11, passed as 8*c
637  * @param superblocktype_2_3   flag based on superblock packet type
638  * @param cm_table_select      q->cm_table_select
639  */
640 static void fill_coding_method_array (sb_int8_array tone_level_idx, sb_int8_array tone_level_idx_temp,
641                 sb_int8_array coding_method, int nb_channels,
642                 int c, int superblocktype_2_3, int cm_table_select)
643 {
644     int ch, sb, j;
645     int tmp, acc, esp_40, comp;
646     int add1, add2, add3, add4;
647     int64_t multres;
648
649     if (!superblocktype_2_3) {
650         /* This case is untested, no samples available */
651         SAMPLES_NEEDED
652         for (ch = 0; ch < nb_channels; ch++)
653             for (sb = 0; sb < 30; sb++) {
654                 for (j = 1; j < 63; j++) {  // The loop only iterates to 63 so the code doesn't overflow the buffer
655                     add1 = tone_level_idx[ch][sb][j] - 10;
656                     if (add1 < 0)
657                         add1 = 0;
658                     add2 = add3 = add4 = 0;
659                     if (sb > 1) {
660                         add2 = tone_level_idx[ch][sb - 2][j] + tone_level_idx_offset_table[sb][0] - 6;
661                         if (add2 < 0)
662                             add2 = 0;
663                     }
664                     if (sb > 0) {
665                         add3 = tone_level_idx[ch][sb - 1][j] + tone_level_idx_offset_table[sb][1] - 6;
666                         if (add3 < 0)
667                             add3 = 0;
668                     }
669                     if (sb < 29) {
670                         add4 = tone_level_idx[ch][sb + 1][j] + tone_level_idx_offset_table[sb][3] - 6;
671                         if (add4 < 0)
672                             add4 = 0;
673                     }
674                     tmp = tone_level_idx[ch][sb][j + 1] * 2 - add4 - add3 - add2 - add1;
675                     if (tmp < 0)
676                         tmp = 0;
677                     tone_level_idx_temp[ch][sb][j + 1] = tmp & 0xff;
678                 }
679                 tone_level_idx_temp[ch][sb][0] = tone_level_idx_temp[ch][sb][1];
680             }
681             acc = 0;
682             for (ch = 0; ch < nb_channels; ch++)
683                 for (sb = 0; sb < 30; sb++)
684                     for (j = 0; j < 64; j++)
685                         acc += tone_level_idx_temp[ch][sb][j];
686
687             multres = 0x66666667 * (acc * 10);
688             esp_40 = (multres >> 32) / 8 + ((multres & 0xffffffff) >> 31);
689             for (ch = 0;  ch < nb_channels; ch++)
690                 for (sb = 0; sb < 30; sb++)
691                     for (j = 0; j < 64; j++) {
692                         comp = tone_level_idx_temp[ch][sb][j]* esp_40 * 10;
693                         if (comp < 0)
694                             comp += 0xff;
695                         comp /= 256; // signed shift
696                         switch(sb) {
697                             case 0:
698                                 if (comp < 30)
699                                     comp = 30;
700                                 comp += 15;
701                                 break;
702                             case 1:
703                                 if (comp < 24)
704                                     comp = 24;
705                                 comp += 10;
706                                 break;
707                             case 2:
708                             case 3:
709                             case 4:
710                                 if (comp < 16)
711                                     comp = 16;
712                         }
713                         if (comp <= 5)
714                             tmp = 0;
715                         else if (comp <= 10)
716                             tmp = 10;
717                         else if (comp <= 16)
718                             tmp = 16;
719                         else if (comp <= 24)
720                             tmp = -1;
721                         else
722                             tmp = 0;
723                         coding_method[ch][sb][j] = ((tmp & 0xfffa) + 30 )& 0xff;
724                     }
725             for (sb = 0; sb < 30; sb++)
726                 fix_coding_method_array(sb, nb_channels, coding_method);
727             for (ch = 0; ch < nb_channels; ch++)
728                 for (sb = 0; sb < 30; sb++)
729                     for (j = 0; j < 64; j++)
730                         if (sb >= 10) {
731                             if (coding_method[ch][sb][j] < 10)
732                                 coding_method[ch][sb][j] = 10;
733                         } else {
734                             if (sb >= 2) {
735                                 if (coding_method[ch][sb][j] < 16)
736                                     coding_method[ch][sb][j] = 16;
737                             } else {
738                                 if (coding_method[ch][sb][j] < 30)
739                                     coding_method[ch][sb][j] = 30;
740                             }
741                         }
742     } else { // superblocktype_2_3 != 0
743         for (ch = 0; ch < nb_channels; ch++)
744             for (sb = 0; sb < 30; sb++)
745                 for (j = 0; j < 64; j++)
746                     coding_method[ch][sb][j] = coding_method_table[cm_table_select][sb];
747     }
748
749     return;
750 }
751
752
753 /**
754  *
755  * Called by process_subpacket_11 to process more data from subpacket 11 with sb 0-8
756  * Called by process_subpacket_12 to process data from subpacket 12 with sb 8-sb_used
757  *
758  * @param q         context
759  * @param gb        bitreader context
760  * @param length    packet length in bits
761  * @param sb_min    lower subband processed (sb_min included)
762  * @param sb_max    higher subband processed (sb_max excluded)
763  */
764 static int synthfilt_build_sb_samples (QDM2Context *q, GetBitContext *gb, int length, int sb_min, int sb_max)
765 {
766     int sb, j, k, n, ch, run, channels;
767     int joined_stereo, zero_encoding, chs;
768     int type34_first;
769     float type34_div = 0;
770     float type34_predictor;
771     float samples[10], sign_bits[16];
772
773     if (length == 0) {
774         // If no data use noise
775         for (sb=sb_min; sb < sb_max; sb++)
776             build_sb_samples_from_noise (q, sb);
777
778         return 0;
779     }
780
781     for (sb = sb_min; sb < sb_max; sb++) {
782         FIX_NOISE_IDX(q->noise_idx);
783
784         channels = q->nb_channels;
785
786         if (q->nb_channels <= 1 || sb < 12)
787             joined_stereo = 0;
788         else if (sb >= 24)
789             joined_stereo = 1;
790         else
791             joined_stereo = (get_bits_left(gb) >= 1) ? get_bits1 (gb) : 0;
792
793         if (joined_stereo) {
794             if (get_bits_left(gb) >= 16)
795                 for (j = 0; j < 16; j++)
796                     sign_bits[j] = get_bits1 (gb);
797
798             for (j = 0; j < 64; j++)
799                 if (q->coding_method[1][sb][j] > q->coding_method[0][sb][j])
800                     q->coding_method[0][sb][j] = q->coding_method[1][sb][j];
801
802             fix_coding_method_array(sb, q->nb_channels, q->coding_method);
803             channels = 1;
804         }
805
806         for (ch = 0; ch < channels; ch++) {
807             zero_encoding = (get_bits_left(gb) >= 1) ? get_bits1(gb) : 0;
808             type34_predictor = 0.0;
809             type34_first = 1;
810
811             for (j = 0; j < 128; ) {
812                 switch (q->coding_method[ch][sb][j / 2]) {
813                     case 8:
814                         if (get_bits_left(gb) >= 10) {
815                             if (zero_encoding) {
816                                 for (k = 0; k < 5; k++) {
817                                     if ((j + 2 * k) >= 128)
818                                         break;
819                                     samples[2 * k] = get_bits1(gb) ? dequant_1bit[joined_stereo][2 * get_bits1(gb)] : 0;
820                                 }
821                             } else {
822                                 n = get_bits(gb, 8);
823                                 for (k = 0; k < 5; k++)
824                                     samples[2 * k] = dequant_1bit[joined_stereo][random_dequant_index[n][k]];
825                             }
826                             for (k = 0; k < 5; k++)
827                                 samples[2 * k + 1] = SB_DITHERING_NOISE(sb,q->noise_idx);
828                         } else {
829                             for (k = 0; k < 10; k++)
830                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
831                         }
832                         run = 10;
833                         break;
834
835                     case 10:
836                         if (get_bits_left(gb) >= 1) {
837                             float f = 0.81;
838
839                             if (get_bits1(gb))
840                                 f = -f;
841                             f -= noise_samples[((sb + 1) * (j +5 * ch + 1)) & 127] * 9.0 / 40.0;
842                             samples[0] = f;
843                         } else {
844                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
845                         }
846                         run = 1;
847                         break;
848
849                     case 16:
850                         if (get_bits_left(gb) >= 10) {
851                             if (zero_encoding) {
852                                 for (k = 0; k < 5; k++) {
853                                     if ((j + k) >= 128)
854                                         break;
855                                     samples[k] = (get_bits1(gb) == 0) ? 0 : dequant_1bit[joined_stereo][2 * get_bits1(gb)];
856                                 }
857                             } else {
858                                 n = get_bits (gb, 8);
859                                 for (k = 0; k < 5; k++)
860                                     samples[k] = dequant_1bit[joined_stereo][random_dequant_index[n][k]];
861                             }
862                         } else {
863                             for (k = 0; k < 5; k++)
864                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
865                         }
866                         run = 5;
867                         break;
868
869                     case 24:
870                         if (get_bits_left(gb) >= 7) {
871                             n = get_bits(gb, 7);
872                             for (k = 0; k < 3; k++)
873                                 samples[k] = (random_dequant_type24[n][k] - 2.0) * 0.5;
874                         } else {
875                             for (k = 0; k < 3; k++)
876                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
877                         }
878                         run = 3;
879                         break;
880
881                     case 30:
882                         if (get_bits_left(gb) >= 4) {
883                             unsigned index = qdm2_get_vlc(gb, &vlc_tab_type30, 0, 1);
884                             if (index >= FF_ARRAY_ELEMS(type30_dequant)) {
885                                 av_log(NULL, AV_LOG_ERROR, "index %d out of type30_dequant array\n", index);
886                                 return AVERROR_INVALIDDATA;
887                             }
888                             samples[0] = type30_dequant[index];
889                         } else
890                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
891
892                         run = 1;
893                         break;
894
895                     case 34:
896                         if (get_bits_left(gb) >= 7) {
897                             if (type34_first) {
898                                 type34_div = (float)(1 << get_bits(gb, 2));
899                                 samples[0] = ((float)get_bits(gb, 5) - 16.0) / 15.0;
900                                 type34_predictor = samples[0];
901                                 type34_first = 0;
902                             } else {
903                                 unsigned index = qdm2_get_vlc(gb, &vlc_tab_type34, 0, 1);
904                                 if (index >= FF_ARRAY_ELEMS(type34_delta)) {
905                                     av_log(NULL, AV_LOG_ERROR, "index %d out of type34_delta array\n", index);
906                                     return AVERROR_INVALIDDATA;
907                                 }
908                                 samples[0] = type34_delta[index] / type34_div + type34_predictor;
909                                 type34_predictor = samples[0];
910                             }
911                         } else {
912                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
913                         }
914                         run = 1;
915                         break;
916
917                     default:
918                         samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
919                         run = 1;
920                         break;
921                 }
922
923                 if (joined_stereo) {
924                     float tmp[10][MPA_MAX_CHANNELS];
925
926                     for (k = 0; k < run; k++) {
927                         tmp[k][0] = samples[k];
928                         tmp[k][1] = (sign_bits[(j + k) / 8]) ? -samples[k] : samples[k];
929                     }
930                     for (chs = 0; chs < q->nb_channels; chs++)
931                         for (k = 0; k < run; k++)
932                             if ((j + k) < 128)
933                                 q->sb_samples[chs][j + k][sb] = q->tone_level[chs][sb][((j + k)/2)] * tmp[k][chs];
934                 } else {
935                     for (k = 0; k < run; k++)
936                         if ((j + k) < 128)
937                             q->sb_samples[ch][j + k][sb] = q->tone_level[ch][sb][(j + k)/2] * samples[k];
938                 }
939
940                 j += run;
941             } // j loop
942         } // channel loop
943     } // subband loop
944     return 0;
945 }
946
947
948 /**
949  * Init the first element of a channel in quantized_coeffs with data from packet 10 (quantized_coeffs[ch][0]).
950  * This is similar to process_subpacket_9, but for a single channel and for element [0]
951  * same VLC tables as process_subpacket_9 are used.
952  *
953  * @param quantized_coeffs    pointer to quantized_coeffs[ch][0]
954  * @param gb        bitreader context
955  */
956 static int init_quantized_coeffs_elem0 (int8_t *quantized_coeffs, GetBitContext *gb)
957 {
958     int i, k, run, level, diff;
959
960     if (get_bits_left(gb) < 16)
961         return -1;
962     level = qdm2_get_vlc(gb, &vlc_tab_level, 0, 2);
963
964     quantized_coeffs[0] = level;
965
966     for (i = 0; i < 7; ) {
967         if (get_bits_left(gb) < 16)
968             return -1;
969         run = qdm2_get_vlc(gb, &vlc_tab_run, 0, 1) + 1;
970
971         if (i + run >= 8)
972             return -1;
973
974         if (get_bits_left(gb) < 16)
975             return -1;
976         diff = qdm2_get_se_vlc(&vlc_tab_diff, gb, 2);
977
978         for (k = 1; k <= run; k++)
979             quantized_coeffs[i + k] = (level + ((k * diff) / run));
980
981         level += diff;
982         i += run;
983     }
984     return 0;
985 }
986
987
988 /**
989  * Related to synthesis filter, process data from packet 10
990  * Init part of quantized_coeffs via function init_quantized_coeffs_elem0
991  * Init tone_level_idx_hi1, tone_level_idx_hi2, tone_level_idx_mid with data from packet 10
992  *
993  * @param q         context
994  * @param gb        bitreader context
995  */
996 static void init_tone_level_dequantization (QDM2Context *q, GetBitContext *gb)
997 {
998     int sb, j, k, n, ch;
999
1000     for (ch = 0; ch < q->nb_channels; ch++) {
1001         init_quantized_coeffs_elem0(q->quantized_coeffs[ch][0], gb);
1002
1003         if (get_bits_left(gb) < 16) {
1004             memset(q->quantized_coeffs[ch][0], 0, 8);
1005             break;
1006         }
1007     }
1008
1009     n = q->sub_sampling + 1;
1010
1011     for (sb = 0; sb < n; sb++)
1012         for (ch = 0; ch < q->nb_channels; ch++)
1013             for (j = 0; j < 8; j++) {
1014                 if (get_bits_left(gb) < 1)
1015                     break;
1016                 if (get_bits1(gb)) {
1017                     for (k=0; k < 8; k++) {
1018                         if (get_bits_left(gb) < 16)
1019                             break;
1020                         q->tone_level_idx_hi1[ch][sb][j][k] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_hi1, 0, 2);
1021                     }
1022                 } else {
1023                     for (k=0; k < 8; k++)
1024                         q->tone_level_idx_hi1[ch][sb][j][k] = 0;
1025                 }
1026             }
1027
1028     n = QDM2_SB_USED(q->sub_sampling) - 4;
1029
1030     for (sb = 0; sb < n; sb++)
1031         for (ch = 0; ch < q->nb_channels; ch++) {
1032             if (get_bits_left(gb) < 16)
1033                 break;
1034             q->tone_level_idx_hi2[ch][sb] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_hi2, 0, 2);
1035             if (sb > 19)
1036                 q->tone_level_idx_hi2[ch][sb] -= 16;
1037             else
1038                 for (j = 0; j < 8; j++)
1039                     q->tone_level_idx_mid[ch][sb][j] = -16;
1040         }
1041
1042     n = QDM2_SB_USED(q->sub_sampling) - 5;
1043
1044     for (sb = 0; sb < n; sb++)
1045         for (ch = 0; ch < q->nb_channels; ch++)
1046             for (j = 0; j < 8; j++) {
1047                 if (get_bits_left(gb) < 16)
1048                     break;
1049                 q->tone_level_idx_mid[ch][sb][j] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_mid, 0, 2) - 32;
1050             }
1051 }
1052
1053 /**
1054  * Process subpacket 9, init quantized_coeffs with data from it
1055  *
1056  * @param q       context
1057  * @param node    pointer to node with packet
1058  */
1059 static int process_subpacket_9 (QDM2Context *q, QDM2SubPNode *node)
1060 {
1061     GetBitContext gb;
1062     int i, j, k, n, ch, run, level, diff;
1063
1064     init_get_bits(&gb, node->packet->data, node->packet->size*8);
1065
1066     n = coeff_per_sb_for_avg[q->coeff_per_sb_select][QDM2_SB_USED(q->sub_sampling) - 1] + 1; // same as averagesomething function
1067
1068     for (i = 1; i < n; i++)
1069         for (ch=0; ch < q->nb_channels; ch++) {
1070             level = qdm2_get_vlc(&gb, &vlc_tab_level, 0, 2);
1071             q->quantized_coeffs[ch][i][0] = level;
1072
1073             for (j = 0; j < (8 - 1); ) {
1074                 run = qdm2_get_vlc(&gb, &vlc_tab_run, 0, 1) + 1;
1075                 diff = qdm2_get_se_vlc(&vlc_tab_diff, &gb, 2);
1076
1077                 if (j + run >= 8)
1078                     return -1;
1079
1080                 for (k = 1; k <= run; k++)
1081                     q->quantized_coeffs[ch][i][j + k] = (level + ((k*diff) / run));
1082
1083                 level += diff;
1084                 j += run;
1085             }
1086         }
1087
1088     for (ch = 0; ch < q->nb_channels; ch++)
1089         for (i = 0; i < 8; i++)
1090             q->quantized_coeffs[ch][0][i] = 0;
1091
1092     return 0;
1093 }
1094
1095
1096 /**
1097  * Process subpacket 10 if not null, else
1098  *
1099  * @param q         context
1100  * @param node      pointer to node with packet
1101  */
1102 static void process_subpacket_10 (QDM2Context *q, QDM2SubPNode *node)
1103 {
1104     GetBitContext gb;
1105
1106     if (node) {
1107         init_get_bits(&gb, node->packet->data, node->packet->size * 8);
1108         init_tone_level_dequantization(q, &gb);
1109         fill_tone_level_array(q, 1);
1110     } else {
1111         fill_tone_level_array(q, 0);
1112     }
1113 }
1114
1115
1116 /**
1117  * Process subpacket 11
1118  *
1119  * @param q         context
1120  * @param node      pointer to node with packet
1121  */
1122 static void process_subpacket_11 (QDM2Context *q, QDM2SubPNode *node)
1123 {
1124     GetBitContext gb;
1125     int length = 0;
1126
1127     if (node) {
1128         length = node->packet->size * 8;
1129         init_get_bits(&gb, node->packet->data, length);
1130     }
1131
1132     if (length >= 32) {
1133         int c = get_bits (&gb, 13);
1134
1135         if (c > 3)
1136             fill_coding_method_array (q->tone_level_idx, q->tone_level_idx_temp, q->coding_method,
1137                                       q->nb_channels, 8*c, q->superblocktype_2_3, q->cm_table_select);
1138     }
1139
1140     synthfilt_build_sb_samples(q, &gb, length, 0, 8);
1141 }
1142
1143
1144 /**
1145  * Process subpacket 12
1146  *
1147  * @param q         context
1148  * @param node      pointer to node with packet
1149  */
1150 static void process_subpacket_12 (QDM2Context *q, QDM2SubPNode *node)
1151 {
1152     GetBitContext gb;
1153     int length = 0;
1154
1155     if (node) {
1156         length = node->packet->size * 8;
1157         init_get_bits(&gb, node->packet->data, length);
1158     }
1159
1160     synthfilt_build_sb_samples(q, &gb, length, 8, QDM2_SB_USED(q->sub_sampling));
1161 }
1162
1163 /*
1164  * Process new subpackets for synthesis filter
1165  *
1166  * @param q       context
1167  * @param list    list with synthesis filter packets (list D)
1168  */
1169 static void process_synthesis_subpackets (QDM2Context *q, QDM2SubPNode *list)
1170 {
1171     QDM2SubPNode *nodes[4];
1172
1173     nodes[0] = qdm2_search_subpacket_type_in_list(list, 9);
1174     if (nodes[0] != NULL)
1175         process_subpacket_9(q, nodes[0]);
1176
1177     nodes[1] = qdm2_search_subpacket_type_in_list(list, 10);
1178     if (nodes[1] != NULL)
1179         process_subpacket_10(q, nodes[1]);
1180     else
1181         process_subpacket_10(q, NULL);
1182
1183     nodes[2] = qdm2_search_subpacket_type_in_list(list, 11);
1184     if (nodes[0] != NULL && nodes[1] != NULL && nodes[2] != NULL)
1185         process_subpacket_11(q, nodes[2]);
1186     else
1187         process_subpacket_11(q, NULL);
1188
1189     nodes[3] = qdm2_search_subpacket_type_in_list(list, 12);
1190     if (nodes[0] != NULL && nodes[1] != NULL && nodes[3] != NULL)
1191         process_subpacket_12(q, nodes[3]);
1192     else
1193         process_subpacket_12(q, NULL);
1194 }
1195
1196
1197 /*
1198  * Decode superblock, fill packet lists.
1199  *
1200  * @param q    context
1201  */
1202 static void qdm2_decode_super_block (QDM2Context *q)
1203 {
1204     GetBitContext gb;
1205     QDM2SubPacket header, *packet;
1206     int i, packet_bytes, sub_packet_size, sub_packets_D;
1207     unsigned int next_index = 0;
1208
1209     memset(q->tone_level_idx_hi1, 0, sizeof(q->tone_level_idx_hi1));
1210     memset(q->tone_level_idx_mid, 0, sizeof(q->tone_level_idx_mid));
1211     memset(q->tone_level_idx_hi2, 0, sizeof(q->tone_level_idx_hi2));
1212
1213     q->sub_packets_B = 0;
1214     sub_packets_D = 0;
1215
1216     average_quantized_coeffs(q); // average elements in quantized_coeffs[max_ch][10][8]
1217
1218     init_get_bits(&gb, q->compressed_data, q->compressed_size*8);
1219     qdm2_decode_sub_packet_header(&gb, &header);
1220
1221     if (header.type < 2 || header.type >= 8) {
1222         q->has_errors = 1;
1223         av_log(NULL,AV_LOG_ERROR,"bad superblock type\n");
1224         return;
1225     }
1226
1227     q->superblocktype_2_3 = (header.type == 2 || header.type == 3);
1228     packet_bytes = (q->compressed_size - get_bits_count(&gb) / 8);
1229
1230     init_get_bits(&gb, header.data, header.size*8);
1231
1232     if (header.type == 2 || header.type == 4 || header.type == 5) {
1233         int csum  = 257 * get_bits(&gb, 8);
1234             csum +=   2 * get_bits(&gb, 8);
1235
1236         csum = qdm2_packet_checksum(q->compressed_data, q->checksum_size, csum);
1237
1238         if (csum != 0) {
1239             q->has_errors = 1;
1240             av_log(NULL,AV_LOG_ERROR,"bad packet checksum\n");
1241             return;
1242         }
1243     }
1244
1245     q->sub_packet_list_B[0].packet = NULL;
1246     q->sub_packet_list_D[0].packet = NULL;
1247
1248     for (i = 0; i < 6; i++)
1249         if (--q->fft_level_exp[i] < 0)
1250             q->fft_level_exp[i] = 0;
1251
1252     for (i = 0; packet_bytes > 0; i++) {
1253         int j;
1254
1255         q->sub_packet_list_A[i].next = NULL;
1256
1257         if (i > 0) {
1258             q->sub_packet_list_A[i - 1].next = &q->sub_packet_list_A[i];
1259
1260             /* seek to next block */
1261             init_get_bits(&gb, header.data, header.size*8);
1262             skip_bits(&gb, next_index*8);
1263
1264             if (next_index >= header.size)
1265                 break;
1266         }
1267
1268         /* decode subpacket */
1269         packet = &q->sub_packets[i];
1270         qdm2_decode_sub_packet_header(&gb, packet);
1271         next_index = packet->size + get_bits_count(&gb) / 8;
1272         sub_packet_size = ((packet->size > 0xff) ? 1 : 0) + packet->size + 2;
1273
1274         if (packet->type == 0)
1275             break;
1276
1277         if (sub_packet_size > packet_bytes) {
1278             if (packet->type != 10 && packet->type != 11 && packet->type != 12)
1279                 break;
1280             packet->size += packet_bytes - sub_packet_size;
1281         }
1282
1283         packet_bytes -= sub_packet_size;
1284
1285         /* add subpacket to 'all subpackets' list */
1286         q->sub_packet_list_A[i].packet = packet;
1287
1288         /* add subpacket to related list */
1289         if (packet->type == 8) {
1290             SAMPLES_NEEDED_2("packet type 8");
1291             return;
1292         } else if (packet->type >= 9 && packet->type <= 12) {
1293             /* packets for MPEG Audio like Synthesis Filter */
1294             QDM2_LIST_ADD(q->sub_packet_list_D, sub_packets_D, packet);
1295         } else if (packet->type == 13) {
1296             for (j = 0; j < 6; j++)
1297                 q->fft_level_exp[j] = get_bits(&gb, 6);
1298         } else if (packet->type == 14) {
1299             for (j = 0; j < 6; j++)
1300                 q->fft_level_exp[j] = qdm2_get_vlc(&gb, &fft_level_exp_vlc, 0, 2);
1301         } else if (packet->type == 15) {
1302             SAMPLES_NEEDED_2("packet type 15")
1303             return;
1304         } else if (packet->type >= 16 && packet->type < 48 && !fft_subpackets[packet->type - 16]) {
1305             /* packets for FFT */
1306             QDM2_LIST_ADD(q->sub_packet_list_B, q->sub_packets_B, packet);
1307         }
1308     } // Packet bytes loop
1309
1310 /* **************************************************************** */
1311     if (q->sub_packet_list_D[0].packet != NULL) {
1312         process_synthesis_subpackets(q, q->sub_packet_list_D);
1313         q->do_synth_filter = 1;
1314     } else if (q->do_synth_filter) {
1315         process_subpacket_10(q, NULL);
1316         process_subpacket_11(q, NULL);
1317         process_subpacket_12(q, NULL);
1318     }
1319 /* **************************************************************** */
1320 }
1321
1322
1323 static void qdm2_fft_init_coefficient (QDM2Context *q, int sub_packet,
1324                        int offset, int duration, int channel,
1325                        int exp, int phase)
1326 {
1327     if (q->fft_coefs_min_index[duration] < 0)
1328         q->fft_coefs_min_index[duration] = q->fft_coefs_index;
1329
1330     q->fft_coefs[q->fft_coefs_index].sub_packet = ((sub_packet >= 16) ? (sub_packet - 16) : sub_packet);
1331     q->fft_coefs[q->fft_coefs_index].channel = channel;
1332     q->fft_coefs[q->fft_coefs_index].offset = offset;
1333     q->fft_coefs[q->fft_coefs_index].exp = exp;
1334     q->fft_coefs[q->fft_coefs_index].phase = phase;
1335     q->fft_coefs_index++;
1336 }
1337
1338
1339 static void qdm2_fft_decode_tones (QDM2Context *q, int duration, GetBitContext *gb, int b)
1340 {
1341     int channel, stereo, phase, exp;
1342     int local_int_4,  local_int_8,  stereo_phase,  local_int_10;
1343     int local_int_14, stereo_exp, local_int_20, local_int_28;
1344     int n, offset;
1345
1346     local_int_4 = 0;
1347     local_int_28 = 0;
1348     local_int_20 = 2;
1349     local_int_8 = (4 - duration);
1350     local_int_10 = 1 << (q->group_order - duration - 1);
1351     offset = 1;
1352
1353     while (get_bits_left(gb)>0) {
1354         if (q->superblocktype_2_3) {
1355             while ((n = qdm2_get_vlc(gb, &vlc_tab_fft_tone_offset[local_int_8], 1, 2)) < 2) {
1356                 if (get_bits_left(gb)<0) {
1357                     if(local_int_4 < q->group_size)
1358                         av_log(0, AV_LOG_ERROR, "overread in qdm2_fft_decode_tones()\n");
1359                     return;
1360                 }
1361                 offset = 1;
1362                 if (n == 0) {
1363                     local_int_4 += local_int_10;
1364                     local_int_28 += (1 << local_int_8);
1365                 } else {
1366                     local_int_4 += 8*local_int_10;
1367                     local_int_28 += (8 << local_int_8);
1368                 }
1369             }
1370             offset += (n - 2);
1371         } else {
1372             offset += qdm2_get_vlc(gb, &vlc_tab_fft_tone_offset[local_int_8], 1, 2);
1373             while (offset >= (local_int_10 - 1)) {
1374                 offset += (1 - (local_int_10 - 1));
1375                 local_int_4  += local_int_10;
1376                 local_int_28 += (1 << local_int_8);
1377             }
1378         }
1379
1380         if (local_int_4 >= q->group_size)
1381             return;
1382
1383         local_int_14 = (offset >> local_int_8);
1384         if (local_int_14 >= FF_ARRAY_ELEMS(fft_level_index_table))
1385             return;
1386
1387         if (q->nb_channels > 1) {
1388             channel = get_bits1(gb);
1389             stereo = get_bits1(gb);
1390         } else {
1391             channel = 0;
1392             stereo = 0;
1393         }
1394
1395         exp = qdm2_get_vlc(gb, (b ? &fft_level_exp_vlc : &fft_level_exp_alt_vlc), 0, 2);
1396         exp += q->fft_level_exp[fft_level_index_table[local_int_14]];
1397         exp = (exp < 0) ? 0 : exp;
1398
1399         phase = get_bits(gb, 3);
1400         stereo_exp = 0;
1401         stereo_phase = 0;
1402
1403         if (stereo) {
1404             stereo_exp = (exp - qdm2_get_vlc(gb, &fft_stereo_exp_vlc, 0, 1));
1405             stereo_phase = (phase - qdm2_get_vlc(gb, &fft_stereo_phase_vlc, 0, 1));
1406             if (stereo_phase < 0)
1407                 stereo_phase += 8;
1408         }
1409
1410         if (q->frequency_range > (local_int_14 + 1)) {
1411             int sub_packet = (local_int_20 + local_int_28);
1412
1413             qdm2_fft_init_coefficient(q, sub_packet, offset, duration, channel, exp, phase);
1414             if (stereo)
1415                 qdm2_fft_init_coefficient(q, sub_packet, offset, duration, (1 - channel), stereo_exp, stereo_phase);
1416         }
1417
1418         offset++;
1419     }
1420 }
1421
1422
1423 static void qdm2_decode_fft_packets (QDM2Context *q)
1424 {
1425     int i, j, min, max, value, type, unknown_flag;
1426     GetBitContext gb;
1427
1428     if (q->sub_packet_list_B[0].packet == NULL)
1429         return;
1430
1431     /* reset minimum indexes for FFT coefficients */
1432     q->fft_coefs_index = 0;
1433     for (i=0; i < 5; i++)
1434         q->fft_coefs_min_index[i] = -1;
1435
1436     /* process subpackets ordered by type, largest type first */
1437     for (i = 0, max = 256; i < q->sub_packets_B; i++) {
1438         QDM2SubPacket *packet= NULL;
1439
1440         /* find subpacket with largest type less than max */
1441         for (j = 0, min = 0; j < q->sub_packets_B; j++) {
1442             value = q->sub_packet_list_B[j].packet->type;
1443             if (value > min && value < max) {
1444                 min = value;
1445                 packet = q->sub_packet_list_B[j].packet;
1446             }
1447         }
1448
1449         max = min;
1450
1451         /* check for errors (?) */
1452         if (!packet)
1453             return;
1454
1455         if (i == 0 && (packet->type < 16 || packet->type >= 48 || fft_subpackets[packet->type - 16]))
1456             return;
1457
1458         /* decode FFT tones */
1459         init_get_bits (&gb, packet->data, packet->size*8);
1460
1461         if (packet->type >= 32 && packet->type < 48 && !fft_subpackets[packet->type - 16])
1462             unknown_flag = 1;
1463         else
1464             unknown_flag = 0;
1465
1466         type = packet->type;
1467
1468         if ((type >= 17 && type < 24) || (type >= 33 && type < 40)) {
1469             int duration = q->sub_sampling + 5 - (type & 15);
1470
1471             if (duration >= 0 && duration < 4)
1472                 qdm2_fft_decode_tones(q, duration, &gb, unknown_flag);
1473         } else if (type == 31) {
1474             for (j=0; j < 4; j++)
1475                 qdm2_fft_decode_tones(q, j, &gb, unknown_flag);
1476         } else if (type == 46) {
1477             for (j=0; j < 6; j++)
1478                 q->fft_level_exp[j] = get_bits(&gb, 6);
1479             for (j=0; j < 4; j++)
1480             qdm2_fft_decode_tones(q, j, &gb, unknown_flag);
1481         }
1482     } // Loop on B packets
1483
1484     /* calculate maximum indexes for FFT coefficients */
1485     for (i = 0, j = -1; i < 5; i++)
1486         if (q->fft_coefs_min_index[i] >= 0) {
1487             if (j >= 0)
1488                 q->fft_coefs_max_index[j] = q->fft_coefs_min_index[i];
1489             j = i;
1490         }
1491     if (j >= 0)
1492         q->fft_coefs_max_index[j] = q->fft_coefs_index;
1493 }
1494
1495
1496 static void qdm2_fft_generate_tone (QDM2Context *q, FFTTone *tone)
1497 {
1498    float level, f[6];
1499    int i;
1500    QDM2Complex c;
1501    const double iscale = 2.0*M_PI / 512.0;
1502
1503     tone->phase += tone->phase_shift;
1504
1505     /* calculate current level (maximum amplitude) of tone */
1506     level = fft_tone_envelope_table[tone->duration][tone->time_index] * tone->level;
1507     c.im = level * sin(tone->phase*iscale);
1508     c.re = level * cos(tone->phase*iscale);
1509
1510     /* generate FFT coefficients for tone */
1511     if (tone->duration >= 3 || tone->cutoff >= 3) {
1512         tone->complex[0].im += c.im;
1513         tone->complex[0].re += c.re;
1514         tone->complex[1].im -= c.im;
1515         tone->complex[1].re -= c.re;
1516     } else {
1517         f[1] = -tone->table[4];
1518         f[0] =  tone->table[3] - tone->table[0];
1519         f[2] =  1.0 - tone->table[2] - tone->table[3];
1520         f[3] =  tone->table[1] + tone->table[4] - 1.0;
1521         f[4] =  tone->table[0] - tone->table[1];
1522         f[5] =  tone->table[2];
1523         for (i = 0; i < 2; i++) {
1524             tone->complex[fft_cutoff_index_table[tone->cutoff][i]].re += c.re * f[i];
1525             tone->complex[fft_cutoff_index_table[tone->cutoff][i]].im += c.im *((tone->cutoff <= i) ? -f[i] : f[i]);
1526         }
1527         for (i = 0; i < 4; i++) {
1528             tone->complex[i].re += c.re * f[i+2];
1529             tone->complex[i].im += c.im * f[i+2];
1530         }
1531     }
1532
1533     /* copy the tone if it has not yet died out */
1534     if (++tone->time_index < ((1 << (5 - tone->duration)) - 1)) {
1535       memcpy(&q->fft_tones[q->fft_tone_end], tone, sizeof(FFTTone));
1536       q->fft_tone_end = (q->fft_tone_end + 1) % 1000;
1537     }
1538 }
1539
1540
1541 static void qdm2_fft_tone_synthesizer (QDM2Context *q, int sub_packet)
1542 {
1543     int i, j, ch;
1544     const double iscale = 0.25 * M_PI;
1545
1546     for (ch = 0; ch < q->channels; ch++) {
1547         memset(q->fft.complex[ch], 0, q->fft_size * sizeof(QDM2Complex));
1548     }
1549
1550
1551     /* apply FFT tones with duration 4 (1 FFT period) */
1552     if (q->fft_coefs_min_index[4] >= 0)
1553         for (i = q->fft_coefs_min_index[4]; i < q->fft_coefs_max_index[4]; i++) {
1554             float level;
1555             QDM2Complex c;
1556
1557             if (q->fft_coefs[i].sub_packet != sub_packet)
1558                 break;
1559
1560             ch = (q->channels == 1) ? 0 : q->fft_coefs[i].channel;
1561             level = (q->fft_coefs[i].exp < 0) ? 0.0 : fft_tone_level_table[q->superblocktype_2_3 ? 0 : 1][q->fft_coefs[i].exp & 63];
1562
1563             c.re = level * cos(q->fft_coefs[i].phase * iscale);
1564             c.im = level * sin(q->fft_coefs[i].phase * iscale);
1565             q->fft.complex[ch][q->fft_coefs[i].offset + 0].re += c.re;
1566             q->fft.complex[ch][q->fft_coefs[i].offset + 0].im += c.im;
1567             q->fft.complex[ch][q->fft_coefs[i].offset + 1].re -= c.re;
1568             q->fft.complex[ch][q->fft_coefs[i].offset + 1].im -= c.im;
1569         }
1570
1571     /* generate existing FFT tones */
1572     for (i = q->fft_tone_end; i != q->fft_tone_start; ) {
1573         qdm2_fft_generate_tone(q, &q->fft_tones[q->fft_tone_start]);
1574         q->fft_tone_start = (q->fft_tone_start + 1) % 1000;
1575     }
1576
1577     /* create and generate new FFT tones with duration 0 (long) to 3 (short) */
1578     for (i = 0; i < 4; i++)
1579         if (q->fft_coefs_min_index[i] >= 0) {
1580             for (j = q->fft_coefs_min_index[i]; j < q->fft_coefs_max_index[i]; j++) {
1581                 int offset, four_i;
1582                 FFTTone tone;
1583
1584                 if (q->fft_coefs[j].sub_packet != sub_packet)
1585                     break;
1586
1587                 four_i = (4 - i);
1588                 offset = q->fft_coefs[j].offset >> four_i;
1589                 ch = (q->channels == 1) ? 0 : q->fft_coefs[j].channel;
1590
1591                 if (offset < q->frequency_range) {
1592                     if (offset < 2)
1593                         tone.cutoff = offset;
1594                     else
1595                         tone.cutoff = (offset >= 60) ? 3 : 2;
1596
1597                     tone.level = (q->fft_coefs[j].exp < 0) ? 0.0 : fft_tone_level_table[q->superblocktype_2_3 ? 0 : 1][q->fft_coefs[j].exp & 63];
1598                     tone.complex = &q->fft.complex[ch][offset];
1599                     tone.table = fft_tone_sample_table[i][q->fft_coefs[j].offset - (offset << four_i)];
1600                     tone.phase = 64 * q->fft_coefs[j].phase - (offset << 8) - 128;
1601                     tone.phase_shift = (2 * q->fft_coefs[j].offset + 1) << (7 - four_i);
1602                     tone.duration = i;
1603                     tone.time_index = 0;
1604
1605                     qdm2_fft_generate_tone(q, &tone);
1606                 }
1607             }
1608             q->fft_coefs_min_index[i] = j;
1609         }
1610 }
1611
1612
1613 static void qdm2_calculate_fft (QDM2Context *q, int channel, int sub_packet)
1614 {
1615     const float gain = (q->channels == 1 && q->nb_channels == 2) ? 0.5f : 1.0f;
1616     float *out = q->output_buffer + channel;
1617     int i;
1618     q->fft.complex[channel][0].re *= 2.0f;
1619     q->fft.complex[channel][0].im = 0.0f;
1620     q->rdft_ctx.rdft_calc(&q->rdft_ctx, (FFTSample *)q->fft.complex[channel]);
1621     /* add samples to output buffer */
1622     for (i = 0; i < FFALIGN(q->fft_size, 8); i++) {
1623         out[0]           += q->fft.complex[channel][i].re * gain;
1624         out[q->channels] += q->fft.complex[channel][i].im * gain;
1625         out += 2 * q->channels;
1626     }
1627 }
1628
1629
1630 /**
1631  * @param q        context
1632  * @param index    subpacket number
1633  */
1634 static void qdm2_synthesis_filter (QDM2Context *q, int index)
1635 {
1636     int i, k, ch, sb_used, sub_sampling, dither_state = 0;
1637
1638     /* copy sb_samples */
1639     sb_used = QDM2_SB_USED(q->sub_sampling);
1640
1641     for (ch = 0; ch < q->channels; ch++)
1642         for (i = 0; i < 8; i++)
1643             for (k=sb_used; k < SBLIMIT; k++)
1644                 q->sb_samples[ch][(8 * index) + i][k] = 0;
1645
1646     for (ch = 0; ch < q->nb_channels; ch++) {
1647         float *samples_ptr = q->samples + ch;
1648
1649         for (i = 0; i < 8; i++) {
1650             ff_mpa_synth_filter_float(&q->mpadsp,
1651                 q->synth_buf[ch], &(q->synth_buf_offset[ch]),
1652                 ff_mpa_synth_window_float, &dither_state,
1653                 samples_ptr, q->nb_channels,
1654                 q->sb_samples[ch][(8 * index) + i]);
1655             samples_ptr += 32 * q->nb_channels;
1656         }
1657     }
1658
1659     /* add samples to output buffer */
1660     sub_sampling = (4 >> q->sub_sampling);
1661
1662     for (ch = 0; ch < q->channels; ch++)
1663         for (i = 0; i < q->frame_size; i++)
1664             q->output_buffer[q->channels * i + ch] += (1 << 23) * q->samples[q->nb_channels * sub_sampling * i + ch];
1665 }
1666
1667
1668 /**
1669  * Init static data (does not depend on specific file)
1670  *
1671  * @param q    context
1672  */
1673 static av_cold void qdm2_init(QDM2Context *q) {
1674     static int initialized = 0;
1675
1676     if (initialized != 0)
1677         return;
1678     initialized = 1;
1679
1680     qdm2_init_vlc();
1681     ff_mpa_synth_init_float(ff_mpa_synth_window_float);
1682     softclip_table_init();
1683     rnd_table_init();
1684     init_noise_samples();
1685
1686     av_log(NULL, AV_LOG_DEBUG, "init done\n");
1687 }
1688
1689
1690 /**
1691  * Init parameters from codec extradata
1692  */
1693 static av_cold int qdm2_decode_init(AVCodecContext *avctx)
1694 {
1695     QDM2Context *s = avctx->priv_data;
1696     uint8_t *extradata;
1697     int extradata_size;
1698     int tmp_val, tmp, size;
1699
1700     /* extradata parsing
1701
1702     Structure:
1703     wave {
1704         frma (QDM2)
1705         QDCA
1706         QDCP
1707     }
1708
1709     32  size (including this field)
1710     32  tag (=frma)
1711     32  type (=QDM2 or QDMC)
1712
1713     32  size (including this field, in bytes)
1714     32  tag (=QDCA) // maybe mandatory parameters
1715     32  unknown (=1)
1716     32  channels (=2)
1717     32  samplerate (=44100)
1718     32  bitrate (=96000)
1719     32  block size (=4096)
1720     32  frame size (=256) (for one channel)
1721     32  packet size (=1300)
1722
1723     32  size (including this field, in bytes)
1724     32  tag (=QDCP) // maybe some tuneable parameters
1725     32  float1 (=1.0)
1726     32  zero ?
1727     32  float2 (=1.0)
1728     32  float3 (=1.0)
1729     32  unknown (27)
1730     32  unknown (8)
1731     32  zero ?
1732     */
1733
1734     if (!avctx->extradata || (avctx->extradata_size < 48)) {
1735         av_log(avctx, AV_LOG_ERROR, "extradata missing or truncated\n");
1736         return -1;
1737     }
1738
1739     extradata = avctx->extradata;
1740     extradata_size = avctx->extradata_size;
1741
1742     while (extradata_size > 7) {
1743         if (!memcmp(extradata, "frmaQDM", 7))
1744             break;
1745         extradata++;
1746         extradata_size--;
1747     }
1748
1749     if (extradata_size < 12) {
1750         av_log(avctx, AV_LOG_ERROR, "not enough extradata (%i)\n",
1751                extradata_size);
1752         return -1;
1753     }
1754
1755     if (memcmp(extradata, "frmaQDM", 7)) {
1756         av_log(avctx, AV_LOG_ERROR, "invalid headers, QDM? not found\n");
1757         return -1;
1758     }
1759
1760     if (extradata[7] == 'C') {
1761 //        s->is_qdmc = 1;
1762         av_log(avctx, AV_LOG_ERROR, "stream is QDMC version 1, which is not supported\n");
1763         return -1;
1764     }
1765
1766     extradata += 8;
1767     extradata_size -= 8;
1768
1769     size = AV_RB32(extradata);
1770
1771     if(size > extradata_size){
1772         av_log(avctx, AV_LOG_ERROR, "extradata size too small, %i < %i\n",
1773                extradata_size, size);
1774         return -1;
1775     }
1776
1777     extradata += 4;
1778     av_log(avctx, AV_LOG_DEBUG, "size: %d\n", size);
1779     if (AV_RB32(extradata) != MKBETAG('Q','D','C','A')) {
1780         av_log(avctx, AV_LOG_ERROR, "invalid extradata, expecting QDCA\n");
1781         return -1;
1782     }
1783
1784     extradata += 8;
1785
1786     avctx->channels = s->nb_channels = s->channels = AV_RB32(extradata);
1787     extradata += 4;
1788     if (s->channels <= 0 || s->channels > MPA_MAX_CHANNELS) {
1789         av_log(avctx, AV_LOG_ERROR, "Invalid number of channels\n");
1790         return AVERROR_INVALIDDATA;
1791     }
1792     avctx->channel_layout = avctx->channels == 2 ? AV_CH_LAYOUT_STEREO :
1793                                                    AV_CH_LAYOUT_MONO;
1794
1795     avctx->sample_rate = AV_RB32(extradata);
1796     extradata += 4;
1797
1798     avctx->bit_rate = AV_RB32(extradata);
1799     extradata += 4;
1800
1801     s->group_size = AV_RB32(extradata);
1802     extradata += 4;
1803
1804     s->fft_size = AV_RB32(extradata);
1805     extradata += 4;
1806
1807     s->checksum_size = AV_RB32(extradata);
1808     if (s->checksum_size >= 1U << 28) {
1809         av_log(avctx, AV_LOG_ERROR, "data block size too large (%u)\n", s->checksum_size);
1810         return AVERROR_INVALIDDATA;
1811     }
1812
1813     s->fft_order = av_log2(s->fft_size) + 1;
1814
1815     // something like max decodable tones
1816     s->group_order = av_log2(s->group_size) + 1;
1817     s->frame_size = s->group_size / 16; // 16 iterations per super block
1818
1819     if (s->frame_size > QDM2_MAX_FRAME_SIZE)
1820         return AVERROR_INVALIDDATA;
1821
1822     s->sub_sampling = s->fft_order - 7;
1823     s->frequency_range = 255 / (1 << (2 - s->sub_sampling));
1824
1825     switch ((s->sub_sampling * 2 + s->channels - 1)) {
1826         case 0: tmp = 40; break;
1827         case 1: tmp = 48; break;
1828         case 2: tmp = 56; break;
1829         case 3: tmp = 72; break;
1830         case 4: tmp = 80; break;
1831         case 5: tmp = 100;break;
1832         default: tmp=s->sub_sampling; break;
1833     }
1834     tmp_val = 0;
1835     if ((tmp * 1000) < avctx->bit_rate)  tmp_val = 1;
1836     if ((tmp * 1440) < avctx->bit_rate)  tmp_val = 2;
1837     if ((tmp * 1760) < avctx->bit_rate)  tmp_val = 3;
1838     if ((tmp * 2240) < avctx->bit_rate)  tmp_val = 4;
1839     s->cm_table_select = tmp_val;
1840
1841     if (s->sub_sampling == 0)
1842         tmp = 7999;
1843     else
1844         tmp = ((-(s->sub_sampling -1)) & 8000) + 20000;
1845     /*
1846     0: 7999 -> 0
1847     1: 20000 -> 2
1848     2: 28000 -> 2
1849     */
1850     if (tmp < 8000)
1851         s->coeff_per_sb_select = 0;
1852     else if (tmp <= 16000)
1853         s->coeff_per_sb_select = 1;
1854     else
1855         s->coeff_per_sb_select = 2;
1856
1857     // Fail on unknown fft order
1858     if ((s->fft_order < 7) || (s->fft_order > 9)) {
1859         av_log(avctx, AV_LOG_ERROR, "Unknown FFT order (%d), contact the developers!\n", s->fft_order);
1860         return -1;
1861     }
1862
1863     ff_rdft_init(&s->rdft_ctx, s->fft_order, IDFT_C2R);
1864     ff_mpadsp_init(&s->mpadsp);
1865
1866     qdm2_init(s);
1867
1868     avctx->sample_fmt = AV_SAMPLE_FMT_S16;
1869
1870     avcodec_get_frame_defaults(&s->frame);
1871     avctx->coded_frame = &s->frame;
1872
1873     return 0;
1874 }
1875
1876
1877 static av_cold int qdm2_decode_close(AVCodecContext *avctx)
1878 {
1879     QDM2Context *s = avctx->priv_data;
1880
1881     ff_rdft_end(&s->rdft_ctx);
1882
1883     return 0;
1884 }
1885
1886
1887 static int qdm2_decode (QDM2Context *q, const uint8_t *in, int16_t *out)
1888 {
1889     int ch, i;
1890     const int frame_size = (q->frame_size * q->channels);
1891
1892     if((unsigned)frame_size > FF_ARRAY_ELEMS(q->output_buffer)/2)
1893         return -1;
1894
1895     /* select input buffer */
1896     q->compressed_data = in;
1897     q->compressed_size = q->checksum_size;
1898
1899     /* copy old block, clear new block of output samples */
1900     memmove(q->output_buffer, &q->output_buffer[frame_size], frame_size * sizeof(float));
1901     memset(&q->output_buffer[frame_size], 0, frame_size * sizeof(float));
1902
1903     /* decode block of QDM2 compressed data */
1904     if (q->sub_packet == 0) {
1905         q->has_errors = 0; // zero it for a new super block
1906         av_log(NULL,AV_LOG_DEBUG,"Superblock follows\n");
1907         qdm2_decode_super_block(q);
1908     }
1909
1910     /* parse subpackets */
1911     if (!q->has_errors) {
1912         if (q->sub_packet == 2)
1913             qdm2_decode_fft_packets(q);
1914
1915         qdm2_fft_tone_synthesizer(q, q->sub_packet);
1916     }
1917
1918     /* sound synthesis stage 1 (FFT) */
1919     for (ch = 0; ch < q->channels; ch++) {
1920         qdm2_calculate_fft(q, ch, q->sub_packet);
1921
1922         if (!q->has_errors && q->sub_packet_list_C[0].packet != NULL) {
1923             SAMPLES_NEEDED_2("has errors, and C list is not empty")
1924             return -1;
1925         }
1926     }
1927
1928     /* sound synthesis stage 2 (MPEG audio like synthesis filter) */
1929     if (!q->has_errors && q->do_synth_filter)
1930         qdm2_synthesis_filter(q, q->sub_packet);
1931
1932     q->sub_packet = (q->sub_packet + 1) % 16;
1933
1934     /* clip and convert output float[] to 16bit signed samples */
1935     for (i = 0; i < frame_size; i++) {
1936         int value = (int)q->output_buffer[i];
1937
1938         if (value > SOFTCLIP_THRESHOLD)
1939             value = (value >  HARDCLIP_THRESHOLD) ?  32767 :  softclip_table[ value - SOFTCLIP_THRESHOLD];
1940         else if (value < -SOFTCLIP_THRESHOLD)
1941             value = (value < -HARDCLIP_THRESHOLD) ? -32767 : -softclip_table[-value - SOFTCLIP_THRESHOLD];
1942
1943         out[i] = value;
1944     }
1945
1946     return 0;
1947 }
1948
1949
1950 static int qdm2_decode_frame(AVCodecContext *avctx, void *data,
1951                              int *got_frame_ptr, AVPacket *avpkt)
1952 {
1953     const uint8_t *buf = avpkt->data;
1954     int buf_size = avpkt->size;
1955     QDM2Context *s = avctx->priv_data;
1956     int16_t *out;
1957     int i, ret;
1958
1959     if(!buf)
1960         return 0;
1961     if(buf_size < s->checksum_size)
1962         return -1;
1963
1964     /* get output buffer */
1965     s->frame.nb_samples = 16 * s->frame_size;
1966     if ((ret = avctx->get_buffer(avctx, &s->frame)) < 0) {
1967         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
1968         return ret;
1969     }
1970     out = (int16_t *)s->frame.data[0];
1971
1972     for (i = 0; i < 16; i++) {
1973         if (qdm2_decode(s, buf, out) < 0)
1974             return -1;
1975         out += s->channels * s->frame_size;
1976     }
1977
1978     *got_frame_ptr   = 1;
1979     *(AVFrame *)data = s->frame;
1980
1981     return s->checksum_size;
1982 }
1983
1984 AVCodec ff_qdm2_decoder =
1985 {
1986     .name           = "qdm2",
1987     .type           = AVMEDIA_TYPE_AUDIO,
1988     .id             = AV_CODEC_ID_QDM2,
1989     .priv_data_size = sizeof(QDM2Context),
1990     .init           = qdm2_decode_init,
1991     .close          = qdm2_decode_close,
1992     .decode         = qdm2_decode_frame,
1993     .capabilities   = CODEC_CAP_DR1,
1994     .long_name      = NULL_IF_CONFIG_SMALL("QDesign Music Codec 2"),
1995 };