]> git.sesse.net Git - ffmpeg/blob - libavcodec/asvdec.c
parser: fix large overreads
[ffmpeg] / libavcodec / asvdec.c
1 /*
2  * Copyright (c) 2003 Michael Niedermayer
3  *
4  * This file is part of Libav.
5  *
6  * Libav is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * Libav is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with Libav; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 /**
22  * @file
23  * ASUS V1/V2 decoder.
24  */
25
26 #include "libavutil/attributes.h"
27 #include "libavutil/mem.h"
28
29 #include "asv.h"
30 #include "avcodec.h"
31 #include "put_bits.h"
32 #include "dsputil.h"
33 #include "internal.h"
34 #include "mathops.h"
35 #include "mpeg12data.h"
36
37 //#undef NDEBUG
38 //#include <assert.h>
39
40 #define VLC_BITS 6
41 #define ASV2_LEVEL_VLC_BITS 10
42
43 static VLC ccp_vlc;
44 static VLC level_vlc;
45 static VLC dc_ccp_vlc;
46 static VLC ac_ccp_vlc;
47 static VLC asv2_level_vlc;
48
49 static av_cold void init_vlcs(ASV1Context *a){
50     static int done = 0;
51
52     if (!done) {
53         done = 1;
54
55         INIT_VLC_STATIC(&ccp_vlc, VLC_BITS, 17,
56                  &ff_asv_ccp_tab[0][1], 2, 1,
57                  &ff_asv_ccp_tab[0][0], 2, 1, 64);
58         INIT_VLC_STATIC(&dc_ccp_vlc, VLC_BITS, 8,
59                  &ff_asv_dc_ccp_tab[0][1], 2, 1,
60                  &ff_asv_dc_ccp_tab[0][0], 2, 1, 64);
61         INIT_VLC_STATIC(&ac_ccp_vlc, VLC_BITS, 16,
62                  &ff_asv_ac_ccp_tab[0][1], 2, 1,
63                  &ff_asv_ac_ccp_tab[0][0], 2, 1, 64);
64         INIT_VLC_STATIC(&level_vlc,  VLC_BITS, 7,
65                  &ff_asv_level_tab[0][1], 2, 1,
66                  &ff_asv_level_tab[0][0], 2, 1, 64);
67         INIT_VLC_STATIC(&asv2_level_vlc, ASV2_LEVEL_VLC_BITS, 63,
68                  &ff_asv2_level_tab[0][1], 2, 1,
69                  &ff_asv2_level_tab[0][0], 2, 1, 1024);
70     }
71 }
72
73 //FIXME write a reversed bitstream reader to avoid the double reverse
74 static inline int asv2_get_bits(GetBitContext *gb, int n){
75     return ff_reverse[ get_bits(gb, n) << (8-n) ];
76 }
77
78 static inline int asv1_get_level(GetBitContext *gb){
79     int code= get_vlc2(gb, level_vlc.table, VLC_BITS, 1);
80
81     if(code==3) return get_sbits(gb, 8);
82     else        return code - 3;
83 }
84
85 static inline int asv2_get_level(GetBitContext *gb){
86     int code= get_vlc2(gb, asv2_level_vlc.table, ASV2_LEVEL_VLC_BITS, 1);
87
88     if(code==31) return (int8_t)asv2_get_bits(gb, 8);
89     else         return code - 31;
90 }
91
92 static inline int asv1_decode_block(ASV1Context *a, DCTELEM block[64]){
93     int i;
94
95     block[0]= 8*get_bits(&a->gb, 8);
96
97     for(i=0; i<11; i++){
98         const int ccp= get_vlc2(&a->gb, ccp_vlc.table, VLC_BITS, 1);
99
100         if(ccp){
101             if(ccp == 16) break;
102             if(ccp < 0 || i>=10){
103                 av_log(a->avctx, AV_LOG_ERROR, "coded coeff pattern damaged\n");
104                 return -1;
105             }
106
107             if(ccp&8) block[a->scantable.permutated[4*i+0]]= (asv1_get_level(&a->gb) * a->intra_matrix[4*i+0])>>4;
108             if(ccp&4) block[a->scantable.permutated[4*i+1]]= (asv1_get_level(&a->gb) * a->intra_matrix[4*i+1])>>4;
109             if(ccp&2) block[a->scantable.permutated[4*i+2]]= (asv1_get_level(&a->gb) * a->intra_matrix[4*i+2])>>4;
110             if(ccp&1) block[a->scantable.permutated[4*i+3]]= (asv1_get_level(&a->gb) * a->intra_matrix[4*i+3])>>4;
111         }
112     }
113
114     return 0;
115 }
116
117 static inline int asv2_decode_block(ASV1Context *a, DCTELEM block[64]){
118     int i, count, ccp;
119
120     count= asv2_get_bits(&a->gb, 4);
121
122     block[0]= 8*asv2_get_bits(&a->gb, 8);
123
124     ccp= get_vlc2(&a->gb, dc_ccp_vlc.table, VLC_BITS, 1);
125     if(ccp){
126         if(ccp&4) block[a->scantable.permutated[1]]= (asv2_get_level(&a->gb) * a->intra_matrix[1])>>4;
127         if(ccp&2) block[a->scantable.permutated[2]]= (asv2_get_level(&a->gb) * a->intra_matrix[2])>>4;
128         if(ccp&1) block[a->scantable.permutated[3]]= (asv2_get_level(&a->gb) * a->intra_matrix[3])>>4;
129     }
130
131     for(i=1; i<count+1; i++){
132         const int ccp= get_vlc2(&a->gb, ac_ccp_vlc.table, VLC_BITS, 1);
133
134         if(ccp){
135             if(ccp&8) block[a->scantable.permutated[4*i+0]]= (asv2_get_level(&a->gb) * a->intra_matrix[4*i+0])>>4;
136             if(ccp&4) block[a->scantable.permutated[4*i+1]]= (asv2_get_level(&a->gb) * a->intra_matrix[4*i+1])>>4;
137             if(ccp&2) block[a->scantable.permutated[4*i+2]]= (asv2_get_level(&a->gb) * a->intra_matrix[4*i+2])>>4;
138             if(ccp&1) block[a->scantable.permutated[4*i+3]]= (asv2_get_level(&a->gb) * a->intra_matrix[4*i+3])>>4;
139         }
140     }
141
142     return 0;
143 }
144
145 static inline int decode_mb(ASV1Context *a, DCTELEM block[6][64]){
146     int i;
147
148     a->dsp.clear_blocks(block[0]);
149
150     if(a->avctx->codec_id == AV_CODEC_ID_ASV1){
151         for(i=0; i<6; i++){
152             if( asv1_decode_block(a, block[i]) < 0)
153                 return -1;
154         }
155     }else{
156         for(i=0; i<6; i++){
157             if( asv2_decode_block(a, block[i]) < 0)
158                 return -1;
159         }
160     }
161     return 0;
162 }
163
164 static inline void idct_put(ASV1Context *a, int mb_x, int mb_y){
165     DCTELEM (*block)[64]= a->block;
166     int linesize= a->picture.linesize[0];
167
168     uint8_t *dest_y  = a->picture.data[0] + (mb_y * 16* linesize              ) + mb_x * 16;
169     uint8_t *dest_cb = a->picture.data[1] + (mb_y * 8 * a->picture.linesize[1]) + mb_x * 8;
170     uint8_t *dest_cr = a->picture.data[2] + (mb_y * 8 * a->picture.linesize[2]) + mb_x * 8;
171
172     a->dsp.idct_put(dest_y                 , linesize, block[0]);
173     a->dsp.idct_put(dest_y              + 8, linesize, block[1]);
174     a->dsp.idct_put(dest_y + 8*linesize    , linesize, block[2]);
175     a->dsp.idct_put(dest_y + 8*linesize + 8, linesize, block[3]);
176
177     if(!(a->avctx->flags&CODEC_FLAG_GRAY)){
178         a->dsp.idct_put(dest_cb, a->picture.linesize[1], block[4]);
179         a->dsp.idct_put(dest_cr, a->picture.linesize[2], block[5]);
180     }
181 }
182
183 static int decode_frame(AVCodecContext *avctx,
184                         void *data, int *got_frame,
185                         AVPacket *avpkt)
186 {
187     const uint8_t *buf = avpkt->data;
188     int buf_size = avpkt->size;
189     ASV1Context * const a = avctx->priv_data;
190     AVFrame *picture = data;
191     AVFrame * const p= &a->picture;
192     int mb_x, mb_y;
193
194     if(p->data[0])
195         avctx->release_buffer(avctx, p);
196
197     p->reference= 0;
198     if(ff_get_buffer(avctx, p) < 0){
199         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
200         return -1;
201     }
202     p->pict_type= AV_PICTURE_TYPE_I;
203     p->key_frame= 1;
204
205     av_fast_padded_malloc(&a->bitstream_buffer, &a->bitstream_buffer_size,
206                           buf_size);
207     if (!a->bitstream_buffer)
208         return AVERROR(ENOMEM);
209
210     if(avctx->codec_id == AV_CODEC_ID_ASV1)
211         a->dsp.bswap_buf((uint32_t*)a->bitstream_buffer, (const uint32_t*)buf, buf_size/4);
212     else{
213         int i;
214         for(i=0; i<buf_size; i++)
215             a->bitstream_buffer[i]= ff_reverse[ buf[i] ];
216     }
217
218     init_get_bits(&a->gb, a->bitstream_buffer, buf_size*8);
219
220     for(mb_y=0; mb_y<a->mb_height2; mb_y++){
221         for(mb_x=0; mb_x<a->mb_width2; mb_x++){
222             if( decode_mb(a, a->block) <0)
223                 return -1;
224
225             idct_put(a, mb_x, mb_y);
226         }
227     }
228
229     if(a->mb_width2 != a->mb_width){
230         mb_x= a->mb_width2;
231         for(mb_y=0; mb_y<a->mb_height2; mb_y++){
232             if( decode_mb(a, a->block) <0)
233                 return -1;
234
235             idct_put(a, mb_x, mb_y);
236         }
237     }
238
239     if(a->mb_height2 != a->mb_height){
240         mb_y= a->mb_height2;
241         for(mb_x=0; mb_x<a->mb_width; mb_x++){
242             if( decode_mb(a, a->block) <0)
243                 return -1;
244
245             idct_put(a, mb_x, mb_y);
246         }
247     }
248
249     *picture   = a->picture;
250     *got_frame = 1;
251
252     emms_c();
253
254     return (get_bits_count(&a->gb)+31)/32*4;
255 }
256
257 static av_cold int decode_init(AVCodecContext *avctx){
258     ASV1Context * const a = avctx->priv_data;
259     AVFrame *p= &a->picture;
260     int i;
261     const int scale= avctx->codec_id == AV_CODEC_ID_ASV1 ? 1 : 2;
262
263     ff_asv_common_init(avctx);
264     init_vlcs(a);
265     ff_init_scantable(a->dsp.idct_permutation, &a->scantable, ff_asv_scantab);
266     avctx->pix_fmt= AV_PIX_FMT_YUV420P;
267
268     a->inv_qscale= avctx->extradata[0];
269     if(a->inv_qscale == 0){
270         av_log(avctx, AV_LOG_ERROR, "illegal qscale 0\n");
271         if(avctx->codec_id == AV_CODEC_ID_ASV1)
272             a->inv_qscale= 6;
273         else
274             a->inv_qscale= 10;
275     }
276
277     for(i=0; i<64; i++){
278         int index = ff_asv_scantab[i];
279
280         a->intra_matrix[i]= 64*scale*ff_mpeg1_default_intra_matrix[index] / a->inv_qscale;
281     }
282
283     p->qstride= a->mb_width;
284     p->qscale_table= av_malloc( p->qstride * a->mb_height);
285     p->quality= (32*scale + a->inv_qscale/2)/a->inv_qscale;
286     memset(p->qscale_table, p->quality, p->qstride*a->mb_height);
287
288     return 0;
289 }
290
291 static av_cold int decode_end(AVCodecContext *avctx){
292     ASV1Context * const a = avctx->priv_data;
293
294     av_freep(&a->bitstream_buffer);
295     av_freep(&a->picture.qscale_table);
296     a->bitstream_buffer_size=0;
297
298     if(a->picture.data[0])
299         avctx->release_buffer(avctx, &a->picture);
300
301     return 0;
302 }
303
304 AVCodec ff_asv1_decoder = {
305     .name           = "asv1",
306     .type           = AVMEDIA_TYPE_VIDEO,
307     .id             = AV_CODEC_ID_ASV1,
308     .priv_data_size = sizeof(ASV1Context),
309     .init           = decode_init,
310     .close          = decode_end,
311     .decode         = decode_frame,
312     .capabilities   = CODEC_CAP_DR1,
313     .long_name      = NULL_IF_CONFIG_SMALL("ASUS V1"),
314 };
315
316 AVCodec ff_asv2_decoder = {
317     .name           = "asv2",
318     .type           = AVMEDIA_TYPE_VIDEO,
319     .id             = AV_CODEC_ID_ASV2,
320     .priv_data_size = sizeof(ASV1Context),
321     .init           = decode_init,
322     .close          = decode_end,
323     .decode         = decode_frame,
324     .capabilities   = CODEC_CAP_DR1,
325     .long_name      = NULL_IF_CONFIG_SMALL("ASUS V2"),
326 };
327