]> git.sesse.net Git - ffmpeg/blob - libavcodec/vp5.c
Close gaping sechole. That is, a series of run=0 allows arbitrary data to
[ffmpeg] / libavcodec / vp5.c
1 /**
2  * @file vp5.c
3  * VP5 compatible video decoder
4  *
5  * Copyright (C) 2006  Aurelien Jacobs <aurel@gnuage.org>
6  *
7  * This file is part of FFmpeg.
8  *
9  * FFmpeg is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * FFmpeg is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with FFmpeg; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 #include <stdlib.h>
25 #include <string.h>
26
27 #include "avcodec.h"
28 #include "dsputil.h"
29 #include "bitstream.h"
30
31 #include "vp56.h"
32 #include "vp56data.h"
33 #include "vp5data.h"
34
35
36 static int vp5_parse_header(VP56Context *s, const uint8_t *buf, int buf_size,
37                             int *golden_frame)
38 {
39     VP56RangeCoder *c = &s->c;
40     int rows, cols;
41
42     vp56_init_range_decoder(&s->c, buf, buf_size);
43     s->framep[VP56_FRAME_CURRENT]->key_frame = !vp56_rac_get(c);
44     vp56_rac_get(c);
45     vp56_init_dequant(s, vp56_rac_gets(c, 6));
46     if (s->framep[VP56_FRAME_CURRENT]->key_frame)
47     {
48         vp56_rac_gets(c, 8);
49         if(vp56_rac_gets(c, 5) > 5)
50             return 0;
51         vp56_rac_gets(c, 2);
52         if (vp56_rac_get(c)) {
53             av_log(s->avctx, AV_LOG_ERROR, "interlacing not supported\n");
54             return 0;
55         }
56         rows = vp56_rac_gets(c, 8);  /* number of stored macroblock rows */
57         cols = vp56_rac_gets(c, 8);  /* number of stored macroblock cols */
58         vp56_rac_gets(c, 8);  /* number of displayed macroblock rows */
59         vp56_rac_gets(c, 8);  /* number of displayed macroblock cols */
60         vp56_rac_gets(c, 2);
61         if (!s->macroblocks || /* first frame */
62             16*cols != s->avctx->coded_width ||
63             16*rows != s->avctx->coded_height) {
64             avcodec_set_dimensions(s->avctx, 16*cols, 16*rows);
65             return 2;
66         }
67     }
68     return 1;
69 }
70
71 /* Gives very similar result than the vp6 version except in a few cases */
72 static int vp5_adjust(int v, int t)
73 {
74     int s2, s1 = v >> 31;
75     v ^= s1;
76     v -= s1;
77     v *= v < 2*t;
78     v -= t;
79     s2 = v >> 31;
80     v ^= s2;
81     v -= s2;
82     v = t - v;
83     v += s1;
84     v ^= s1;
85     return v;
86 }
87
88 static void vp5_parse_vector_adjustment(VP56Context *s, VP56mv *vect)
89 {
90     VP56RangeCoder *c = &s->c;
91     VP56Model *model = s->modelp;
92     int comp, di;
93
94     for (comp=0; comp<2; comp++) {
95         int delta = 0;
96         if (vp56_rac_get_prob(c, model->vector_dct[comp])) {
97             int sign = vp56_rac_get_prob(c, model->vector_sig[comp]);
98             di  = vp56_rac_get_prob(c, model->vector_pdi[comp][0]);
99             di |= vp56_rac_get_prob(c, model->vector_pdi[comp][1]) << 1;
100             delta = vp56_rac_get_tree(c, vp56_pva_tree,
101                                       model->vector_pdv[comp]);
102             delta = di | (delta << 2);
103             delta = (delta ^ -sign) + sign;
104         }
105         if (!comp)
106             vect->x = delta;
107         else
108             vect->y = delta;
109     }
110 }
111
112 static void vp5_parse_vector_models(VP56Context *s)
113 {
114     VP56RangeCoder *c = &s->c;
115     VP56Model *model = s->modelp;
116     int comp, node;
117
118     for (comp=0; comp<2; comp++) {
119         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][0]))
120             model->vector_dct[comp] = vp56_rac_gets_nn(c, 7);
121         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][1]))
122             model->vector_sig[comp] = vp56_rac_gets_nn(c, 7);
123         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][2]))
124             model->vector_pdi[comp][0] = vp56_rac_gets_nn(c, 7);
125         if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][3]))
126             model->vector_pdi[comp][1] = vp56_rac_gets_nn(c, 7);
127     }
128
129     for (comp=0; comp<2; comp++)
130         for (node=0; node<7; node++)
131             if (vp56_rac_get_prob(c, vp5_vmc_pct[comp][4 + node]))
132                 model->vector_pdv[comp][node] = vp56_rac_gets_nn(c, 7);
133 }
134
135 static void vp5_parse_coeff_models(VP56Context *s)
136 {
137     VP56RangeCoder *c = &s->c;
138     VP56Model *model = s->modelp;
139     uint8_t def_prob[11];
140     int node, cg, ctx;
141     int ct;    /* code type */
142     int pt;    /* plane type (0 for Y, 1 for U or V) */
143
144     memset(def_prob, 0x80, sizeof(def_prob));
145
146     for (pt=0; pt<2; pt++)
147         for (node=0; node<11; node++)
148             if (vp56_rac_get_prob(c, vp5_dccv_pct[pt][node])) {
149                 def_prob[node] = vp56_rac_gets_nn(c, 7);
150                 model->coeff_dccv[pt][node] = def_prob[node];
151             } else if (s->framep[VP56_FRAME_CURRENT]->key_frame) {
152                 model->coeff_dccv[pt][node] = def_prob[node];
153             }
154
155     for (ct=0; ct<3; ct++)
156         for (pt=0; pt<2; pt++)
157             for (cg=0; cg<6; cg++)
158                 for (node=0; node<11; node++)
159                     if (vp56_rac_get_prob(c, vp5_ract_pct[ct][pt][cg][node])) {
160                         def_prob[node] = vp56_rac_gets_nn(c, 7);
161                         model->coeff_ract[pt][ct][cg][node] = def_prob[node];
162                     } else if (s->framep[VP56_FRAME_CURRENT]->key_frame) {
163                         model->coeff_ract[pt][ct][cg][node] = def_prob[node];
164                     }
165
166     /* coeff_dcct is a linear combination of coeff_dccv */
167     for (pt=0; pt<2; pt++)
168         for (ctx=0; ctx<36; ctx++)
169             for (node=0; node<5; node++)
170                 model->coeff_dcct[pt][ctx][node] = av_clip(((model->coeff_dccv[pt][node] * vp5_dccv_lc[node][ctx][0] + 128) >> 8) + vp5_dccv_lc[node][ctx][1], 1, 254);
171
172     /* coeff_acct is a linear combination of coeff_ract */
173     for (ct=0; ct<3; ct++)
174         for (pt=0; pt<2; pt++)
175             for (cg=0; cg<3; cg++)
176                 for (ctx=0; ctx<6; ctx++)
177                     for (node=0; node<5; node++)
178                         model->coeff_acct[pt][ct][cg][ctx][node] = av_clip(((model->coeff_ract[pt][ct][cg][node] * vp5_ract_lc[ct][cg][node][ctx][0] + 128) >> 8) + vp5_ract_lc[ct][cg][node][ctx][1], 1, 254);
179 }
180
181 static void vp5_parse_coeff(VP56Context *s)
182 {
183     VP56RangeCoder *c = &s->c;
184     VP56Model *model = s->modelp;
185     uint8_t *permute = s->scantable.permutated;
186     uint8_t *model1, *model2;
187     int coeff, sign, coeff_idx;
188     int b, i, cg, idx, ctx, ctx_last;
189     int pt = 0;    /* plane type (0 for Y, 1 for U or V) */
190
191     for (b=0; b<6; b++) {
192         int ct = 1;    /* code type */
193
194         if (b > 3) pt = 1;
195
196         ctx = 6*s->coeff_ctx[vp56_b6to4[b]][0]
197               + s->above_blocks[s->above_block_idx[b]].not_null_dc;
198         model1 = model->coeff_dccv[pt];
199         model2 = model->coeff_dcct[pt][ctx];
200
201         for (coeff_idx=0; coeff_idx<64; ) {
202             if (vp56_rac_get_prob(c, model2[0])) {
203                 if (vp56_rac_get_prob(c, model2[2])) {
204                     if (vp56_rac_get_prob(c, model2[3])) {
205                         s->coeff_ctx[vp56_b6to4[b]][coeff_idx] = 4;
206                         idx = vp56_rac_get_tree(c, vp56_pc_tree, model1);
207                         sign = vp56_rac_get(c);
208                         coeff = vp56_coeff_bias[idx+5];
209                         for (i=vp56_coeff_bit_length[idx]; i>=0; i--)
210                             coeff += vp56_rac_get_prob(c, vp56_coeff_parse_table[idx][i]) << i;
211                     } else {
212                         if (vp56_rac_get_prob(c, model2[4])) {
213                             coeff = 3 + vp56_rac_get_prob(c, model1[5]);
214                             s->coeff_ctx[vp56_b6to4[b]][coeff_idx] = 3;
215                         } else {
216                             coeff = 2;
217                             s->coeff_ctx[vp56_b6to4[b]][coeff_idx] = 2;
218                         }
219                         sign = vp56_rac_get(c);
220                     }
221                     ct = 2;
222                 } else {
223                     ct = 1;
224                     s->coeff_ctx[vp56_b6to4[b]][coeff_idx] = 1;
225                     sign = vp56_rac_get(c);
226                     coeff = 1;
227                 }
228                 coeff = (coeff ^ -sign) + sign;
229                 if (coeff_idx)
230                     coeff *= s->dequant_ac;
231                 s->block_coeff[b][permute[coeff_idx]] = coeff;
232             } else {
233                 if (ct && !vp56_rac_get_prob(c, model2[1]))
234                     break;
235                 ct = 0;
236                 s->coeff_ctx[vp56_b6to4[b]][coeff_idx] = 0;
237             }
238
239             cg = vp5_coeff_groups[++coeff_idx];
240             ctx = s->coeff_ctx[vp56_b6to4[b]][coeff_idx];
241             model1 = model->coeff_ract[pt][ct][cg];
242             model2 = cg > 2 ? model1 : model->coeff_acct[pt][ct][cg][ctx];
243         }
244
245         ctx_last = FFMIN(s->coeff_ctx_last[vp56_b6to4[b]], 24);
246         s->coeff_ctx_last[vp56_b6to4[b]] = coeff_idx;
247         if (coeff_idx < ctx_last)
248             for (i=coeff_idx; i<=ctx_last; i++)
249                 s->coeff_ctx[vp56_b6to4[b]][i] = 5;
250         s->above_blocks[s->above_block_idx[b]].not_null_dc = s->coeff_ctx[vp56_b6to4[b]][0];
251     }
252 }
253
254 static void vp5_default_models_init(VP56Context *s)
255 {
256     VP56Model *model = s->modelp;
257     int i;
258
259     for (i=0; i<2; i++) {
260         model->vector_sig[i] = 0x80;
261         model->vector_dct[i] = 0x80;
262         model->vector_pdi[i][0] = 0x55;
263         model->vector_pdi[i][1] = 0x80;
264     }
265     memcpy(model->mb_types_stats, vp56_def_mb_types_stats, sizeof(model->mb_types_stats));
266     memset(model->vector_pdv, 0x80, sizeof(model->vector_pdv));
267 }
268
269 static av_cold int vp5_decode_init(AVCodecContext *avctx)
270 {
271     VP56Context *s = avctx->priv_data;
272
273     vp56_init(avctx, 1, 0);
274     s->vp56_coord_div = vp5_coord_div;
275     s->parse_vector_adjustment = vp5_parse_vector_adjustment;
276     s->adjust = vp5_adjust;
277     s->parse_coeff = vp5_parse_coeff;
278     s->default_models_init = vp5_default_models_init;
279     s->parse_vector_models = vp5_parse_vector_models;
280     s->parse_coeff_models = vp5_parse_coeff_models;
281     s->parse_header = vp5_parse_header;
282
283     return 0;
284 }
285
286 AVCodec vp5_decoder = {
287     "vp5",
288     CODEC_TYPE_VIDEO,
289     CODEC_ID_VP5,
290     sizeof(VP56Context),
291     vp5_decode_init,
292     NULL,
293     vp56_free,
294     vp56_decode_frame,
295     CODEC_CAP_DR1,
296     .long_name = NULL_IF_CONFIG_SMALL("On2 VP5"),
297 };