]> git.sesse.net Git - ffmpeg/blob - libavcodec/rv30.c
Close gaping sechole. That is, a series of run=0 allows arbitrary data to
[ffmpeg] / libavcodec / rv30.c
1 /*
2  * RV30 decoder
3  * Copyright (c) 2007 Konstantin Shishkov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file rv30.c
24  * RV30 decoder
25  */
26
27 #include "avcodec.h"
28 #include "dsputil.h"
29 #include "mpegvideo.h"
30 #include "golomb.h"
31
32 #include "rv34.h"
33 #include "rv30data.h"
34
35
36 static int rv30_parse_slice_header(RV34DecContext *r, GetBitContext *gb, SliceInfo *si)
37 {
38     int mb_bits;
39     int w = r->s.width, h = r->s.height;
40     int mb_size;
41
42     memset(si, 0, sizeof(SliceInfo));
43     if(get_bits(gb, 3))
44         return -1;
45     si->type = get_bits(gb, 2);
46     if(si->type == 1) si->type = 0;
47     if(get_bits1(gb))
48         return -1;
49     si->quant = get_bits(gb, 5);
50     skip_bits1(gb);
51     si->pts = get_bits(gb, 13);
52     skip_bits(gb, r->rpr);
53     si->width  = w;
54     si->height = h;
55     mb_size = ((w + 15) >> 4) * ((h + 15) >> 4);
56     mb_bits = ff_rv34_get_start_offset(gb, mb_size);
57     si->start = get_bits(gb, mb_bits);
58     skip_bits1(gb);
59     return 0;
60 }
61
62 /**
63  * Decode 4x4 intra types array.
64  */
65 static int rv30_decode_intra_types(RV34DecContext *r, GetBitContext *gb, int8_t *dst)
66 {
67     int i, j, k;
68
69     for(i = 0; i < 4; i++, dst += r->s.b4_stride - 4){
70         for(j = 0; j < 4; j+= 2){
71             int code = svq3_get_ue_golomb(gb) << 1;
72             if(code >= 81*2){
73                 av_log(r->s.avctx, AV_LOG_ERROR, "Incorrect intra prediction code\n");
74                 return -1;
75             }
76             for(k = 0; k < 2; k++){
77                 int A = dst[-r->s.b4_stride] + 1;
78                 int B = dst[-1] + 1;
79                 *dst++ = rv30_itype_from_context[A * 90 + B * 9 + rv30_itype_code[code + k]];
80                 if(dst[-1] == 9){
81                     av_log(r->s.avctx, AV_LOG_ERROR, "Incorrect intra prediction mode\n");
82                     return -1;
83                 }
84             }
85         }
86     }
87     return 0;
88 }
89
90 /**
91  * Decode macroblock information.
92  */
93 static int rv30_decode_mb_info(RV34DecContext *r)
94 {
95     static const int rv30_p_types[6] = { RV34_MB_SKIP, RV34_MB_P_16x16, RV34_MB_P_8x8, -1, RV34_MB_TYPE_INTRA, RV34_MB_TYPE_INTRA16x16 };
96     static const int rv30_b_types[6] = { RV34_MB_SKIP, RV34_MB_B_DIRECT, RV34_MB_B_FORWARD, RV34_MB_B_BACKWARD, RV34_MB_TYPE_INTRA, RV34_MB_TYPE_INTRA16x16 };
97     MpegEncContext *s = &r->s;
98     GetBitContext *gb = &s->gb;
99     int code = svq3_get_ue_golomb(gb);
100
101     if(code > 11){
102         av_log(s->avctx, AV_LOG_ERROR, "Incorrect MB type code\n");
103         return -1;
104     }
105     if(code > 5){
106         av_log(s->avctx, AV_LOG_ERROR, "dquant needed\n");
107         code -= 6;
108     }
109     if(s->pict_type != FF_B_TYPE)
110         return rv30_p_types[code];
111     else
112         return rv30_b_types[code];
113 }
114
115 static inline void rv30_weak_loop_filter(uint8_t *src, const int step,
116                                          const int stride, const int lim)
117 {
118     uint8_t *cm = ff_cropTbl + MAX_NEG_CROP;
119     int i, diff;
120
121     for(i = 0; i < 4; i++){
122         diff = ((src[-2*step] - src[1*step]) - (src[-1*step] - src[0*step])*4) >> 3;
123         diff = av_clip(diff, -lim, lim);
124         src[-1*step] = cm[src[-1*step] + diff];
125         src[ 0*step] = cm[src[ 0*step] - diff];
126         src += stride;
127     }
128 }
129
130 static void rv30_loop_filter(RV34DecContext *r, int row)
131 {
132     MpegEncContext *s = &r->s;
133     int mb_pos, mb_x;
134     int i, j, k;
135     uint8_t *Y, *C;
136     int loc_lim, cur_lim, left_lim = 0, top_lim = 0;
137
138     mb_pos = row * s->mb_stride;
139     for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
140         int mbtype = s->current_picture_ptr->mb_type[mb_pos];
141         if(IS_INTRA(mbtype) || IS_SEPARATE_DC(mbtype))
142             r->deblock_coefs[mb_pos] = 0xFFFF;
143         if(IS_INTRA(mbtype))
144             r->cbp_chroma[mb_pos] = 0xFF;
145     }
146
147     /* all vertical edges are filtered first
148      * and horizontal edges are filtered on the next iteration
149      */
150     mb_pos = row * s->mb_stride;
151     for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
152         cur_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos]];
153         if(mb_x)
154             left_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos - 1]];
155         for(j = 0; j < 16; j += 4){
156             Y = s->current_picture_ptr->data[0] + mb_x*16 + (row*16 + j) * s->linesize + 4 * !mb_x;
157             for(i = !mb_x; i < 4; i++, Y += 4){
158                 int ij = i + j;
159                 loc_lim = 0;
160                 if(r->deblock_coefs[mb_pos] & (1 << ij))
161                     loc_lim = cur_lim;
162                 else if(!i && r->deblock_coefs[mb_pos - 1] & (1 << (ij + 3)))
163                     loc_lim = left_lim;
164                 else if( i && r->deblock_coefs[mb_pos]     & (1 << (ij - 1)))
165                     loc_lim = cur_lim;
166                 if(loc_lim)
167                     rv30_weak_loop_filter(Y, 1, s->linesize, loc_lim);
168             }
169         }
170         for(k = 0; k < 2; k++){
171             int cur_cbp, left_cbp = 0;
172             cur_cbp = (r->cbp_chroma[mb_pos] >> (k*4)) & 0xF;
173             if(mb_x)
174                 left_cbp = (r->cbp_chroma[mb_pos - 1] >> (k*4)) & 0xF;
175             for(j = 0; j < 8; j += 4){
176                 C = s->current_picture_ptr->data[k+1] + mb_x*8 + (row*8 + j) * s->uvlinesize + 4 * !mb_x;
177                 for(i = !mb_x; i < 2; i++, C += 4){
178                     int ij = i + (j >> 1);
179                     loc_lim = 0;
180                     if(cur_cbp && (1 << ij))
181                         loc_lim = cur_lim;
182                     else if(!i && left_cbp & (1 << (ij + 1)))
183                         loc_lim = left_lim;
184                     else if( i && cur_cbp  & (1 << (ij - 1)))
185                         loc_lim = cur_lim;
186                     if(loc_lim)
187                         rv30_weak_loop_filter(C, 1, s->uvlinesize, loc_lim);
188                 }
189             }
190         }
191     }
192     mb_pos = row * s->mb_stride;
193     for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
194         cur_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos]];
195         if(row)
196             top_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos - s->mb_stride]];
197         for(j = 4*!row; j < 16; j += 4){
198             Y = s->current_picture_ptr->data[0] + mb_x*16 + (row*16 + j) * s->linesize;
199             for(i = 0; i < 4; i++, Y += 4){
200                 int ij = i + j;
201                 loc_lim = 0;
202                 if(r->deblock_coefs[mb_pos] & (1 << ij))
203                     loc_lim = cur_lim;
204                 else if(!j && r->deblock_coefs[mb_pos - s->mb_stride] & (1 << (ij + 12)))
205                     loc_lim = top_lim;
206                 else if( j && r->deblock_coefs[mb_pos]                & (1 << (ij - 4)))
207                     loc_lim = cur_lim;
208                 if(loc_lim)
209                     rv30_weak_loop_filter(Y, s->linesize, 1, loc_lim);
210             }
211         }
212         for(k = 0; k < 2; k++){
213             int cur_cbp, top_cbp = 0;
214             cur_cbp = (r->cbp_chroma[mb_pos] >> (k*4)) & 0xF;
215             if(row)
216                 top_cbp = (r->cbp_chroma[mb_pos - s->mb_stride] >> (k*4)) & 0xF;
217             for(j = 4*!row; j < 8; j += 4){
218                 C = s->current_picture_ptr->data[k+1] + mb_x*8 + (row*8 + j) * s->uvlinesize;
219                 for(i = 0; i < 2; i++, C += 4){
220                     int ij = i + (j >> 1);
221                     loc_lim = 0;
222                     if(r->cbp_chroma[mb_pos] && (1 << ij))
223                         loc_lim = cur_lim;
224                     else if(!j && top_cbp & (1 << (ij + 2)))
225                         loc_lim = top_lim;
226                     else if( j && cur_cbp & (1 << (ij - 2)))
227                         loc_lim = cur_lim;
228                     if(loc_lim)
229                         rv30_weak_loop_filter(C, s->uvlinesize, 1, loc_lim);
230                 }
231             }
232         }
233     }
234 }
235
236 /**
237  * Initialize decoder.
238  */
239 static av_cold int rv30_decode_init(AVCodecContext *avctx)
240 {
241     RV34DecContext *r = avctx->priv_data;
242
243     r->rv30 = 1;
244     ff_rv34_decode_init(avctx);
245     if(avctx->extradata_size < 2){
246         av_log(avctx, AV_LOG_ERROR, "Extradata is too small.\n");
247         return -1;
248     }
249     r->rpr = (avctx->extradata[1] & 7) >> 1;
250     r->rpr = FFMIN(r->rpr + 1, 3);
251     r->parse_slice_header = rv30_parse_slice_header;
252     r->decode_intra_types = rv30_decode_intra_types;
253     r->decode_mb_info     = rv30_decode_mb_info;
254     r->loop_filter        = rv30_loop_filter;
255     r->luma_dc_quant_i = rv30_luma_dc_quant;
256     r->luma_dc_quant_p = rv30_luma_dc_quant;
257     return 0;
258 }
259
260 AVCodec rv30_decoder = {
261     "rv30",
262     CODEC_TYPE_VIDEO,
263     CODEC_ID_RV30,
264     sizeof(RV34DecContext),
265     rv30_decode_init,
266     NULL,
267     ff_rv34_decode_end,
268     ff_rv34_decode_frame,
269     CODEC_CAP_DR1 | CODEC_CAP_DELAY,
270     .long_name = NULL_IF_CONFIG_SMALL("RealVideo 3.0"),
271 };