]> git.sesse.net Git - ffmpeg/blob - libavcodec/indeo2.c
avcodec/h264idct_template: Fix multiple runtime error: signed integer overflow
[ffmpeg] / libavcodec / indeo2.c
1 /*
2  * Intel Indeo 2 codec
3  * Copyright (c) 2005 Konstantin Shishkov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Intel Indeo 2 decoder.
25  */
26
27 #include "libavutil/attributes.h"
28
29 #define BITSTREAM_READER_LE
30 #include "avcodec.h"
31 #include "get_bits.h"
32 #include "indeo2data.h"
33 #include "internal.h"
34 #include "mathops.h"
35
36 typedef struct Ir2Context{
37     AVCodecContext *avctx;
38     AVFrame *picture;
39     GetBitContext gb;
40     int decode_delta;
41 } Ir2Context;
42
43 #define CODE_VLC_BITS 14
44 static VLC ir2_vlc;
45
46 /* Indeo 2 codes are in range 0x01..0x7F and 0x81..0x90 */
47 static inline int ir2_get_code(GetBitContext *gb)
48 {
49     return get_vlc2(gb, ir2_vlc.table, CODE_VLC_BITS, 1) + 1;
50 }
51
52 static int ir2_decode_plane(Ir2Context *ctx, int width, int height, uint8_t *dst,
53                             int pitch, const uint8_t *table)
54 {
55     int i;
56     int j;
57     int out = 0;
58
59     if (width & 1)
60         return AVERROR_INVALIDDATA;
61
62     /* first line contain absolute values, other lines contain deltas */
63     while (out < width) {
64         int c = ir2_get_code(&ctx->gb);
65         if (c >= 0x80) { /* we have a run */
66             c -= 0x7F;
67             if (out + c*2 > width)
68                 return AVERROR_INVALIDDATA;
69             for (i = 0; i < c * 2; i++)
70                 dst[out++] = 0x80;
71         } else { /* copy two values from table */
72             dst[out++] = table[c * 2];
73             dst[out++] = table[(c * 2) + 1];
74         }
75     }
76     dst += pitch;
77
78     for (j = 1; j < height; j++) {
79         out = 0;
80         while (out < width) {
81             int c = ir2_get_code(&ctx->gb);
82             if (c >= 0x80) { /* we have a skip */
83                 c -= 0x7F;
84                 if (out + c*2 > width)
85                     return AVERROR_INVALIDDATA;
86                 for (i = 0; i < c * 2; i++) {
87                     dst[out] = dst[out - pitch];
88                     out++;
89                 }
90             } else { /* add two deltas from table */
91                 int t    = dst[out - pitch] + (table[c * 2] - 128);
92                 t        = av_clip_uint8(t);
93                 dst[out] = t;
94                 out++;
95                 t        = dst[out - pitch] + (table[(c * 2) + 1] - 128);
96                 t        = av_clip_uint8(t);
97                 dst[out] = t;
98                 out++;
99             }
100         }
101         dst += pitch;
102     }
103     return 0;
104 }
105
106 static int ir2_decode_plane_inter(Ir2Context *ctx, int width, int height, uint8_t *dst,
107                                   int pitch, const uint8_t *table)
108 {
109     int j;
110     int out = 0;
111     int c;
112     int t;
113
114     if (width & 1)
115         return AVERROR_INVALIDDATA;
116
117     for (j = 0; j < height; j++) {
118         out = 0;
119         while (out < width) {
120             c = ir2_get_code(&ctx->gb);
121             if (c >= 0x80) { /* we have a skip */
122                 c   -= 0x7F;
123                 out += c * 2;
124             } else { /* add two deltas from table */
125                 t        = dst[out] + (((table[c * 2] - 128)*3) >> 2);
126                 t        = av_clip_uint8(t);
127                 dst[out] = t;
128                 out++;
129                 t        = dst[out] + (((table[(c * 2) + 1] - 128)*3) >> 2);
130                 t        = av_clip_uint8(t);
131                 dst[out] = t;
132                 out++;
133             }
134         }
135         dst += pitch;
136     }
137     return 0;
138 }
139
140 static int ir2_decode_frame(AVCodecContext *avctx,
141                         void *data, int *got_frame,
142                         AVPacket *avpkt)
143 {
144     Ir2Context * const s = avctx->priv_data;
145     const uint8_t *buf   = avpkt->data;
146     int buf_size         = avpkt->size;
147     AVFrame *picture     = data;
148     AVFrame * const p    = s->picture;
149     int start, ret;
150     int ltab, ctab;
151
152     if ((ret = ff_reget_buffer(avctx, p)) < 0)
153         return ret;
154
155     start = 48; /* hardcoded for now */
156
157     if (start >= buf_size) {
158         av_log(s->avctx, AV_LOG_ERROR, "input buffer size too small (%d)\n", buf_size);
159         return AVERROR_INVALIDDATA;
160     }
161
162     s->decode_delta = buf[18];
163
164     /* decide whether frame uses deltas or not */
165 #ifndef BITSTREAM_READER_LE
166     for (i = 0; i < buf_size; i++)
167         buf[i] = ff_reverse[buf[i]];
168 #endif
169
170     if ((ret = init_get_bits8(&s->gb, buf + start, buf_size - start)) < 0)
171         return ret;
172
173     ltab = buf[0x22] & 3;
174     ctab = buf[0x22] >> 2;
175
176     if (ctab > 3) {
177         av_log(avctx, AV_LOG_ERROR, "ctab %d is invalid\n", ctab);
178         return AVERROR_INVALIDDATA;
179     }
180
181     if (s->decode_delta) { /* intraframe */
182         if ((ret = ir2_decode_plane(s, avctx->width, avctx->height,
183                                     p->data[0], p->linesize[0],
184                                     ir2_delta_table[ltab])) < 0)
185             return ret;
186
187         /* swapped U and V */
188         if ((ret = ir2_decode_plane(s, avctx->width >> 2, avctx->height >> 2,
189                                     p->data[2], p->linesize[2],
190                                     ir2_delta_table[ctab])) < 0)
191             return ret;
192         if ((ret = ir2_decode_plane(s, avctx->width >> 2, avctx->height >> 2,
193                                     p->data[1], p->linesize[1],
194                                     ir2_delta_table[ctab])) < 0)
195             return ret;
196     } else { /* interframe */
197         if ((ret = ir2_decode_plane_inter(s, avctx->width, avctx->height,
198                                           p->data[0], p->linesize[0],
199                                           ir2_delta_table[ltab])) < 0)
200             return ret;
201         /* swapped U and V */
202         if ((ret = ir2_decode_plane_inter(s, avctx->width >> 2, avctx->height >> 2,
203                                           p->data[2], p->linesize[2],
204                                           ir2_delta_table[ctab])) < 0)
205             return ret;
206         if ((ret = ir2_decode_plane_inter(s, avctx->width >> 2, avctx->height >> 2,
207                                           p->data[1], p->linesize[1],
208                                           ir2_delta_table[ctab])) < 0)
209             return ret;
210     }
211
212     if ((ret = av_frame_ref(picture, p)) < 0)
213         return ret;
214
215     *got_frame = 1;
216
217     return buf_size;
218 }
219
220 static av_cold int ir2_decode_init(AVCodecContext *avctx)
221 {
222     Ir2Context * const ic = avctx->priv_data;
223     static VLC_TYPE vlc_tables[1 << CODE_VLC_BITS][2];
224
225     ic->avctx = avctx;
226
227     avctx->pix_fmt= AV_PIX_FMT_YUV410P;
228
229     ic->picture = av_frame_alloc();
230     if (!ic->picture)
231         return AVERROR(ENOMEM);
232
233     ir2_vlc.table = vlc_tables;
234     ir2_vlc.table_allocated = 1 << CODE_VLC_BITS;
235 #ifdef BITSTREAM_READER_LE
236         init_vlc(&ir2_vlc, CODE_VLC_BITS, IR2_CODES,
237                  &ir2_codes[0][1], 4, 2,
238                  &ir2_codes[0][0], 4, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
239 #else
240         init_vlc(&ir2_vlc, CODE_VLC_BITS, IR2_CODES,
241                  &ir2_codes[0][1], 4, 2,
242                  &ir2_codes[0][0], 4, 2, INIT_VLC_USE_NEW_STATIC);
243 #endif
244
245     return 0;
246 }
247
248 static av_cold int ir2_decode_end(AVCodecContext *avctx)
249 {
250     Ir2Context * const ic = avctx->priv_data;
251
252     av_frame_free(&ic->picture);
253
254     return 0;
255 }
256
257 AVCodec ff_indeo2_decoder = {
258     .name           = "indeo2",
259     .long_name      = NULL_IF_CONFIG_SMALL("Intel Indeo 2"),
260     .type           = AVMEDIA_TYPE_VIDEO,
261     .id             = AV_CODEC_ID_INDEO2,
262     .priv_data_size = sizeof(Ir2Context),
263     .init           = ir2_decode_init,
264     .close          = ir2_decode_end,
265     .decode         = ir2_decode_frame,
266     .capabilities   = AV_CODEC_CAP_DR1,
267 };