]> git.sesse.net Git - ffmpeg/blob - libavcodec/escape124.c
libopusdec: fix out-of-bounds read
[ffmpeg] / libavcodec / escape124.c
1 /*
2  * Escape 124 Video Decoder
3  * Copyright (C) 2008 Eli Friedman (eli.friedman@gmail.com)
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #define BITSTREAM_READER_LE
23 #include "avcodec.h"
24 #include "bitstream.h"
25 #include "internal.h"
26
27 typedef union MacroBlock {
28     uint16_t pixels[4];
29     uint32_t pixels32[2];
30 } MacroBlock;
31
32 typedef union SuperBlock {
33     uint16_t pixels[64];
34     uint32_t pixels32[32];
35 } SuperBlock;
36
37 typedef struct CodeBook {
38     unsigned depth;
39     unsigned size;
40     MacroBlock* blocks;
41 } CodeBook;
42
43 typedef struct Escape124Context {
44     AVFrame *frame;
45
46     unsigned num_superblocks;
47
48     CodeBook codebooks[3];
49 } Escape124Context;
50
51 static int can_safely_read(BitstreamContext *bc, int bits)
52 {
53     return bitstream_bits_left(bc) >= bits;
54 }
55
56 /**
57  * Initialize the decoder
58  * @param avctx decoder context
59  * @return 0 success, negative on error
60  */
61 static av_cold int escape124_decode_init(AVCodecContext *avctx)
62 {
63     Escape124Context *s = avctx->priv_data;
64
65     avctx->pix_fmt = AV_PIX_FMT_RGB555;
66
67     s->num_superblocks = ((unsigned)avctx->width / 8) *
68                          ((unsigned)avctx->height / 8);
69
70     s->frame = av_frame_alloc();
71     if (!s->frame)
72         return AVERROR(ENOMEM);
73
74     return 0;
75 }
76
77 static av_cold int escape124_decode_close(AVCodecContext *avctx)
78 {
79     unsigned i;
80     Escape124Context *s = avctx->priv_data;
81
82     for (i = 0; i < 3; i++)
83         av_free(s->codebooks[i].blocks);
84
85     av_frame_free(&s->frame);
86
87     return 0;
88 }
89
90 static CodeBook unpack_codebook(BitstreamContext *bc, unsigned depth,
91                                  unsigned size)
92 {
93     unsigned i, j;
94     CodeBook cb = { 0 };
95
96     if (!can_safely_read(bc, size * 34))
97         return cb;
98
99     if (size >= INT_MAX / sizeof(MacroBlock))
100         return cb;
101     cb.blocks = av_malloc(size ? size * sizeof(MacroBlock) : 1);
102     if (!cb.blocks)
103         return cb;
104
105     cb.depth = depth;
106     cb.size = size;
107     for (i = 0; i < size; i++) {
108         unsigned mask_bits = bitstream_read(bc,  4);
109         unsigned color0    = bitstream_read(bc, 15);
110         unsigned color1    = bitstream_read(bc, 15);
111
112         for (j = 0; j < 4; j++) {
113             if (mask_bits & (1 << j))
114                 cb.blocks[i].pixels[j] = color1;
115             else
116                 cb.blocks[i].pixels[j] = color0;
117         }
118     }
119     return cb;
120 }
121
122 static unsigned decode_skip_count(BitstreamContext *bc)
123 {
124     unsigned value;
125     // This function reads a maximum of 23 bits,
126     // which is within the padding space
127     if (!can_safely_read(bc, 1))
128         return -1;
129     value = bitstream_read_bit(bc);
130     if (!value)
131         return value;
132
133     value += bitstream_read(bc, 3);
134     if (value != (1 + ((1 << 3) - 1)))
135         return value;
136
137     value += bitstream_read(bc, 7);
138     if (value != (1 + ((1 << 3) - 1)) + ((1 << 7) - 1))
139         return value;
140
141     return value + bitstream_read(bc, 12);
142 }
143
144 static MacroBlock decode_macroblock(Escape124Context *s, BitstreamContext *bc,
145                                     int *codebook_index, int superblock_index)
146 {
147     // This function reads a maximum of 22 bits; the callers
148     // guard this function appropriately
149     unsigned block_index, depth;
150     int value = bitstream_read_bit(bc);
151     if (value) {
152         static const char transitions[3][2] = { {2, 1}, {0, 2}, {1, 0} };
153         value = bitstream_read_bit(bc);
154         *codebook_index = transitions[*codebook_index][value];
155     }
156
157     depth = s->codebooks[*codebook_index].depth;
158     block_index = bitstream_read(bc, depth);
159
160     if (*codebook_index == 1) {
161         block_index += superblock_index << s->codebooks[1].depth;
162     }
163
164     // This condition can occur with invalid bitstreams and
165     // *codebook_index == 2
166     if (block_index >= s->codebooks[*codebook_index].size)
167         return (MacroBlock) { { 0 } };
168
169     return s->codebooks[*codebook_index].blocks[block_index];
170 }
171
172 static void insert_mb_into_sb(SuperBlock* sb, MacroBlock mb, unsigned index) {
173    // Formula: ((index / 4) * 16 + (index % 4) * 2) / 2
174    uint32_t *dst = sb->pixels32 + index + (index & -4);
175
176    // This technically violates C99 aliasing rules, but it should be safe.
177    dst[0] = mb.pixels32[0];
178    dst[4] = mb.pixels32[1];
179 }
180
181 static void copy_superblock(uint16_t* dest, unsigned dest_stride,
182                             uint16_t* src, unsigned src_stride)
183 {
184     unsigned y;
185     if (src)
186         for (y = 0; y < 8; y++)
187             memcpy(dest + y * dest_stride, src + y * src_stride,
188                    sizeof(uint16_t) * 8);
189     else
190         for (y = 0; y < 8; y++)
191             memset(dest + y * dest_stride, 0, sizeof(uint16_t) * 8);
192 }
193
194 static const uint16_t mask_matrix[] = {0x1,   0x2,   0x10,   0x20,
195                                        0x4,   0x8,   0x40,   0x80,
196                                        0x100, 0x200, 0x1000, 0x2000,
197                                        0x400, 0x800, 0x4000, 0x8000};
198
199 static int escape124_decode_frame(AVCodecContext *avctx,
200                                   void *data, int *got_frame,
201                                   AVPacket *avpkt)
202 {
203     const uint8_t *buf = avpkt->data;
204     int buf_size = avpkt->size;
205     Escape124Context *s = avctx->priv_data;
206     AVFrame *frame = data;
207
208     BitstreamContext bc;
209     unsigned frame_flags, frame_size;
210     unsigned i;
211
212     unsigned superblock_index, cb_index = 1,
213              superblock_col_index = 0,
214              superblocks_per_row = avctx->width / 8, skip = -1;
215
216     uint16_t* old_frame_data, *new_frame_data;
217     unsigned old_stride, new_stride;
218     int ret;
219
220     bitstream_init(&bc, buf, buf_size * 8);
221
222     // This call also guards the potential depth reads for the
223     // codebook unpacking.
224     if (!can_safely_read(&bc, 64))
225         return -1;
226
227     frame_flags = bitstream_read(&bc, 32);
228     frame_size  = bitstream_read(&bc, 32);
229
230     // Leave last frame unchanged
231     // FIXME: Is this necessary?  I haven't seen it in any real samples
232     if (!(frame_flags & 0x114) || !(frame_flags & 0x7800000)) {
233         if (!s->frame->data[0])
234             return AVERROR_INVALIDDATA;
235
236         av_log(NULL, AV_LOG_DEBUG, "Skipping frame\n");
237
238         *got_frame = 1;
239         if ((ret = av_frame_ref(frame, s->frame)) < 0)
240             return ret;
241
242         return frame_size;
243     }
244
245     for (i = 0; i < 3; i++) {
246         if (frame_flags & (1 << (17 + i))) {
247             unsigned cb_depth, cb_size;
248             if (i == 2) {
249                 // This codebook can be cut off at places other than
250                 // powers of 2, leaving some of the entries undefined.
251                 cb_size = bitstream_read(&bc, 20);
252                 cb_depth = av_log2(cb_size - 1) + 1;
253             } else {
254                 cb_depth = bitstream_read(&bc, 4);
255                 if (i == 0) {
256                     // This is the most basic codebook: pow(2,depth) entries
257                     // for a depth-length key
258                     cb_size = 1 << cb_depth;
259                 } else {
260                     // This codebook varies per superblock
261                     // FIXME: I don't think this handles integer overflow
262                     // properly
263                     cb_size = s->num_superblocks << cb_depth;
264                 }
265             }
266             av_free(s->codebooks[i].blocks);
267             s->codebooks[i] = unpack_codebook(&bc, cb_depth, cb_size);
268             if (!s->codebooks[i].blocks)
269                 return -1;
270         }
271     }
272
273     if ((ret = ff_get_buffer(avctx, frame, AV_GET_BUFFER_FLAG_REF)) < 0) {
274         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
275         return ret;
276     }
277
278     new_frame_data = (uint16_t*)frame->data[0];
279     new_stride = frame->linesize[0] / 2;
280     old_frame_data = (uint16_t*)s->frame->data[0];
281     old_stride = s->frame->linesize[0] / 2;
282
283     for (superblock_index = 0; superblock_index < s->num_superblocks;
284          superblock_index++) {
285         MacroBlock mb;
286         SuperBlock sb;
287         unsigned multi_mask = 0;
288
289         if (skip == -1) {
290             // Note that this call will make us skip the rest of the blocks
291             // if the frame prematurely ends
292             skip = decode_skip_count(&bc);
293         }
294
295         if (skip) {
296             copy_superblock(new_frame_data, new_stride,
297                             old_frame_data, old_stride);
298         } else {
299             copy_superblock(sb.pixels, 8,
300                             old_frame_data, old_stride);
301
302             while (can_safely_read(&bc, 1) && !bitstream_read_bit(&bc)) {
303                 unsigned mask;
304                 mb = decode_macroblock(s, &bc, &cb_index, superblock_index);
305                 mask = bitstream_read(&bc, 16);
306                 multi_mask |= mask;
307                 for (i = 0; i < 16; i++) {
308                     if (mask & mask_matrix[i]) {
309                         insert_mb_into_sb(&sb, mb, i);
310                     }
311                 }
312             }
313
314             if (can_safely_read(&bc, 1) && !bitstream_read_bit(&bc)) {
315                 unsigned inv_mask = bitstream_read(&bc, 4);
316                 for (i = 0; i < 4; i++) {
317                     if (inv_mask & (1 << i)) {
318                         multi_mask ^= 0xF << i*4;
319                     } else {
320                         multi_mask ^= bitstream_read(&bc, 4) << i * 4;
321                     }
322                 }
323
324                 for (i = 0; i < 16; i++) {
325                     if (multi_mask & mask_matrix[i]) {
326                         if (!can_safely_read(&bc, 1))
327                             break;
328                         mb = decode_macroblock(s, &bc, &cb_index,
329                                                superblock_index);
330                         insert_mb_into_sb(&sb, mb, i);
331                     }
332                 }
333             } else if (frame_flags & (1 << 16)) {
334                 while (can_safely_read(&bc, 1) && !bitstream_read_bit(&bc)) {
335                     mb = decode_macroblock(s, &bc, &cb_index, superblock_index);
336                     insert_mb_into_sb(&sb, mb, bitstream_read(&bc, 4));
337                 }
338             }
339
340             copy_superblock(new_frame_data, new_stride, sb.pixels, 8);
341         }
342
343         superblock_col_index++;
344         new_frame_data += 8;
345         if (old_frame_data)
346             old_frame_data += 8;
347         if (superblock_col_index == superblocks_per_row) {
348             new_frame_data += new_stride * 8 - superblocks_per_row * 8;
349             if (old_frame_data)
350                 old_frame_data += old_stride * 8 - superblocks_per_row * 8;
351             superblock_col_index = 0;
352         }
353         skip--;
354     }
355
356     av_log(NULL, AV_LOG_DEBUG,
357            "Escape sizes: %i, %i, %i\n",
358            frame_size, buf_size, bitstream_tell(&bc) / 8);
359
360     av_frame_unref(s->frame);
361     if ((ret = av_frame_ref(s->frame, frame)) < 0)
362         return ret;
363
364     *got_frame = 1;
365
366     return frame_size;
367 }
368
369
370 AVCodec ff_escape124_decoder = {
371     .name           = "escape124",
372     .long_name      = NULL_IF_CONFIG_SMALL("Escape 124"),
373     .type           = AVMEDIA_TYPE_VIDEO,
374     .id             = AV_CODEC_ID_ESCAPE124,
375     .priv_data_size = sizeof(Escape124Context),
376     .init           = escape124_decode_init,
377     .close          = escape124_decode_close,
378     .decode         = escape124_decode_frame,
379     .capabilities   = AV_CODEC_CAP_DR1,
380 };