]> git.sesse.net Git - ffmpeg/blob - libavcodec/dxtory.c
avcodec/dxtory: Check slice sizes before allocating image
[ffmpeg] / libavcodec / dxtory.c
1 /*
2  * Dxtory decoder
3  *
4  * Copyright (c) 2011 Konstantin Shishkov
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #include <inttypes.h>
24
25 #include "libavutil/common.h"
26 #include "libavutil/intreadwrite.h"
27
28 #define BITSTREAM_READER_LE
29 #include "avcodec.h"
30 #include "bytestream.h"
31 #include "get_bits.h"
32 #include "internal.h"
33 #include "unary.h"
34
35 static int dxtory_decode_v1_rgb(AVCodecContext *avctx, AVFrame *pic,
36                                 const uint8_t *src, int src_size,
37                                 int id, int bpp)
38 {
39     int h;
40     uint8_t *dst;
41     int ret;
42
43     if (src_size < avctx->width * avctx->height * (int64_t)bpp) {
44         av_log(avctx, AV_LOG_ERROR, "packet too small\n");
45         return AVERROR_INVALIDDATA;
46     }
47
48     avctx->pix_fmt = id;
49     if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
50         return ret;
51
52     dst = pic->data[0];
53     for (h = 0; h < avctx->height; h++) {
54         memcpy(dst, src, avctx->width * bpp);
55         src += avctx->width * bpp;
56         dst += pic->linesize[0];
57     }
58
59     return 0;
60 }
61
62 static int dxtory_decode_v1_410(AVCodecContext *avctx, AVFrame *pic,
63                                 const uint8_t *src, int src_size)
64 {
65     int h, w;
66     uint8_t *Y1, *Y2, *Y3, *Y4, *U, *V;
67     int ret;
68
69     if (src_size < FFALIGN(avctx->width, 4) * FFALIGN(avctx->height, 4) * 9LL / 8) {
70         av_log(avctx, AV_LOG_ERROR, "packet too small\n");
71         return AVERROR_INVALIDDATA;
72     }
73
74     avctx->pix_fmt = AV_PIX_FMT_YUV410P;
75     if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
76         return ret;
77
78     Y1 = pic->data[0];
79     Y2 = pic->data[0] + pic->linesize[0];
80     Y3 = pic->data[0] + pic->linesize[0] * 2;
81     Y4 = pic->data[0] + pic->linesize[0] * 3;
82     U  = pic->data[1];
83     V  = pic->data[2];
84     for (h = 0; h < avctx->height; h += 4) {
85         for (w = 0; w < avctx->width; w += 4) {
86             AV_COPY32U(Y1 + w, src);
87             AV_COPY32U(Y2 + w, src + 4);
88             AV_COPY32U(Y3 + w, src + 8);
89             AV_COPY32U(Y4 + w, src + 12);
90             U[w >> 2] = src[16] + 0x80;
91             V[w >> 2] = src[17] + 0x80;
92             src += 18;
93         }
94         Y1 += pic->linesize[0] << 2;
95         Y2 += pic->linesize[0] << 2;
96         Y3 += pic->linesize[0] << 2;
97         Y4 += pic->linesize[0] << 2;
98         U  += pic->linesize[1];
99         V  += pic->linesize[2];
100     }
101
102     return 0;
103 }
104
105 static int dxtory_decode_v1_420(AVCodecContext *avctx, AVFrame *pic,
106                                 const uint8_t *src, int src_size)
107 {
108     int h, w;
109     uint8_t *Y1, *Y2, *U, *V;
110     int ret;
111
112     if (src_size < FFALIGN(avctx->width, 2) * FFALIGN(avctx->height, 2) * 3LL / 2) {
113         av_log(avctx, AV_LOG_ERROR, "packet too small\n");
114         return AVERROR_INVALIDDATA;
115     }
116
117     avctx->pix_fmt = AV_PIX_FMT_YUV420P;
118     if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
119         return ret;
120
121     Y1 = pic->data[0];
122     Y2 = pic->data[0] + pic->linesize[0];
123     U  = pic->data[1];
124     V  = pic->data[2];
125     for (h = 0; h < avctx->height; h += 2) {
126         for (w = 0; w < avctx->width; w += 2) {
127             AV_COPY16(Y1 + w, src);
128             AV_COPY16(Y2 + w, src + 2);
129             U[w >> 1] = src[4] + 0x80;
130             V[w >> 1] = src[5] + 0x80;
131             src += 6;
132         }
133         Y1 += pic->linesize[0] << 1;
134         Y2 += pic->linesize[0] << 1;
135         U  += pic->linesize[1];
136         V  += pic->linesize[2];
137     }
138
139     return 0;
140 }
141
142 static int dxtory_decode_v1_444(AVCodecContext *avctx, AVFrame *pic,
143                                 const uint8_t *src, int src_size)
144 {
145     int h, w;
146     uint8_t *Y, *U, *V;
147     int ret;
148
149     if (src_size < avctx->width * avctx->height * 3LL) {
150         av_log(avctx, AV_LOG_ERROR, "packet too small\n");
151         return AVERROR_INVALIDDATA;
152     }
153
154     avctx->pix_fmt = AV_PIX_FMT_YUV444P;
155     if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
156         return ret;
157
158     Y = pic->data[0];
159     U = pic->data[1];
160     V = pic->data[2];
161     for (h = 0; h < avctx->height; h++) {
162         for (w = 0; w < avctx->width; w++) {
163             Y[w] = *src++;
164             U[w] = *src++ ^ 0x80;
165             V[w] = *src++ ^ 0x80;
166         }
167         Y += pic->linesize[0];
168         U += pic->linesize[1];
169         V += pic->linesize[2];
170     }
171
172     return 0;
173 }
174
175 static const uint8_t def_lru[8] = { 0x00, 0x20, 0x40, 0x60, 0x80, 0xA0, 0xC0, 0xFF };
176 static const uint8_t def_lru_555[8] = { 0x00, 0x08, 0x10, 0x18, 0x1F };
177 static const uint8_t def_lru_565[8] = { 0x00, 0x08, 0x10, 0x20, 0x30, 0x3F };
178
179 static inline uint8_t decode_sym(GetBitContext *gb, uint8_t lru[8])
180 {
181     uint8_t c, val;
182
183     c = get_unary(gb, 0, 8);
184     if (!c) {
185         val = get_bits(gb, 8);
186         memmove(lru + 1, lru, sizeof(*lru) * (8 - 1));
187     } else {
188         val = lru[c - 1];
189         memmove(lru + 1, lru, sizeof(*lru) * (c - 1));
190     }
191     lru[0] = val;
192
193     return val;
194 }
195
196 static int check_slice_size(AVCodecContext *avctx,
197                             const uint8_t *src, int src_size,
198                             int slice_size, int off)
199 {
200     int cur_slice_size;
201
202     if (slice_size > src_size - off) {
203         av_log(avctx, AV_LOG_ERROR,
204                "invalid slice size %d (only %d bytes left)\n",
205                slice_size, src_size - off);
206         return AVERROR_INVALIDDATA;
207     }
208     if (slice_size <= 16) {
209         av_log(avctx, AV_LOG_ERROR, "invalid slice size %d\n",
210                slice_size);
211         return AVERROR_INVALIDDATA;
212     }
213
214     cur_slice_size = AV_RL32(src + off);
215     if (cur_slice_size != slice_size - 16) {
216         av_log(avctx, AV_LOG_ERROR,
217                "Slice sizes mismatch: got %d instead of %d\n",
218                cur_slice_size, slice_size - 16);
219     }
220
221     return 0;
222 }
223
224 static int load_buffer(AVCodecContext *avctx,
225                        const uint8_t *src, int src_size,
226                        GetByteContext *gb,
227                        int *nslices, int *off)
228 {
229     bytestream2_init(gb, src, src_size);
230     *nslices = bytestream2_get_le16(gb);
231     *off = FFALIGN(*nslices * 4 + 2, 16);
232     if (src_size < *off) {
233         av_log(avctx, AV_LOG_ERROR, "no slice data\n");
234         return AVERROR_INVALIDDATA;
235     }
236
237     if (!*nslices) {
238         avpriv_request_sample(avctx, "%d slices for %dx%d", *nslices,
239                               avctx->width, avctx->height);
240         return AVERROR_PATCHWELCOME;
241     }
242
243     return 0;
244 }
245
246 static inline uint8_t decode_sym_565(GetBitContext *gb, uint8_t lru[8],
247                                      int bits)
248 {
249     uint8_t c, val;
250
251     c = get_unary(gb, 0, bits);
252     if (!c) {
253         val = get_bits(gb, bits);
254         memmove(lru + 1, lru, sizeof(*lru) * (6 - 1));
255     } else {
256         val = lru[c - 1];
257         memmove(lru + 1, lru, sizeof(*lru) * (c - 1));
258     }
259     lru[0] = val;
260
261     return val;
262 }
263
264 typedef int (*decode_slice_func)(GetBitContext *gb, AVFrame *frame,
265                                  int line, int height, uint8_t lru[3][8]);
266
267 typedef void (*setup_lru_func)(uint8_t lru[3][8]);
268
269 static int dxtory_decode_v2(AVCodecContext *avctx, AVFrame *pic,
270                             const uint8_t *src, int src_size,
271                             decode_slice_func decode_slice,
272                             setup_lru_func setup_lru,
273                             enum AVPixelFormat fmt)
274 {
275     GetByteContext gb, gb_check;
276     GetBitContext  gb2;
277     int nslices, slice, line = 0;
278     uint32_t off, slice_size;
279     uint64_t off_check;
280     uint8_t lru[3][8];
281     int ret;
282
283     ret = load_buffer(avctx, src, src_size, &gb, &nslices, &off);
284     if (ret < 0)
285         return ret;
286
287     off_check = off;
288     gb_check = gb;
289     for (slice = 0; slice < nslices; slice++)
290         off_check += bytestream2_get_le32(&gb_check);
291     if (off_check - avctx->discard_damaged_percentage*off_check/100 > src_size)
292         return AVERROR_INVALIDDATA;
293
294     avctx->pix_fmt = fmt;
295     if ((ret = ff_get_buffer(avctx, pic, 0)) < 0)
296         return ret;
297
298     for (slice = 0; slice < nslices; slice++) {
299         slice_size = bytestream2_get_le32(&gb);
300
301         setup_lru(lru);
302
303         ret = check_slice_size(avctx, src, src_size, slice_size, off);
304         if (ret < 0)
305             return ret;
306
307         if ((ret = init_get_bits8(&gb2, src + off + 16, slice_size - 16)) < 0)
308             return ret;
309
310         line += decode_slice(&gb2, pic, line, avctx->height - line, lru);
311
312         off += slice_size;
313     }
314
315     if (avctx->height - line) {
316         avpriv_request_sample(avctx, "Not enough slice data available");
317     }
318
319     return 0;
320 }
321
322 av_always_inline
323 static int dx2_decode_slice_5x5(GetBitContext *gb, AVFrame *frame,
324                                 int line, int left, uint8_t lru[3][8],
325                                 int is_565)
326 {
327     int x, y;
328     int r, g, b;
329     int width    = frame->width;
330     int stride   = frame->linesize[0];
331     uint8_t *dst = frame->data[0] + stride * line;
332
333     for (y = 0; y < left && get_bits_left(gb) > 6 * width; y++) {
334         for (x = 0; x < width; x++) {
335             b = decode_sym_565(gb, lru[0], 5);
336             g = decode_sym_565(gb, lru[1], is_565 ? 6 : 5);
337             r = decode_sym_565(gb, lru[2], 5);
338             dst[x * 3 + 0] = (r << 3) | (r >> 2);
339             dst[x * 3 + 1] = is_565 ? (g << 2) | (g >> 4) : (g << 3) | (g >> 2);
340             dst[x * 3 + 2] = (b << 3) | (b >> 2);
341         }
342
343         dst += stride;
344     }
345
346     return y;
347 }
348
349 static void setup_lru_555(uint8_t lru[3][8])
350 {
351     memcpy(lru[0], def_lru_555, 8 * sizeof(*def_lru));
352     memcpy(lru[1], def_lru_555, 8 * sizeof(*def_lru));
353     memcpy(lru[2], def_lru_555, 8 * sizeof(*def_lru));
354 }
355
356 static void setup_lru_565(uint8_t lru[3][8])
357 {
358     memcpy(lru[0], def_lru_555, 8 * sizeof(*def_lru));
359     memcpy(lru[1], def_lru_565, 8 * sizeof(*def_lru));
360     memcpy(lru[2], def_lru_555, 8 * sizeof(*def_lru));
361 }
362
363 static int dx2_decode_slice_555(GetBitContext *gb, AVFrame *frame,
364                                 int line, int left, uint8_t lru[3][8])
365 {
366     return dx2_decode_slice_5x5(gb, frame, line, left, lru, 0);
367 }
368
369 static int dx2_decode_slice_565(GetBitContext *gb, AVFrame *frame,
370                                 int line, int left, uint8_t lru[3][8])
371 {
372     return dx2_decode_slice_5x5(gb, frame, line, left, lru, 1);
373 }
374
375 static int dxtory_decode_v2_565(AVCodecContext *avctx, AVFrame *pic,
376                                 const uint8_t *src, int src_size, int is_565)
377 {
378     enum AVPixelFormat fmt = AV_PIX_FMT_RGB24;
379     if (is_565)
380         return dxtory_decode_v2(avctx, pic, src, src_size,
381                                 dx2_decode_slice_565,
382                                 setup_lru_565,
383                                 fmt);
384     else
385         return dxtory_decode_v2(avctx, pic, src, src_size,
386                                 dx2_decode_slice_555,
387                                 setup_lru_555,
388                                 fmt);
389 }
390
391 static int dx2_decode_slice_rgb(GetBitContext *gb, AVFrame *frame,
392                                 int line, int left, uint8_t lru[3][8])
393 {
394     int x, y;
395     int width    = frame->width;
396     int stride   = frame->linesize[0];
397     uint8_t *dst = frame->data[0] + stride * line;
398
399     for (y = 0; y < left && get_bits_left(gb) > 6 * width; y++) {
400         for (x = 0; x < width; x++) {
401             dst[x * 3 + 0] = decode_sym(gb, lru[0]);
402             dst[x * 3 + 1] = decode_sym(gb, lru[1]);
403             dst[x * 3 + 2] = decode_sym(gb, lru[2]);
404         }
405
406         dst += stride;
407     }
408
409     return y;
410 }
411
412 static void default_setup_lru(uint8_t lru[3][8])
413 {
414     int i;
415
416     for (i = 0; i < 3; i++)
417         memcpy(lru[i], def_lru, 8 * sizeof(*def_lru));
418 }
419
420 static int dxtory_decode_v2_rgb(AVCodecContext *avctx, AVFrame *pic,
421                                 const uint8_t *src, int src_size)
422 {
423     return dxtory_decode_v2(avctx, pic, src, src_size,
424                             dx2_decode_slice_rgb,
425                             default_setup_lru,
426                             AV_PIX_FMT_BGR24);
427 }
428
429 static int dx2_decode_slice_410(GetBitContext *gb, AVFrame *frame,
430                                 int line, int left,
431                                 uint8_t lru[3][8])
432 {
433     int x, y, i, j;
434     int width   = frame->width;
435
436     int ystride = frame->linesize[0];
437     int ustride = frame->linesize[1];
438     int vstride = frame->linesize[2];
439
440     uint8_t *Y  = frame->data[0] + ystride * line;
441     uint8_t *U  = frame->data[1] + (ustride >> 2) * line;
442     uint8_t *V  = frame->data[2] + (vstride >> 2) * line;
443
444     for (y = 0; y < left - 3 && get_bits_left(gb) > 9 * width; y += 4) {
445         for (x = 0; x < width; x += 4) {
446             for (j = 0; j < 4; j++)
447                 for (i = 0; i < 4; i++)
448                     Y[x + i + j * ystride] = decode_sym(gb, lru[0]);
449             U[x >> 2] = decode_sym(gb, lru[1]) ^ 0x80;
450             V[x >> 2] = decode_sym(gb, lru[2]) ^ 0x80;
451         }
452
453         Y += ystride << 2;
454         U += ustride;
455         V += vstride;
456     }
457
458     return y;
459 }
460
461
462 static int dxtory_decode_v2_410(AVCodecContext *avctx, AVFrame *pic,
463                                 const uint8_t *src, int src_size)
464 {
465     return dxtory_decode_v2(avctx, pic, src, src_size,
466                             dx2_decode_slice_410,
467                             default_setup_lru,
468                             AV_PIX_FMT_YUV410P);
469 }
470
471 static int dx2_decode_slice_420(GetBitContext *gb, AVFrame *frame,
472                                 int line, int left,
473                                 uint8_t lru[3][8])
474 {
475     int x, y;
476
477     int width    = frame->width;
478
479     int ystride = frame->linesize[0];
480     int ustride = frame->linesize[1];
481     int vstride = frame->linesize[2];
482
483     uint8_t *Y  = frame->data[0] + ystride * line;
484     uint8_t *U  = frame->data[1] + (ustride >> 1) * line;
485     uint8_t *V  = frame->data[2] + (vstride >> 1) * line;
486
487
488     for (y = 0; y < left - 1 && get_bits_left(gb) > 6 * width; y += 2) {
489         for (x = 0; x < width; x += 2) {
490             Y[x + 0 + 0 * ystride] = decode_sym(gb, lru[0]);
491             Y[x + 1 + 0 * ystride] = decode_sym(gb, lru[0]);
492             Y[x + 0 + 1 * ystride] = decode_sym(gb, lru[0]);
493             Y[x + 1 + 1 * ystride] = decode_sym(gb, lru[0]);
494             U[x >> 1] = decode_sym(gb, lru[1]) ^ 0x80;
495             V[x >> 1] = decode_sym(gb, lru[2]) ^ 0x80;
496         }
497
498         Y += ystride << 1;
499         U += ustride;
500         V += vstride;
501     }
502
503     return y;
504 }
505
506 static int dxtory_decode_v2_420(AVCodecContext *avctx, AVFrame *pic,
507                                 const uint8_t *src, int src_size)
508 {
509     return dxtory_decode_v2(avctx, pic, src, src_size,
510                             dx2_decode_slice_420,
511                             default_setup_lru,
512                             AV_PIX_FMT_YUV420P);
513 }
514
515 static int dx2_decode_slice_444(GetBitContext *gb, AVFrame *frame,
516                                 int line, int left,
517                                 uint8_t lru[3][8])
518 {
519     int x, y;
520
521     int width   = frame->width;
522
523     int ystride = frame->linesize[0];
524     int ustride = frame->linesize[1];
525     int vstride = frame->linesize[2];
526
527     uint8_t *Y  = frame->data[0] + ystride * line;
528     uint8_t *U  = frame->data[1] + ustride * line;
529     uint8_t *V  = frame->data[2] + vstride * line;
530
531     for (y = 0; y < left && get_bits_left(gb) > 6 * width; y++) {
532         for (x = 0; x < width; x++) {
533             Y[x] = decode_sym(gb, lru[0]);
534             U[x] = decode_sym(gb, lru[1]) ^ 0x80;
535             V[x] = decode_sym(gb, lru[2]) ^ 0x80;
536         }
537
538         Y += ystride;
539         U += ustride;
540         V += vstride;
541     }
542
543     return y;
544 }
545
546 static int dxtory_decode_v2_444(AVCodecContext *avctx, AVFrame *pic,
547                                 const uint8_t *src, int src_size)
548 {
549     return dxtory_decode_v2(avctx, pic, src, src_size,
550                             dx2_decode_slice_444,
551                             default_setup_lru,
552                             AV_PIX_FMT_YUV444P);
553 }
554
555 static int decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
556                         AVPacket *avpkt)
557 {
558     AVFrame *pic = data;
559     const uint8_t *src = avpkt->data;
560     int ret;
561
562     if (avpkt->size < 16) {
563         av_log(avctx, AV_LOG_ERROR, "packet too small\n");
564         return AVERROR_INVALIDDATA;
565     }
566
567     switch (AV_RB32(src)) {
568     case 0x01000001:
569         ret = dxtory_decode_v1_rgb(avctx, pic, src + 16, avpkt->size - 16,
570                                    AV_PIX_FMT_BGR24, 3);
571         break;
572     case 0x01000009:
573         ret = dxtory_decode_v2_rgb(avctx, pic, src + 16, avpkt->size - 16);
574         break;
575     case 0x02000001:
576         ret = dxtory_decode_v1_420(avctx, pic, src + 16, avpkt->size - 16);
577         break;
578     case 0x02000009:
579         ret = dxtory_decode_v2_420(avctx, pic, src + 16, avpkt->size - 16);
580         break;
581     case 0x03000001:
582         ret = dxtory_decode_v1_410(avctx, pic, src + 16, avpkt->size - 16);
583         break;
584     case 0x03000009:
585         ret = dxtory_decode_v2_410(avctx, pic, src + 16, avpkt->size - 16);
586         break;
587     case 0x04000001:
588         ret = dxtory_decode_v1_444(avctx, pic, src + 16, avpkt->size - 16);
589         break;
590     case 0x04000009:
591         ret = dxtory_decode_v2_444(avctx, pic, src + 16, avpkt->size - 16);
592         break;
593     case 0x17000001:
594         ret = dxtory_decode_v1_rgb(avctx, pic, src + 16, avpkt->size - 16,
595                                    AV_PIX_FMT_RGB565LE, 2);
596         break;
597     case 0x17000009:
598         ret = dxtory_decode_v2_565(avctx, pic, src + 16, avpkt->size - 16, 1);
599         break;
600     case 0x18000001:
601     case 0x19000001:
602         ret = dxtory_decode_v1_rgb(avctx, pic, src + 16, avpkt->size - 16,
603                                    AV_PIX_FMT_RGB555LE, 2);
604         break;
605     case 0x18000009:
606     case 0x19000009:
607         ret = dxtory_decode_v2_565(avctx, pic, src + 16, avpkt->size - 16, 0);
608         break;
609     default:
610         avpriv_request_sample(avctx, "Frame header %"PRIX32, AV_RB32(src));
611         return AVERROR_PATCHWELCOME;
612     }
613
614     if (ret)
615         return ret;
616
617     pic->pict_type = AV_PICTURE_TYPE_I;
618     pic->key_frame = 1;
619     *got_frame = 1;
620
621     return avpkt->size;
622 }
623
624 AVCodec ff_dxtory_decoder = {
625     .name           = "dxtory",
626     .long_name      = NULL_IF_CONFIG_SMALL("Dxtory"),
627     .type           = AVMEDIA_TYPE_VIDEO,
628     .id             = AV_CODEC_ID_DXTORY,
629     .decode         = decode_frame,
630     .capabilities   = AV_CODEC_CAP_DR1,
631 };