]> git.sesse.net Git - ffmpeg/blob - libavcodec/cdxl.c
h264: fix invalid pointer arithmetic
[ffmpeg] / libavcodec / cdxl.c
1 /*
2  * CDXL video decoder
3  * Copyright (c) 2011-2012 Paul B Mahol
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/intreadwrite.h"
23 #include "libavutil/imgutils.h"
24 #include "avcodec.h"
25 #include "get_bits.h"
26
27 #define BIT_PLANAR   0x00
28 #define BYTE_PLANAR  0x20
29 #define CHUNKY       0x40
30 #define BIT_LINE     0x80
31 #define BYTE_LINE    0xC0
32
33 typedef struct {
34     AVCodecContext *avctx;
35     AVFrame        frame;
36     int            bpp;
37     int            format;
38     int            padded_bits;
39     const uint8_t  *palette;
40     int            palette_size;
41     const uint8_t  *video;
42     int            video_size;
43     uint8_t        *new_video;
44     int            new_video_size;
45 } CDXLVideoContext;
46
47 static av_cold int cdxl_decode_init(AVCodecContext *avctx)
48 {
49     CDXLVideoContext *c = avctx->priv_data;
50
51     avcodec_get_frame_defaults(&c->frame);
52     c->new_video_size = 0;
53     c->avctx          = avctx;
54
55     return 0;
56 }
57
58 static void import_palette(CDXLVideoContext *c, uint32_t *new_palette)
59 {
60     int i;
61
62     for (i = 0; i < c->palette_size / 2; i++) {
63         unsigned rgb = AV_RB16(&c->palette[i * 2]);
64         unsigned r   = ((rgb >> 8) & 0xF) * 0x11;
65         unsigned g   = ((rgb >> 4) & 0xF) * 0x11;
66         unsigned b   =  (rgb       & 0xF) * 0x11;
67         AV_WN32(&new_palette[i], (r << 16) | (g << 8) | b);
68     }
69 }
70
71 static void bitplanar2chunky(CDXLVideoContext *c, int linesize, uint8_t *out)
72 {
73     GetBitContext gb;
74     int x, y, plane;
75
76     init_get_bits(&gb, c->video, c->video_size * 8);
77     for (plane = 0; plane < c->bpp; plane++) {
78         for (y = 0; y < c->avctx->height; y++) {
79             for (x = 0; x < c->avctx->width; x++)
80                 out[linesize * y + x] |= get_bits1(&gb) << plane;
81             skip_bits(&gb, c->padded_bits);
82         }
83     }
84 }
85
86 static void bitline2chunky(CDXLVideoContext *c, int linesize, uint8_t *out)
87 {
88     GetBitContext  gb;
89     int x, y, plane;
90
91     init_get_bits(&gb, c->video, c->video_size * 8);
92     for (y = 0; y < c->avctx->height; y++) {
93         for (plane = 0; plane < c->bpp; plane++) {
94             for (x = 0; x < c->avctx->width; x++)
95                 out[linesize * y + x] |= get_bits1(&gb) << plane;
96             skip_bits(&gb, c->padded_bits);
97         }
98     }
99 }
100
101 static void import_format(CDXLVideoContext *c, int linesize, uint8_t *out)
102 {
103     memset(out, 0, linesize * c->avctx->height);
104
105     switch (c->format) {
106     case BIT_PLANAR:
107         bitplanar2chunky(c, linesize, out);
108         break;
109     case BIT_LINE:
110         bitline2chunky(c, linesize, out);
111         break;
112     }
113 }
114
115 static void cdxl_decode_rgb(CDXLVideoContext *c)
116 {
117     uint32_t *new_palette = (uint32_t *)c->frame.data[1];
118
119     import_palette(c, new_palette);
120     import_format(c, c->frame.linesize[0], c->frame.data[0]);
121 }
122
123 static void cdxl_decode_ham6(CDXLVideoContext *c)
124 {
125     AVCodecContext *avctx = c->avctx;
126     uint32_t new_palette[16], r, g, b;
127     uint8_t *ptr, *out, index, op;
128     int x, y;
129
130     ptr = c->new_video;
131     out = c->frame.data[0];
132
133     import_palette(c, new_palette);
134     import_format(c, avctx->width, c->new_video);
135
136     for (y = 0; y < avctx->height; y++) {
137         r = new_palette[0] & 0xFF0000;
138         g = new_palette[0] & 0xFF00;
139         b = new_palette[0] & 0xFF;
140         for (x = 0; x < avctx->width; x++) {
141             index  = *ptr++;
142             op     = index >> 4;
143             index &= 15;
144             switch (op) {
145             case 0:
146                 r = new_palette[index] & 0xFF0000;
147                 g = new_palette[index] & 0xFF00;
148                 b = new_palette[index] & 0xFF;
149                 break;
150             case 1:
151                 b = index * 0x11;
152                 break;
153             case 2:
154                 r = index * 0x11 << 16;
155                 break;
156             case 3:
157                 g = index * 0x11 << 8;
158                 break;
159             }
160             AV_WL24(out + x * 3, r | g | b);
161         }
162         out += c->frame.linesize[0];
163     }
164 }
165
166 static void cdxl_decode_ham8(CDXLVideoContext *c)
167 {
168     AVCodecContext *avctx = c->avctx;
169     uint32_t new_palette[64], r, g, b;
170     uint8_t *ptr, *out, index, op;
171     int x, y;
172
173     ptr = c->new_video;
174     out = c->frame.data[0];
175
176     import_palette(c, new_palette);
177     import_format(c, avctx->width, c->new_video);
178
179     for (y = 0; y < avctx->height; y++) {
180         r = new_palette[0] & 0xFF0000;
181         g = new_palette[0] & 0xFF00;
182         b = new_palette[0] & 0xFF;
183         for (x = 0; x < avctx->width; x++) {
184             index  = *ptr++;
185             op     = index >> 6;
186             index &= 63;
187             switch (op) {
188             case 0:
189                 r = new_palette[index] & 0xFF0000;
190                 g = new_palette[index] & 0xFF00;
191                 b = new_palette[index] & 0xFF;
192                 break;
193             case 1:
194                 b = (index <<  2) | (b & 3);
195                 break;
196             case 2:
197                 r = (index << 18) | (r & (3 << 16));
198                 break;
199             case 3:
200                 g = (index << 10) | (g & (3 << 8));
201                 break;
202             }
203             AV_WL24(out + x * 3, r | g | b);
204         }
205         out += c->frame.linesize[0];
206     }
207 }
208
209 static int cdxl_decode_frame(AVCodecContext *avctx, void *data,
210                              int *data_size, AVPacket *pkt)
211 {
212     CDXLVideoContext *c = avctx->priv_data;
213     AVFrame * const p = &c->frame;
214     int ret, w, h, encoding, aligned_width, buf_size = pkt->size;
215     const uint8_t *buf = pkt->data;
216
217     if (buf_size < 32)
218         return AVERROR_INVALIDDATA;
219     encoding        = buf[1] & 7;
220     c->format       = buf[1] & 0xE0;
221     w               = AV_RB16(&buf[14]);
222     h               = AV_RB16(&buf[16]);
223     c->bpp          = buf[19];
224     c->palette_size = AV_RB16(&buf[20]);
225     c->palette      = buf + 32;
226     c->video        = c->palette + c->palette_size;
227     c->video_size   = buf_size - c->palette_size - 32;
228
229     if (c->palette_size > 512)
230         return AVERROR_INVALIDDATA;
231     if (buf_size < c->palette_size + 32)
232         return AVERROR_INVALIDDATA;
233     if (c->bpp < 1)
234         return AVERROR_INVALIDDATA;
235     if (c->format != BIT_PLANAR && c->format != BIT_LINE) {
236         av_log_ask_for_sample(avctx, "unsupported pixel format: 0x%0x\n", c->format);
237         return AVERROR_PATCHWELCOME;
238     }
239
240     if ((ret = av_image_check_size(w, h, 0, avctx)) < 0)
241         return ret;
242     if (w != avctx->width || h != avctx->height)
243         avcodec_set_dimensions(avctx, w, h);
244
245     aligned_width = FFALIGN(c->avctx->width, 16);
246     c->padded_bits  = aligned_width - c->avctx->width;
247     if (c->video_size < aligned_width * avctx->height * c->bpp / 8)
248         return AVERROR_INVALIDDATA;
249     if (!encoding && c->palette_size && c->bpp <= 8) {
250         avctx->pix_fmt = AV_PIX_FMT_PAL8;
251     } else if (encoding == 1 && (c->bpp == 6 || c->bpp == 8)) {
252         if (c->palette_size != (1 << (c->bpp - 1)))
253             return AVERROR_INVALIDDATA;
254         avctx->pix_fmt = AV_PIX_FMT_BGR24;
255     } else {
256         av_log_ask_for_sample(avctx, "unsupported encoding %d and bpp %d\n",
257                               encoding, c->bpp);
258         return AVERROR_PATCHWELCOME;
259     }
260
261     if (p->data[0])
262         avctx->release_buffer(avctx, p);
263
264     p->reference = 0;
265     if ((ret = avctx->get_buffer(avctx, p)) < 0) {
266         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
267         return ret;
268     }
269     p->pict_type = AV_PICTURE_TYPE_I;
270
271     if (encoding) {
272         av_fast_padded_malloc(&c->new_video, &c->new_video_size,
273                               h * w + FF_INPUT_BUFFER_PADDING_SIZE);
274         if (!c->new_video)
275             return AVERROR(ENOMEM);
276         if (c->bpp == 8)
277             cdxl_decode_ham8(c);
278         else
279             cdxl_decode_ham6(c);
280     } else {
281         cdxl_decode_rgb(c);
282     }
283     *data_size      = sizeof(AVFrame);
284     *(AVFrame*)data = c->frame;
285
286     return buf_size;
287 }
288
289 static av_cold int cdxl_decode_end(AVCodecContext *avctx)
290 {
291     CDXLVideoContext *c = avctx->priv_data;
292
293     av_free(c->new_video);
294     if (c->frame.data[0])
295         avctx->release_buffer(avctx, &c->frame);
296
297     return 0;
298 }
299
300 AVCodec ff_cdxl_decoder = {
301     .name           = "cdxl",
302     .type           = AVMEDIA_TYPE_VIDEO,
303     .id             = AV_CODEC_ID_CDXL,
304     .priv_data_size = sizeof(CDXLVideoContext),
305     .init           = cdxl_decode_init,
306     .close          = cdxl_decode_end,
307     .decode         = cdxl_decode_frame,
308     .capabilities   = CODEC_CAP_DR1,
309     .long_name      = NULL_IF_CONFIG_SMALL("Commodore CDXL video"),
310 };