]> git.sesse.net Git - ffmpeg/blob - libavcodec/pictordec.c
cavsdec: check dimensions being valid.
[ffmpeg] / libavcodec / pictordec.c
1 /*
2  * Pictor/PC Paint decoder
3  * Copyright (c) 2010 Peter Ross <pross@xvid.org>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Pictor/PC Paint decoder
25  */
26
27 #include "libavutil/imgutils.h"
28 #include "avcodec.h"
29 #include "bytestream.h"
30 #include "cga_data.h"
31
32 typedef struct PicContext {
33     AVFrame frame;
34     int width, height;
35     int nb_planes;
36     GetByteContext g;
37 } PicContext;
38
39 static void picmemset_8bpp(PicContext *s, int value, int run, int *x, int *y)
40 {
41     while (run > 0) {
42         uint8_t *d = s->frame.data[0] + *y * s->frame.linesize[0];
43         if (*x + run >= s->width) {
44             int n = s->width - *x;
45             memset(d + *x, value, n);
46             run -= n;
47             *x = 0;
48             *y -= 1;
49             if (*y < 0)
50                 break;
51         } else {
52             memset(d + *x, value, run);
53             *x += run;
54             break;
55         }
56     }
57 }
58
59 static void picmemset(PicContext *s, int value, int run,
60                       int *x, int *y, int *plane, int bits_per_plane)
61 {
62     uint8_t *d;
63     int shift = *plane * bits_per_plane;
64     int mask  = ((1 << bits_per_plane) - 1) << shift;
65     value   <<= shift;
66
67     while (run > 0) {
68         int j;
69         for (j = 8-bits_per_plane; j >= 0; j -= bits_per_plane) {
70             d = s->frame.data[0] + *y * s->frame.linesize[0];
71             d[*x] |= (value >> j) & mask;
72             *x += 1;
73             if (*x == s->width) {
74                 *y -= 1;
75                 *x = 0;
76                 if (*y < 0) {
77                    *y = s->height - 1;
78                    *plane += 1;
79                    value <<= bits_per_plane;
80                    mask  <<= bits_per_plane;
81                    if (*plane >= s->nb_planes)
82                        break;
83                 }
84             }
85         }
86         run--;
87     }
88 }
89
90 static const uint8_t cga_mode45_index[6][4] = {
91     [0] = { 0, 3,  5,   7 }, // mode4, palette#1, low intensity
92     [1] = { 0, 2,  4,   6 }, // mode4, palette#2, low intensity
93     [2] = { 0, 3,  4,   7 }, // mode5, low intensity
94     [3] = { 0, 11, 13, 15 }, // mode4, palette#1, high intensity
95     [4] = { 0, 10, 12, 14 }, // mode4, palette#2, high intensity
96     [5] = { 0, 11, 12, 15 }, // mode5, high intensity
97 };
98
99 static av_cold int decode_init(AVCodecContext *avctx)
100 {
101     PicContext *s = avctx->priv_data;
102
103     avcodec_get_frame_defaults(&s->frame);
104     return 0;
105 }
106
107 static int decode_frame(AVCodecContext *avctx,
108                         void *data, int *data_size,
109                         AVPacket *avpkt)
110 {
111     PicContext *s = avctx->priv_data;
112     uint32_t *palette;
113     int bits_per_plane, bpp, etype, esize, npal, pos_after_pal;
114     int i, x, y, plane, tmp;
115
116     bytestream2_init(&s->g, avpkt->data, avpkt->size);
117
118     if (bytestream2_get_bytes_left(&s->g) < 11)
119         return AVERROR_INVALIDDATA;
120
121     if (bytestream2_get_le16u(&s->g) != 0x1234)
122         return AVERROR_INVALIDDATA;
123
124     s->width       = bytestream2_get_le16u(&s->g);
125     s->height      = bytestream2_get_le16u(&s->g);
126     bytestream2_skip(&s->g, 4);
127     tmp            = bytestream2_get_byteu(&s->g);
128     bits_per_plane = tmp & 0xF;
129     s->nb_planes   = (tmp >> 4) + 1;
130     bpp            = bits_per_plane * s->nb_planes;
131     if (bits_per_plane > 8 || bpp < 1 || bpp > 32) {
132         av_log_ask_for_sample(avctx, "unsupported bit depth\n");
133         return AVERROR_INVALIDDATA;
134     }
135
136     if (bytestream2_peek_byte(&s->g) == 0xFF || bpp == 8) {
137         bytestream2_skip(&s->g, 2);
138         etype = bytestream2_get_le16(&s->g);
139         esize = bytestream2_get_le16(&s->g);
140         if (bytestream2_get_bytes_left(&s->g) < esize)
141             return AVERROR_INVALIDDATA;
142     } else {
143         etype = -1;
144         esize = 0;
145     }
146
147     avctx->pix_fmt = PIX_FMT_PAL8;
148
149     if (s->width != avctx->width && s->height != avctx->height) {
150         if (av_image_check_size(s->width, s->height, 0, avctx) < 0)
151             return -1;
152         avcodec_set_dimensions(avctx, s->width, s->height);
153         if (s->frame.data[0])
154             avctx->release_buffer(avctx, &s->frame);
155     }
156
157     if (avctx->get_buffer(avctx, &s->frame) < 0){
158         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
159         return -1;
160     }
161     memset(s->frame.data[0], 0, s->height * s->frame.linesize[0]);
162     s->frame.pict_type           = AV_PICTURE_TYPE_I;
163     s->frame.palette_has_changed = 1;
164
165     pos_after_pal = bytestream2_tell(&s->g) + esize;
166     palette = (uint32_t*)s->frame.data[1];
167     if (etype == 1 && esize > 1 && bytestream2_peek_byte(&s->g) < 6) {
168         int idx = bytestream2_get_byte(&s->g);
169         npal = 4;
170         for (i = 0; i < npal; i++)
171             palette[i] = ff_cga_palette[ cga_mode45_index[idx][i] ];
172     } else if (etype == 2) {
173         npal = FFMIN(esize, 16);
174         for (i = 0; i < npal; i++) {
175             int pal_idx = bytestream2_get_byte(&s->g);
176             palette[i]  = ff_cga_palette[FFMIN(pal_idx, 16)];
177         }
178     } else if (etype == 3) {
179         npal = FFMIN(esize, 16);
180         for (i = 0; i < npal; i++) {
181             int pal_idx = bytestream2_get_byte(&s->g);
182             palette[i]  = ff_ega_palette[FFMIN(pal_idx, 63)];
183         }
184     } else if (etype == 4 || etype == 5) {
185         npal = FFMIN(esize / 3, 256);
186         for (i = 0; i < npal; i++) {
187             palette[i] = bytestream2_get_be24(&s->g) << 2;
188             palette[i] |= 0xFFU << 24 | palette[i] >> 6 & 0x30303;
189         }
190     } else {
191         if (bpp == 1) {
192             npal = 2;
193             palette[0] = 0xFF000000;
194             palette[1] = 0xFFFFFFFF;
195         } else if (bpp == 2) {
196             npal = 4;
197             for (i = 0; i < npal; i++)
198                 palette[i] = ff_cga_palette[ cga_mode45_index[0][i] ];
199         } else {
200             npal = 16;
201             memcpy(palette, ff_cga_palette, npal * 4);
202         }
203     }
204     // fill remaining palette entries
205     memset(palette + npal, 0, AVPALETTE_SIZE - npal * 4);
206     // skip remaining palette bytes
207     bytestream2_seek(&s->g, pos_after_pal, SEEK_SET);
208
209     y = s->height - 1;
210     if (bytestream2_get_le16(&s->g)) {
211         x = 0;
212         plane = 0;
213         while (y >= 0 && bytestream2_get_bytes_left(&s->g) >= 6) {
214             int stop_size, marker, t1, t2;
215
216             t1        = bytestream2_get_bytes_left(&s->g);
217             t2        = bytestream2_get_le16(&s->g);
218             stop_size = t1 - FFMIN(t1, t2);
219             // ignore uncompressed block size
220             bytestream2_skip(&s->g, 2);
221             marker    = bytestream2_get_byte(&s->g);
222
223             while (plane < s->nb_planes && y >= 0 &&
224                    bytestream2_get_bytes_left(&s->g) > stop_size) {
225                 int run = 1;
226                 int val = bytestream2_get_byte(&s->g);
227                 if (val == marker) {
228                     run = bytestream2_get_byte(&s->g);
229                     if (run == 0)
230                         run = bytestream2_get_le16(&s->g);
231                     val = bytestream2_get_byte(&s->g);
232                 }
233                 if (!bytestream2_get_bytes_left(&s->g))
234                     break;
235
236                 if (bits_per_plane == 8) {
237                     picmemset_8bpp(s, val, run, &x, &y);
238                 } else {
239                     picmemset(s, val, run, &x, &y, &plane, bits_per_plane);
240                 }
241             }
242         }
243     } else {
244         while (y >= 0 && bytestream2_get_bytes_left(&s->g) > 0) {
245             memcpy(s->frame.data[0] + y * s->frame.linesize[0], s->g.buffer, FFMIN(avctx->width, bytestream2_get_bytes_left(&s->g)));
246             bytestream2_skip(&s->g, avctx->width);
247             y--;
248         }
249     }
250
251     *data_size = sizeof(AVFrame);
252     *(AVFrame*)data = s->frame;
253     return avpkt->size;
254 }
255
256 static av_cold int decode_end(AVCodecContext *avctx)
257 {
258     PicContext *s = avctx->priv_data;
259     if (s->frame.data[0])
260         avctx->release_buffer(avctx, &s->frame);
261     return 0;
262 }
263
264 AVCodec ff_pictor_decoder = {
265     .name           = "pictor",
266     .type           = AVMEDIA_TYPE_VIDEO,
267     .id             = AV_CODEC_ID_PICTOR,
268     .priv_data_size = sizeof(PicContext),
269     .init           = decode_init,
270     .close          = decode_end,
271     .decode         = decode_frame,
272     .capabilities   = CODEC_CAP_DR1,
273     .long_name      = NULL_IF_CONFIG_SMALL("Pictor/PC Paint"),
274 };