]> git.sesse.net Git - ffmpeg/blob - libavcodec/anm.c
avcodec/anm: Check extradata length before allocating frame
[ffmpeg] / libavcodec / anm.c
1 /*
2  * Deluxe Paint Animation decoder
3  * Copyright (c) 2009 Peter Ross
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Deluxe Paint Animation decoder
25  */
26
27 #include "avcodec.h"
28 #include "bytestream.h"
29 #include "internal.h"
30
31 typedef struct AnmContext {
32     AVFrame *frame;
33     int palette[AVPALETTE_COUNT];
34     GetByteContext gb;
35     int x;  ///< x coordinate position
36 } AnmContext;
37
38 static av_cold int decode_init(AVCodecContext *avctx)
39 {
40     AnmContext *s = avctx->priv_data;
41     int i;
42
43     if (avctx->extradata_size < 16 * 8 + 4 * 256)
44         return AVERROR_INVALIDDATA;
45
46     avctx->pix_fmt = AV_PIX_FMT_PAL8;
47
48     s->frame = av_frame_alloc();
49     if (!s->frame)
50         return AVERROR(ENOMEM);
51
52     bytestream2_init(&s->gb, avctx->extradata, avctx->extradata_size);
53     bytestream2_skipu(&s->gb, 16 * 8);
54     for (i = 0; i < 256; i++)
55         s->palette[i] = (0xFFU << 24) | bytestream2_get_le32u(&s->gb);
56
57     return 0;
58 }
59
60 /**
61  * Perform decode operation
62  * @param dst     pointer to destination image buffer
63  * @param dst_end pointer to end of destination image buffer
64  * @param gb GetByteContext (optional, see below)
65  * @param pixel Fill color (optional, see below)
66  * @param count Pixel count
67  * @param x Pointer to x-axis counter
68  * @param width Image width
69  * @param linesize Destination image buffer linesize
70  * @return non-zero if destination buffer is exhausted
71  *
72  * a copy operation is achieved when 'gb' is set
73  * a fill operation is achieved when 'gb' is null and pixel is >= 0
74  * a skip operation is achieved when 'gb' is null and pixel is < 0
75  */
76 static inline int op(uint8_t **dst, const uint8_t *dst_end,
77                      GetByteContext *gb,
78                      int pixel, int count,
79                      int *x, int width, int linesize)
80 {
81     int remaining = width - *x;
82     while(count > 0) {
83         int striplen = FFMIN(count, remaining);
84         if (gb) {
85             if (bytestream2_get_bytes_left(gb) < striplen)
86                 goto exhausted;
87             bytestream2_get_bufferu(gb, *dst, striplen);
88         } else if (pixel >= 0)
89             memset(*dst, pixel, striplen);
90         *dst      += striplen;
91         remaining -= striplen;
92         count     -= striplen;
93         if (remaining <= 0) {
94             *dst      += linesize - width;
95             remaining  = width;
96         }
97         if (linesize > 0) {
98             if (*dst >= dst_end) goto exhausted;
99         } else {
100             if (*dst <= dst_end) goto exhausted;
101         }
102     }
103     *x = width - remaining;
104     return 0;
105
106 exhausted:
107     *x = width - remaining;
108     return 1;
109 }
110
111 static int decode_frame(AVCodecContext *avctx,
112                         void *data, int *got_frame,
113                         AVPacket *avpkt)
114 {
115     AnmContext *s = avctx->priv_data;
116     const int buf_size = avpkt->size;
117     uint8_t *dst, *dst_end;
118     int count, ret;
119
120     if (buf_size < 7)
121         return AVERROR_INVALIDDATA;
122
123     if ((ret = ff_reget_buffer(avctx, s->frame, 0)) < 0)
124         return ret;
125     dst     = s->frame->data[0];
126     dst_end = s->frame->data[0] + s->frame->linesize[0]*avctx->height;
127
128     bytestream2_init(&s->gb, avpkt->data, buf_size);
129
130     if (bytestream2_get_byte(&s->gb) != 0x42) {
131         avpriv_request_sample(avctx, "Unknown record type");
132         return AVERROR_INVALIDDATA;
133     }
134     if (bytestream2_get_byte(&s->gb)) {
135         avpriv_request_sample(avctx, "Padding bytes");
136         return AVERROR_PATCHWELCOME;
137     }
138     bytestream2_skip(&s->gb, 2);
139
140     s->x = 0;
141     do {
142         /* if statements are ordered by probability */
143 #define OP(gb, pixel, count) \
144     op(&dst, dst_end, (gb), (pixel), (count), &s->x, avctx->width, s->frame->linesize[0])
145
146         int type = bytestream2_get_byte(&s->gb);
147         count = type & 0x7F;
148         type >>= 7;
149         if (count) {
150             if (OP(type ? NULL : &s->gb, -1, count)) break;
151         } else if (!type) {
152             int pixel;
153             count = bytestream2_get_byte(&s->gb);  /* count==0 gives nop */
154             pixel = bytestream2_get_byte(&s->gb);
155             if (OP(NULL, pixel, count)) break;
156         } else {
157             int pixel;
158             type = bytestream2_get_le16(&s->gb);
159             count = type & 0x3FFF;
160             type >>= 14;
161             if (!count) {
162                 if (type == 0)
163                     break; // stop
164                 if (type == 2) {
165                     avpriv_request_sample(avctx, "Unknown opcode");
166                     return AVERROR_PATCHWELCOME;
167                 }
168                 continue;
169             }
170             pixel = type == 3 ? bytestream2_get_byte(&s->gb) : -1;
171             if (type == 1) count += 0x4000;
172             if (OP(type == 2 ? &s->gb : NULL, pixel, count)) break;
173         }
174     } while (bytestream2_get_bytes_left(&s->gb) > 0);
175
176     memcpy(s->frame->data[1], s->palette, AVPALETTE_SIZE);
177
178     *got_frame = 1;
179     if ((ret = av_frame_ref(data, s->frame)) < 0)
180         return ret;
181
182     return buf_size;
183 }
184
185 static av_cold int decode_end(AVCodecContext *avctx)
186 {
187     AnmContext *s = avctx->priv_data;
188
189     av_frame_free(&s->frame);
190     return 0;
191 }
192
193 AVCodec ff_anm_decoder = {
194     .name           = "anm",
195     .long_name      = NULL_IF_CONFIG_SMALL("Deluxe Paint Animation"),
196     .type           = AVMEDIA_TYPE_VIDEO,
197     .id             = AV_CODEC_ID_ANM,
198     .priv_data_size = sizeof(AnmContext),
199     .init           = decode_init,
200     .close          = decode_end,
201     .decode         = decode_frame,
202     .capabilities   = AV_CODEC_CAP_DR1,
203     .caps_internal  = FF_CODEC_CAP_INIT_THREADSAFE,
204 };