]> git.sesse.net Git - ffmpeg/blob - libavcodec/mvha.c
avcodec/simple_idct_template: fix integer overflow
[ffmpeg] / libavcodec / mvha.c
1 /*
2  * MidiVid Archive codec
3  *
4  * Copyright (c) 2019 Paul B Mahol
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #include <stdio.h>
24 #include <stdlib.h>
25 #include <string.h>
26
27 #define CACHED_BITSTREAM_READER !ARCH_X86_32
28 #include "libavutil/intreadwrite.h"
29
30 #include "avcodec.h"
31 #include "bytestream.h"
32 #include "get_bits.h"
33 #include "internal.h"
34 #include "lossless_videodsp.h"
35
36 #include <zlib.h>
37
38 typedef struct MVHAContext {
39     GetBitContext     gb;
40     int nb_symbols;
41
42     uint8_t           symb[256];
43     uint32_t          prob[256];
44     VLC               vlc;
45
46     z_stream          zstream;
47     LLVidDSPContext   llviddsp;
48 } MVHAContext;
49
50 typedef struct Node {
51     int16_t  sym;
52     int16_t  n0;
53     int16_t  l, r;
54     uint32_t count;
55 } Node;
56
57 static void get_tree_codes(uint32_t *bits, int16_t *lens, uint8_t *xlat,
58                            Node *nodes, int node,
59                            uint32_t pfx, int pl, int *pos)
60 {
61     int s;
62
63     s = nodes[node].sym;
64     if (s != -1) {
65         bits[*pos] = (~pfx) & ((1ULL << FFMAX(pl, 1)) - 1);
66         lens[*pos] = FFMAX(pl, 1);
67         xlat[*pos] = s + (pl == 0);
68         (*pos)++;
69     } else {
70         pfx <<= 1;
71         pl++;
72         get_tree_codes(bits, lens, xlat, nodes, nodes[node].l, pfx, pl,
73                        pos);
74         pfx |= 1;
75         get_tree_codes(bits, lens, xlat, nodes, nodes[node].r, pfx, pl,
76                        pos);
77     }
78 }
79
80 static int build_vlc(AVCodecContext *avctx, VLC *vlc)
81 {
82     MVHAContext *s = avctx->priv_data;
83     Node nodes[512];
84     uint32_t bits[256];
85     int16_t lens[256];
86     uint8_t xlat[256];
87     int cur_node, i, j, pos = 0;
88
89     ff_free_vlc(vlc);
90
91     for (i = 0; i < s->nb_symbols; i++) {
92         nodes[i].count = s->prob[i];
93         nodes[i].sym   = s->symb[i];
94         nodes[i].n0    = -2;
95         nodes[i].l     = i;
96         nodes[i].r     = i;
97     }
98
99     cur_node = s->nb_symbols;
100     j = 0;
101     do {
102         for (i = 0; ; i++) {
103             int new_node = j;
104             int first_node = cur_node;
105             int second_node = cur_node;
106             unsigned nd, st;
107
108             nodes[cur_node].count = -1;
109
110             do {
111                 int val = nodes[new_node].count;
112                 if (val && (val < nodes[first_node].count)) {
113                     if (val >= nodes[second_node].count) {
114                         first_node = new_node;
115                     } else {
116                         first_node = second_node;
117                         second_node = new_node;
118                     }
119                 }
120                 new_node += 1;
121             } while (new_node != cur_node);
122
123             if (first_node == cur_node)
124                 break;
125
126             nd = nodes[second_node].count;
127             st = nodes[first_node].count;
128             nodes[second_node].count = 0;
129             nodes[first_node].count  = 0;
130             if (nd >= UINT32_MAX - st) {
131                 av_log(avctx, AV_LOG_ERROR, "count overflow\n");
132                 return AVERROR_INVALIDDATA;
133             }
134             nodes[cur_node].count = nd + st;
135             nodes[cur_node].sym = -1;
136             nodes[cur_node].n0 = cur_node;
137             nodes[cur_node].l = first_node;
138             nodes[cur_node].r = second_node;
139             cur_node++;
140         }
141         j++;
142     } while (cur_node - s->nb_symbols == j);
143
144     get_tree_codes(bits, lens, xlat, nodes, cur_node - 1, 0, 0, &pos);
145
146     return ff_init_vlc_sparse(vlc, 12, pos, lens, 2, 2, bits, 4, 4, xlat, 1, 1, 0);
147 }
148
149 static int decode_frame(AVCodecContext *avctx,
150                         void *data, int *got_frame,
151                         AVPacket *avpkt)
152 {
153     MVHAContext *s = avctx->priv_data;
154     AVFrame *frame = data;
155     uint32_t type, size;
156     int ret;
157
158     if (avpkt->size <= 8)
159         return AVERROR_INVALIDDATA;
160
161     type = AV_RB32(avpkt->data);
162     size = AV_RL32(avpkt->data + 4);
163
164     if ((ret = ff_get_buffer(avctx, frame, 0)) < 0)
165         return ret;
166
167     if (type == MKTAG('L','Z','Y','V')) {
168         ret = inflateReset(&s->zstream);
169         if (ret != Z_OK) {
170             av_log(avctx, AV_LOG_ERROR, "Inflate reset error: %d\n", ret);
171             return AVERROR_EXTERNAL;
172         }
173
174         s->zstream.next_in  = avpkt->data + 8;
175         s->zstream.avail_in = avpkt->size - 8;
176
177         for (int p = 0; p < 3; p++) {
178             for (int y = 0; y < avctx->height; y++) {
179                 s->zstream.next_out  = frame->data[p] + (avctx->height - y - 1) * frame->linesize[p];
180                 s->zstream.avail_out = avctx->width >> (p > 0);
181
182                 ret = inflate(&s->zstream, Z_SYNC_FLUSH);
183                 if (ret != Z_OK && ret != Z_STREAM_END) {
184                     av_log(avctx, AV_LOG_ERROR, "Inflate error: %d\n", ret);
185                     return AVERROR_EXTERNAL;
186                 }
187             }
188         }
189     } else if (type == MKTAG('H','U','F','Y')) {
190         GetBitContext *gb = &s->gb;
191         int first_symbol, symbol;
192
193         ret = init_get_bits8(gb, avpkt->data + 8, avpkt->size - 8);
194         if (ret < 0)
195             return ret;
196
197         skip_bits(gb, 24);
198
199         first_symbol = get_bits(gb, 8);
200         s->nb_symbols = get_bits(gb, 8) + 1;
201
202         symbol = first_symbol;
203         for (int i = 0; i < s->nb_symbols; symbol++) {
204             int prob;
205
206             if (get_bits_left(gb) < 4)
207                 return AVERROR_INVALIDDATA;
208
209             if (get_bits1(gb)) {
210                 prob = get_bits(gb, 12);
211             } else {
212                 prob = get_bits(gb, 3);
213             }
214
215             if (prob) {
216                 s->symb[i] = symbol;
217                 s->prob[i] = prob;
218                 i++;
219             }
220         }
221
222         ret = build_vlc(avctx, &s->vlc);
223         if (ret < 0)
224             return ret;
225
226         for (int p = 0; p < 3; p++) {
227             int width = avctx->width >> (p > 0);
228             ptrdiff_t stride = frame->linesize[p];
229             uint8_t *dst;
230
231             dst = frame->data[p] + (avctx->height - 1) * frame->linesize[p];
232             for (int y = 0; y < avctx->height; y++) {
233                 for (int x = 0; x < width; x++) {
234                     int v = get_vlc2(gb, s->vlc.table, s->vlc.bits, 3);
235
236                     if (v < 0)
237                         return AVERROR_INVALIDDATA;
238
239                     dst[x] = v;
240                 }
241                 dst -= stride;
242             }
243         }
244     } else {
245         return AVERROR_INVALIDDATA;
246     }
247
248     for (int p = 0; p < 3; p++) {
249         int left, lefttop;
250         int width = avctx->width >> (p > 0);
251         ptrdiff_t stride = frame->linesize[p];
252         uint8_t *dst;
253
254         dst = frame->data[p] + (avctx->height - 1) * frame->linesize[p];
255         s->llviddsp.add_left_pred(dst, dst, width, 0);
256         dst -= stride;
257         lefttop = left = dst[0];
258         for (int y = 1; y < avctx->height; y++) {
259             s->llviddsp.add_median_pred(dst, dst + stride, dst, width, &left, &lefttop);
260             lefttop = left = dst[0];
261             dst -= stride;
262         }
263     }
264
265     frame->pict_type = AV_PICTURE_TYPE_I;
266     frame->key_frame = 1;
267     *got_frame = 1;
268
269     return avpkt->size;
270 }
271
272 static av_cold int decode_init(AVCodecContext *avctx)
273 {
274     MVHAContext *s = avctx->priv_data;
275     int zret;
276
277     avctx->pix_fmt = AV_PIX_FMT_YUV422P;
278
279     s->zstream.zalloc = Z_NULL;
280     s->zstream.zfree = Z_NULL;
281     s->zstream.opaque = Z_NULL;
282     zret = inflateInit(&s->zstream);
283     if (zret != Z_OK) {
284         av_log(avctx, AV_LOG_ERROR, "Inflate init error: %d\n", zret);
285         return AVERROR_EXTERNAL;
286     }
287
288     ff_llviddsp_init(&s->llviddsp);
289
290     return 0;
291 }
292
293 static av_cold int decode_close(AVCodecContext *avctx)
294 {
295     MVHAContext *s = avctx->priv_data;
296
297     inflateEnd(&s->zstream);
298     ff_free_vlc(&s->vlc);
299
300     return 0;
301 }
302
303 AVCodec ff_mvha_decoder = {
304     .name             = "mvha",
305     .long_name        = NULL_IF_CONFIG_SMALL("MidiVid Archive Codec"),
306     .type             = AVMEDIA_TYPE_VIDEO,
307     .id               = AV_CODEC_ID_MVHA,
308     .priv_data_size   = sizeof(MVHAContext),
309     .init             = decode_init,
310     .close            = decode_close,
311     .decode           = decode_frame,
312     .capabilities     = AV_CODEC_CAP_DR1,
313     .caps_internal    = FF_CODEC_CAP_INIT_THREADSAFE |
314                         FF_CODEC_CAP_INIT_CLEANUP,
315 };