]> git.sesse.net Git - ffmpeg/blob - libavcodec/dnxhddec.c
mpegvideo_parser: fix buffer access beyond end
[ffmpeg] / libavcodec / dnxhddec.c
1 /*
2  * VC3/DNxHD decoder.
3  * Copyright (c) 2007 SmartJog S.A., Baptiste Coudurier <baptiste dot coudurier at smartjog dot com>
4  * Copyright (c) 2011 MirriAd Ltd
5  *
6  * 10 bit support added by MirriAd Ltd, Joseph Artsimovich <joseph@mirriad.com>
7  *
8  * This file is part of FFmpeg.
9  *
10  * FFmpeg is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * FFmpeg is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with FFmpeg; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 //#define TRACE
26 //#define DEBUG
27
28 #include "libavutil/imgutils.h"
29 #include "avcodec.h"
30 #include "get_bits.h"
31 #include "dnxhddata.h"
32 #include "dsputil.h"
33 #include "internal.h"
34 #include "thread.h"
35
36 typedef struct DNXHDContext {
37     AVCodecContext *avctx;
38     AVFrame picture;
39     GetBitContext gb;
40     int cid;                            ///< compression id
41     unsigned int width, height;
42     unsigned int mb_width, mb_height;
43     uint32_t mb_scan_index[68];         /* max for 1080p */
44     int cur_field;                      ///< current interlaced field
45     VLC ac_vlc, dc_vlc, run_vlc;
46     int last_dc[3];
47     DSPContext dsp;
48     DECLARE_ALIGNED(16, DCTELEM, blocks)[8][64];
49     ScanTable scantable;
50     const CIDEntry *cid_table;
51     int bit_depth; // 8, 10 or 0 if not initialized at all.
52     void (*decode_dct_block)(struct DNXHDContext *ctx, DCTELEM *block,
53                              int n, int qscale);
54     int last_qscale;
55     int luma_scale[64];
56     int chroma_scale[64];
57 } DNXHDContext;
58
59 #define DNXHD_VLC_BITS 9
60 #define DNXHD_DC_VLC_BITS 7
61
62 static void dnxhd_decode_dct_block_8(DNXHDContext *ctx, DCTELEM *block, int n, int qscale);
63 static void dnxhd_decode_dct_block_10(DNXHDContext *ctx, DCTELEM *block, int n, int qscale);
64
65 static av_cold int dnxhd_decode_init(AVCodecContext *avctx)
66 {
67     DNXHDContext *ctx = avctx->priv_data;
68
69     ctx->avctx = avctx;
70     avctx->coded_frame = &ctx->picture;
71     avcodec_get_frame_defaults(&ctx->picture);
72     ctx->picture.type = AV_PICTURE_TYPE_I;
73     ctx->picture.key_frame = 1;
74     return 0;
75 }
76
77 static int dnxhd_init_vlc(DNXHDContext *ctx, int cid)
78 {
79     if (cid != ctx->cid) {
80         int index;
81
82         if ((index = ff_dnxhd_get_cid_table(cid)) < 0) {
83             av_log(ctx->avctx, AV_LOG_ERROR, "unsupported cid %d\n", cid);
84             return -1;
85         }
86         if (ff_dnxhd_cid_table[index].bit_depth != ctx->bit_depth) {
87             av_log(ctx->avctx, AV_LOG_ERROR, "bit depth mismatches %d %d\n", ff_dnxhd_cid_table[index].bit_depth, ctx->bit_depth);
88             return AVERROR_INVALIDDATA;
89         }
90         ctx->cid_table = &ff_dnxhd_cid_table[index];
91
92         ff_free_vlc(&ctx->ac_vlc);
93         ff_free_vlc(&ctx->dc_vlc);
94         ff_free_vlc(&ctx->run_vlc);
95
96         init_vlc(&ctx->ac_vlc, DNXHD_VLC_BITS, 257,
97                  ctx->cid_table->ac_bits, 1, 1,
98                  ctx->cid_table->ac_codes, 2, 2, 0);
99         init_vlc(&ctx->dc_vlc, DNXHD_DC_VLC_BITS, ctx->bit_depth + 4,
100                  ctx->cid_table->dc_bits, 1, 1,
101                  ctx->cid_table->dc_codes, 1, 1, 0);
102         init_vlc(&ctx->run_vlc, DNXHD_VLC_BITS, 62,
103                  ctx->cid_table->run_bits, 1, 1,
104                  ctx->cid_table->run_codes, 2, 2, 0);
105
106         ff_init_scantable(ctx->dsp.idct_permutation, &ctx->scantable, ff_zigzag_direct);
107         ctx->cid = cid;
108     }
109     return 0;
110 }
111
112 static int dnxhd_decode_header(DNXHDContext *ctx, const uint8_t *buf, int buf_size, int first_field)
113 {
114     static const uint8_t header_prefix[] = { 0x00, 0x00, 0x02, 0x80, 0x01 };
115     int i, cid;
116
117     if (buf_size < 0x280)
118         return -1;
119
120     if (memcmp(buf, header_prefix, 5)) {
121         av_log(ctx->avctx, AV_LOG_ERROR, "error in header\n");
122         return -1;
123     }
124     if (buf[5] & 2) { /* interlaced */
125         ctx->cur_field = buf[5] & 1;
126         ctx->picture.interlaced_frame = 1;
127         ctx->picture.top_field_first = first_field ^ ctx->cur_field;
128         av_log(ctx->avctx, AV_LOG_DEBUG, "interlaced %d, cur field %d\n", buf[5] & 3, ctx->cur_field);
129     }
130
131     ctx->height = AV_RB16(buf + 0x18);
132     ctx->width  = AV_RB16(buf + 0x1a);
133
134     av_dlog(ctx->avctx, "width %d, height %d\n", ctx->width, ctx->height);
135
136     if (buf[0x21] & 0x40) {
137         ctx->avctx->pix_fmt = AV_PIX_FMT_YUV422P10;
138         ctx->avctx->bits_per_raw_sample = 10;
139         if (ctx->bit_depth != 10) {
140             ff_dsputil_init(&ctx->dsp, ctx->avctx);
141             ctx->bit_depth = 10;
142             ctx->decode_dct_block = dnxhd_decode_dct_block_10;
143         }
144     } else {
145         ctx->avctx->pix_fmt = AV_PIX_FMT_YUV422P;
146         ctx->avctx->bits_per_raw_sample = 8;
147         if (ctx->bit_depth != 8) {
148             ff_dsputil_init(&ctx->dsp, ctx->avctx);
149             ctx->bit_depth = 8;
150             ctx->decode_dct_block = dnxhd_decode_dct_block_8;
151         }
152     }
153
154     cid = AV_RB32(buf + 0x28);
155     av_dlog(ctx->avctx, "compression id %d\n", cid);
156
157     if (dnxhd_init_vlc(ctx, cid) < 0)
158         return -1;
159
160     if (buf_size < ctx->cid_table->coding_unit_size) {
161         av_log(ctx->avctx, AV_LOG_ERROR, "incorrect frame size\n");
162         return -1;
163     }
164
165     ctx->mb_width = ctx->width>>4;
166     ctx->mb_height = buf[0x16d];
167
168     av_dlog(ctx->avctx, "mb width %d, mb height %d\n", ctx->mb_width, ctx->mb_height);
169
170     if ((ctx->height+15)>>4 == ctx->mb_height && ctx->picture.interlaced_frame)
171         ctx->height <<= 1;
172
173     if (ctx->mb_height > 68 ||
174         (ctx->mb_height<<ctx->picture.interlaced_frame) > (ctx->height+15)>>4) {
175         av_log(ctx->avctx, AV_LOG_ERROR, "mb height too big: %d\n", ctx->mb_height);
176         return -1;
177     }
178
179     for (i = 0; i < ctx->mb_height; i++) {
180         ctx->mb_scan_index[i] = AV_RB32(buf + 0x170 + (i<<2));
181         av_dlog(ctx->avctx, "mb scan index %d\n", ctx->mb_scan_index[i]);
182         if (buf_size < ctx->mb_scan_index[i] + 0x280) {
183             av_log(ctx->avctx, AV_LOG_ERROR, "invalid mb scan index\n");
184             return -1;
185         }
186     }
187
188     return 0;
189 }
190
191 static av_always_inline void dnxhd_decode_dct_block(DNXHDContext *ctx,
192                                                     DCTELEM *block, int n,
193                                                     int qscale,
194                                                     int index_bits,
195                                                     int level_bias,
196                                                     int level_shift)
197 {
198     int i, j, index1, index2, len, flags;
199     int level, component, sign;
200     const int *scale;
201     const uint8_t *weight_matrix;
202     const uint8_t *ac_level = ctx->cid_table->ac_level;
203     const uint8_t *ac_flags = ctx->cid_table->ac_flags;
204     const int eob_index     = ctx->cid_table->eob_index;
205     OPEN_READER(bs, &ctx->gb);
206
207     if (n&2) {
208         component = 1 + (n&1);
209         scale = ctx->chroma_scale;
210         weight_matrix = ctx->cid_table->chroma_weight;
211     } else {
212         component = 0;
213         scale = ctx->luma_scale;
214         weight_matrix = ctx->cid_table->luma_weight;
215     }
216
217     UPDATE_CACHE(bs, &ctx->gb);
218     GET_VLC(len, bs, &ctx->gb, ctx->dc_vlc.table, DNXHD_DC_VLC_BITS, 1);
219     if (len) {
220         level = GET_CACHE(bs, &ctx->gb);
221         LAST_SKIP_BITS(bs, &ctx->gb, len);
222         sign  = ~level >> 31;
223         level = (NEG_USR32(sign ^ level, len) ^ sign) - sign;
224         ctx->last_dc[component] += level;
225     }
226     block[0] = ctx->last_dc[component];
227
228     i = 0;
229
230     UPDATE_CACHE(bs, &ctx->gb);
231     GET_VLC(index1, bs, &ctx->gb, ctx->ac_vlc.table,
232             DNXHD_VLC_BITS, 2);
233
234     while (index1 != eob_index) {
235         level = ac_level[index1];
236         flags = ac_flags[index1];
237
238         sign = SHOW_SBITS(bs, &ctx->gb, 1);
239         SKIP_BITS(bs, &ctx->gb, 1);
240
241         if (flags & 1) {
242             level += SHOW_UBITS(bs, &ctx->gb, index_bits) << 7;
243             SKIP_BITS(bs, &ctx->gb, index_bits);
244         }
245
246         if (flags & 2) {
247             UPDATE_CACHE(bs, &ctx->gb);
248             GET_VLC(index2, bs, &ctx->gb, ctx->run_vlc.table,
249                     DNXHD_VLC_BITS, 2);
250             i += ctx->cid_table->run[index2];
251         }
252
253         if (++i > 63) {
254             av_log(ctx->avctx, AV_LOG_ERROR, "ac tex damaged %d, %d\n", n, i);
255             break;
256         }
257
258         j = ctx->scantable.permutated[i];
259         level *= scale[i];
260         if (level_bias < 32 || weight_matrix[i] != level_bias)
261             level += level_bias;
262         level >>= level_shift;
263
264         block[j] = (level^sign) - sign;
265
266         UPDATE_CACHE(bs, &ctx->gb);
267         GET_VLC(index1, bs, &ctx->gb, ctx->ac_vlc.table,
268                 DNXHD_VLC_BITS, 2);
269     }
270
271     CLOSE_READER(bs, &ctx->gb);
272 }
273
274 static void dnxhd_decode_dct_block_8(DNXHDContext *ctx, DCTELEM *block,
275                                      int n, int qscale)
276 {
277     dnxhd_decode_dct_block(ctx, block, n, qscale, 4, 32, 6);
278 }
279
280 static void dnxhd_decode_dct_block_10(DNXHDContext *ctx, DCTELEM *block,
281                                       int n, int qscale)
282 {
283     dnxhd_decode_dct_block(ctx, block, n, qscale, 6, 8, 4);
284 }
285
286 static int dnxhd_decode_macroblock(DNXHDContext *ctx, int x, int y)
287 {
288     int shift1 = ctx->bit_depth == 10;
289     int dct_linesize_luma   = ctx->picture.linesize[0];
290     int dct_linesize_chroma = ctx->picture.linesize[1];
291     uint8_t *dest_y, *dest_u, *dest_v;
292     int dct_y_offset, dct_x_offset;
293     int qscale, i;
294
295     qscale = get_bits(&ctx->gb, 11);
296     skip_bits1(&ctx->gb);
297
298     if (qscale != ctx->last_qscale) {
299         for (i = 0; i < 64; i++) {
300             ctx->luma_scale[i]   = qscale * ctx->cid_table->luma_weight[i];
301             ctx->chroma_scale[i] = qscale * ctx->cid_table->chroma_weight[i];
302         }
303         ctx->last_qscale = qscale;
304     }
305
306     for (i = 0; i < 8; i++) {
307         ctx->dsp.clear_block(ctx->blocks[i]);
308         ctx->decode_dct_block(ctx, ctx->blocks[i], i, qscale);
309     }
310
311     if (ctx->picture.interlaced_frame) {
312         dct_linesize_luma   <<= 1;
313         dct_linesize_chroma <<= 1;
314     }
315
316     dest_y = ctx->picture.data[0] + ((y * dct_linesize_luma)   << 4) + (x << (4 + shift1));
317     dest_u = ctx->picture.data[1] + ((y * dct_linesize_chroma) << 4) + (x << (3 + shift1));
318     dest_v = ctx->picture.data[2] + ((y * dct_linesize_chroma) << 4) + (x << (3 + shift1));
319
320     if (ctx->cur_field) {
321         dest_y += ctx->picture.linesize[0];
322         dest_u += ctx->picture.linesize[1];
323         dest_v += ctx->picture.linesize[2];
324     }
325
326     dct_y_offset = dct_linesize_luma << 3;
327     dct_x_offset = 8 << shift1;
328     ctx->dsp.idct_put(dest_y,                               dct_linesize_luma, ctx->blocks[0]);
329     ctx->dsp.idct_put(dest_y + dct_x_offset,                dct_linesize_luma, ctx->blocks[1]);
330     ctx->dsp.idct_put(dest_y + dct_y_offset,                dct_linesize_luma, ctx->blocks[4]);
331     ctx->dsp.idct_put(dest_y + dct_y_offset + dct_x_offset, dct_linesize_luma, ctx->blocks[5]);
332
333     if (!(ctx->avctx->flags & CODEC_FLAG_GRAY)) {
334         dct_y_offset = dct_linesize_chroma << 3;
335         ctx->dsp.idct_put(dest_u,                dct_linesize_chroma, ctx->blocks[2]);
336         ctx->dsp.idct_put(dest_v,                dct_linesize_chroma, ctx->blocks[3]);
337         ctx->dsp.idct_put(dest_u + dct_y_offset, dct_linesize_chroma, ctx->blocks[6]);
338         ctx->dsp.idct_put(dest_v + dct_y_offset, dct_linesize_chroma, ctx->blocks[7]);
339     }
340
341     return 0;
342 }
343
344 static int dnxhd_decode_macroblocks(DNXHDContext *ctx, const uint8_t *buf, int buf_size)
345 {
346     int x, y;
347     for (y = 0; y < ctx->mb_height; y++) {
348         ctx->last_dc[0] =
349         ctx->last_dc[1] =
350         ctx->last_dc[2] = 1 << (ctx->bit_depth + 2); // for levels +2^(bitdepth-1)
351         init_get_bits(&ctx->gb, buf + ctx->mb_scan_index[y], (buf_size - ctx->mb_scan_index[y]) << 3);
352         for (x = 0; x < ctx->mb_width; x++) {
353             //START_TIMER;
354             dnxhd_decode_macroblock(ctx, x, y);
355             //STOP_TIMER("decode macroblock");
356         }
357     }
358     return 0;
359 }
360
361 static int dnxhd_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
362                               AVPacket *avpkt)
363 {
364     const uint8_t *buf = avpkt->data;
365     int buf_size = avpkt->size;
366     DNXHDContext *ctx = avctx->priv_data;
367     AVFrame *picture = data;
368     int first_field = 1;
369     int ret;
370
371     av_dlog(avctx, "frame size %d\n", buf_size);
372
373  decode_coding_unit:
374     if (dnxhd_decode_header(ctx, buf, buf_size, first_field) < 0)
375         return -1;
376
377     if ((avctx->width || avctx->height) &&
378         (ctx->width != avctx->width || ctx->height != avctx->height)) {
379         av_log(avctx, AV_LOG_WARNING, "frame size changed: %dx%d -> %dx%d\n",
380                avctx->width, avctx->height, ctx->width, ctx->height);
381         first_field = 1;
382     }
383
384     if (av_image_check_size(ctx->width, ctx->height, 0, avctx))
385         return -1;
386     avcodec_set_dimensions(avctx, ctx->width, ctx->height);
387
388     if (first_field) {
389         if (ctx->picture.data[0])
390             ff_thread_release_buffer(avctx, &ctx->picture);
391         if ((ret = ff_thread_get_buffer(avctx, &ctx->picture)) < 0) {
392             av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
393             return ret;
394         }
395     }
396
397     dnxhd_decode_macroblocks(ctx, buf + 0x280, buf_size - 0x280);
398
399     if (first_field && ctx->picture.interlaced_frame) {
400         buf      += ctx->cid_table->coding_unit_size;
401         buf_size -= ctx->cid_table->coding_unit_size;
402         first_field = 0;
403         goto decode_coding_unit;
404     }
405
406     *picture = ctx->picture;
407     *got_frame = 1;
408     return buf_size;
409 }
410
411 static av_cold int dnxhd_decode_close(AVCodecContext *avctx)
412 {
413     DNXHDContext *ctx = avctx->priv_data;
414
415     if (ctx->picture.data[0])
416         ff_thread_release_buffer(avctx, &ctx->picture);
417     ff_free_vlc(&ctx->ac_vlc);
418     ff_free_vlc(&ctx->dc_vlc);
419     ff_free_vlc(&ctx->run_vlc);
420     return 0;
421 }
422
423 AVCodec ff_dnxhd_decoder = {
424     .name           = "dnxhd",
425     .type           = AVMEDIA_TYPE_VIDEO,
426     .id             = AV_CODEC_ID_DNXHD,
427     .priv_data_size = sizeof(DNXHDContext),
428     .init           = dnxhd_decode_init,
429     .close          = dnxhd_decode_close,
430     .decode         = dnxhd_decode_frame,
431     .capabilities   = CODEC_CAP_DR1 | CODEC_CAP_FRAME_THREADS,
432     .long_name      = NULL_IF_CONFIG_SMALL("VC3/DNxHD"),
433 };