]> git.sesse.net Git - ffmpeg/blob - libavcodec/fic.c
Merge commit '3152058bf1dca318898550efacf0286f4836cae6'
[ffmpeg] / libavcodec / fic.c
1 /*
2  * Mirillis FIC decoder
3  *
4  * Copyright (c) 2014 Konstantin Shishkov
5  * Copyright (c) 2014 Derek Buitenhuis
6  *
7  * This file is part of FFmpeg.
8  *
9  * FFmpeg is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * FFmpeg is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with FFmpeg; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 #include "libavutil/common.h"
25 #include "libavutil/opt.h"
26 #include "avcodec.h"
27 #include "internal.h"
28 #include "get_bits.h"
29 #include "golomb.h"
30
31 typedef struct FICThreadContext {
32     DECLARE_ALIGNED(16, int16_t, block)[64];
33     uint8_t *src;
34     int slice_h;
35     int src_size;
36     int y_off;
37     int p_frame;
38 } FICThreadContext;
39
40 typedef struct FICContext {
41     AVClass *class;
42     AVCodecContext *avctx;
43     AVFrame *frame;
44     AVFrame *final_frame;
45
46     FICThreadContext *slice_data;
47     int slice_data_size;
48
49     const uint8_t *qmat;
50
51     enum AVPictureType cur_frame_type;
52
53     int aligned_width, aligned_height;
54     int num_slices, slice_h;
55
56     uint8_t cursor_buf[4096];
57     int skip_cursor;
58 } FICContext;
59
60 static const uint8_t fic_qmat_hq[64] = {
61     1, 2, 2, 2, 3, 3, 3, 4,
62     2, 2, 2, 3, 3, 3, 4, 4,
63     2, 2, 3, 3, 3, 4, 4, 4,
64     2, 2, 3, 3, 3, 4, 4, 5,
65     2, 3, 3, 3, 4, 4, 5, 6,
66     3, 3, 3, 4, 4, 5, 6, 7,
67     3, 3, 3, 4, 4, 5, 7, 7,
68     3, 3, 4, 4, 5, 7, 7, 7,
69 };
70
71 static const uint8_t fic_qmat_lq[64] = {
72     1,  5,  6,  7,  8,  9,  9, 11,
73     5,  5,  7,  8,  9,  9, 11, 12,
74     6,  7,  8,  9,  9, 11, 11, 12,
75     7,  7,  8,  9,  9, 11, 12, 13,
76     7,  8,  9,  9, 10, 11, 13, 16,
77     8,  9,  9, 10, 11, 13, 16, 19,
78     8,  9,  9, 11, 12, 15, 18, 23,
79     9,  9, 11, 12, 15, 18, 23, 27
80 };
81
82 static const uint8_t fic_header[7] = { 0, 0, 1, 'F', 'I', 'C', 'V' };
83
84 #define FIC_HEADER_SIZE 27
85
86 static av_always_inline void fic_idct(int16_t *blk, int step, int shift, int rnd)
87 {
88     const unsigned t0 =  27246 * blk[3 * step] + 18405 * blk[5 * step];
89     const unsigned t1 =  27246 * blk[5 * step] - 18405 * blk[3 * step];
90     const unsigned t2 =   6393 * blk[7 * step] + 32139 * blk[1 * step];
91     const unsigned t3 =   6393 * blk[1 * step] - 32139 * blk[7 * step];
92     const unsigned t4 = 5793U * ((int)(t2 + t0 + 0x800) >> 12);
93     const unsigned t5 = 5793U * ((int)(t3 + t1 + 0x800) >> 12);
94     const unsigned t6 = t2 - t0;
95     const unsigned t7 = t3 - t1;
96     const unsigned t8 =  17734 * blk[2 * step] - 42813 * blk[6 * step];
97     const unsigned t9 =  17734 * blk[6 * step] + 42814 * blk[2 * step];
98     const unsigned tA = (blk[0 * step] - blk[4 * step]) * 32768 + rnd;
99     const unsigned tB = (blk[0 * step] + blk[4 * step]) * 32768 + rnd;
100     blk[0 * step] = (int)(  t4       + t9 + tB) >> shift;
101     blk[1 * step] = (int)(  t6 + t7  + t8 + tA) >> shift;
102     blk[2 * step] = (int)(  t6 - t7  - t8 + tA) >> shift;
103     blk[3 * step] = (int)(  t5       - t9 + tB) >> shift;
104     blk[4 * step] = (int)( -t5       - t9 + tB) >> shift;
105     blk[5 * step] = (int)(-(t6 - t7) - t8 + tA) >> shift;
106     blk[6 * step] = (int)(-(t6 + t7) + t8 + tA) >> shift;
107     blk[7 * step] = (int)( -t4       + t9 + tB) >> shift;
108 }
109
110 static void fic_idct_put(uint8_t *dst, int stride, int16_t *block)
111 {
112     int i, j;
113     int16_t *ptr;
114
115     ptr = block;
116     fic_idct(ptr++, 8, 13, (1 << 12) + (1 << 17));
117     for (i = 1; i < 8; i++) {
118         fic_idct(ptr, 8, 13, 1 << 12);
119         ptr++;
120     }
121
122     ptr = block;
123     for (i = 0; i < 8; i++) {
124         fic_idct(ptr, 1, 20, 0);
125         ptr += 8;
126     }
127
128     ptr = block;
129     for (j = 0; j < 8; j++) {
130         for (i = 0; i < 8; i++)
131             dst[i] = av_clip_uint8(ptr[i]);
132         dst += stride;
133         ptr += 8;
134     }
135 }
136 static int fic_decode_block(FICContext *ctx, GetBitContext *gb,
137                             uint8_t *dst, int stride, int16_t *block, int *is_p)
138 {
139     int i, num_coeff;
140
141     /* Is it a skip block? */
142     if (get_bits1(gb)) {
143         *is_p = 1;
144         return 0;
145     }
146
147     memset(block, 0, sizeof(*block) * 64);
148
149     num_coeff = get_bits(gb, 7);
150     if (num_coeff > 64)
151         return AVERROR_INVALIDDATA;
152
153     for (i = 0; i < num_coeff; i++) {
154         int v = get_se_golomb(gb);
155         if (v < -2048 || v > 2048)
156              return AVERROR_INVALIDDATA;
157         block[ff_zigzag_direct[i]] = v *
158                                      ctx->qmat[ff_zigzag_direct[i]];
159     }
160
161     fic_idct_put(dst, stride, block);
162
163     return 0;
164 }
165
166 static int fic_decode_slice(AVCodecContext *avctx, void *tdata)
167 {
168     FICContext *ctx        = avctx->priv_data;
169     FICThreadContext *tctx = tdata;
170     GetBitContext gb;
171     uint8_t *src = tctx->src;
172     int slice_h  = tctx->slice_h;
173     int src_size = tctx->src_size;
174     int y_off    = tctx->y_off;
175     int x, y, p;
176
177     init_get_bits(&gb, src, src_size * 8);
178
179     for (p = 0; p < 3; p++) {
180         int stride   = ctx->frame->linesize[p];
181         uint8_t* dst = ctx->frame->data[p] + (y_off >> !!p) * stride;
182
183         for (y = 0; y < (slice_h >> !!p); y += 8) {
184             for (x = 0; x < (ctx->aligned_width >> !!p); x += 8) {
185                 int ret;
186
187                 if ((ret = fic_decode_block(ctx, &gb, dst + x, stride,
188                                             tctx->block, &tctx->p_frame)) != 0)
189                     return ret;
190             }
191
192             dst += 8 * stride;
193         }
194     }
195
196     return 0;
197 }
198
199 static av_always_inline void fic_alpha_blend(uint8_t *dst, uint8_t *src,
200                                              int size, uint8_t *alpha)
201 {
202     int i;
203
204     for (i = 0; i < size; i++)
205         dst[i] += ((src[i] - dst[i]) * alpha[i]) >> 8;
206 }
207
208 static void fic_draw_cursor(AVCodecContext *avctx, int cur_x, int cur_y)
209 {
210     FICContext *ctx = avctx->priv_data;
211     uint8_t *ptr    = ctx->cursor_buf;
212     uint8_t *dstptr[3];
213     uint8_t planes[4][1024];
214     uint8_t chroma[3][256];
215     int i, j, p;
216
217     /* Convert to YUVA444. */
218     for (i = 0; i < 1024; i++) {
219         planes[0][i] = (( 25 * ptr[0] + 129 * ptr[1] +  66 * ptr[2]) / 255) + 16;
220         planes[1][i] = ((-38 * ptr[0] + 112 * ptr[1] + -74 * ptr[2]) / 255) + 128;
221         planes[2][i] = ((-18 * ptr[0] + 112 * ptr[1] + -94 * ptr[2]) / 255) + 128;
222         planes[3][i] = ptr[3];
223
224         ptr += 4;
225     }
226
227     /* Subsample chroma. */
228     for (i = 0; i < 32; i += 2)
229         for (j = 0; j < 32; j += 2)
230             for (p = 0; p < 3; p++)
231                 chroma[p][16 * (i / 2) + j / 2] = (planes[p + 1][32 *  i      + j    ] +
232                                                    planes[p + 1][32 *  i      + j + 1] +
233                                                    planes[p + 1][32 * (i + 1) + j    ] +
234                                                    planes[p + 1][32 * (i + 1) + j + 1]) / 4;
235
236     /* Seek to x/y pos of cursor. */
237     for (i = 0; i < 3; i++)
238         dstptr[i] = ctx->final_frame->data[i]                        +
239                     (ctx->final_frame->linesize[i] * (cur_y >> !!i)) +
240                     (cur_x >> !!i) + !!i;
241
242     /* Copy. */
243     for (i = 0; i < FFMIN(32, avctx->height - cur_y) - 1; i += 2) {
244         int lsize = FFMIN(32, avctx->width - cur_x);
245         int csize = lsize / 2;
246
247         fic_alpha_blend(dstptr[0],
248                         planes[0] + i * 32, lsize, planes[3] + i * 32);
249         fic_alpha_blend(dstptr[0] + ctx->final_frame->linesize[0],
250                         planes[0] + (i + 1) * 32, lsize, planes[3] + (i + 1) * 32);
251         fic_alpha_blend(dstptr[1],
252                         chroma[0] + (i / 2) * 16, csize, chroma[2] + (i / 2) * 16);
253         fic_alpha_blend(dstptr[2],
254                         chroma[1] + (i / 2) * 16, csize, chroma[2] + (i / 2) * 16);
255
256         dstptr[0] += ctx->final_frame->linesize[0] * 2;
257         dstptr[1] += ctx->final_frame->linesize[1];
258         dstptr[2] += ctx->final_frame->linesize[2];
259     }
260 }
261
262 static int fic_decode_frame(AVCodecContext *avctx, void *data,
263                             int *got_frame, AVPacket *avpkt)
264 {
265     FICContext *ctx = avctx->priv_data;
266     uint8_t *src = avpkt->data;
267     int ret;
268     int slice, nslices;
269     int msize;
270     int tsize;
271     int cur_x, cur_y;
272     int skip_cursor = ctx->skip_cursor;
273     uint8_t *sdata;
274
275     if ((ret = ff_reget_buffer(avctx, ctx->frame)) < 0)
276         return ret;
277
278     /* Header + at least one slice (4) */
279     if (avpkt->size < FIC_HEADER_SIZE + 4) {
280         av_log(avctx, AV_LOG_ERROR, "Frame data is too small.\n");
281         return AVERROR_INVALIDDATA;
282     }
283
284     /* Check for header. */
285     if (memcmp(src, fic_header, 7))
286         av_log(avctx, AV_LOG_WARNING, "Invalid FIC Header.\n");
287
288     /* Is it a skip frame? */
289     if (src[17]) {
290         if (!ctx->final_frame) {
291             av_log(avctx, AV_LOG_WARNING, "Initial frame is skipped\n");
292             return AVERROR_INVALIDDATA;
293         }
294         goto skip;
295     }
296
297     nslices = src[13];
298     if (!nslices) {
299         av_log(avctx, AV_LOG_ERROR, "Zero slices found.\n");
300         return AVERROR_INVALIDDATA;
301     }
302
303     /* High or Low Quality Matrix? */
304     ctx->qmat = src[23] ? fic_qmat_hq : fic_qmat_lq;
305
306     /* Skip cursor data. */
307     tsize = AV_RB24(src + 24);
308     if (tsize > avpkt->size - FIC_HEADER_SIZE) {
309         av_log(avctx, AV_LOG_ERROR,
310                "Packet is too small to contain cursor (%d vs %d bytes).\n",
311                tsize, avpkt->size - FIC_HEADER_SIZE);
312         return AVERROR_INVALIDDATA;
313     }
314
315     if (!tsize || !AV_RL16(src + 37) || !AV_RL16(src + 39))
316         skip_cursor = 1;
317
318     if (!skip_cursor && tsize < 32) {
319         av_log(avctx, AV_LOG_WARNING,
320                "Cursor data too small. Skipping cursor.\n");
321         skip_cursor = 1;
322     }
323
324     /* Cursor position. */
325     cur_x = AV_RL16(src + 33);
326     cur_y = AV_RL16(src + 35);
327     if (!skip_cursor && (cur_x > avctx->width || cur_y > avctx->height)) {
328         av_log(avctx, AV_LOG_DEBUG,
329                "Invalid cursor position: (%d,%d). Skipping cursor.\n",
330                cur_x, cur_y);
331         skip_cursor = 1;
332     }
333
334     if (!skip_cursor && (AV_RL16(src + 37) != 32 || AV_RL16(src + 39) != 32)) {
335         av_log(avctx, AV_LOG_WARNING,
336                "Invalid cursor size. Skipping cursor.\n");
337         skip_cursor = 1;
338     }
339
340     /* Slice height for all but the last slice. */
341     ctx->slice_h = 16 * (ctx->aligned_height >> 4) / nslices;
342     if (ctx->slice_h % 16)
343         ctx->slice_h = FFALIGN(ctx->slice_h - 16, 16);
344
345     /* First slice offset and remaining data. */
346     sdata = src + tsize + FIC_HEADER_SIZE + 4 * nslices;
347     msize = avpkt->size - nslices * 4 - tsize - FIC_HEADER_SIZE;
348
349     if (msize <= 0) {
350         av_log(avctx, AV_LOG_ERROR, "Not enough frame data to decode.\n");
351         return AVERROR_INVALIDDATA;
352     }
353
354     /* Allocate slice data. */
355     av_fast_malloc(&ctx->slice_data, &ctx->slice_data_size,
356                    nslices * sizeof(ctx->slice_data[0]));
357     if (!ctx->slice_data_size) {
358         av_log(avctx, AV_LOG_ERROR, "Could not allocate slice data.\n");
359         return AVERROR(ENOMEM);
360     }
361     memset(ctx->slice_data, 0, nslices * sizeof(ctx->slice_data[0]));
362
363     for (slice = 0; slice < nslices; slice++) {
364         unsigned slice_off = AV_RB32(src + tsize + FIC_HEADER_SIZE + slice * 4);
365         unsigned slice_size;
366         int y_off   = ctx->slice_h * slice;
367         int slice_h = ctx->slice_h;
368
369         /*
370          * Either read the slice size, or consume all data left.
371          * Also, special case the last slight height.
372          */
373         if (slice == nslices - 1) {
374             slice_size   = msize;
375             slice_h      = FFALIGN(avctx->height - ctx->slice_h * (nslices - 1), 16);
376         } else {
377             slice_size = AV_RB32(src + tsize + FIC_HEADER_SIZE + slice * 4 + 4);
378         }
379
380         if (slice_size < slice_off || slice_size > msize)
381             continue;
382
383         slice_size -= slice_off;
384
385         ctx->slice_data[slice].src      = sdata + slice_off;
386         ctx->slice_data[slice].src_size = slice_size;
387         ctx->slice_data[slice].slice_h  = slice_h;
388         ctx->slice_data[slice].y_off    = y_off;
389     }
390
391     if ((ret = avctx->execute(avctx, fic_decode_slice, ctx->slice_data,
392                               NULL, nslices, sizeof(ctx->slice_data[0]))) < 0)
393         return ret;
394
395     ctx->frame->key_frame = 1;
396     ctx->frame->pict_type = AV_PICTURE_TYPE_I;
397     for (slice = 0; slice < nslices; slice++) {
398         if (ctx->slice_data[slice].p_frame) {
399             ctx->frame->key_frame = 0;
400             ctx->frame->pict_type = AV_PICTURE_TYPE_P;
401             break;
402         }
403     }
404     av_frame_free(&ctx->final_frame);
405     ctx->final_frame = av_frame_clone(ctx->frame);
406     if (!ctx->final_frame) {
407         av_log(avctx, AV_LOG_ERROR, "Could not clone frame buffer.\n");
408         return AVERROR(ENOMEM);
409     }
410
411     /* Make sure we use a user-supplied buffer. */
412     if ((ret = ff_reget_buffer(avctx, ctx->final_frame)) < 0) {
413         av_log(avctx, AV_LOG_ERROR, "Could not make frame writable.\n");
414         return ret;
415     }
416
417     /* Draw cursor. */
418     if (!skip_cursor) {
419         memcpy(ctx->cursor_buf, src + 59, 32 * 32 * 4);
420         fic_draw_cursor(avctx, cur_x, cur_y);
421     }
422
423 skip:
424     *got_frame = 1;
425     if ((ret = av_frame_ref(data, ctx->final_frame)) < 0)
426         return ret;
427
428     return avpkt->size;
429 }
430
431 static av_cold int fic_decode_close(AVCodecContext *avctx)
432 {
433     FICContext *ctx = avctx->priv_data;
434
435     av_freep(&ctx->slice_data);
436     av_frame_free(&ctx->final_frame);
437     av_frame_free(&ctx->frame);
438
439     return 0;
440 }
441
442 static av_cold int fic_decode_init(AVCodecContext *avctx)
443 {
444     FICContext *ctx = avctx->priv_data;
445
446     /* Initialize various context values */
447     ctx->avctx            = avctx;
448     ctx->aligned_width    = FFALIGN(avctx->width,  16);
449     ctx->aligned_height   = FFALIGN(avctx->height, 16);
450
451     avctx->pix_fmt             = AV_PIX_FMT_YUV420P;
452     avctx->bits_per_raw_sample = 8;
453
454     ctx->frame = av_frame_alloc();
455     if (!ctx->frame)
456         return AVERROR(ENOMEM);
457
458     return 0;
459 }
460
461 static const AVOption options[] = {
462 { "skip_cursor", "skip the cursor", offsetof(FICContext, skip_cursor), AV_OPT_TYPE_BOOL, {.i64 = 0 }, 0, 1, AV_OPT_FLAG_DECODING_PARAM | AV_OPT_FLAG_VIDEO_PARAM },
463 { NULL },
464 };
465
466 static const AVClass fic_decoder_class = {
467     .class_name = "FIC encoder",
468     .item_name  = av_default_item_name,
469     .option     = options,
470     .version    = LIBAVUTIL_VERSION_INT,
471 };
472
473 AVCodec ff_fic_decoder = {
474     .name           = "fic",
475     .long_name      = NULL_IF_CONFIG_SMALL("Mirillis FIC"),
476     .type           = AVMEDIA_TYPE_VIDEO,
477     .id             = AV_CODEC_ID_FIC,
478     .priv_data_size = sizeof(FICContext),
479     .init           = fic_decode_init,
480     .decode         = fic_decode_frame,
481     .close          = fic_decode_close,
482     .capabilities   = AV_CODEC_CAP_DR1 | AV_CODEC_CAP_SLICE_THREADS,
483     .priv_class     = &fic_decoder_class,
484 };