git.sesse.net Git - ffmpeg/blob - libavcodec/fic.c

   1 /*
   2  * Mirillis FIC decoder
   3  *
   4  * Copyright (c) 2014 Konstantin Shishkov
   5  * Copyright (c) 2014 Derek Buitenhuis
   6  *
   7  * This file is part of Libav.
   8  *
   9  * Libav is free software; you can redistribute it and/or
  10  * modify it under the terms of the GNU Lesser General Public
  11  * License as published by the Free Software Foundation; either
  12  * version 2.1 of the License, or (at your option) any later version.
  13  *
  14  * Libav is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17  * Lesser General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Lesser General Public
  20  * License along with Libav; if not, write to the Free Software
  21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  22  */
  23
  24 #include "libavutil/common.h"
  25 #include "avcodec.h"
  26 #include "internal.h"
  27 #include "get_bits.h"
  28 #include "golomb.h"
  29
  30 typedef struct FICThreadContext {
  31     DECLARE_ALIGNED(16, int16_t, block)[64];
  32     uint8_t *src;
  33     int slice_h;
  34     int src_size;
  35     int y_off;
  36 } FICThreadContext;
  37
  38 typedef struct FICContext {
  39     AVCodecContext *avctx;
  40     AVFrame *frame;
  41     AVFrame *final_frame;
  42
  43     FICThreadContext *slice_data;
  44     int slice_data_size;
  45
  46     const uint8_t *qmat;
  47
  48     enum AVPictureType cur_frame_type;
  49
  50     int aligned_width, aligned_height;
  51     int num_slices, slice_h;
  52
  53     uint8_t cursor_buf[4096];
  54 } FICContext;
  55
  56 static const uint8_t fic_qmat_hq[64] = {
  57     1, 2, 2, 2, 3, 3, 3, 4,
  58     2, 2, 2, 3, 3, 3, 4, 4,
  59     2, 2, 3, 3, 3, 4, 4, 4,
  60     2, 2, 3, 3, 3, 4, 4, 5,
  61     2, 3, 3, 3, 4, 4, 5, 6,
  62     3, 3, 3, 4, 4, 5, 6, 7,
  63     3, 3, 3, 4, 4, 5, 7, 7,
  64     3, 3, 4, 4, 5, 7, 7, 7,
  65 };
  66
  67 static const uint8_t fic_qmat_lq[64] = {
  68     1,  5,  6,  7,  8,  9,  9, 11,
  69     5,  5,  7,  8,  9,  9, 11, 12,
  70     6,  7,  8,  9,  9, 11, 11, 12,
  71     7,  7,  8,  9,  9, 11, 12, 13,
  72     7,  8,  9,  9, 10, 11, 13, 16,
  73     8,  9,  9, 10, 11, 13, 16, 19,
  74     8,  9,  9, 11, 12, 15, 18, 23,
  75     9,  9, 11, 12, 15, 18, 23, 27
  76 };
  77
  78 static const uint8_t fic_header[7] = { 0, 0, 1, 'F', 'I', 'C', 'V' };
  79
  80 #define FIC_HEADER_SIZE 27
  81
  82 static av_always_inline void fic_idct(int16_t *blk, int step, int shift)
  83 {
  84     const int t0 =  27246 * blk[3 * step] + 18405 * blk[5 * step];
  85     const int t1 =  27246 * blk[5 * step] - 18405 * blk[3 * step];
  86     const int t2 =   6393 * blk[7 * step] + 32139 * blk[1 * step];
  87     const int t3 =   6393 * blk[1 * step] - 32139 * blk[7 * step];
  88     const int t4 = 5793 * (t2 + t0 + 0x800 >> 12);
  89     const int t5 = 5793 * (t3 + t1 + 0x800 >> 12);
  90     const int t6 = t2 - t0;
  91     const int t7 = t3 - t1;
  92     const int t8 =  17734 * blk[2 * step] - 42813 * blk[6 * step];
  93     const int t9 =  17734 * blk[6 * step] + 42814 * blk[2 * step];
  94     const int tA = (blk[0 * step] - blk[4 * step] << 15) + (1 << shift - 1);
  95     const int tB = (blk[0 * step] + blk[4 * step] << 15) + (1 << shift - 1);
  96     blk[0 * step] = (  t4       + t9 + tB) >> shift;
  97     blk[1 * step] = (  t6 + t7  + t8 + tA) >> shift;
  98     blk[2 * step] = (  t6 - t7  - t8 + tA) >> shift;
  99     blk[3 * step] = (  t5       - t9 + tB) >> shift;
 100     blk[4 * step] = ( -t5       - t9 + tB) >> shift;
 101     blk[5 * step] = (-(t6 - t7) - t8 + tA) >> shift;
 102     blk[6 * step] = (-(t6 + t7) + t8 + tA) >> shift;
 103     blk[7 * step] = ( -t4       + t9 + tB) >> shift;
 104 }
 105
 106 static void fic_idct_put(uint8_t *dst, int stride, int16_t *block)
 107 {
 108     int i, j;
 109     int16_t *ptr;
 110
 111     ptr = block;
 112     for (i = 0; i < 8; i++) {
 113         fic_idct(ptr, 8, 13);
 114         ptr++;
 115     }
 116
 117     ptr = block;
 118     for (i = 0; i < 8; i++) {
 119         fic_idct(ptr, 1, 20);
 120         ptr += 8;
 121     }
 122
 123     ptr = block;
 124     for (j = 0; j < 8; j++) {
 125         for (i = 0; i < 8; i++)
 126             dst[i] = av_clip_uint8(ptr[i]);
 127         dst += stride;
 128         ptr += 8;
 129     }
 130 }
 131 static int fic_decode_block(FICContext *ctx, GetBitContext *gb,
 132                             uint8_t *dst, int stride, int16_t *block)
 133 {
 134     int i, num_coeff;
 135
 136     /* Is it a skip block? */
 137     if (get_bits1(gb)) {
 138         /* This is a P-frame. */
 139         ctx->frame->key_frame = 0;
 140         ctx->frame->pict_type = AV_PICTURE_TYPE_P;
 141
 142         return 0;
 143     }
 144
 145     memset(block, 0, sizeof(*block) * 64);
 146
 147     num_coeff = get_bits(gb, 7);
 148     if (num_coeff > 64)
 149         return AVERROR_INVALIDDATA;
 150
 151     for (i = 0; i < num_coeff; i++)
 152         block[ff_zigzag_direct[i]] = get_se_golomb(gb) *
 153                                      ctx->qmat[ff_zigzag_direct[i]];
 154
 155     fic_idct_put(dst, stride, block);
 156
 157     return 0;
 158 }
 159
 160 static int fic_decode_slice(AVCodecContext *avctx, void *tdata)
 161 {
 162     FICContext *ctx        = avctx->priv_data;
 163     FICThreadContext *tctx = tdata;
 164     GetBitContext gb;
 165     uint8_t *src = tctx->src;
 166     int slice_h  = tctx->slice_h;
 167     int src_size = tctx->src_size;
 168     int y_off    = tctx->y_off;
 169     int x, y, p;
 170
 171     init_get_bits(&gb, src, src_size * 8);
 172
 173     for (p = 0; p < 3; p++) {
 174         int stride   = ctx->frame->linesize[p];
 175         uint8_t* dst = ctx->frame->data[p] + (y_off >> !!p) * stride;
 176
 177         for (y = 0; y < (slice_h >> !!p); y += 8) {
 178             for (x = 0; x < (ctx->aligned_width >> !!p); x += 8) {
 179                 int ret;
 180
 181                 if ((ret = fic_decode_block(ctx, &gb, dst + x, stride, tctx->block)) != 0)
 182                     return ret;
 183             }
 184
 185             dst += 8 * stride;
 186         }
 187     }
 188
 189     return 0;
 190 }
 191
 192 static av_always_inline void fic_alpha_blend(uint8_t *dst, uint8_t *src,
 193                                              int size, uint8_t *alpha)
 194 {
 195     int i;
 196
 197     for (i = 0; i < size; i++)
 198         dst[i] += ((src[i] - dst[i]) * alpha[i]) >> 8;
 199 }
 200
 201 static void fic_draw_cursor(AVCodecContext *avctx, int cur_x, int cur_y)
 202 {
 203     FICContext *ctx = avctx->priv_data;
 204     uint8_t *ptr    = ctx->cursor_buf;
 205     uint8_t *dstptr[3];
 206     uint8_t planes[4][1024];
 207     uint8_t chroma[3][256];
 208     int i, j, p;
 209
 210     /* Convert to YUVA444. */
 211     for (i = 0; i < 1024; i++) {
 212         planes[0][i] = (( 25 * ptr[0] + 129 * ptr[1] +  66 * ptr[2]) / 255) + 16;
 213         planes[1][i] = ((-38 * ptr[0] + 112 * ptr[1] + -74 * ptr[2]) / 255) + 128;
 214         planes[2][i] = ((-18 * ptr[0] + 112 * ptr[1] + -94 * ptr[2]) / 255) + 128;
 215         planes[3][i] = ptr[3];
 216
 217         ptr += 4;
 218     }
 219
 220     /* Subsample chroma. */
 221     for (i = 0; i < 32; i += 2)
 222         for (j = 0; j < 32; j += 2)
 223             for (p = 0; p < 3; p++)
 224                 chroma[p][16 * (i / 2) + j / 2] = (planes[p + 1][32 *  i      + j    ] +
 225                                                    planes[p + 1][32 *  i      + j + 1] +
 226                                                    planes[p + 1][32 * (i + 1) + j    ] +
 227                                                    planes[p + 1][32 * (i + 1) + j + 1]) / 4;
 228
 229     /* Seek to x/y pos of cursor. */
 230     for (i = 0; i < 3; i++)
 231         dstptr[i] = ctx->final_frame->data[i]                        +
 232                     (ctx->final_frame->linesize[i] * (cur_y >> !!i)) +
 233                     (cur_x >> !!i) + !!i;
 234
 235     /* Copy. */
 236     for (i = 0; i < FFMIN(32, avctx->height - cur_y) - 1; i += 2) {
 237         int lsize = FFMIN(32, avctx->width - cur_x);
 238         int csize = lsize / 2;
 239
 240         fic_alpha_blend(dstptr[0],
 241                         planes[0] + i * 32, lsize, planes[3] + i * 32);
 242         fic_alpha_blend(dstptr[0] + ctx->final_frame->linesize[0],
 243                         planes[0] + (i + 1) * 32, lsize, planes[3] + (i + 1) * 32);
 244         fic_alpha_blend(dstptr[1],
 245                         chroma[0] + (i / 2) * 16, csize, chroma[2] + (i / 2) * 16);
 246         fic_alpha_blend(dstptr[2],
 247                         chroma[1] + (i / 2) * 16, csize, chroma[2] + (i / 2) * 16);
 248
 249         dstptr[0] += ctx->final_frame->linesize[0] * 2;
 250         dstptr[1] += ctx->final_frame->linesize[1];
 251         dstptr[2] += ctx->final_frame->linesize[2];
 252     }
 253 }
 254
 255 static int fic_decode_frame(AVCodecContext *avctx, void *data,
 256                             int *got_frame, AVPacket *avpkt)
 257 {
 258     FICContext *ctx = avctx->priv_data;
 259     uint8_t *src = avpkt->data;
 260     int ret;
 261     int slice, nslices;
 262     int msize;
 263     int tsize;
 264     int cur_x, cur_y;
 265     int skip_cursor = 0;
 266     uint8_t *sdata;
 267
 268     if ((ret = ff_reget_buffer(avctx, ctx->frame)) < 0) {
 269         av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
 270         return ret;
 271     }
 272
 273     /* Header + at least one slice (4) */
 274     if (avpkt->size < FIC_HEADER_SIZE + 4) {
 275         av_log(avctx, AV_LOG_ERROR, "Frame data is too small.\n");
 276         return AVERROR_INVALIDDATA;
 277     }
 278
 279     /* Check for header. */
 280     if (memcmp(src, fic_header, 7))
 281         av_log(avctx, AV_LOG_WARNING, "Invalid FIC Header.\n");
 282
 283     /* Is it a skip frame? */
 284     if (src[17])
 285         goto skip;
 286
 287     nslices = src[13];
 288     if (!nslices) {
 289         av_log(avctx, AV_LOG_ERROR, "Zero slices found.\n");
 290         return AVERROR_INVALIDDATA;
 291     }
 292
 293     /* High or Low Quality Matrix? */
 294     ctx->qmat = src[23] ? fic_qmat_hq : fic_qmat_lq;
 295
 296     /* Skip cursor data. */
 297     tsize = AV_RB24(src + 24);
 298     if (tsize > avpkt->size - FIC_HEADER_SIZE) {
 299         av_log(avctx, AV_LOG_ERROR,
 300                "Packet is too small to contain cursor (%d vs %d bytes).\n",
 301                tsize, avpkt->size - FIC_HEADER_SIZE);
 302         return AVERROR_INVALIDDATA;
 303     }
 304
 305     if (tsize < 32) {
 306         av_log(avctx, AV_LOG_WARNING,
 307                "Cursor data too small. Skipping cursor.\n");
 308         skip_cursor = 1;
 309     }
 310
 311     /* Cursor position. */
 312     cur_x = AV_RL16(src + 33);
 313     cur_y = AV_RL16(src + 35);
 314     if (cur_x > avctx->width || cur_y > avctx->height) {
 315         av_log(avctx, AV_LOG_WARNING,
 316                "Invalid cursor position: (%d,%d). Skipping cusor.\n",
 317                cur_x, cur_y);
 318         skip_cursor = 1;
 319     }
 320
 321     if (AV_RL16(src + 37) != 32 || AV_RL16(src + 39) != 32) {
 322         av_log(avctx, AV_LOG_WARNING,
 323                "Invalid cursor size. Skipping cursor.\n");
 324         skip_cursor = 1;
 325     }
 326
 327     /* Slice height for all but the last slice. */
 328     ctx->slice_h = 16 * (ctx->aligned_height >> 4) / nslices;
 329     if (ctx->slice_h % 16)
 330         ctx->slice_h = FFALIGN(ctx->slice_h - 16, 16);
 331
 332     /* First slice offset and remaining data. */
 333     sdata = src + tsize + FIC_HEADER_SIZE + 4 * nslices;
 334     msize = avpkt->size - nslices * 4 - tsize - FIC_HEADER_SIZE;
 335
 336     if (msize <= 0) {
 337         av_log(avctx, AV_LOG_ERROR, "Not enough frame data to decode.\n");
 338         return AVERROR_INVALIDDATA;
 339     }
 340
 341     /*
 342      * Set the frametype to I initially. It will be set to P if the frame
 343      * has any dependencies (skip blocks). There will be a race condition
 344      * inside the slice decode function to set these, but we do not care.
 345      * since they will only ever be set to 0/P.
 346      */
 347     ctx->frame->key_frame = 1;
 348     ctx->frame->pict_type = AV_PICTURE_TYPE_I;
 349
 350     /* Allocate slice data. */
 351     av_fast_malloc(&ctx->slice_data, &ctx->slice_data_size,
 352                    nslices * sizeof(ctx->slice_data[0]));
 353     if (!ctx->slice_data_size) {
 354         av_log(avctx, AV_LOG_ERROR, "Could not allocate slice data.\n");
 355         return AVERROR(ENOMEM);
 356     }
 357     memset(ctx->slice_data, 0, nslices * sizeof(ctx->slice_data[0]));
 358
 359     for (slice = 0; slice < nslices; slice++) {
 360         unsigned slice_off = AV_RB32(src + tsize + FIC_HEADER_SIZE + slice * 4);
 361         unsigned slice_size;
 362         int y_off   = ctx->slice_h * slice;
 363         int slice_h = ctx->slice_h;
 364
 365         /*
 366          * Either read the slice size, or consume all data left.
 367          * Also, special case the last slight height.
 368          */
 369         if (slice == nslices - 1) {
 370             slice_size   = msize;
 371             slice_h      = FFALIGN(avctx->height - ctx->slice_h * (nslices - 1), 16);
 372         } else {
 373             slice_size = AV_RB32(src + tsize + FIC_HEADER_SIZE + slice * 4 + 4);
 374         }
 375
 376         if (slice_size < slice_off || slice_size > msize)
 377             continue;
 378
 379         slice_size -= slice_off;
 380
 381         ctx->slice_data[slice].src      = sdata + slice_off;
 382         ctx->slice_data[slice].src_size = slice_size;
 383         ctx->slice_data[slice].slice_h  = slice_h;
 384         ctx->slice_data[slice].y_off    = y_off;
 385     }
 386
 387     if ((ret = avctx->execute(avctx, fic_decode_slice, ctx->slice_data,
 388                               NULL, nslices, sizeof(ctx->slice_data[0]))) < 0)
 389         return ret;
 390
 391     av_frame_free(&ctx->final_frame);
 392     ctx->final_frame = av_frame_clone(ctx->frame);
 393     if (!ctx->final_frame) {
 394         av_log(avctx, AV_LOG_ERROR, "Could not clone frame buffer.\n");
 395         return AVERROR(ENOMEM);
 396     }
 397
 398     /* Make sure we use a user-supplied buffer. */
 399     if ((ret = ff_reget_buffer(avctx, ctx->final_frame)) < 0) {
 400         av_log(avctx, AV_LOG_ERROR, "Could not make frame writable.\n");
 401         return ret;
 402     }
 403
 404     /* Draw cursor. */
 405     if (!skip_cursor) {
 406         memcpy(ctx->cursor_buf, src + 59, 32 * 32 * 4);
 407         fic_draw_cursor(avctx, cur_x, cur_y);
 408     }
 409
 410 skip:
 411     *got_frame = 1;
 412     if ((ret = av_frame_ref(data, ctx->final_frame)) < 0)
 413         return ret;
 414
 415     return avpkt->size;
 416 }
 417
 418 static av_cold int fic_decode_close(AVCodecContext *avctx)
 419 {
 420     FICContext *ctx = avctx->priv_data;
 421
 422     av_freep(&ctx->slice_data);
 423     av_frame_free(&ctx->final_frame);
 424     av_frame_free(&ctx->frame);
 425
 426     return 0;
 427 }
 428
 429 static av_cold int fic_decode_init(AVCodecContext *avctx)
 430 {
 431     FICContext *ctx = avctx->priv_data;
 432
 433     /* Initialize various context values */
 434     ctx->avctx            = avctx;
 435     ctx->aligned_width    = FFALIGN(avctx->width,  16);
 436     ctx->aligned_height   = FFALIGN(avctx->height, 16);
 437
 438     avctx->pix_fmt             = AV_PIX_FMT_YUV420P;
 439     avctx->bits_per_raw_sample = 8;
 440
 441     ctx->frame = av_frame_alloc();
 442     if (!ctx->frame)
 443         return AVERROR(ENOMEM);
 444
 445     return 0;
 446 }
 447
 448 AVCodec ff_fic_decoder = {
 449     .name           = "fic",
 450     .long_name      = NULL_IF_CONFIG_SMALL("Mirillis FIC"),
 451     .type           = AVMEDIA_TYPE_VIDEO,
 452     .id             = AV_CODEC_ID_FIC,
 453     .priv_data_size = sizeof(FICContext),
 454     .init           = fic_decode_init,
 455     .decode         = fic_decode_frame,
 456     .close          = fic_decode_close,
 457     .capabilities   = AV_CODEC_CAP_DR1 | AV_CODEC_CAP_SLICE_THREADS,
 458 };