git.sesse.net Git - ffmpeg/blob - libavcodec/flashsv.c

   1 /*
   2  * Flash Screen Video decoder
   3  * Copyright (C) 2004 Alex Beregszaszi
   4  * Copyright (C) 2006 Benjamin Larsson
   5  *
   6  * This file is part of Libav.
   7  *
   8  * Libav is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * Libav is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with Libav; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 /**
  24  * @file
  25  * Flash Screen Video decoder
  26  * @author Alex Beregszaszi
  27  * @author Benjamin Larsson
  28  * @author Daniel Verkamp
  29  * @author Konstantin Shishkov
  30  *
  31  * A description of the bitstream format for Flash Screen Video version 1/2
  32  * is part of the SWF File Format Specification (version 10), which can be
  33  * downloaded from http://www.adobe.com/devnet/swf.html.
  34  */
  35
  36 #include <stdio.h>
  37 #include <stdlib.h>
  38 #include <zlib.h>
  39
  40 #include "libavutil/intreadwrite.h"
  41 #include "avcodec.h"
  42 #include "bytestream.h"
  43 #include "get_bits.h"
  44 #include "internal.h"
  45
  46 typedef struct BlockInfo {
  47     uint8_t *pos;
  48     int      size;
  49 } BlockInfo;
  50
  51 typedef struct FlashSVContext {
  52     AVCodecContext *avctx;
  53     AVFrame         frame;
  54     int             image_width, image_height;
  55     int             block_width, block_height;
  56     uint8_t        *tmpblock;
  57     int             block_size;
  58     z_stream        zstream;
  59     int             ver;
  60     const uint32_t *pal;
  61     int             is_keyframe;
  62     uint8_t        *keyframedata;
  63     uint8_t        *keyframe;
  64     BlockInfo      *blocks;
  65     uint8_t        *deflate_block;
  66     int             deflate_block_size;
  67     int             color_depth;
  68     int             zlibprime_curr, zlibprime_prev;
  69     int             diff_start, diff_height;
  70 } FlashSVContext;
  71
  72
  73 static int decode_hybrid(const uint8_t *sptr, uint8_t *dptr, int dx, int dy,
  74                          int h, int w, int stride, const uint32_t *pal)
  75 {
  76     int x, y;
  77     const uint8_t *orig_src = sptr;
  78
  79     for (y = dx+h; y > dx; y--) {
  80         uint8_t *dst = dptr + (y * stride) + dy * 3;
  81         for (x = 0; x < w; x++) {
  82             if (*sptr & 0x80) {
  83                 /* 15-bit color */
  84                 unsigned c = AV_RB16(sptr) & ~0x8000;
  85                 unsigned b =  c        & 0x1F;
  86                 unsigned g = (c >>  5) & 0x1F;
  87                 unsigned r =  c >> 10;
  88                 /* 000aaabb -> aaabbaaa  */
  89                 *dst++ = (b << 3) | (b >> 2);
  90                 *dst++ = (g << 3) | (g >> 2);
  91                 *dst++ = (r << 3) | (r >> 2);
  92                 sptr += 2;
  93             } else {
  94                 /* palette index */
  95                 uint32_t c = pal[*sptr++];
  96                 bytestream_put_le24(&dst, c);
  97             }
  98         }
  99     }
 100     return sptr - orig_src;
 101 }
 102
 103 static av_cold int flashsv_decode_init(AVCodecContext *avctx)
 104 {
 105     FlashSVContext *s = avctx->priv_data;
 106     int zret; // Zlib return code
 107
 108     s->avctx          = avctx;
 109     s->zstream.zalloc = Z_NULL;
 110     s->zstream.zfree  = Z_NULL;
 111     s->zstream.opaque = Z_NULL;
 112     zret = inflateInit(&s->zstream);
 113     if (zret != Z_OK) {
 114         av_log(avctx, AV_LOG_ERROR, "Inflate init error: %d\n", zret);
 115         return 1;
 116     }
 117     avctx->pix_fmt = AV_PIX_FMT_BGR24;
 118     avcodec_get_frame_defaults(&s->frame);
 119
 120     return 0;
 121 }
 122
 123
 124 static int flashsv2_prime(FlashSVContext *s, uint8_t *src, int size)
 125 {
 126     z_stream zs;
 127     int zret; // Zlib return code
 128
 129     zs.zalloc = NULL;
 130     zs.zfree  = NULL;
 131     zs.opaque = NULL;
 132
 133     s->zstream.next_in   = src;
 134     s->zstream.avail_in  = size;
 135     s->zstream.next_out  = s->tmpblock;
 136     s->zstream.avail_out = s->block_size * 3;
 137     inflate(&s->zstream, Z_SYNC_FLUSH);
 138
 139     deflateInit(&zs, 0);
 140     zs.next_in   = s->tmpblock;
 141     zs.avail_in  = s->block_size * 3 - s->zstream.avail_out;
 142     zs.next_out  = s->deflate_block;
 143     zs.avail_out = s->deflate_block_size;
 144     deflate(&zs, Z_SYNC_FLUSH);
 145     deflateEnd(&zs);
 146
 147     if ((zret = inflateReset(&s->zstream)) != Z_OK) {
 148         av_log(s->avctx, AV_LOG_ERROR, "Inflate reset error: %d\n", zret);
 149         return AVERROR_UNKNOWN;
 150     }
 151
 152     s->zstream.next_in   = s->deflate_block;
 153     s->zstream.avail_in  = s->deflate_block_size - zs.avail_out;
 154     s->zstream.next_out  = s->tmpblock;
 155     s->zstream.avail_out = s->block_size * 3;
 156     inflate(&s->zstream, Z_SYNC_FLUSH);
 157
 158     return 0;
 159 }
 160
 161 static int flashsv_decode_block(AVCodecContext *avctx, AVPacket *avpkt,
 162                                 GetBitContext *gb, int block_size,
 163                                 int width, int height, int x_pos, int y_pos,
 164                                 int blk_idx)
 165 {
 166     struct FlashSVContext *s = avctx->priv_data;
 167     uint8_t *line = s->tmpblock;
 168     int k;
 169     int ret = inflateReset(&s->zstream);
 170     if (ret != Z_OK) {
 171         av_log(avctx, AV_LOG_ERROR, "Inflate reset error: %d\n", ret);
 172         return AVERROR_UNKNOWN;
 173     }
 174     if (s->zlibprime_curr || s->zlibprime_prev) {
 175         ret = flashsv2_prime(s,
 176                              s->blocks[blk_idx].pos,
 177                              s->blocks[blk_idx].size);
 178         if (ret < 0)
 179             return ret;
 180     }
 181     s->zstream.next_in   = avpkt->data + get_bits_count(gb) / 8;
 182     s->zstream.avail_in  = block_size;
 183     s->zstream.next_out  = s->tmpblock;
 184     s->zstream.avail_out = s->block_size * 3;
 185     ret = inflate(&s->zstream, Z_FINISH);
 186     if (ret == Z_DATA_ERROR) {
 187         av_log(avctx, AV_LOG_ERROR, "Zlib resync occurred\n");
 188         inflateSync(&s->zstream);
 189         ret = inflate(&s->zstream, Z_FINISH);
 190     }
 191
 192     if (ret != Z_OK && ret != Z_STREAM_END) {
 193         //return -1;
 194     }
 195
 196     if (s->is_keyframe) {
 197         s->blocks[blk_idx].pos      = s->keyframedata + (get_bits_count(gb) / 8);
 198         s->blocks[blk_idx].size     = block_size;
 199     }
 200     if (!s->color_depth) {
 201         /* Flash Screen Video stores the image upside down, so copy
 202          * lines to destination in reverse order. */
 203         for (k = 1; k <= s->diff_height; k++) {
 204             memcpy(s->frame.data[0] + x_pos * 3 +
 205                    (s->image_height - y_pos - s->diff_start - k) * s->frame.linesize[0],
 206                    line, width * 3);
 207             /* advance source pointer to next line */
 208             line += width * 3;
 209         }
 210     } else {
 211         /* hybrid 15-bit/palette mode */
 212         decode_hybrid(s->tmpblock, s->frame.data[0],
 213                       s->image_height - (y_pos + 1 + s->diff_start + s->diff_height),
 214                       x_pos, s->diff_height, width,
 215                       s->frame.linesize[0], s->pal);
 216     }
 217     skip_bits_long(gb, 8 * block_size); /* skip the consumed bits */
 218     return 0;
 219 }
 220
 221 static int calc_deflate_block_size(int tmpblock_size)
 222 {
 223     z_stream zstream;
 224     int size;
 225
 226     zstream.zalloc = Z_NULL;
 227     zstream.zfree  = Z_NULL;
 228     zstream.opaque = Z_NULL;
 229     if (deflateInit(&zstream, 0) != Z_OK)
 230         return -1;
 231     size = deflateBound(&zstream, tmpblock_size);
 232     deflateEnd(&zstream);
 233
 234     return size;
 235 }
 236
 237 static int flashsv_decode_frame(AVCodecContext *avctx, void *data,
 238                                 int *got_frame, AVPacket *avpkt)
 239 {
 240     int buf_size       = avpkt->size;
 241     FlashSVContext *s  = avctx->priv_data;
 242     int h_blocks, v_blocks, h_part, v_part, i, j, ret;
 243     GetBitContext gb;
 244
 245     /* no supplementary picture */
 246     if (buf_size == 0)
 247         return 0;
 248     if (buf_size < 4)
 249         return -1;
 250
 251     init_get_bits(&gb, avpkt->data, buf_size * 8);
 252
 253     /* start to parse the bitstream */
 254     s->block_width  = 16 * (get_bits(&gb,  4) + 1);
 255     s->image_width  =       get_bits(&gb, 12);
 256     s->block_height = 16 * (get_bits(&gb,  4) + 1);
 257     s->image_height =       get_bits(&gb, 12);
 258
 259     if (s->ver == 2) {
 260         skip_bits(&gb, 6);
 261         if (get_bits1(&gb)) {
 262             avpriv_request_sample(avctx, "iframe");
 263             return AVERROR_PATCHWELCOME;
 264         }
 265         if (get_bits1(&gb)) {
 266             avpriv_request_sample(avctx, "Custom palette");
 267             return AVERROR_PATCHWELCOME;
 268         }
 269     }
 270
 271     /* calculate number of blocks and size of border (partial) blocks */
 272     h_blocks = s->image_width  / s->block_width;
 273     h_part   = s->image_width  % s->block_width;
 274     v_blocks = s->image_height / s->block_height;
 275     v_part   = s->image_height % s->block_height;
 276
 277     /* the block size could change between frames, make sure the buffer
 278      * is large enough, if not, get a larger one */
 279     if (s->block_size < s->block_width * s->block_height) {
 280         int tmpblock_size = 3 * s->block_width * s->block_height;
 281
 282         s->tmpblock = av_realloc(s->tmpblock, tmpblock_size);
 283         if (!s->tmpblock) {
 284             av_log(avctx, AV_LOG_ERROR, "Can't allocate decompression buffer.\n");
 285             return AVERROR(ENOMEM);
 286         }
 287         if (s->ver == 2) {
 288             s->deflate_block_size = calc_deflate_block_size(tmpblock_size);
 289             if (s->deflate_block_size <= 0) {
 290                 av_log(avctx, AV_LOG_ERROR, "Can't determine deflate buffer size.\n");
 291                 return -1;
 292             }
 293             s->deflate_block = av_realloc(s->deflate_block, s->deflate_block_size);
 294             if (!s->deflate_block) {
 295                 av_log(avctx, AV_LOG_ERROR, "Can't allocate deflate buffer.\n");
 296                 return AVERROR(ENOMEM);
 297             }
 298         }
 299     }
 300     s->block_size = s->block_width * s->block_height;
 301
 302     /* initialize the image size once */
 303     if (avctx->width == 0 && avctx->height == 0) {
 304         avctx->width  = s->image_width;
 305         avctx->height = s->image_height;
 306     }
 307
 308     /* check for changes of image width and image height */
 309     if (avctx->width != s->image_width || avctx->height != s->image_height) {
 310         av_log(avctx, AV_LOG_ERROR,
 311                "Frame width or height differs from first frame!\n");
 312         av_log(avctx, AV_LOG_ERROR, "fh = %d, fv %d  vs  ch = %d, cv = %d\n",
 313                avctx->height, avctx->width, s->image_height, s->image_width);
 314         return AVERROR_INVALIDDATA;
 315     }
 316
 317     /* we care for keyframes only in Screen Video v2 */
 318     s->is_keyframe = (avpkt->flags & AV_PKT_FLAG_KEY) && (s->ver == 2);
 319     if (s->is_keyframe) {
 320         s->keyframedata = av_realloc(s->keyframedata, avpkt->size);
 321         memcpy(s->keyframedata, avpkt->data, avpkt->size);
 322         s->blocks = av_realloc(s->blocks,
 323                                (v_blocks + !!v_part) * (h_blocks + !!h_part)
 324                                * sizeof(s->blocks[0]));
 325     }
 326
 327     av_dlog(avctx, "image: %dx%d block: %dx%d num: %dx%d part: %dx%d\n",
 328             s->image_width, s->image_height, s->block_width, s->block_height,
 329             h_blocks, v_blocks, h_part, v_part);
 330
 331     if ((ret = ff_reget_buffer(avctx, &s->frame)) < 0) {
 332         av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
 333         return ret;
 334     }
 335
 336     /* loop over all block columns */
 337     for (j = 0; j < v_blocks + (v_part ? 1 : 0); j++) {
 338
 339         int y_pos  = j * s->block_height; // vertical position in frame
 340         int cur_blk_height = (j < v_blocks) ? s->block_height : v_part;
 341
 342         /* loop over all block rows */
 343         for (i = 0; i < h_blocks + (h_part ? 1 : 0); i++) {
 344             int x_pos = i * s->block_width; // horizontal position in frame
 345             int cur_blk_width = (i < h_blocks) ? s->block_width : h_part;
 346             int has_diff = 0;
 347
 348             /* get the size of the compressed zlib chunk */
 349             int size = get_bits(&gb, 16);
 350
 351             s->color_depth    = 0;
 352             s->zlibprime_curr = 0;
 353             s->zlibprime_prev = 0;
 354             s->diff_start     = 0;
 355             s->diff_height    = cur_blk_height;
 356
 357             if (8 * size > get_bits_left(&gb)) {
 358                 av_frame_unref(&s->frame);
 359                 return AVERROR_INVALIDDATA;
 360             }
 361
 362             if (s->ver == 2 && size) {
 363                 skip_bits(&gb, 3);
 364                 s->color_depth    = get_bits(&gb, 2);
 365                 has_diff          = get_bits1(&gb);
 366                 s->zlibprime_curr = get_bits1(&gb);
 367                 s->zlibprime_prev = get_bits1(&gb);
 368
 369                 if (s->color_depth != 0 && s->color_depth != 2) {
 370                     av_log(avctx, AV_LOG_ERROR,
 371                            "%dx%d invalid color depth %d\n", i, j, s->color_depth);
 372                     return AVERROR_INVALIDDATA;
 373                 }
 374
 375                 if (has_diff) {
 376                     if (!s->keyframe) {
 377                         av_log(avctx, AV_LOG_ERROR,
 378                                "inter frame without keyframe\n");
 379                         return AVERROR_INVALIDDATA;
 380                     }
 381                     s->diff_start  = get_bits(&gb, 8);
 382                     s->diff_height = get_bits(&gb, 8);
 383                     av_log(avctx, AV_LOG_DEBUG,
 384                            "%dx%d diff start %d height %d\n",
 385                            i, j, s->diff_start, s->diff_height);
 386                     size -= 2;
 387                 }
 388
 389                 if (s->zlibprime_prev)
 390                     av_log(avctx, AV_LOG_DEBUG, "%dx%d zlibprime_prev\n", i, j);
 391
 392                 if (s->zlibprime_curr) {
 393                     int col = get_bits(&gb, 8);
 394                     int row = get_bits(&gb, 8);
 395                     av_log(avctx, AV_LOG_DEBUG, "%dx%d zlibprime_curr %dx%d\n", i, j, col, row);
 396                     size -= 2;
 397                     avpriv_request_sample(avctx, "zlibprime_curr");
 398                     return AVERROR_PATCHWELCOME;
 399                 }
 400                 if (!s->blocks && (s->zlibprime_curr || s->zlibprime_prev)) {
 401                     av_log(avctx, AV_LOG_ERROR, "no data available for zlib "
 402                            "priming\n");
 403                     return AVERROR_INVALIDDATA;
 404                 }
 405                 size--; // account for flags byte
 406             }
 407
 408             if (has_diff) {
 409                 int k;
 410                 int off = (s->image_height - y_pos - 1) * s->frame.linesize[0];
 411
 412                 for (k = 0; k < cur_blk_height; k++)
 413                     memcpy(s->frame.data[0] + off - k*s->frame.linesize[0] + x_pos*3,
 414                            s->keyframe + off - k*s->frame.linesize[0] + x_pos*3,
 415                            cur_blk_width * 3);
 416             }
 417
 418             /* skip unchanged blocks, which have size 0 */
 419             if (size) {
 420                 if (flashsv_decode_block(avctx, avpkt, &gb, size,
 421                                          cur_blk_width, cur_blk_height,
 422                                          x_pos, y_pos,
 423                                          i + j * (h_blocks + !!h_part)))
 424                     av_log(avctx, AV_LOG_ERROR,
 425                            "error in decompression of block %dx%d\n", i, j);
 426             }
 427         }
 428     }
 429     if (s->is_keyframe && s->ver == 2) {
 430         if (!s->keyframe) {
 431             s->keyframe = av_malloc(s->frame.linesize[0] * avctx->height);
 432             if (!s->keyframe) {
 433                 av_log(avctx, AV_LOG_ERROR, "Cannot allocate image data\n");
 434                 return AVERROR(ENOMEM);
 435             }
 436         }
 437         memcpy(s->keyframe, s->frame.data[0], s->frame.linesize[0] * avctx->height);
 438     }
 439
 440     if ((ret = av_frame_ref(data, &s->frame)) < 0)
 441         return ret;
 442
 443     *got_frame = 1;
 444
 445     if ((get_bits_count(&gb) / 8) != buf_size)
 446         av_log(avctx, AV_LOG_ERROR, "buffer not fully consumed (%d != %d)\n",
 447                buf_size, (get_bits_count(&gb) / 8));
 448
 449     /* report that the buffer was completely consumed */
 450     return buf_size;
 451 }
 452
 453
 454 static av_cold int flashsv_decode_end(AVCodecContext *avctx)
 455 {
 456     FlashSVContext *s = avctx->priv_data;
 457     inflateEnd(&s->zstream);
 458     /* release the frame if needed */
 459     av_frame_unref(&s->frame);
 460
 461     /* free the tmpblock */
 462     av_free(s->tmpblock);
 463
 464     return 0;
 465 }
 466
 467
 468 #if CONFIG_FLASHSV_DECODER
 469 AVCodec ff_flashsv_decoder = {
 470     .name           = "flashsv",
 471     .type           = AVMEDIA_TYPE_VIDEO,
 472     .id             = AV_CODEC_ID_FLASHSV,
 473     .priv_data_size = sizeof(FlashSVContext),
 474     .init           = flashsv_decode_init,
 475     .close          = flashsv_decode_end,
 476     .decode         = flashsv_decode_frame,
 477     .capabilities   = CODEC_CAP_DR1,
 478     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_BGR24, AV_PIX_FMT_NONE },
 479     .long_name      = NULL_IF_CONFIG_SMALL("Flash Screen Video v1"),
 480 };
 481 #endif /* CONFIG_FLASHSV_DECODER */
 482
 483 #if CONFIG_FLASHSV2_DECODER
 484 static const uint32_t ff_flashsv2_default_palette[128] = {
 485     0x000000, 0x333333, 0x666666, 0x999999, 0xCCCCCC, 0xFFFFFF,
 486     0x330000, 0x660000, 0x990000, 0xCC0000, 0xFF0000, 0x003300,
 487     0x006600, 0x009900, 0x00CC00, 0x00FF00, 0x000033, 0x000066,
 488     0x000099, 0x0000CC, 0x0000FF, 0x333300, 0x666600, 0x999900,
 489     0xCCCC00, 0xFFFF00, 0x003333, 0x006666, 0x009999, 0x00CCCC,
 490     0x00FFFF, 0x330033, 0x660066, 0x990099, 0xCC00CC, 0xFF00FF,
 491     0xFFFF33, 0xFFFF66, 0xFFFF99, 0xFFFFCC, 0xFF33FF, 0xFF66FF,
 492     0xFF99FF, 0xFFCCFF, 0x33FFFF, 0x66FFFF, 0x99FFFF, 0xCCFFFF,
 493     0xCCCC33, 0xCCCC66, 0xCCCC99, 0xCCCCFF, 0xCC33CC, 0xCC66CC,
 494     0xCC99CC, 0xCCFFCC, 0x33CCCC, 0x66CCCC, 0x99CCCC, 0xFFCCCC,
 495     0x999933, 0x999966, 0x9999CC, 0x9999FF, 0x993399, 0x996699,
 496     0x99CC99, 0x99FF99, 0x339999, 0x669999, 0xCC9999, 0xFF9999,
 497     0x666633, 0x666699, 0x6666CC, 0x6666FF, 0x663366, 0x669966,
 498     0x66CC66, 0x66FF66, 0x336666, 0x996666, 0xCC6666, 0xFF6666,
 499     0x333366, 0x333399, 0x3333CC, 0x3333FF, 0x336633, 0x339933,
 500     0x33CC33, 0x33FF33, 0x663333, 0x993333, 0xCC3333, 0xFF3333,
 501     0x003366, 0x336600, 0x660033, 0x006633, 0x330066, 0x663300,
 502     0x336699, 0x669933, 0x993366, 0x339966, 0x663399, 0x996633,
 503     0x6699CC, 0x99CC66, 0xCC6699, 0x66CC99, 0x9966CC, 0xCC9966,
 504     0x99CCFF, 0xCCFF99, 0xFF99CC, 0x99FFCC, 0xCC99FF, 0xFFCC99,
 505     0x111111, 0x222222, 0x444444, 0x555555, 0xAAAAAA, 0xBBBBBB,
 506     0xDDDDDD, 0xEEEEEE
 507 };
 508
 509 static av_cold int flashsv2_decode_init(AVCodecContext *avctx)
 510 {
 511     FlashSVContext *s = avctx->priv_data;
 512     flashsv_decode_init(avctx);
 513     s->pal = ff_flashsv2_default_palette;
 514     s->ver = 2;
 515
 516     return 0;
 517 }
 518
 519 static av_cold int flashsv2_decode_end(AVCodecContext *avctx)
 520 {
 521     FlashSVContext *s = avctx->priv_data;
 522
 523     av_freep(&s->keyframedata);
 524     av_freep(&s->blocks);
 525     av_freep(&s->keyframe);
 526     av_freep(&s->deflate_block);
 527     flashsv_decode_end(avctx);
 528
 529     return 0;
 530 }
 531
 532 AVCodec ff_flashsv2_decoder = {
 533     .name           = "flashsv2",
 534     .type           = AVMEDIA_TYPE_VIDEO,
 535     .id             = AV_CODEC_ID_FLASHSV2,
 536     .priv_data_size = sizeof(FlashSVContext),
 537     .init           = flashsv2_decode_init,
 538     .close          = flashsv2_decode_end,
 539     .decode         = flashsv_decode_frame,
 540     .capabilities   = CODEC_CAP_DR1,
 541     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_BGR24, AV_PIX_FMT_NONE },
 542     .long_name      = NULL_IF_CONFIG_SMALL("Flash Screen Video v2"),
 543 };
 544 #endif /* CONFIG_FLASHSV2_DECODER */