git.sesse.net Git - ffmpeg/blob - libavcodec/qtrle.c

   1 /*
   2  * Quicktime Animation (RLE) Video Decoder
   3  * Copyright (C) 2004 the ffmpeg project
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file
  24  * QT RLE Video Decoder by Mike Melanson (melanson@pcisys.net)
  25  * For more information about the QT RLE format, visit:
  26  *   http://www.pcisys.net/~melanson/codecs/
  27  *
  28  * The QT RLE decoder has seven modes of operation:
  29  * 1, 2, 4, 8, 16, 24, and 32 bits per pixel. For modes 1, 2, 4, and 8
  30  * the decoder outputs PAL8 colorspace data. 16-bit data yields RGB555
  31  * data. 24-bit data is RGB24 and 32-bit data is RGB32.
  32  */
  33
  34 #include <stdio.h>
  35 #include <stdlib.h>
  36 #include <string.h>
  37
  38 #include "avcodec.h"
  39 #include "bytestream.h"
  40
  41 typedef struct QtrleContext {
  42     AVCodecContext *avctx;
  43     AVFrame frame;
  44
  45     GetByteContext g;
  46     uint32_t pal[256];
  47 } QtrleContext;
  48
  49 #define CHECK_PIXEL_PTR(n) \
  50   if ((pixel_ptr + n > pixel_limit) || (pixel_ptr + n < 0)) { \
  51     av_log (s->avctx, AV_LOG_INFO, "Problem: pixel_ptr = %d, pixel_limit = %d\n", \
  52       pixel_ptr + n, pixel_limit); \
  53     return; \
  54   } \
  55
  56 static void qtrle_decode_1bpp(QtrleContext *s, int row_ptr, int lines_to_change)
  57 {
  58     int rle_code;
  59     int pixel_ptr;
  60     int row_inc = s->frame.linesize[0];
  61     unsigned char pi0, pi1;  /* 2 8-pixel values */
  62     unsigned char *rgb = s->frame.data[0];
  63     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
  64     int skip;
  65     /* skip & 0x80 appears to mean 'start a new line', which can be interpreted
  66      * as 'go to next line' during the decoding of a frame but is 'go to first
  67      * line' at the beginning. Since we always interpret it as 'go to next line'
  68      * in the decoding loop (which makes code simpler/faster), the first line
  69      * would not be counted, so we count one more.
  70      * See: https://ffmpeg.org/trac/ffmpeg/ticket/226
  71      * In the following decoding loop, row_ptr will be the position of the
  72      * current row. */
  73
  74     row_ptr  -= row_inc;
  75     pixel_ptr = row_ptr;
  76     lines_to_change++;
  77     while (lines_to_change) {
  78         skip     =              bytestream2_get_byte(&s->g);
  79         rle_code = (signed char)bytestream2_get_byte(&s->g);
  80         if (rle_code == 0)
  81             break;
  82         if(skip & 0x80) {
  83             lines_to_change--;
  84             row_ptr += row_inc;
  85             pixel_ptr = row_ptr + 2 * (skip & 0x7f);
  86         } else
  87             pixel_ptr += 2 * skip;
  88         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
  89
  90         if(rle_code == -1)
  91             continue;
  92
  93         if (rle_code < 0) {
  94             /* decode the run length code */
  95             rle_code = -rle_code;
  96             /* get the next 2 bytes from the stream, treat them as groups
  97              * of 8 pixels, and output them rle_code times */
  98
  99             pi0 = bytestream2_get_byte(&s->g);
 100             pi1 = bytestream2_get_byte(&s->g);
 101             CHECK_PIXEL_PTR(rle_code * 2);
 102
 103             while (rle_code--) {
 104                 rgb[pixel_ptr++] = pi0;
 105                 rgb[pixel_ptr++] = pi1;
 106             }
 107         } else {
 108             /* copy the same pixel directly to output 2 times */
 109             rle_code *= 2;
 110             CHECK_PIXEL_PTR(rle_code);
 111
 112             while (rle_code--)
 113                 rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
 114         }
 115     }
 116 }
 117
 118 static inline void qtrle_decode_2n4bpp(QtrleContext *s, int row_ptr,
 119                                        int lines_to_change, int bpp)
 120 {
 121     int rle_code, i;
 122     int pixel_ptr;
 123     int row_inc = s->frame.linesize[0];
 124     unsigned char pi[16];  /* 16 palette indices */
 125     unsigned char *rgb = s->frame.data[0];
 126     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 127     int num_pixels = (bpp == 4) ? 8 : 16;
 128
 129     while (lines_to_change--) {
 130         pixel_ptr = row_ptr + (num_pixels * (bytestream2_get_byte(&s->g) - 1));
 131         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 132
 133         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
 134             if (rle_code == 0) {
 135                 /* there's another skip code in the stream */
 136                 pixel_ptr += (num_pixels * (bytestream2_get_byte(&s->g) - 1));
 137                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 138             } else if (rle_code < 0) {
 139                 /* decode the run length code */
 140                 rle_code = -rle_code;
 141                 /* get the next 4 bytes from the stream, treat them as palette
 142                  * indexes, and output them rle_code times */
 143                 for (i = num_pixels-1; i >= 0; i--) {
 144                     pi[num_pixels-1-i] = (bytestream2_peek_byte(&s->g) >> ((i*bpp) & 0x07)) & ((1<<bpp)-1);
 145                     bytestream2_skip(&s->g, ((i & ((num_pixels>>2)-1)) == 0));
 146                 }
 147                 CHECK_PIXEL_PTR(rle_code * num_pixels);
 148                 while (rle_code--) {
 149                     for (i = 0; i < num_pixels; i++)
 150                         rgb[pixel_ptr++] = pi[i];
 151                 }
 152             } else {
 153                 /* copy the same pixel directly to output 4 times */
 154                 rle_code *= 4;
 155                 CHECK_PIXEL_PTR(rle_code*(num_pixels>>2));
 156                 while (rle_code--) {
 157                     if(bpp == 4) {
 158                         int x = bytestream2_get_byte(&s->g);
 159                         rgb[pixel_ptr++] = (x >> 4) & 0x0f;
 160                         rgb[pixel_ptr++] =  x       & 0x0f;
 161                     } else {
 162                         int x = bytestream2_get_byte(&s->g);
 163                         rgb[pixel_ptr++] = (x >> 6) & 0x03;
 164                         rgb[pixel_ptr++] = (x >> 4) & 0x03;
 165                         rgb[pixel_ptr++] = (x >> 2) & 0x03;
 166                         rgb[pixel_ptr++] =  x       & 0x03;
 167                     }
 168                 }
 169             }
 170         }
 171         row_ptr += row_inc;
 172     }
 173 }
 174
 175 static void qtrle_decode_8bpp(QtrleContext *s, int row_ptr, int lines_to_change)
 176 {
 177     int rle_code;
 178     int pixel_ptr;
 179     int row_inc = s->frame.linesize[0];
 180     unsigned char pi1, pi2, pi3, pi4;  /* 4 palette indexes */
 181     unsigned char *rgb = s->frame.data[0];
 182     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 183
 184     while (lines_to_change--) {
 185         pixel_ptr = row_ptr + (4 * (bytestream2_get_byte(&s->g) - 1));
 186         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 187
 188         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
 189             if (rle_code == 0) {
 190                 /* there's another skip code in the stream */
 191                 pixel_ptr += (4 * (bytestream2_get_byte(&s->g) - 1));
 192                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 193             } else if (rle_code < 0) {
 194                 /* decode the run length code */
 195                 rle_code = -rle_code;
 196                 /* get the next 4 bytes from the stream, treat them as palette
 197                  * indexes, and output them rle_code times */
 198                 pi1 = bytestream2_get_byte(&s->g);
 199                 pi2 = bytestream2_get_byte(&s->g);
 200                 pi3 = bytestream2_get_byte(&s->g);
 201                 pi4 = bytestream2_get_byte(&s->g);
 202
 203                 CHECK_PIXEL_PTR(rle_code * 4);
 204
 205                 while (rle_code--) {
 206                     rgb[pixel_ptr++] = pi1;
 207                     rgb[pixel_ptr++] = pi2;
 208                     rgb[pixel_ptr++] = pi3;
 209                     rgb[pixel_ptr++] = pi4;
 210                 }
 211             } else {
 212                 /* copy the same pixel directly to output 4 times */
 213                 rle_code *= 4;
 214                 CHECK_PIXEL_PTR(rle_code);
 215
 216                 while (rle_code--) {
 217                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
 218                 }
 219             }
 220         }
 221         row_ptr += row_inc;
 222     }
 223 }
 224
 225 static void qtrle_decode_16bpp(QtrleContext *s, int row_ptr, int lines_to_change)
 226 {
 227     int rle_code;
 228     int pixel_ptr;
 229     int row_inc = s->frame.linesize[0];
 230     unsigned short rgb16;
 231     unsigned char *rgb = s->frame.data[0];
 232     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 233
 234     while (lines_to_change--) {
 235         pixel_ptr = row_ptr + (bytestream2_get_byte(&s->g) - 1) * 2;
 236         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 237
 238         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
 239             if (rle_code == 0) {
 240                 /* there's another skip code in the stream */
 241                 pixel_ptr += (bytestream2_get_byte(&s->g) - 1) * 2;
 242                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 243             } else if (rle_code < 0) {
 244                 /* decode the run length code */
 245                 rle_code = -rle_code;
 246                 rgb16 = bytestream2_get_be16(&s->g);
 247
 248                 CHECK_PIXEL_PTR(rle_code * 2);
 249
 250                 while (rle_code--) {
 251                     *(unsigned short *)(&rgb[pixel_ptr]) = rgb16;
 252                     pixel_ptr += 2;
 253                 }
 254             } else {
 255                 CHECK_PIXEL_PTR(rle_code * 2);
 256
 257                 /* copy pixels directly to output */
 258                 while (rle_code--) {
 259                     rgb16 = bytestream2_get_be16(&s->g);
 260                     *(unsigned short *)(&rgb[pixel_ptr]) = rgb16;
 261                     pixel_ptr += 2;
 262                 }
 263             }
 264         }
 265         row_ptr += row_inc;
 266     }
 267 }
 268
 269 static void qtrle_decode_24bpp(QtrleContext *s, int row_ptr, int lines_to_change)
 270 {
 271     int rle_code;
 272     int pixel_ptr;
 273     int row_inc = s->frame.linesize[0];
 274     unsigned char r, g, b;
 275     unsigned char *rgb = s->frame.data[0];
 276     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 277
 278     while (lines_to_change--) {
 279         pixel_ptr = row_ptr + (bytestream2_get_byte(&s->g) - 1) * 3;
 280         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 281
 282         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
 283             if (rle_code == 0) {
 284                 /* there's another skip code in the stream */
 285                 pixel_ptr += (bytestream2_get_byte(&s->g) - 1) * 3;
 286                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 287             } else if (rle_code < 0) {
 288                 /* decode the run length code */
 289                 rle_code = -rle_code;
 290                 r = bytestream2_get_byte(&s->g);
 291                 g = bytestream2_get_byte(&s->g);
 292                 b = bytestream2_get_byte(&s->g);
 293
 294                 CHECK_PIXEL_PTR(rle_code * 3);
 295
 296                 while (rle_code--) {
 297                     rgb[pixel_ptr++] = r;
 298                     rgb[pixel_ptr++] = g;
 299                     rgb[pixel_ptr++] = b;
 300                 }
 301             } else {
 302                 CHECK_PIXEL_PTR(rle_code * 3);
 303
 304                 /* copy pixels directly to output */
 305                 while (rle_code--) {
 306                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
 307                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
 308                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
 309                 }
 310             }
 311         }
 312         row_ptr += row_inc;
 313     }
 314 }
 315
 316 static void qtrle_decode_32bpp(QtrleContext *s, int row_ptr, int lines_to_change)
 317 {
 318     int rle_code;
 319     int pixel_ptr;
 320     int row_inc = s->frame.linesize[0];
 321     unsigned int argb;
 322     unsigned char *rgb = s->frame.data[0];
 323     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 324
 325     while (lines_to_change--) {
 326         pixel_ptr = row_ptr + (bytestream2_get_byte(&s->g) - 1) * 4;
 327         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 328
 329         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
 330             if (rle_code == 0) {
 331                 /* there's another skip code in the stream */
 332                 pixel_ptr += (bytestream2_get_byte(&s->g) - 1) * 4;
 333                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 334             } else if (rle_code < 0) {
 335                 /* decode the run length code */
 336                 rle_code = -rle_code;
 337                 argb = bytestream2_get_be32(&s->g);
 338
 339                 CHECK_PIXEL_PTR(rle_code * 4);
 340
 341                 while (rle_code--) {
 342                     AV_WN32A(rgb + pixel_ptr, argb);
 343                     pixel_ptr += 4;
 344                 }
 345             } else {
 346                 CHECK_PIXEL_PTR(rle_code * 4);
 347
 348                 /* copy pixels directly to output */
 349                 while (rle_code--) {
 350                     argb = bytestream2_get_be32(&s->g);
 351                     AV_WN32A(rgb + pixel_ptr, argb);
 352                     pixel_ptr  += 4;
 353                 }
 354             }
 355         }
 356         row_ptr += row_inc;
 357     }
 358 }
 359
 360 static av_cold int qtrle_decode_init(AVCodecContext *avctx)
 361 {
 362     QtrleContext *s = avctx->priv_data;
 363
 364     s->avctx = avctx;
 365     switch (avctx->bits_per_coded_sample) {
 366     case 1:
 367     case 33:
 368         avctx->pix_fmt = AV_PIX_FMT_MONOWHITE;
 369         break;
 370
 371     case 2:
 372     case 4:
 373     case 8:
 374     case 34:
 375     case 36:
 376     case 40:
 377         avctx->pix_fmt = AV_PIX_FMT_PAL8;
 378         break;
 379
 380     case 16:
 381         avctx->pix_fmt = AV_PIX_FMT_RGB555;
 382         break;
 383
 384     case 24:
 385         avctx->pix_fmt = AV_PIX_FMT_RGB24;
 386         break;
 387
 388     case 32:
 389         avctx->pix_fmt = AV_PIX_FMT_RGB32;
 390         break;
 391
 392     default:
 393         av_log (avctx, AV_LOG_ERROR, "Unsupported colorspace: %d bits/sample?\n",
 394             avctx->bits_per_coded_sample);
 395         return AVERROR_INVALIDDATA;
 396     }
 397
 398     avcodec_get_frame_defaults(&s->frame);
 399     s->frame.data[0] = NULL;
 400
 401     return 0;
 402 }
 403
 404 static int qtrle_decode_frame(AVCodecContext *avctx,
 405                               void *data, int *got_frame,
 406                               AVPacket *avpkt)
 407 {
 408     QtrleContext *s = avctx->priv_data;
 409     int header, start_line;
 410     int height, row_ptr;
 411     int has_palette = 0;
 412     int ret;
 413
 414     bytestream2_init(&s->g, avpkt->data, avpkt->size);
 415     s->frame.reference = 3;
 416     s->frame.buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_PRESERVE |
 417                             FF_BUFFER_HINTS_REUSABLE | FF_BUFFER_HINTS_READABLE;
 418     if ((ret = avctx->reget_buffer(avctx, &s->frame)) < 0) {
 419         av_log (s->avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
 420         return ret;
 421     }
 422
 423     /* check if this frame is even supposed to change */
 424     if (avpkt->size < 8)
 425         goto done;
 426
 427     /* start after the chunk size */
 428     bytestream2_seek(&s->g, 4, SEEK_SET);
 429
 430     /* fetch the header */
 431     header = bytestream2_get_be16(&s->g);
 432
 433     /* if a header is present, fetch additional decoding parameters */
 434     if (header & 0x0008) {
 435         if (avpkt->size < 14)
 436             goto done;
 437         start_line = bytestream2_get_be16(&s->g);
 438         bytestream2_skip(&s->g, 2);
 439         height     = bytestream2_get_be16(&s->g);
 440         bytestream2_skip(&s->g, 2);
 441         if (height > s->avctx->height - start_line)
 442             goto done;
 443     } else {
 444         start_line = 0;
 445         height     = s->avctx->height;
 446     }
 447     row_ptr = s->frame.linesize[0] * start_line;
 448
 449     switch (avctx->bits_per_coded_sample) {
 450     case 1:
 451     case 33:
 452         qtrle_decode_1bpp(s, row_ptr, height);
 453         break;
 454
 455     case 2:
 456     case 34:
 457         qtrle_decode_2n4bpp(s, row_ptr, height, 2);
 458         has_palette = 1;
 459         break;
 460
 461     case 4:
 462     case 36:
 463         qtrle_decode_2n4bpp(s, row_ptr, height, 4);
 464         has_palette = 1;
 465         break;
 466
 467     case 8:
 468     case 40:
 469         qtrle_decode_8bpp(s, row_ptr, height);
 470         has_palette = 1;
 471         break;
 472
 473     case 16:
 474         qtrle_decode_16bpp(s, row_ptr, height);
 475         break;
 476
 477     case 24:
 478         qtrle_decode_24bpp(s, row_ptr, height);
 479         break;
 480
 481     case 32:
 482         qtrle_decode_32bpp(s, row_ptr, height);
 483         break;
 484
 485     default:
 486         av_log (s->avctx, AV_LOG_ERROR, "Unsupported colorspace: %d bits/sample?\n",
 487             avctx->bits_per_coded_sample);
 488         break;
 489     }
 490
 491     if(has_palette) {
 492         const uint8_t *pal = av_packet_get_side_data(avpkt, AV_PKT_DATA_PALETTE, NULL);
 493
 494         if (pal) {
 495             s->frame.palette_has_changed = 1;
 496             memcpy(s->pal, pal, AVPALETTE_SIZE);
 497         }
 498
 499         /* make the palette available on the way out */
 500         memcpy(s->frame.data[1], s->pal, AVPALETTE_SIZE);
 501     }
 502
 503 done:
 504     *got_frame      = 1;
 505     *(AVFrame*)data = s->frame;
 506
 507     /* always report that the buffer was completely consumed */
 508     return avpkt->size;
 509 }
 510
 511 static av_cold int qtrle_decode_end(AVCodecContext *avctx)
 512 {
 513     QtrleContext *s = avctx->priv_data;
 514
 515     if (s->frame.data[0])
 516         avctx->release_buffer(avctx, &s->frame);
 517
 518     return 0;
 519 }
 520
 521 AVCodec ff_qtrle_decoder = {
 522     .name           = "qtrle",
 523     .type           = AVMEDIA_TYPE_VIDEO,
 524     .id             = AV_CODEC_ID_QTRLE,
 525     .priv_data_size = sizeof(QtrleContext),
 526     .init           = qtrle_decode_init,
 527     .close          = qtrle_decode_end,
 528     .decode         = qtrle_decode_frame,
 529     .capabilities   = CODEC_CAP_DR1,
 530     .long_name      = NULL_IF_CONFIG_SMALL("QuickTime Animation (RLE) video"),
 531 };