git.sesse.net Git - ffmpeg/blob - libavcodec/qtrle.c

   1 /*
   2  * Quicktime Animation (RLE) Video Decoder
   3  * Copyright (C) 2004 the ffmpeg project
   4  *
   5  * This file is part of Libav.
   6  *
   7  * Libav is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * Libav is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with Libav; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file
  24  * QT RLE Video Decoder by Mike Melanson (melanson@pcisys.net)
  25  * For more information about the QT RLE format, visit:
  26  *   http://www.pcisys.net/~melanson/codecs/
  27  *
  28  * The QT RLE decoder has seven modes of operation:
  29  * 1, 2, 4, 8, 16, 24, and 32 bits per pixel. For modes 1, 2, 4, and 8
  30  * the decoder outputs PAL8 colorspace data. 16-bit data yields RGB555
  31  * data. 24-bit data is RGB24 and 32-bit data is RGB32.
  32  */
  33
  34 #include <stdio.h>
  35 #include <stdlib.h>
  36 #include <string.h>
  37
  38 #include "avcodec.h"
  39 #include "bytestream.h"
  40
  41 typedef struct QtrleContext {
  42     AVCodecContext *avctx;
  43     AVFrame frame;
  44
  45     GetByteContext g;
  46     uint32_t pal[256];
  47 } QtrleContext;
  48
  49 #define CHECK_PIXEL_PTR(n) \
  50   if ((pixel_ptr + n > pixel_limit) || (pixel_ptr + n < 0)) { \
  51     av_log (s->avctx, AV_LOG_INFO, "Problem: pixel_ptr = %d, pixel_limit = %d\n", \
  52       pixel_ptr + n, pixel_limit); \
  53     return; \
  54   } \
  55
  56 static void qtrle_decode_1bpp(QtrleContext *s, int row_ptr, int lines_to_change)
  57 {
  58     int rle_code;
  59     int pixel_ptr = 0;
  60     int row_inc = s->frame.linesize[0];
  61     unsigned char pi0, pi1;  /* 2 8-pixel values */
  62     unsigned char *rgb = s->frame.data[0];
  63     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
  64     int skip;
  65
  66     while (lines_to_change) {
  67         skip     =              bytestream2_get_byte(&s->g);
  68         rle_code = (signed char)bytestream2_get_byte(&s->g);
  69         if (rle_code == 0)
  70             break;
  71         if(skip & 0x80) {
  72             lines_to_change--;
  73             row_ptr += row_inc;
  74             pixel_ptr = row_ptr + 2 * (skip & 0x7f);
  75         } else
  76             pixel_ptr += 2 * skip;
  77         CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
  78
  79         if (rle_code < 0) {
  80             /* decode the run length code */
  81             rle_code = -rle_code;
  82             /* get the next 2 bytes from the stream, treat them as groups
  83              * of 8 pixels, and output them rle_code times */
  84
  85             pi0 = bytestream2_get_byte(&s->g);
  86             pi1 = bytestream2_get_byte(&s->g);
  87             CHECK_PIXEL_PTR(rle_code * 2);
  88
  89             while (rle_code--) {
  90                 rgb[pixel_ptr++] = pi0;
  91                 rgb[pixel_ptr++] = pi1;
  92             }
  93         } else {
  94             /* copy the same pixel directly to output 2 times */
  95             rle_code *= 2;
  96             CHECK_PIXEL_PTR(rle_code);
  97
  98             while (rle_code--)
  99                 rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
 100         }
 101     }
 102 }
 103
 104 static inline void qtrle_decode_2n4bpp(QtrleContext *s, int row_ptr,
 105                                        int lines_to_change, int bpp)
 106 {
 107     int rle_code, i;
 108     int pixel_ptr;
 109     int row_inc = s->frame.linesize[0];
 110     unsigned char pi[16];  /* 16 palette indices */
 111     unsigned char *rgb = s->frame.data[0];
 112     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 113     int num_pixels = (bpp == 4) ? 8 : 16;
 114
 115     while (lines_to_change--) {
 116         pixel_ptr = row_ptr + (num_pixels * (bytestream2_get_byte(&s->g) - 1));
 117
 118         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
 119             if (rle_code == 0) {
 120                 /* there's another skip code in the stream */
 121                 pixel_ptr += (num_pixels * (bytestream2_get_byte(&s->g) - 1));
 122                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 123             } else if (rle_code < 0) {
 124                 /* decode the run length code */
 125                 rle_code = -rle_code;
 126                 /* get the next 4 bytes from the stream, treat them as palette
 127                  * indexes, and output them rle_code times */
 128                 for (i = num_pixels-1; i >= 0; i--) {
 129                     pi[num_pixels-1-i] = (bytestream2_peek_byte(&s->g) >> ((i*bpp) & 0x07)) & ((1<<bpp)-1);
 130                     bytestream2_skip(&s->g, ((i & ((num_pixels>>2)-1)) == 0));
 131                 }
 132                 CHECK_PIXEL_PTR(rle_code * num_pixels);
 133                 while (rle_code--) {
 134                     for (i = 0; i < num_pixels; i++)
 135                         rgb[pixel_ptr++] = pi[i];
 136                 }
 137             } else {
 138                 /* copy the same pixel directly to output 4 times */
 139                 rle_code *= 4;
 140                 CHECK_PIXEL_PTR(rle_code*(num_pixels>>2));
 141                 while (rle_code--) {
 142                     if(bpp == 4) {
 143                         int x = bytestream2_get_byte(&s->g);
 144                         rgb[pixel_ptr++] = (x >> 4) & 0x0f;
 145                         rgb[pixel_ptr++] =  x       & 0x0f;
 146                     } else {
 147                         int x = bytestream2_get_byte(&s->g);
 148                         rgb[pixel_ptr++] = (x >> 6) & 0x03;
 149                         rgb[pixel_ptr++] = (x >> 4) & 0x03;
 150                         rgb[pixel_ptr++] = (x >> 2) & 0x03;
 151                         rgb[pixel_ptr++] =  x       & 0x03;
 152                     }
 153                 }
 154             }
 155         }
 156         row_ptr += row_inc;
 157     }
 158 }
 159
 160 static void qtrle_decode_8bpp(QtrleContext *s, int row_ptr, int lines_to_change)
 161 {
 162     int rle_code;
 163     int pixel_ptr;
 164     int row_inc = s->frame.linesize[0];
 165     unsigned char pi1, pi2, pi3, pi4;  /* 4 palette indexes */
 166     unsigned char *rgb = s->frame.data[0];
 167     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 168
 169     while (lines_to_change--) {
 170         pixel_ptr = row_ptr + (4 * (bytestream2_get_byte(&s->g) - 1));
 171
 172         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
 173             if (rle_code == 0) {
 174                 /* there's another skip code in the stream */
 175                 pixel_ptr += (4 * (bytestream2_get_byte(&s->g) - 1));
 176                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 177             } else if (rle_code < 0) {
 178                 /* decode the run length code */
 179                 rle_code = -rle_code;
 180                 /* get the next 4 bytes from the stream, treat them as palette
 181                  * indexes, and output them rle_code times */
 182                 pi1 = bytestream2_get_byte(&s->g);
 183                 pi2 = bytestream2_get_byte(&s->g);
 184                 pi3 = bytestream2_get_byte(&s->g);
 185                 pi4 = bytestream2_get_byte(&s->g);
 186
 187                 CHECK_PIXEL_PTR(rle_code * 4);
 188
 189                 while (rle_code--) {
 190                     rgb[pixel_ptr++] = pi1;
 191                     rgb[pixel_ptr++] = pi2;
 192                     rgb[pixel_ptr++] = pi3;
 193                     rgb[pixel_ptr++] = pi4;
 194                 }
 195             } else {
 196                 /* copy the same pixel directly to output 4 times */
 197                 rle_code *= 4;
 198                 CHECK_PIXEL_PTR(rle_code);
 199
 200                 while (rle_code--) {
 201                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
 202                 }
 203             }
 204         }
 205         row_ptr += row_inc;
 206     }
 207 }
 208
 209 static void qtrle_decode_16bpp(QtrleContext *s, int row_ptr, int lines_to_change)
 210 {
 211     int rle_code;
 212     int pixel_ptr;
 213     int row_inc = s->frame.linesize[0];
 214     unsigned short rgb16;
 215     unsigned char *rgb = s->frame.data[0];
 216     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 217
 218     while (lines_to_change--) {
 219         pixel_ptr = row_ptr + (bytestream2_get_byte(&s->g) - 1) * 2;
 220
 221         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
 222             if (rle_code == 0) {
 223                 /* there's another skip code in the stream */
 224                 pixel_ptr += (bytestream2_get_byte(&s->g) - 1) * 2;
 225                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 226             } else if (rle_code < 0) {
 227                 /* decode the run length code */
 228                 rle_code = -rle_code;
 229                 rgb16 = bytestream2_get_be16(&s->g);
 230
 231                 CHECK_PIXEL_PTR(rle_code * 2);
 232
 233                 while (rle_code--) {
 234                     *(unsigned short *)(&rgb[pixel_ptr]) = rgb16;
 235                     pixel_ptr += 2;
 236                 }
 237             } else {
 238                 CHECK_PIXEL_PTR(rle_code * 2);
 239
 240                 /* copy pixels directly to output */
 241                 while (rle_code--) {
 242                     rgb16 = bytestream2_get_be16(&s->g);
 243                     *(unsigned short *)(&rgb[pixel_ptr]) = rgb16;
 244                     pixel_ptr += 2;
 245                 }
 246             }
 247         }
 248         row_ptr += row_inc;
 249     }
 250 }
 251
 252 static void qtrle_decode_24bpp(QtrleContext *s, int row_ptr, int lines_to_change)
 253 {
 254     int rle_code;
 255     int pixel_ptr;
 256     int row_inc = s->frame.linesize[0];
 257     unsigned char r, g, b;
 258     unsigned char *rgb = s->frame.data[0];
 259     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 260
 261     while (lines_to_change--) {
 262         pixel_ptr = row_ptr + (bytestream2_get_byte(&s->g) - 1) * 3;
 263
 264         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
 265             if (rle_code == 0) {
 266                 /* there's another skip code in the stream */
 267                 pixel_ptr += (bytestream2_get_byte(&s->g) - 1) * 3;
 268                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 269             } else if (rle_code < 0) {
 270                 /* decode the run length code */
 271                 rle_code = -rle_code;
 272                 r = bytestream2_get_byte(&s->g);
 273                 g = bytestream2_get_byte(&s->g);
 274                 b = bytestream2_get_byte(&s->g);
 275
 276                 CHECK_PIXEL_PTR(rle_code * 3);
 277
 278                 while (rle_code--) {
 279                     rgb[pixel_ptr++] = r;
 280                     rgb[pixel_ptr++] = g;
 281                     rgb[pixel_ptr++] = b;
 282                 }
 283             } else {
 284                 CHECK_PIXEL_PTR(rle_code * 3);
 285
 286                 /* copy pixels directly to output */
 287                 while (rle_code--) {
 288                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
 289                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
 290                     rgb[pixel_ptr++] = bytestream2_get_byte(&s->g);
 291                 }
 292             }
 293         }
 294         row_ptr += row_inc;
 295     }
 296 }
 297
 298 static void qtrle_decode_32bpp(QtrleContext *s, int row_ptr, int lines_to_change)
 299 {
 300     int rle_code;
 301     int pixel_ptr;
 302     int row_inc = s->frame.linesize[0];
 303     unsigned int argb;
 304     unsigned char *rgb = s->frame.data[0];
 305     int pixel_limit = s->frame.linesize[0] * s->avctx->height;
 306
 307     while (lines_to_change--) {
 308         pixel_ptr = row_ptr + (bytestream2_get_byte(&s->g) - 1) * 4;
 309
 310         while ((rle_code = (signed char)bytestream2_get_byte(&s->g)) != -1) {
 311             if (rle_code == 0) {
 312                 /* there's another skip code in the stream */
 313                 pixel_ptr += (bytestream2_get_byte(&s->g) - 1) * 4;
 314                 CHECK_PIXEL_PTR(0);  /* make sure pixel_ptr is positive */
 315             } else if (rle_code < 0) {
 316                 /* decode the run length code */
 317                 rle_code = -rle_code;
 318                 argb = bytestream2_get_be32(&s->g);
 319
 320                 CHECK_PIXEL_PTR(rle_code * 4);
 321
 322                 while (rle_code--) {
 323                     AV_WN32A(rgb + pixel_ptr, argb);
 324                     pixel_ptr += 4;
 325                 }
 326             } else {
 327                 CHECK_PIXEL_PTR(rle_code * 4);
 328
 329                 /* copy pixels directly to output */
 330                 while (rle_code--) {
 331                     argb = bytestream2_get_be32(&s->g);
 332                     AV_WN32A(rgb + pixel_ptr, argb);
 333                     pixel_ptr  += 4;
 334                 }
 335             }
 336         }
 337         row_ptr += row_inc;
 338     }
 339 }
 340
 341 static av_cold int qtrle_decode_init(AVCodecContext *avctx)
 342 {
 343     QtrleContext *s = avctx->priv_data;
 344
 345     s->avctx = avctx;
 346     switch (avctx->bits_per_coded_sample) {
 347     case 1:
 348     case 33:
 349         avctx->pix_fmt = PIX_FMT_MONOWHITE;
 350         break;
 351
 352     case 2:
 353     case 4:
 354     case 8:
 355     case 34:
 356     case 36:
 357     case 40:
 358         avctx->pix_fmt = PIX_FMT_PAL8;
 359         break;
 360
 361     case 16:
 362         avctx->pix_fmt = PIX_FMT_RGB555;
 363         break;
 364
 365     case 24:
 366         avctx->pix_fmt = PIX_FMT_RGB24;
 367         break;
 368
 369     case 32:
 370         avctx->pix_fmt = PIX_FMT_RGB32;
 371         break;
 372
 373     default:
 374         av_log (avctx, AV_LOG_ERROR, "Unsupported colorspace: %d bits/sample?\n",
 375             avctx->bits_per_coded_sample);
 376         return AVERROR_INVALIDDATA;
 377     }
 378
 379     s->frame.data[0] = NULL;
 380
 381     return 0;
 382 }
 383
 384 static int qtrle_decode_frame(AVCodecContext *avctx,
 385                               void *data, int *data_size,
 386                               AVPacket *avpkt)
 387 {
 388     QtrleContext *s = avctx->priv_data;
 389     int header, start_line;
 390     int height, row_ptr;
 391     int has_palette = 0;
 392
 393     bytestream2_init(&s->g, avpkt->data, avpkt->size);
 394     s->frame.reference = 1;
 395     s->frame.buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_PRESERVE |
 396                             FF_BUFFER_HINTS_REUSABLE | FF_BUFFER_HINTS_READABLE;
 397     if (avctx->reget_buffer(avctx, &s->frame)) {
 398         av_log (s->avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
 399         return -1;
 400     }
 401
 402     /* check if this frame is even supposed to change */
 403     if (avpkt->size < 8)
 404         goto done;
 405
 406     /* start after the chunk size */
 407     bytestream2_seek(&s->g, 4, SEEK_SET);
 408
 409     /* fetch the header */
 410     header = bytestream2_get_be16(&s->g);
 411
 412     /* if a header is present, fetch additional decoding parameters */
 413     if (header & 0x0008) {
 414         if (avpkt->size < 14)
 415             goto done;
 416         start_line = bytestream2_get_be16(&s->g);
 417         bytestream2_skip(&s->g, 2);
 418         height     = bytestream2_get_be16(&s->g);
 419         bytestream2_skip(&s->g, 2);
 420     } else {
 421         start_line = 0;
 422         height     = s->avctx->height;
 423     }
 424     row_ptr = s->frame.linesize[0] * start_line;
 425
 426     switch (avctx->bits_per_coded_sample) {
 427     case 1:
 428     case 33:
 429         qtrle_decode_1bpp(s, row_ptr, height);
 430         break;
 431
 432     case 2:
 433     case 34:
 434         qtrle_decode_2n4bpp(s, row_ptr, height, 2);
 435         has_palette = 1;
 436         break;
 437
 438     case 4:
 439     case 36:
 440         qtrle_decode_2n4bpp(s, row_ptr, height, 4);
 441         has_palette = 1;
 442         break;
 443
 444     case 8:
 445     case 40:
 446         qtrle_decode_8bpp(s, row_ptr, height);
 447         has_palette = 1;
 448         break;
 449
 450     case 16:
 451         qtrle_decode_16bpp(s, row_ptr, height);
 452         break;
 453
 454     case 24:
 455         qtrle_decode_24bpp(s, row_ptr, height);
 456         break;
 457
 458     case 32:
 459         qtrle_decode_32bpp(s, row_ptr, height);
 460         break;
 461
 462     default:
 463         av_log (s->avctx, AV_LOG_ERROR, "Unsupported colorspace: %d bits/sample?\n",
 464             avctx->bits_per_coded_sample);
 465         break;
 466     }
 467
 468     if(has_palette) {
 469         const uint8_t *pal = av_packet_get_side_data(avpkt, AV_PKT_DATA_PALETTE, NULL);
 470
 471         if (pal) {
 472             s->frame.palette_has_changed = 1;
 473             memcpy(s->pal, pal, AVPALETTE_SIZE);
 474         }
 475
 476         /* make the palette available on the way out */
 477         memcpy(s->frame.data[1], s->pal, AVPALETTE_SIZE);
 478     }
 479
 480 done:
 481     *data_size = sizeof(AVFrame);
 482     *(AVFrame*)data = s->frame;
 483
 484     /* always report that the buffer was completely consumed */
 485     return avpkt->size;
 486 }
 487
 488 static av_cold int qtrle_decode_end(AVCodecContext *avctx)
 489 {
 490     QtrleContext *s = avctx->priv_data;
 491
 492     if (s->frame.data[0])
 493         avctx->release_buffer(avctx, &s->frame);
 494
 495     return 0;
 496 }
 497
 498 AVCodec ff_qtrle_decoder = {
 499     .name           = "qtrle",
 500     .type           = AVMEDIA_TYPE_VIDEO,
 501     .id             = AV_CODEC_ID_QTRLE,
 502     .priv_data_size = sizeof(QtrleContext),
 503     .init           = qtrle_decode_init,
 504     .close          = qtrle_decode_end,
 505     .decode         = qtrle_decode_frame,
 506     .capabilities   = CODEC_CAP_DR1,
 507     .long_name      = NULL_IF_CONFIG_SMALL("QuickTime Animation (RLE) video"),
 508 };