]> git.sesse.net Git - ffmpeg/blobdiff - libavcodec/proresdec.c
mpegvideo: claim ownership of referenced pictures
[ffmpeg] / libavcodec / proresdec.c
index 68472fa8f46fe201636d62146d71ba3f72fca37f..031760c3bba5710a12058ee3d06639c14144c47f 100644 (file)
  * @see http://wiki.multimedia.cx/index.php?title=Apple_ProRes
  */
 
-#define A32_BITSTREAM_READER // some ProRes vlc codes require up to 28 bits to be read at once
+#define LONG_BITSTREAM_READER // some ProRes vlc codes require up to 28 bits to be read at once
 
 #include <stdint.h>
 
 #include "libavutil/intmath.h"
 #include "avcodec.h"
-#include "dsputil.h"
+#include "proresdsp.h"
 #include "get_bits.h"
 
-#define BITS_PER_SAMPLE 10                              ///< output precision of that decoder
-#define BIAS     (1 << (BITS_PER_SAMPLE - 1))           ///< bias value for converting signed pixels into unsigned ones
-#define CLIP_MIN (1 << (BITS_PER_SAMPLE - 8))           ///< minimum value for clipping resulting pixels
-#define CLIP_MAX (1 << BITS_PER_SAMPLE) - CLIP_MIN - 1  ///< maximum value for clipping resulting pixels
-
+typedef struct {
+    const uint8_t *index;            ///< pointers to the data of this slice
+    int slice_num;
+    int x_pos, y_pos;
+    int slice_width;
+    DECLARE_ALIGNED(16, DCTELEM, blocks[8 * 4 * 64]);
+} ProresThreadData;
 
 typedef struct {
-    DSPContext dsp;
+    ProresDSPContext dsp;
     AVFrame    picture;
     ScanTable  scantable;
     int        scantable_type;           ///< -1 = uninitialized, 0 = progressive, 1/2 = interlaced
@@ -57,9 +59,9 @@ typedef struct {
     int        prev_slice_sf;            ///< scalefactor of the previous decoded slice
     DECLARE_ALIGNED(16, int16_t, qmat_luma_scaled[64]);
     DECLARE_ALIGNED(16, int16_t, qmat_chroma_scaled[64]);
-    DECLARE_ALIGNED(16, DCTELEM, blocks[8 * 4 * 64]);
     int        total_slices;            ///< total number of slices in a picture
-    const uint8_t **slice_data_index;   ///< array of pointers to the data of each slice
+    ProresThreadData *slice_data;
+    int        pic_num;
     int        chroma_factor;
     int        mb_chroma_factor;
     int        num_chroma_blocks;       ///< number of chrominance blocks in a macroblock
@@ -69,6 +71,7 @@ typedef struct {
     int        slice_height_factor;
     int        num_x_mbs;
     int        num_y_mbs;
+    int        alpha_info;
 } ProresContext;
 
 
@@ -100,12 +103,10 @@ static av_cold int decode_init(AVCodecContext *avctx)
     ProresContext *ctx = avctx->priv_data;
 
     ctx->total_slices     = 0;
-    ctx->slice_data_index = 0;
-
-    avctx->pix_fmt = PIX_FMT_YUV422P10; // set default pixel format
+    ctx->slice_data       = NULL;
 
-    avctx->bits_per_raw_sample = BITS_PER_SAMPLE;
-    dsputil_init(&ctx->dsp, avctx);
+    avctx->bits_per_raw_sample = PRORES_BITS_PER_SAMPLE;
+    ff_proresdsp_init(&ctx->dsp);
 
     avctx->coded_frame = &ctx->picture;
     avcodec_get_frame_defaults(&ctx->picture);
@@ -130,14 +131,14 @@ static int decode_frame_header(ProresContext *ctx, const uint8_t *buf,
     hdr_size = AV_RB16(buf);
     if (hdr_size > data_size) {
         av_log(avctx, AV_LOG_ERROR, "frame data too small\n");
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     version = AV_RB16(buf + 2);
     if (version >= 2) {
         av_log(avctx, AV_LOG_ERROR,
                "unsupported header version: %d\n", version);
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     width  = AV_RB16(buf + 8);
@@ -146,14 +147,14 @@ static int decode_frame_header(ProresContext *ctx, const uint8_t *buf,
         av_log(avctx, AV_LOG_ERROR,
                "picture dimension changed: old: %d x %d, new: %d x %d\n",
                avctx->width, avctx->height, width, height);
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     ctx->frame_type = (buf[12] >> 2) & 3;
     if (ctx->frame_type > 2) {
         av_log(avctx, AV_LOG_ERROR,
                "unsupported frame type: %d\n", ctx->frame_type);
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     ctx->chroma_factor     = (buf[12] >> 6) & 3;
@@ -169,7 +170,7 @@ static int decode_frame_header(ProresContext *ctx, const uint8_t *buf,
     default:
         av_log(avctx, AV_LOG_ERROR,
                "unsupported picture format: %d\n", ctx->pic_format);
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     if (ctx->scantable_type != ctx->frame_type) {
@@ -187,13 +188,17 @@ static int decode_frame_header(ProresContext *ctx, const uint8_t *buf,
         ctx->picture.top_field_first  = ctx->frame_type & 1;
     }
 
+    ctx->alpha_info = buf[17] & 0xf;
+    if (ctx->alpha_info)
+        av_log_missing_feature(avctx, "alpha channel", 0);
+
     ctx->qmat_changed = 0;
     ptr   = buf + 20;
     flags = buf[19];
     if (flags & 2) {
         if (ptr - buf > hdr_size - 64) {
             av_log(avctx, AV_LOG_ERROR, "header data too small\n");
-            return -1;
+            return AVERROR_INVALIDDATA;
         }
         if (memcmp(ctx->qmat_luma, ptr, 64)) {
             memcpy(ctx->qmat_luma, ptr, 64);
@@ -234,13 +239,13 @@ static int decode_picture_header(ProresContext *ctx, const uint8_t *buf,
     hdr_size = data_size > 0 ? buf[0] >> 3 : 0;
     if (hdr_size < 8 || hdr_size > data_size) {
         av_log(avctx, AV_LOG_ERROR, "picture header too small\n");
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     pic_data_size = AV_RB32(buf + 1);
     if (pic_data_size > data_size) {
         av_log(avctx, AV_LOG_ERROR, "picture data too small\n");
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     slice_width_factor  = buf[7] >> 4;
@@ -249,7 +254,7 @@ static int decode_picture_header(ProresContext *ctx, const uint8_t *buf,
         av_log(avctx, AV_LOG_ERROR,
                "unsupported slice dimension: %d x %d\n",
                1 << slice_width_factor, 1 << slice_height_factor);
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     ctx->slice_width_factor  = slice_width_factor;
@@ -267,20 +272,20 @@ static int decode_picture_header(ProresContext *ctx, const uint8_t *buf,
     num_slices = num_x_slices * ctx->num_y_mbs;
     if (num_slices != AV_RB16(buf + 5)) {
         av_log(avctx, AV_LOG_ERROR, "invalid number of slices\n");
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     if (ctx->total_slices != num_slices) {
-        av_freep(&ctx->slice_data_index);
-        ctx->slice_data_index = av_malloc((num_slices + 1) * sizeof(uint8_t*));
-        if (!ctx->slice_data_index)
+        av_freep(&ctx->slice_data);
+        ctx->slice_data = av_malloc((num_slices + 1) * sizeof(ctx->slice_data[0]));
+        if (!ctx->slice_data)
             return AVERROR(ENOMEM);
         ctx->total_slices = num_slices;
     }
 
     if (hdr_size + num_slices * 2 > data_size) {
         av_log(avctx, AV_LOG_ERROR, "slice table too small\n");
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     /* parse slice table allowing quick access to the slice data */
@@ -288,10 +293,10 @@ static int decode_picture_header(ProresContext *ctx, const uint8_t *buf,
     data_ptr = index_ptr + num_slices * 2;
 
     for (i = 0; i < num_slices; i++) {
-        ctx->slice_data_index[i] = data_ptr;
+        ctx->slice_data[i].index = data_ptr;
         data_ptr += AV_RB16(index_ptr + i * 2);
     }
-    ctx->slice_data_index[i] = data_ptr;
+    ctx->slice_data[i].index = data_ptr;
 
     if (data_ptr > buf + data_size) {
         av_log(avctx, AV_LOG_ERROR, "out of slice data\n");
@@ -427,13 +432,13 @@ static inline void decode_ac_coeffs(GetBitContext *gb, DCTELEM *out,
         lev_cb_index = lev_to_cb_index[FFMIN(level, 9)];
 
         bits_left = get_bits_left(gb);
-        if (bits_left <= 8 && !show_bits(gb, bits_left))
+        if (bits_left <= 0 || (bits_left <= 8 && !show_bits(gb, bits_left)))
             return;
 
         run = decode_vlc_codeword(gb, ac_codebook[run_cb_index]);
 
         bits_left = get_bits_left(gb);
-        if (bits_left <= 8 && !show_bits(gb, bits_left))
+        if (bits_left <= 0 || (bits_left <= 8 && !show_bits(gb, bits_left)))
             return;
 
         level = decode_vlc_codeword(gb, ac_codebook[lev_cb_index]) + 1;
@@ -449,52 +454,11 @@ static inline void decode_ac_coeffs(GetBitContext *gb, DCTELEM *out,
 }
 
 
-#define CLIP_AND_BIAS(x) (av_clip((x) + BIAS, CLIP_MIN, CLIP_MAX))
-
-/**
- * Add bias value, clamp and output pixels of a slice
- */
-static void put_pixels(const DCTELEM *in, uint16_t *out, int stride,
-                       int mbs_per_slice, int blocks_per_mb)
-{
-    int mb, x, y, src_offset, dst_offset;
-    const DCTELEM *src1, *src2;
-    uint16_t *dst1, *dst2;
-
-    src1 = in;
-    src2 = in + (blocks_per_mb << 5);
-    dst1 = out;
-    dst2 = out + (stride << 3);
-
-    for (mb = 0; mb < mbs_per_slice; mb++) {
-        for (y = 0, dst_offset = 0; y < 8; y++, dst_offset += stride) {
-            for (x = 0; x < 8; x++) {
-                src_offset = (y << 3) + x;
-
-                dst1[dst_offset + x] = CLIP_AND_BIAS(src1[src_offset]);
-                dst2[dst_offset + x] = CLIP_AND_BIAS(src2[src_offset]);
-
-                if (blocks_per_mb > 2) {
-                    dst1[dst_offset + x + 8] =
-                        CLIP_AND_BIAS(src1[src_offset + 64]);
-                    dst2[dst_offset + x + 8] =
-                        CLIP_AND_BIAS(src2[src_offset + 64]);
-                }
-            }
-        }
-
-        src1 += blocks_per_mb << 6;
-        src2 += blocks_per_mb << 6;
-        dst1 += blocks_per_mb << 2;
-        dst2 += blocks_per_mb << 2;
-    }
-}
-
-
 /**
  * Decode a slice plane (luma or chroma).
  */
-static void decode_slice_plane(ProresContext *ctx, const uint8_t *buf,
+static void decode_slice_plane(ProresContext *ctx, ProresThreadData *td,
+                               const uint8_t *buf,
                                int data_size, uint16_t *out_ptr,
                                int linesize, int mbs_per_slice,
                                int blocks_per_mb, int plane_size_factor,
@@ -502,43 +466,48 @@ static void decode_slice_plane(ProresContext *ctx, const uint8_t *buf,
 {
     GetBitContext gb;
     DCTELEM *block_ptr;
-    int i, blk_num, blocks_per_slice;
+    int mb_num, blocks_per_slice;
 
     blocks_per_slice = mbs_per_slice * blocks_per_mb;
 
-    memset(ctx->blocks, 0, 8 * 4 * 64 * sizeof(*ctx->blocks));
+    memset(td->blocks, 0, 8 * 4 * 64 * sizeof(*td->blocks));
 
     init_get_bits(&gb, buf, data_size << 3);
 
-    decode_dc_coeffs(&gb, ctx->blocks, blocks_per_slice);
+    decode_dc_coeffs(&gb, td->blocks, blocks_per_slice);
 
-    decode_ac_coeffs(&gb, ctx->blocks, blocks_per_slice,
+    decode_ac_coeffs(&gb, td->blocks, blocks_per_slice,
                      plane_size_factor, ctx->scantable.permutated);
 
     /* inverse quantization, inverse transform and output */
-    block_ptr = ctx->blocks;
-
-    for (blk_num = 0; blk_num < blocks_per_slice; blk_num++, block_ptr += 64) {
-        /* TODO: the correct solution shoud be (block_ptr[i] * qmat[i]) >> 1
-         * and the input of the inverse transform should be scaled by 2
-         * in order to avoid rounding errors.
-         * Due to the fact the existing Libav transforms are incompatible with
-         * that input I temporally introduced the coarse solution below... */
-        for (i = 0; i < 64; i++)
-            block_ptr[i] = (block_ptr[i] * qmat[i]) >> 2;
-
-        ctx->dsp.idct(block_ptr);
+    block_ptr = td->blocks;
+
+    for (mb_num = 0; mb_num < mbs_per_slice; mb_num++, out_ptr += blocks_per_mb * 4) {
+        ctx->dsp.idct_put(out_ptr,                    linesize, block_ptr, qmat);
+        block_ptr += 64;
+        if (blocks_per_mb > 2) {
+            ctx->dsp.idct_put(out_ptr + 8,            linesize, block_ptr, qmat);
+            block_ptr += 64;
+        }
+        ctx->dsp.idct_put(out_ptr + linesize * 4,     linesize, block_ptr, qmat);
+        block_ptr += 64;
+        if (blocks_per_mb > 2) {
+            ctx->dsp.idct_put(out_ptr + linesize * 4 + 8, linesize, block_ptr, qmat);
+            block_ptr += 64;
+        }
     }
-
-    put_pixels(ctx->blocks, out_ptr, linesize >> 1, mbs_per_slice,
-               blocks_per_mb);
 }
 
 
-static int decode_slice(ProresContext *ctx, int pic_num, int slice_num,
-                        int mb_x_pos, int mb_y_pos, int mbs_per_slice,
-                        AVCodecContext *avctx)
+static int decode_slice(AVCodecContext *avctx, void *tdata)
 {
+    ProresThreadData *td = tdata;
+    ProresContext *ctx = avctx->priv_data;
+    int mb_x_pos  = td->x_pos;
+    int mb_y_pos  = td->y_pos;
+    int pic_num   = ctx->pic_num;
+    int slice_num = td->slice_num;
+    int mbs_per_slice = td->slice_width;
     const uint8_t *buf;
     uint8_t *y_data, *u_data, *v_data;
     AVFrame *pic = avctx->coded_frame;
@@ -546,8 +515,8 @@ static int decode_slice(ProresContext *ctx, int pic_num, int slice_num,
     int slice_data_size, hdr_size, y_data_size, u_data_size, v_data_size;
     int y_linesize, u_linesize, v_linesize;
 
-    buf             = ctx->slice_data_index[slice_num];
-    slice_data_size = ctx->slice_data_index[slice_num + 1] - buf;
+    buf             = ctx->slice_data[slice_num].index;
+    slice_data_size = ctx->slice_data[slice_num + 1].index - buf;
 
     slice_width_factor = av_log2(mbs_per_slice);
 
@@ -571,42 +540,44 @@ static int decode_slice(ProresContext *ctx, int pic_num, int slice_num,
 
     if (slice_data_size < 6) {
         av_log(avctx, AV_LOG_ERROR, "slice data too small\n");
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     /* parse slice header */
     hdr_size    = buf[0] >> 3;
     y_data_size = AV_RB16(buf + 2);
     u_data_size = AV_RB16(buf + 4);
-    v_data_size = slice_data_size - y_data_size - u_data_size - hdr_size;
+    v_data_size = hdr_size > 7 ? AV_RB16(buf + 6) :
+        slice_data_size - y_data_size - u_data_size - hdr_size;
 
-    if (v_data_size < 0 || hdr_size < 6) {
+    if (hdr_size + y_data_size + u_data_size + v_data_size > slice_data_size ||
+        v_data_size < 0 || hdr_size < 6) {
         av_log(avctx, AV_LOG_ERROR, "invalid data size\n");
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     sf = av_clip(buf[1], 1, 224);
     sf = sf > 128 ? (sf - 96) << 2 : sf;
 
     /* scale quantization matrixes according with slice's scale factor */
-    /* TODO: this can be SIMD-optimized alot */
+    /* TODO: this can be SIMD-optimized a lot */
     if (ctx->qmat_changed || sf != ctx->prev_slice_sf) {
         ctx->prev_slice_sf = sf;
         for (i = 0; i < 64; i++) {
-            ctx->qmat_luma_scaled[i]   = ctx->qmat_luma[i]   * sf;
-            ctx->qmat_chroma_scaled[i] = ctx->qmat_chroma[i] * sf;
+            ctx->qmat_luma_scaled[ctx->dsp.idct_permutation[i]]   = ctx->qmat_luma[i]   * sf;
+            ctx->qmat_chroma_scaled[ctx->dsp.idct_permutation[i]] = ctx->qmat_chroma[i] * sf;
         }
     }
 
     /* decode luma plane */
-    decode_slice_plane(ctx, buf + hdr_size, y_data_size,
+    decode_slice_plane(ctx, td, buf + hdr_size, y_data_size,
                        (uint16_t*) (y_data + (mb_y_pos << 4) * y_linesize +
                                     (mb_x_pos << 5)), y_linesize,
                        mbs_per_slice, 4, slice_width_factor + 2,
                        ctx->qmat_luma_scaled);
 
     /* decode U chroma plane */
-    decode_slice_plane(ctx, buf + hdr_size + y_data_size, u_data_size,
+    decode_slice_plane(ctx, td, buf + hdr_size + y_data_size, u_data_size,
                        (uint16_t*) (u_data + (mb_y_pos << 4) * u_linesize +
                                     (mb_x_pos << ctx->mb_chroma_factor)),
                        u_linesize, mbs_per_slice, ctx->num_chroma_blocks,
@@ -614,7 +585,7 @@ static int decode_slice(ProresContext *ctx, int pic_num, int slice_num,
                        ctx->qmat_chroma_scaled);
 
     /* decode V chroma plane */
-    decode_slice_plane(ctx, buf + hdr_size + y_data_size + u_data_size,
+    decode_slice_plane(ctx, td, buf + hdr_size + y_data_size + u_data_size,
                        v_data_size,
                        (uint16_t*) (v_data + (mb_y_pos << 4) * v_linesize +
                                     (mb_x_pos << ctx->mb_chroma_factor)),
@@ -633,6 +604,7 @@ static int decode_picture(ProresContext *ctx, int pic_num,
 
     slice_num = 0;
 
+    ctx->pic_num = pic_num;
     for (y_pos = 0; y_pos < ctx->num_y_mbs; y_pos++) {
         slice_width = 1 << ctx->slice_width_factor;
 
@@ -641,15 +613,18 @@ static int decode_picture(ProresContext *ctx, int pic_num,
             while (ctx->num_x_mbs - x_pos < slice_width)
                 slice_width >>= 1;
 
-            if (decode_slice(ctx, pic_num, slice_num, x_pos, y_pos,
-                             slice_width, avctx) < 0)
-                return -1;
+            ctx->slice_data[slice_num].slice_num   = slice_num;
+            ctx->slice_data[slice_num].x_pos       = x_pos;
+            ctx->slice_data[slice_num].y_pos       = y_pos;
+            ctx->slice_data[slice_num].slice_width = slice_width;
 
             slice_num++;
         }
     }
 
-    return 0;
+    return avctx->execute(avctx, decode_slice,
+                          ctx->slice_data, NULL, slice_num,
+                          sizeof(ctx->slice_data[0]));
 }
 
 
@@ -669,14 +644,14 @@ static int decode_frame(AVCodecContext *avctx, void *data, int *data_size,
     if (buf_size < 28 || buf_size < AV_RB32(buf) ||
         AV_RB32(buf + 4) != FRAME_ID) {
         av_log(avctx, AV_LOG_ERROR, "invalid frame\n");
-        return -1;
+        return AVERROR_INVALIDDATA;
     }
 
     MOVE_DATA_PTR(8);
 
     frame_hdr_size = decode_frame_header(ctx, buf, buf_size, avctx);
     if (frame_hdr_size < 0)
-        return -1;
+        return AVERROR_INVALIDDATA;
 
     MOVE_DATA_PTR(frame_hdr_size);
 
@@ -690,7 +665,7 @@ static int decode_frame(AVCodecContext *avctx, void *data, int *data_size,
     for (pic_num = 0; ctx->picture.interlaced_frame - pic_num + 1; pic_num++) {
         pic_data_size = decode_picture_header(ctx, buf, buf_size, avctx);
         if (pic_data_size < 0)
-            return -1;
+            return AVERROR_INVALIDDATA;
 
         if (decode_picture(ctx, pic_num, avctx))
             return -1;
@@ -712,7 +687,7 @@ static av_cold int decode_close(AVCodecContext *avctx)
     if (ctx->picture.data[0])
         avctx->release_buffer(avctx, &ctx->picture);
 
-    av_freep(&ctx->slice_data_index);
+    av_freep(&ctx->slice_data);
 
     return 0;
 }
@@ -726,6 +701,6 @@ AVCodec ff_prores_decoder = {
     .init           = decode_init,
     .close          = decode_close,
     .decode         = decode_frame,
-    .capabilities   = CODEC_CAP_DR1,
+    .capabilities   = CODEC_CAP_DR1 | CODEC_CAP_SLICE_THREADS,
     .long_name      = NULL_IF_CONFIG_SMALL("Apple ProRes (iCodec Pro)")
 };