git.sesse.net Git - ffmpeg/blob - libavfilter/vf_spp.c

   1 /*
   2  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
   3  * Copyright (c) 2013 Clément Bœsch <u pkh me>
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License as published by
   9  * the Free Software Foundation; either version 2 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License along
  18  * with FFmpeg; if not, write to the Free Software Foundation, Inc.,
  19  * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
  20  */
  21
  22 /**
  23  * @file
  24  * Simple post processing filter
  25  *
  26  * This implementation is based on an algorithm described in
  27  * "Aria Nosratinia Embedded Post-Processing for
  28  * Enhancement of Compressed Images (1999)"
  29  *
  30  * Originally written by Michael Niedermayer for the MPlayer project, and
  31  * ported by Clément Bœsch for FFmpeg.
  32  */
  33
  34 #include "libavutil/avassert.h"
  35 #include "libavutil/imgutils.h"
  36 #include "libavutil/mem_internal.h"
  37 #include "libavutil/opt.h"
  38 #include "libavutil/pixdesc.h"
  39 #include "internal.h"
  40 #include "qp_table.h"
  41 #include "vf_spp.h"
  42
  43 enum mode {
  44     MODE_HARD,
  45     MODE_SOFT,
  46     NB_MODES
  47 };
  48
  49 static const AVClass *child_class_iterate(void **iter)
  50 {
  51     const AVClass *c = *iter ? NULL : avcodec_dct_get_class();
  52     *iter = (void*)(uintptr_t)c;
  53     return c;
  54 }
  55
  56 static void *child_next(void *obj, void *prev)
  57 {
  58     SPPContext *s = obj;
  59     return prev ? NULL : s->dct;
  60 }
  61
  62 #define OFFSET(x) offsetof(SPPContext, x)
  63 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
  64 #define TFLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_RUNTIME_PARAM
  65 static const AVOption spp_options[] = {
  66     { "quality", "set quality", OFFSET(log2_count), AV_OPT_TYPE_INT, {.i64 = 3}, 0, MAX_LEVEL, TFLAGS },
  67     { "qp", "force a constant quantizer parameter", OFFSET(qp), AV_OPT_TYPE_INT, {.i64 = 0}, 0, 63, FLAGS },
  68     { "mode", "set thresholding mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64 = MODE_HARD}, 0, NB_MODES - 1, FLAGS, "mode" },
  69         { "hard", "hard thresholding", 0, AV_OPT_TYPE_CONST, {.i64 = MODE_HARD}, INT_MIN, INT_MAX, FLAGS, "mode" },
  70         { "soft", "soft thresholding", 0, AV_OPT_TYPE_CONST, {.i64 = MODE_SOFT}, INT_MIN, INT_MAX, FLAGS, "mode" },
  71     { "use_bframe_qp", "use B-frames' QP", OFFSET(use_bframe_qp), AV_OPT_TYPE_BOOL, {.i64 = 0}, 0, 1, FLAGS },
  72     { NULL }
  73 };
  74
  75 static const AVClass spp_class = {
  76     .class_name       = "spp",
  77     .item_name        = av_default_item_name,
  78     .option           = spp_options,
  79     .version          = LIBAVUTIL_VERSION_INT,
  80     .category         = AV_CLASS_CATEGORY_FILTER,
  81     .child_class_iterate = child_class_iterate,
  82     .child_next       = child_next,
  83 };
  84
  85 // XXX: share between filters?
  86 DECLARE_ALIGNED(8, static const uint8_t, ldither)[8][8] = {
  87     {  0,  48,  12,  60,   3,  51,  15,  63 },
  88     { 32,  16,  44,  28,  35,  19,  47,  31 },
  89     {  8,  56,   4,  52,  11,  59,   7,  55 },
  90     { 40,  24,  36,  20,  43,  27,  39,  23 },
  91     {  2,  50,  14,  62,   1,  49,  13,  61 },
  92     { 34,  18,  46,  30,  33,  17,  45,  29 },
  93     { 10,  58,   6,  54,   9,  57,   5,  53 },
  94     { 42,  26,  38,  22,  41,  25,  37,  21 },
  95 };
  96
  97 static const uint8_t offset[127][2] = {
  98     {0,0},
  99     {0,0}, {4,4},                                           // quality = 1
 100     {0,0}, {2,2}, {6,4}, {4,6},                             // quality = 2
 101     {0,0}, {5,1}, {2,2}, {7,3}, {4,4}, {1,5}, {6,6}, {3,7}, // quality = 3
 102
 103     {0,0}, {4,0}, {1,1}, {5,1}, {3,2}, {7,2}, {2,3}, {6,3}, // quality = 4
 104     {0,4}, {4,4}, {1,5}, {5,5}, {3,6}, {7,6}, {2,7}, {6,7},
 105
 106     {0,0}, {0,2}, {0,4}, {0,6}, {1,1}, {1,3}, {1,5}, {1,7}, // quality = 5
 107     {2,0}, {2,2}, {2,4}, {2,6}, {3,1}, {3,3}, {3,5}, {3,7},
 108     {4,0}, {4,2}, {4,4}, {4,6}, {5,1}, {5,3}, {5,5}, {5,7},
 109     {6,0}, {6,2}, {6,4}, {6,6}, {7,1}, {7,3}, {7,5}, {7,7},
 110
 111     {0,0}, {4,4}, {0,4}, {4,0}, {2,2}, {6,6}, {2,6}, {6,2}, // quality = 6
 112     {0,2}, {4,6}, {0,6}, {4,2}, {2,0}, {6,4}, {2,4}, {6,0},
 113     {1,1}, {5,5}, {1,5}, {5,1}, {3,3}, {7,7}, {3,7}, {7,3},
 114     {1,3}, {5,7}, {1,7}, {5,3}, {3,1}, {7,5}, {3,5}, {7,1},
 115     {0,1}, {4,5}, {0,5}, {4,1}, {2,3}, {6,7}, {2,7}, {6,3},
 116     {0,3}, {4,7}, {0,7}, {4,3}, {2,1}, {6,5}, {2,5}, {6,1},
 117     {1,0}, {5,4}, {1,4}, {5,0}, {3,2}, {7,6}, {3,6}, {7,2},
 118     {1,2}, {5,6}, {1,6}, {5,2}, {3,0}, {7,4}, {3,4}, {7,0},
 119 };
 120
 121 static void hardthresh_c(int16_t dst[64], const int16_t src[64],
 122                          int qp, const uint8_t *permutation)
 123 {
 124     int i;
 125     int bias = 0; // FIXME
 126
 127     unsigned threshold1 = qp * ((1<<4) - bias) - 1;
 128     unsigned threshold2 = threshold1 << 1;
 129
 130     memset(dst, 0, 64 * sizeof(dst[0]));
 131     dst[0] = (src[0] + 4) >> 3;
 132
 133     for (i = 1; i < 64; i++) {
 134         int level = src[i];
 135         if (((unsigned)(level + threshold1)) > threshold2) {
 136             const int j = permutation[i];
 137             dst[j] = (level + 4) >> 3;
 138         }
 139     }
 140 }
 141
 142 static void softthresh_c(int16_t dst[64], const int16_t src[64],
 143                          int qp, const uint8_t *permutation)
 144 {
 145     int i;
 146     int bias = 0; //FIXME
 147
 148     unsigned threshold1 = qp * ((1<<4) - bias) - 1;
 149     unsigned threshold2 = threshold1 << 1;
 150
 151     memset(dst, 0, 64 * sizeof(dst[0]));
 152     dst[0] = (src[0] + 4) >> 3;
 153
 154     for (i = 1; i < 64; i++) {
 155         int level = src[i];
 156         if (((unsigned)(level + threshold1)) > threshold2) {
 157             const int j = permutation[i];
 158             if (level > 0) dst[j] = (level - threshold1 + 4) >> 3;
 159             else           dst[j] = (level + threshold1 + 4) >> 3;
 160         }
 161     }
 162 }
 163
 164 static void store_slice_c(uint8_t *dst, const int16_t *src,
 165                           int dst_linesize, int src_linesize,
 166                           int width, int height, int log2_scale,
 167                           const uint8_t dither[8][8])
 168 {
 169     int y, x;
 170
 171 #define STORE(pos) do {                                                     \
 172     temp = ((src[x + y*src_linesize + pos] << log2_scale) + d[pos]) >> 6;   \
 173     if (temp & 0x100)                                                       \
 174         temp = ~(temp >> 31);                                               \
 175     dst[x + y*dst_linesize + pos] = temp;                                   \
 176 } while (0)
 177
 178     for (y = 0; y < height; y++) {
 179         const uint8_t *d = dither[y];
 180         for (x = 0; x < width; x += 8) {
 181             int temp;
 182             STORE(0);
 183             STORE(1);
 184             STORE(2);
 185             STORE(3);
 186             STORE(4);
 187             STORE(5);
 188             STORE(6);
 189             STORE(7);
 190         }
 191     }
 192 }
 193
 194 static void store_slice16_c(uint16_t *dst, const int16_t *src,
 195                             int dst_linesize, int src_linesize,
 196                             int width, int height, int log2_scale,
 197                             const uint8_t dither[8][8], int depth)
 198 {
 199     int y, x;
 200     unsigned int mask = -1<<depth;
 201
 202 #define STORE16(pos) do {                                                   \
 203     temp = ((src[x + y*src_linesize + pos] << log2_scale) + (d[pos]>>1)) >> 5;   \
 204     if (temp & mask )                                                       \
 205         temp = ~(temp >> 31);                                               \
 206     dst[x + y*dst_linesize + pos] = temp;                                   \
 207 } while (0)
 208
 209     for (y = 0; y < height; y++) {
 210         const uint8_t *d = dither[y];
 211         for (x = 0; x < width; x += 8) {
 212             int temp;
 213             STORE16(0);
 214             STORE16(1);
 215             STORE16(2);
 216             STORE16(3);
 217             STORE16(4);
 218             STORE16(5);
 219             STORE16(6);
 220             STORE16(7);
 221         }
 222     }
 223 }
 224
 225 static inline void add_block(uint16_t *dst, int linesize, const int16_t block[64])
 226 {
 227     int y;
 228
 229     for (y = 0; y < 8; y++) {
 230         dst[0 + y*linesize] += block[0 + y*8];
 231         dst[1 + y*linesize] += block[1 + y*8];
 232         dst[2 + y*linesize] += block[2 + y*8];
 233         dst[3 + y*linesize] += block[3 + y*8];
 234         dst[4 + y*linesize] += block[4 + y*8];
 235         dst[5 + y*linesize] += block[5 + y*8];
 236         dst[6 + y*linesize] += block[6 + y*8];
 237         dst[7 + y*linesize] += block[7 + y*8];
 238     }
 239 }
 240
 241 static void filter(SPPContext *p, uint8_t *dst, uint8_t *src,
 242                    int dst_linesize, int src_linesize, int width, int height,
 243                    const uint8_t *qp_table, int qp_stride, int is_luma, int depth)
 244 {
 245     int x, y, i;
 246     const int count = 1 << p->log2_count;
 247     const int linesize = is_luma ? p->temp_linesize : FFALIGN(width+16, 16);
 248     DECLARE_ALIGNED(16, uint64_t, block_align)[32];
 249     int16_t *block  = (int16_t *)block_align;
 250     int16_t *block2 = (int16_t *)(block_align + 16);
 251     uint16_t *psrc16 = (uint16_t*)p->src;
 252     const int sample_bytes = (depth+7) / 8;
 253
 254     for (y = 0; y < height; y++) {
 255         int index = 8 + 8*linesize + y*linesize;
 256         memcpy(p->src + index*sample_bytes, src + y*src_linesize, width*sample_bytes);
 257         if (sample_bytes == 1) {
 258             for (x = 0; x < 8; x++) {
 259                 p->src[index         - x - 1] = p->src[index +         x    ];
 260                 p->src[index + width + x    ] = p->src[index + width - x - 1];
 261             }
 262         } else {
 263             for (x = 0; x < 8; x++) {
 264                 psrc16[index         - x - 1] = psrc16[index +         x    ];
 265                 psrc16[index + width + x    ] = psrc16[index + width - x - 1];
 266             }
 267         }
 268     }
 269     for (y = 0; y < 8; y++) {
 270         memcpy(p->src + (       7-y)*linesize * sample_bytes, p->src + (       y+8)*linesize * sample_bytes, linesize * sample_bytes);
 271         memcpy(p->src + (height+8+y)*linesize * sample_bytes, p->src + (height-y+7)*linesize * sample_bytes, linesize * sample_bytes);
 272     }
 273
 274     for (y = 0; y < height + 8; y += 8) {
 275         memset(p->temp + (8 + y) * linesize, 0, 8 * linesize * sizeof(*p->temp));
 276         for (x = 0; x < width + 8; x += 8) {
 277             int qp;
 278
 279             if (p->qp) {
 280                 qp = p->qp;
 281             } else{
 282                 const int qps = 3 + is_luma;
 283                 qp = qp_table[(FFMIN(x, width - 1) >> qps) + (FFMIN(y, height - 1) >> qps) * qp_stride];
 284                 qp = FFMAX(1, ff_norm_qscale(qp, p->qscale_type));
 285             }
 286             for (i = 0; i < count; i++) {
 287                 const int x1 = x + offset[i + count - 1][0];
 288                 const int y1 = y + offset[i + count - 1][1];
 289                 const int index = x1 + y1*linesize;
 290                 p->dct->get_pixels_unaligned(block, p->src + sample_bytes*index, sample_bytes*linesize);
 291                 p->dct->fdct(block);
 292                 p->requantize(block2, block, qp, p->dct->idct_permutation);
 293                 p->dct->idct(block2);
 294                 add_block(p->temp + index, linesize, block2);
 295             }
 296         }
 297         if (y) {
 298             if (sample_bytes == 1) {
 299                 p->store_slice(dst + (y - 8) * dst_linesize, p->temp + 8 + y*linesize,
 300                                dst_linesize, linesize, width,
 301                                FFMIN(8, height + 8 - y), MAX_LEVEL - p->log2_count,
 302                                ldither);
 303             } else {
 304                 store_slice16_c((uint16_t*)(dst + (y - 8) * dst_linesize), p->temp + 8 + y*linesize,
 305                                 dst_linesize/2, linesize, width,
 306                                 FFMIN(8, height + 8 - y), MAX_LEVEL - p->log2_count,
 307                                 ldither, depth);
 308             }
 309         }
 310     }
 311 }
 312
 313 static int query_formats(AVFilterContext *ctx)
 314 {
 315     static const enum AVPixelFormat pix_fmts[] = {
 316         AV_PIX_FMT_YUV444P,  AV_PIX_FMT_YUV422P,
 317         AV_PIX_FMT_YUV420P,  AV_PIX_FMT_YUV411P,
 318         AV_PIX_FMT_YUV410P,  AV_PIX_FMT_YUV440P,
 319         AV_PIX_FMT_YUVJ444P, AV_PIX_FMT_YUVJ422P,
 320         AV_PIX_FMT_YUVJ420P, AV_PIX_FMT_YUVJ440P,
 321         AV_PIX_FMT_YUV444P10,  AV_PIX_FMT_YUV422P10,
 322         AV_PIX_FMT_YUV420P10,
 323         AV_PIX_FMT_YUV444P9,  AV_PIX_FMT_YUV422P9,
 324         AV_PIX_FMT_YUV420P9,
 325         AV_PIX_FMT_GRAY8,
 326         AV_PIX_FMT_GBRP,
 327         AV_PIX_FMT_GBRP9,
 328         AV_PIX_FMT_GBRP10,
 329         AV_PIX_FMT_NONE
 330     };
 331
 332     AVFilterFormats *fmts_list = ff_make_format_list(pix_fmts);
 333     if (!fmts_list)
 334         return AVERROR(ENOMEM);
 335     return ff_set_common_formats(ctx, fmts_list);
 336 }
 337
 338 static int config_input(AVFilterLink *inlink)
 339 {
 340     SPPContext *s = inlink->dst->priv;
 341     const int h = FFALIGN(inlink->h + 16, 16);
 342     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 343     const int bps = desc->comp[0].depth;
 344
 345     av_opt_set_int(s->dct, "bits_per_sample", bps, 0);
 346     avcodec_dct_init(s->dct);
 347
 348     if (ARCH_X86)
 349         ff_spp_init_x86(s);
 350
 351     s->hsub = desc->log2_chroma_w;
 352     s->vsub = desc->log2_chroma_h;
 353     s->temp_linesize = FFALIGN(inlink->w + 16, 16);
 354     s->temp = av_malloc_array(s->temp_linesize, h * sizeof(*s->temp));
 355     s->src  = av_malloc_array(s->temp_linesize, h * sizeof(*s->src) * 2);
 356
 357     if (!s->temp || !s->src)
 358         return AVERROR(ENOMEM);
 359     return 0;
 360 }
 361
 362 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
 363 {
 364     AVFilterContext *ctx = inlink->dst;
 365     SPPContext *s = ctx->priv;
 366     AVFilterLink *outlink = ctx->outputs[0];
 367     AVFrame *out = in;
 368     int qp_stride = 0;
 369     int8_t *qp_table = NULL;
 370     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 371     const int depth = desc->comp[0].depth;
 372     int ret = 0;
 373
 374     /* if we are not in a constant user quantizer mode and we don't want to use
 375      * the quantizers from the B-frames (B-frames often have a higher QP), we
 376      * need to save the qp table from the last non B-frame; this is what the
 377      * following code block does */
 378     if (!s->qp && (s->use_bframe_qp || in->pict_type != AV_PICTURE_TYPE_B)) {
 379         ret = ff_qp_table_extract(in, &qp_table, &qp_stride, NULL, &s->qscale_type);
 380         if (ret < 0) {
 381             av_frame_free(&in);
 382             return ret;
 383         }
 384
 385         if (!s->use_bframe_qp && in->pict_type != AV_PICTURE_TYPE_B) {
 386             av_freep(&s->non_b_qp_table);
 387             s->non_b_qp_table  = qp_table;
 388             s->non_b_qp_stride = qp_stride;
 389         }
 390     }
 391
 392     if (s->log2_count && !ctx->is_disabled) {
 393         if (!s->use_bframe_qp && s->non_b_qp_table) {
 394             qp_table  = s->non_b_qp_table;
 395             qp_stride = s->non_b_qp_stride;
 396         }
 397
 398         if (qp_table || s->qp) {
 399             const int cw = AV_CEIL_RSHIFT(inlink->w, s->hsub);
 400             const int ch = AV_CEIL_RSHIFT(inlink->h, s->vsub);
 401
 402             /* get a new frame if in-place is not possible or if the dimensions
 403              * are not multiple of 8 */
 404             if (!av_frame_is_writable(in) || (inlink->w & 7) || (inlink->h & 7)) {
 405                 const int aligned_w = FFALIGN(inlink->w, 8);
 406                 const int aligned_h = FFALIGN(inlink->h, 8);
 407
 408                 out = ff_get_video_buffer(outlink, aligned_w, aligned_h);
 409                 if (!out) {
 410                     av_frame_free(&in);
 411                     ret = AVERROR(ENOMEM);
 412                     goto finish;
 413                 }
 414                 av_frame_copy_props(out, in);
 415                 out->width  = in->width;
 416                 out->height = in->height;
 417             }
 418
 419             filter(s, out->data[0], in->data[0], out->linesize[0], in->linesize[0], inlink->w, inlink->h, qp_table, qp_stride, 1, depth);
 420
 421             if (out->data[2]) {
 422                 filter(s, out->data[1], in->data[1], out->linesize[1], in->linesize[1], cw,        ch,        qp_table, qp_stride, 0, depth);
 423                 filter(s, out->data[2], in->data[2], out->linesize[2], in->linesize[2], cw,        ch,        qp_table, qp_stride, 0, depth);
 424             }
 425             emms_c();
 426         }
 427     }
 428
 429     if (in != out) {
 430         if (in->data[3])
 431             av_image_copy_plane(out->data[3], out->linesize[3],
 432                                 in ->data[3], in ->linesize[3],
 433                                 inlink->w, inlink->h);
 434         av_frame_free(&in);
 435     }
 436     ret = ff_filter_frame(outlink, out);
 437 finish:
 438     if (qp_table != s->non_b_qp_table)
 439         av_freep(&qp_table);
 440     return ret;
 441 }
 442
 443 static int process_command(AVFilterContext *ctx, const char *cmd, const char *args,
 444                            char *res, int res_len, int flags)
 445 {
 446     SPPContext *s = ctx->priv;
 447
 448     if (!strcmp(cmd, "level") || !strcmp(cmd, "quality")) {
 449         if (!strcmp(args, "max"))
 450             s->log2_count = MAX_LEVEL;
 451         else
 452             s->log2_count = av_clip(strtol(args, NULL, 10), 0, MAX_LEVEL);
 453         return 0;
 454     }
 455     return AVERROR(ENOSYS);
 456 }
 457
 458 static av_cold int init_dict(AVFilterContext *ctx, AVDictionary **opts)
 459 {
 460     SPPContext *s = ctx->priv;
 461     int ret;
 462
 463     s->dct = avcodec_dct_alloc();
 464     if (!s->dct)
 465         return AVERROR(ENOMEM);
 466
 467     if (opts) {
 468         AVDictionaryEntry *e = NULL;
 469
 470         while ((e = av_dict_get(*opts, "", e, AV_DICT_IGNORE_SUFFIX))) {
 471             if ((ret = av_opt_set(s->dct, e->key, e->value, 0)) < 0)
 472                 return ret;
 473         }
 474         av_dict_free(opts);
 475     }
 476
 477     s->store_slice = store_slice_c;
 478     switch (s->mode) {
 479     case MODE_HARD: s->requantize = hardthresh_c; break;
 480     case MODE_SOFT: s->requantize = softthresh_c; break;
 481     }
 482     return 0;
 483 }
 484
 485 static av_cold void uninit(AVFilterContext *ctx)
 486 {
 487     SPPContext *s = ctx->priv;
 488
 489     av_freep(&s->temp);
 490     av_freep(&s->src);
 491     av_freep(&s->dct);
 492     av_freep(&s->non_b_qp_table);
 493 }
 494
 495 static const AVFilterPad spp_inputs[] = {
 496     {
 497         .name         = "default",
 498         .type         = AVMEDIA_TYPE_VIDEO,
 499         .config_props = config_input,
 500         .filter_frame = filter_frame,
 501     },
 502     { NULL }
 503 };
 504
 505 static const AVFilterPad spp_outputs[] = {
 506     {
 507         .name = "default",
 508         .type = AVMEDIA_TYPE_VIDEO,
 509     },
 510     { NULL }
 511 };
 512
 513 const AVFilter ff_vf_spp = {
 514     .name            = "spp",
 515     .description     = NULL_IF_CONFIG_SMALL("Apply a simple post processing filter."),
 516     .priv_size       = sizeof(SPPContext),
 517     .init_dict       = init_dict,
 518     .uninit          = uninit,
 519     .query_formats   = query_formats,
 520     .inputs          = spp_inputs,
 521     .outputs         = spp_outputs,
 522     .process_command = process_command,
 523     .priv_class      = &spp_class,
 524     .flags           = AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL,
 525 };