]> git.sesse.net Git - ffmpeg/blob - libavfilter/vf_spp.c
lavu/mem: move the DECLARE_ALIGNED macro family to mem_internal on next+1 bump
[ffmpeg] / libavfilter / vf_spp.c
1 /*
2  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
3  * Copyright (c) 2013 Clément Bœsch <u pkh me>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 2 of the License, or
10  * (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License along
18  * with FFmpeg; if not, write to the Free Software Foundation, Inc.,
19  * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
20  */
21
22 /**
23  * @file
24  * Simple post processing filter
25  *
26  * This implementation is based on an algorithm described in
27  * "Aria Nosratinia Embedded Post-Processing for
28  * Enhancement of Compressed Images (1999)"
29  *
30  * Originally written by Michael Niedermayer for the MPlayer project, and
31  * ported by Clément Bœsch for FFmpeg.
32  */
33
34 #include "libavutil/avassert.h"
35 #include "libavutil/imgutils.h"
36 #include "libavutil/mem_internal.h"
37 #include "libavutil/opt.h"
38 #include "libavutil/pixdesc.h"
39 #include "internal.h"
40 #include "vf_spp.h"
41
42 enum mode {
43     MODE_HARD,
44     MODE_SOFT,
45     NB_MODES
46 };
47
48 #if FF_API_CHILD_CLASS_NEXT
49 static const AVClass *child_class_next(const AVClass *prev)
50 {
51     return prev ? NULL : avcodec_dct_get_class();
52 }
53 #endif
54
55 static const AVClass *child_class_iterate(void **iter)
56 {
57     const AVClass *c = *iter ? NULL : avcodec_dct_get_class();
58     *iter = (void*)(uintptr_t)c;
59     return c;
60 }
61
62 static void *child_next(void *obj, void *prev)
63 {
64     SPPContext *s = obj;
65     return prev ? NULL : s->dct;
66 }
67
68 #define OFFSET(x) offsetof(SPPContext, x)
69 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
70 #define TFLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_RUNTIME_PARAM
71 static const AVOption spp_options[] = {
72     { "quality", "set quality", OFFSET(log2_count), AV_OPT_TYPE_INT, {.i64 = 3}, 0, MAX_LEVEL, TFLAGS },
73     { "qp", "force a constant quantizer parameter", OFFSET(qp), AV_OPT_TYPE_INT, {.i64 = 0}, 0, 63, FLAGS },
74     { "mode", "set thresholding mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64 = MODE_HARD}, 0, NB_MODES - 1, FLAGS, "mode" },
75         { "hard", "hard thresholding", 0, AV_OPT_TYPE_CONST, {.i64 = MODE_HARD}, INT_MIN, INT_MAX, FLAGS, "mode" },
76         { "soft", "soft thresholding", 0, AV_OPT_TYPE_CONST, {.i64 = MODE_SOFT}, INT_MIN, INT_MAX, FLAGS, "mode" },
77     { "use_bframe_qp", "use B-frames' QP", OFFSET(use_bframe_qp), AV_OPT_TYPE_BOOL, {.i64 = 0}, 0, 1, FLAGS },
78     { NULL }
79 };
80
81 static const AVClass spp_class = {
82     .class_name       = "spp",
83     .item_name        = av_default_item_name,
84     .option           = spp_options,
85     .version          = LIBAVUTIL_VERSION_INT,
86     .category         = AV_CLASS_CATEGORY_FILTER,
87 #if FF_API_CHILD_CLASS_NEXT
88     .child_class_next = child_class_next,
89 #endif
90     .child_class_iterate = child_class_iterate,
91     .child_next       = child_next,
92 };
93
94 // XXX: share between filters?
95 DECLARE_ALIGNED(8, static const uint8_t, ldither)[8][8] = {
96     {  0,  48,  12,  60,   3,  51,  15,  63 },
97     { 32,  16,  44,  28,  35,  19,  47,  31 },
98     {  8,  56,   4,  52,  11,  59,   7,  55 },
99     { 40,  24,  36,  20,  43,  27,  39,  23 },
100     {  2,  50,  14,  62,   1,  49,  13,  61 },
101     { 34,  18,  46,  30,  33,  17,  45,  29 },
102     { 10,  58,   6,  54,   9,  57,   5,  53 },
103     { 42,  26,  38,  22,  41,  25,  37,  21 },
104 };
105
106 static const uint8_t offset[127][2] = {
107     {0,0},
108     {0,0}, {4,4},                                           // quality = 1
109     {0,0}, {2,2}, {6,4}, {4,6},                             // quality = 2
110     {0,0}, {5,1}, {2,2}, {7,3}, {4,4}, {1,5}, {6,6}, {3,7}, // quality = 3
111
112     {0,0}, {4,0}, {1,1}, {5,1}, {3,2}, {7,2}, {2,3}, {6,3}, // quality = 4
113     {0,4}, {4,4}, {1,5}, {5,5}, {3,6}, {7,6}, {2,7}, {6,7},
114
115     {0,0}, {0,2}, {0,4}, {0,6}, {1,1}, {1,3}, {1,5}, {1,7}, // quality = 5
116     {2,0}, {2,2}, {2,4}, {2,6}, {3,1}, {3,3}, {3,5}, {3,7},
117     {4,0}, {4,2}, {4,4}, {4,6}, {5,1}, {5,3}, {5,5}, {5,7},
118     {6,0}, {6,2}, {6,4}, {6,6}, {7,1}, {7,3}, {7,5}, {7,7},
119
120     {0,0}, {4,4}, {0,4}, {4,0}, {2,2}, {6,6}, {2,6}, {6,2}, // quality = 6
121     {0,2}, {4,6}, {0,6}, {4,2}, {2,0}, {6,4}, {2,4}, {6,0},
122     {1,1}, {5,5}, {1,5}, {5,1}, {3,3}, {7,7}, {3,7}, {7,3},
123     {1,3}, {5,7}, {1,7}, {5,3}, {3,1}, {7,5}, {3,5}, {7,1},
124     {0,1}, {4,5}, {0,5}, {4,1}, {2,3}, {6,7}, {2,7}, {6,3},
125     {0,3}, {4,7}, {0,7}, {4,3}, {2,1}, {6,5}, {2,5}, {6,1},
126     {1,0}, {5,4}, {1,4}, {5,0}, {3,2}, {7,6}, {3,6}, {7,2},
127     {1,2}, {5,6}, {1,6}, {5,2}, {3,0}, {7,4}, {3,4}, {7,0},
128 };
129
130 static void hardthresh_c(int16_t dst[64], const int16_t src[64],
131                          int qp, const uint8_t *permutation)
132 {
133     int i;
134     int bias = 0; // FIXME
135
136     unsigned threshold1 = qp * ((1<<4) - bias) - 1;
137     unsigned threshold2 = threshold1 << 1;
138
139     memset(dst, 0, 64 * sizeof(dst[0]));
140     dst[0] = (src[0] + 4) >> 3;
141
142     for (i = 1; i < 64; i++) {
143         int level = src[i];
144         if (((unsigned)(level + threshold1)) > threshold2) {
145             const int j = permutation[i];
146             dst[j] = (level + 4) >> 3;
147         }
148     }
149 }
150
151 static void softthresh_c(int16_t dst[64], const int16_t src[64],
152                          int qp, const uint8_t *permutation)
153 {
154     int i;
155     int bias = 0; //FIXME
156
157     unsigned threshold1 = qp * ((1<<4) - bias) - 1;
158     unsigned threshold2 = threshold1 << 1;
159
160     memset(dst, 0, 64 * sizeof(dst[0]));
161     dst[0] = (src[0] + 4) >> 3;
162
163     for (i = 1; i < 64; i++) {
164         int level = src[i];
165         if (((unsigned)(level + threshold1)) > threshold2) {
166             const int j = permutation[i];
167             if (level > 0) dst[j] = (level - threshold1 + 4) >> 3;
168             else           dst[j] = (level + threshold1 + 4) >> 3;
169         }
170     }
171 }
172
173 static void store_slice_c(uint8_t *dst, const int16_t *src,
174                           int dst_linesize, int src_linesize,
175                           int width, int height, int log2_scale,
176                           const uint8_t dither[8][8])
177 {
178     int y, x;
179
180 #define STORE(pos) do {                                                     \
181     temp = ((src[x + y*src_linesize + pos] << log2_scale) + d[pos]) >> 6;   \
182     if (temp & 0x100)                                                       \
183         temp = ~(temp >> 31);                                               \
184     dst[x + y*dst_linesize + pos] = temp;                                   \
185 } while (0)
186
187     for (y = 0; y < height; y++) {
188         const uint8_t *d = dither[y];
189         for (x = 0; x < width; x += 8) {
190             int temp;
191             STORE(0);
192             STORE(1);
193             STORE(2);
194             STORE(3);
195             STORE(4);
196             STORE(5);
197             STORE(6);
198             STORE(7);
199         }
200     }
201 }
202
203 static void store_slice16_c(uint16_t *dst, const int16_t *src,
204                             int dst_linesize, int src_linesize,
205                             int width, int height, int log2_scale,
206                             const uint8_t dither[8][8], int depth)
207 {
208     int y, x;
209     unsigned int mask = -1<<depth;
210
211 #define STORE16(pos) do {                                                   \
212     temp = ((src[x + y*src_linesize + pos] << log2_scale) + (d[pos]>>1)) >> 5;   \
213     if (temp & mask )                                                       \
214         temp = ~(temp >> 31);                                               \
215     dst[x + y*dst_linesize + pos] = temp;                                   \
216 } while (0)
217
218     for (y = 0; y < height; y++) {
219         const uint8_t *d = dither[y];
220         for (x = 0; x < width; x += 8) {
221             int temp;
222             STORE16(0);
223             STORE16(1);
224             STORE16(2);
225             STORE16(3);
226             STORE16(4);
227             STORE16(5);
228             STORE16(6);
229             STORE16(7);
230         }
231     }
232 }
233
234 static inline void add_block(uint16_t *dst, int linesize, const int16_t block[64])
235 {
236     int y;
237
238     for (y = 0; y < 8; y++) {
239         dst[0 + y*linesize] += block[0 + y*8];
240         dst[1 + y*linesize] += block[1 + y*8];
241         dst[2 + y*linesize] += block[2 + y*8];
242         dst[3 + y*linesize] += block[3 + y*8];
243         dst[4 + y*linesize] += block[4 + y*8];
244         dst[5 + y*linesize] += block[5 + y*8];
245         dst[6 + y*linesize] += block[6 + y*8];
246         dst[7 + y*linesize] += block[7 + y*8];
247     }
248 }
249
250 static void filter(SPPContext *p, uint8_t *dst, uint8_t *src,
251                    int dst_linesize, int src_linesize, int width, int height,
252                    const uint8_t *qp_table, int qp_stride, int is_luma, int depth)
253 {
254     int x, y, i;
255     const int count = 1 << p->log2_count;
256     const int linesize = is_luma ? p->temp_linesize : FFALIGN(width+16, 16);
257     DECLARE_ALIGNED(16, uint64_t, block_align)[32];
258     int16_t *block  = (int16_t *)block_align;
259     int16_t *block2 = (int16_t *)(block_align + 16);
260     uint16_t *psrc16 = (uint16_t*)p->src;
261     const int sample_bytes = (depth+7) / 8;
262
263     for (y = 0; y < height; y++) {
264         int index = 8 + 8*linesize + y*linesize;
265         memcpy(p->src + index*sample_bytes, src + y*src_linesize, width*sample_bytes);
266         if (sample_bytes == 1) {
267             for (x = 0; x < 8; x++) {
268                 p->src[index         - x - 1] = p->src[index +         x    ];
269                 p->src[index + width + x    ] = p->src[index + width - x - 1];
270             }
271         } else {
272             for (x = 0; x < 8; x++) {
273                 psrc16[index         - x - 1] = psrc16[index +         x    ];
274                 psrc16[index + width + x    ] = psrc16[index + width - x - 1];
275             }
276         }
277     }
278     for (y = 0; y < 8; y++) {
279         memcpy(p->src + (       7-y)*linesize * sample_bytes, p->src + (       y+8)*linesize * sample_bytes, linesize * sample_bytes);
280         memcpy(p->src + (height+8+y)*linesize * sample_bytes, p->src + (height-y+7)*linesize * sample_bytes, linesize * sample_bytes);
281     }
282
283     for (y = 0; y < height + 8; y += 8) {
284         memset(p->temp + (8 + y) * linesize, 0, 8 * linesize * sizeof(*p->temp));
285         for (x = 0; x < width + 8; x += 8) {
286             int qp;
287
288             if (p->qp) {
289                 qp = p->qp;
290             } else{
291                 const int qps = 3 + is_luma;
292                 qp = qp_table[(FFMIN(x, width - 1) >> qps) + (FFMIN(y, height - 1) >> qps) * qp_stride];
293                 qp = FFMAX(1, ff_norm_qscale(qp, p->qscale_type));
294             }
295             for (i = 0; i < count; i++) {
296                 const int x1 = x + offset[i + count - 1][0];
297                 const int y1 = y + offset[i + count - 1][1];
298                 const int index = x1 + y1*linesize;
299                 p->dct->get_pixels_unaligned(block, p->src + sample_bytes*index, sample_bytes*linesize);
300                 p->dct->fdct(block);
301                 p->requantize(block2, block, qp, p->dct->idct_permutation);
302                 p->dct->idct(block2);
303                 add_block(p->temp + index, linesize, block2);
304             }
305         }
306         if (y) {
307             if (sample_bytes == 1) {
308                 p->store_slice(dst + (y - 8) * dst_linesize, p->temp + 8 + y*linesize,
309                                dst_linesize, linesize, width,
310                                FFMIN(8, height + 8 - y), MAX_LEVEL - p->log2_count,
311                                ldither);
312             } else {
313                 store_slice16_c((uint16_t*)(dst + (y - 8) * dst_linesize), p->temp + 8 + y*linesize,
314                                 dst_linesize/2, linesize, width,
315                                 FFMIN(8, height + 8 - y), MAX_LEVEL - p->log2_count,
316                                 ldither, depth);
317             }
318         }
319     }
320 }
321
322 static int query_formats(AVFilterContext *ctx)
323 {
324     static const enum AVPixelFormat pix_fmts[] = {
325         AV_PIX_FMT_YUV444P,  AV_PIX_FMT_YUV422P,
326         AV_PIX_FMT_YUV420P,  AV_PIX_FMT_YUV411P,
327         AV_PIX_FMT_YUV410P,  AV_PIX_FMT_YUV440P,
328         AV_PIX_FMT_YUVJ444P, AV_PIX_FMT_YUVJ422P,
329         AV_PIX_FMT_YUVJ420P, AV_PIX_FMT_YUVJ440P,
330         AV_PIX_FMT_YUV444P10,  AV_PIX_FMT_YUV422P10,
331         AV_PIX_FMT_YUV420P10,
332         AV_PIX_FMT_YUV444P9,  AV_PIX_FMT_YUV422P9,
333         AV_PIX_FMT_YUV420P9,
334         AV_PIX_FMT_GRAY8,
335         AV_PIX_FMT_GBRP,
336         AV_PIX_FMT_GBRP9,
337         AV_PIX_FMT_GBRP10,
338         AV_PIX_FMT_NONE
339     };
340
341     AVFilterFormats *fmts_list = ff_make_format_list(pix_fmts);
342     if (!fmts_list)
343         return AVERROR(ENOMEM);
344     return ff_set_common_formats(ctx, fmts_list);
345 }
346
347 static int config_input(AVFilterLink *inlink)
348 {
349     SPPContext *s = inlink->dst->priv;
350     const int h = FFALIGN(inlink->h + 16, 16);
351     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
352     const int bps = desc->comp[0].depth;
353
354     av_opt_set_int(s->dct, "bits_per_sample", bps, 0);
355     avcodec_dct_init(s->dct);
356
357     if (ARCH_X86)
358         ff_spp_init_x86(s);
359
360     s->hsub = desc->log2_chroma_w;
361     s->vsub = desc->log2_chroma_h;
362     s->temp_linesize = FFALIGN(inlink->w + 16, 16);
363     s->temp = av_malloc_array(s->temp_linesize, h * sizeof(*s->temp));
364     s->src  = av_malloc_array(s->temp_linesize, h * sizeof(*s->src) * 2);
365
366     if (!s->temp || !s->src)
367         return AVERROR(ENOMEM);
368     return 0;
369 }
370
371 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
372 {
373     AVFilterContext *ctx = inlink->dst;
374     SPPContext *s = ctx->priv;
375     AVFilterLink *outlink = ctx->outputs[0];
376     AVFrame *out = in;
377     int qp_stride = 0;
378     const int8_t *qp_table = NULL;
379     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
380     const int depth = desc->comp[0].depth;
381
382     /* if we are not in a constant user quantizer mode and we don't want to use
383      * the quantizers from the B-frames (B-frames often have a higher QP), we
384      * need to save the qp table from the last non B-frame; this is what the
385      * following code block does */
386     if (!s->qp) {
387         qp_table = av_frame_get_qp_table(in, &qp_stride, &s->qscale_type);
388
389         if (qp_table && !s->use_bframe_qp && in->pict_type != AV_PICTURE_TYPE_B) {
390             int w, h;
391
392             /* if the qp stride is not set, it means the QP are only defined on
393              * a line basis */
394             if (!qp_stride) {
395                 w = AV_CEIL_RSHIFT(inlink->w, 4);
396                 h = 1;
397             } else {
398                 w = qp_stride;
399                 h = AV_CEIL_RSHIFT(inlink->h, 4);
400             }
401
402             if (w * h > s->non_b_qp_alloc_size) {
403                 int ret = av_reallocp_array(&s->non_b_qp_table, w, h);
404                 if (ret < 0) {
405                     s->non_b_qp_alloc_size = 0;
406                     return ret;
407                 }
408                 s->non_b_qp_alloc_size = w * h;
409             }
410
411             av_assert0(w * h <= s->non_b_qp_alloc_size);
412             memcpy(s->non_b_qp_table, qp_table, w * h);
413         }
414     }
415
416     if (s->log2_count && !ctx->is_disabled) {
417         if (!s->use_bframe_qp && s->non_b_qp_table)
418             qp_table = s->non_b_qp_table;
419
420         if (qp_table || s->qp) {
421             const int cw = AV_CEIL_RSHIFT(inlink->w, s->hsub);
422             const int ch = AV_CEIL_RSHIFT(inlink->h, s->vsub);
423
424             /* get a new frame if in-place is not possible or if the dimensions
425              * are not multiple of 8 */
426             if (!av_frame_is_writable(in) || (inlink->w & 7) || (inlink->h & 7)) {
427                 const int aligned_w = FFALIGN(inlink->w, 8);
428                 const int aligned_h = FFALIGN(inlink->h, 8);
429
430                 out = ff_get_video_buffer(outlink, aligned_w, aligned_h);
431                 if (!out) {
432                     av_frame_free(&in);
433                     return AVERROR(ENOMEM);
434                 }
435                 av_frame_copy_props(out, in);
436                 out->width  = in->width;
437                 out->height = in->height;
438             }
439
440             filter(s, out->data[0], in->data[0], out->linesize[0], in->linesize[0], inlink->w, inlink->h, qp_table, qp_stride, 1, depth);
441
442             if (out->data[2]) {
443                 filter(s, out->data[1], in->data[1], out->linesize[1], in->linesize[1], cw,        ch,        qp_table, qp_stride, 0, depth);
444                 filter(s, out->data[2], in->data[2], out->linesize[2], in->linesize[2], cw,        ch,        qp_table, qp_stride, 0, depth);
445             }
446             emms_c();
447         }
448     }
449
450     if (in != out) {
451         if (in->data[3])
452             av_image_copy_plane(out->data[3], out->linesize[3],
453                                 in ->data[3], in ->linesize[3],
454                                 inlink->w, inlink->h);
455         av_frame_free(&in);
456     }
457     return ff_filter_frame(outlink, out);
458 }
459
460 static int process_command(AVFilterContext *ctx, const char *cmd, const char *args,
461                            char *res, int res_len, int flags)
462 {
463     SPPContext *s = ctx->priv;
464
465     if (!strcmp(cmd, "level") || !strcmp(cmd, "quality")) {
466         if (!strcmp(args, "max"))
467             s->log2_count = MAX_LEVEL;
468         else
469             s->log2_count = av_clip(strtol(args, NULL, 10), 0, MAX_LEVEL);
470         return 0;
471     }
472     return AVERROR(ENOSYS);
473 }
474
475 static av_cold int init_dict(AVFilterContext *ctx, AVDictionary **opts)
476 {
477     SPPContext *s = ctx->priv;
478     int ret;
479
480     s->dct = avcodec_dct_alloc();
481     if (!s->dct)
482         return AVERROR(ENOMEM);
483
484     if (opts) {
485         AVDictionaryEntry *e = NULL;
486
487         while ((e = av_dict_get(*opts, "", e, AV_DICT_IGNORE_SUFFIX))) {
488             if ((ret = av_opt_set(s->dct, e->key, e->value, 0)) < 0)
489                 return ret;
490         }
491         av_dict_free(opts);
492     }
493
494     s->store_slice = store_slice_c;
495     switch (s->mode) {
496     case MODE_HARD: s->requantize = hardthresh_c; break;
497     case MODE_SOFT: s->requantize = softthresh_c; break;
498     }
499     return 0;
500 }
501
502 static av_cold void uninit(AVFilterContext *ctx)
503 {
504     SPPContext *s = ctx->priv;
505
506     av_freep(&s->temp);
507     av_freep(&s->src);
508     av_freep(&s->dct);
509     av_freep(&s->non_b_qp_table);
510 }
511
512 static const AVFilterPad spp_inputs[] = {
513     {
514         .name         = "default",
515         .type         = AVMEDIA_TYPE_VIDEO,
516         .config_props = config_input,
517         .filter_frame = filter_frame,
518     },
519     { NULL }
520 };
521
522 static const AVFilterPad spp_outputs[] = {
523     {
524         .name = "default",
525         .type = AVMEDIA_TYPE_VIDEO,
526     },
527     { NULL }
528 };
529
530 AVFilter ff_vf_spp = {
531     .name            = "spp",
532     .description     = NULL_IF_CONFIG_SMALL("Apply a simple post processing filter."),
533     .priv_size       = sizeof(SPPContext),
534     .init_dict       = init_dict,
535     .uninit          = uninit,
536     .query_formats   = query_formats,
537     .inputs          = spp_inputs,
538     .outputs         = spp_outputs,
539     .process_command = process_command,
540     .priv_class      = &spp_class,
541     .flags           = AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL,
542 };