git.sesse.net Git - ffmpeg/blob - libavfilter/vf_neighbor.c

   1 /*
   2  * Copyright (c) 2012-2013 Oka Motofumi (chikuzen.mo at gmail dot com)
   3  * Copyright (c) 2015 Paul B Mahol
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "libavutil/imgutils.h"
  23 #include "libavutil/intreadwrite.h"
  24 #include "libavutil/pixdesc.h"
  25 #include "libavutil/opt.h"
  26 #include "avfilter.h"
  27 #include "formats.h"
  28 #include "internal.h"
  29 #include "video.h"
  30
  31 typedef struct ThreadData {
  32     AVFrame *in, *out;
  33 } ThreadData;
  34
  35 typedef struct NContext {
  36     const AVClass *class;
  37     int planeheight[4];
  38     int planewidth[4];
  39     int nb_planes;
  40     int threshold[4];
  41     int coordinates;
  42
  43     int depth;
  44     int max;
  45     int bpc;
  46
  47     void (*filter)(uint8_t *dst, const uint8_t *p1, int width,
  48                    int threshold, const uint8_t *coordinates[], int coord,
  49                    int maxc);
  50 } NContext;
  51
  52 static int query_formats(AVFilterContext *ctx)
  53 {
  54     static const enum AVPixelFormat pix_fmts[] = {
  55         AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUV440P,
  56         AV_PIX_FMT_YUVJ444P, AV_PIX_FMT_YUVJ440P,
  57         AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUV420P,
  58         AV_PIX_FMT_YUVJ422P, AV_PIX_FMT_YUVJ420P,
  59         AV_PIX_FMT_YUVJ411P, AV_PIX_FMT_YUV411P, AV_PIX_FMT_YUV410P,
  60         AV_PIX_FMT_YUV420P9, AV_PIX_FMT_YUV422P9, AV_PIX_FMT_YUV444P9,
  61         AV_PIX_FMT_YUV420P10, AV_PIX_FMT_YUV422P10, AV_PIX_FMT_YUV444P10,
  62         AV_PIX_FMT_YUV420P12, AV_PIX_FMT_YUV422P12, AV_PIX_FMT_YUV444P12, AV_PIX_FMT_YUV440P12,
  63         AV_PIX_FMT_YUV420P14, AV_PIX_FMT_YUV422P14, AV_PIX_FMT_YUV444P14,
  64         AV_PIX_FMT_YUV420P16, AV_PIX_FMT_YUV422P16, AV_PIX_FMT_YUV444P16,
  65         AV_PIX_FMT_YUVA420P9, AV_PIX_FMT_YUVA422P9, AV_PIX_FMT_YUVA444P9,
  66         AV_PIX_FMT_YUVA420P10, AV_PIX_FMT_YUVA422P10, AV_PIX_FMT_YUVA444P10,
  67         AV_PIX_FMT_YUVA420P16, AV_PIX_FMT_YUVA422P16, AV_PIX_FMT_YUVA444P16,
  68         AV_PIX_FMT_GBRP, AV_PIX_FMT_GBRP9, AV_PIX_FMT_GBRP10,
  69         AV_PIX_FMT_GBRP12, AV_PIX_FMT_GBRP14, AV_PIX_FMT_GBRP16,
  70         AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRAP10, AV_PIX_FMT_GBRAP12, AV_PIX_FMT_GBRAP16,
  71         AV_PIX_FMT_GRAY8, AV_PIX_FMT_GRAY9, AV_PIX_FMT_GRAY10, AV_PIX_FMT_GRAY12, AV_PIX_FMT_GRAY14, AV_PIX_FMT_GRAY16,
  72         AV_PIX_FMT_NONE
  73     };
  74
  75     return ff_set_common_formats(ctx, ff_make_format_list(pix_fmts));
  76 }
  77
  78 static void erosion(uint8_t *dst, const uint8_t *p1, int width,
  79                     int threshold, const uint8_t *coordinates[], int coord,
  80                     int maxc)
  81 {
  82     int x, i;
  83
  84     for (x = 0; x < width; x++) {
  85         int min = p1[x];
  86         int limit = FFMAX(min - threshold, 0);
  87
  88         for (i = 0; i < 8; i++) {
  89             if (coord & (1 << i)) {
  90                 min = FFMIN(min, *(coordinates[i] + x));
  91             }
  92             min = FFMAX(min, limit);
  93         }
  94
  95         dst[x] = min;
  96     }
  97 }
  98
  99 static void erosion16(uint8_t *dstp, const uint8_t *p1, int width,
 100                       int threshold, const uint8_t *coordinates[], int coord,
 101                       int maxc)
 102 {
 103     uint16_t *dst = (uint16_t *)dstp;
 104     int x, i;
 105
 106     for (x = 0; x < width; x++) {
 107         int min = AV_RN16A(&p1[2 * x]);
 108         int limit = FFMAX(min - threshold, 0);
 109
 110         for (i = 0; i < 8; i++) {
 111             if (coord & (1 << i)) {
 112                 min = FFMIN(min, AV_RN16A(coordinates[i] + x * 2));
 113             }
 114             min = FFMAX(min, limit);
 115         }
 116
 117         dst[x] = min;
 118     }
 119 }
 120
 121 static void dilation(uint8_t *dst, const uint8_t *p1, int width,
 122                      int threshold, const uint8_t *coordinates[], int coord,
 123                      int maxc)
 124 {
 125     int x, i;
 126
 127     for (x = 0; x < width; x++) {
 128         int max = p1[x];
 129         int limit = FFMIN(max + threshold, 255);
 130
 131         for (i = 0; i < 8; i++) {
 132             if (coord & (1 << i)) {
 133                 max = FFMAX(max, *(coordinates[i] + x));
 134             }
 135             max = FFMIN(max, limit);
 136         }
 137
 138         dst[x] = max;
 139     }
 140 }
 141
 142 static void dilation16(uint8_t *dstp, const uint8_t *p1, int width,
 143                        int threshold, const uint8_t *coordinates[], int coord,
 144                        int maxc)
 145 {
 146     uint16_t *dst = (uint16_t *)dstp;
 147     int x, i;
 148
 149     for (x = 0; x < width; x++) {
 150         int max = AV_RN16A(&p1[x * 2]);
 151         int limit = FFMIN(max + threshold, maxc);
 152
 153         for (i = 0; i < 8; i++) {
 154             if (coord & (1 << i)) {
 155                 max = FFMAX(max, AV_RN16A(coordinates[i] + x * 2));
 156             }
 157             max = FFMIN(max, limit);
 158         }
 159
 160         dst[x] = max;
 161     }
 162 }
 163
 164 static void deflate(uint8_t *dst, const uint8_t *p1, int width,
 165                     int threshold, const uint8_t *coordinates[], int coord,
 166                     int maxc)
 167 {
 168     int x, i;
 169
 170     for (x = 0; x < width; x++) {
 171         int sum = 0;
 172         int limit = FFMAX(p1[x] - threshold, 0);
 173
 174         for (i = 0; i < 8; sum += *(coordinates[i++] + x));
 175
 176         dst[x] = FFMAX(FFMIN(sum / 8, p1[x]), limit);
 177     }
 178 }
 179
 180 static void deflate16(uint8_t *dstp, const uint8_t *p1, int width,
 181                       int threshold, const uint8_t *coordinates[], int coord,
 182                       int maxc)
 183 {
 184     uint16_t *dst = (uint16_t *)dstp;
 185     int x, i;
 186
 187     for (x = 0; x < width; x++) {
 188         int sum = 0;
 189         int limit = FFMAX(AV_RN16A(&p1[2 * x]) - threshold, 0);
 190
 191         for (i = 0; i < 8; sum += AV_RN16A(coordinates[i++] + x * 2));
 192
 193         dst[x] = FFMAX(FFMIN(sum / 8, AV_RN16A(&p1[2 * x])), limit);
 194     }
 195 }
 196
 197 static void inflate(uint8_t *dst, const uint8_t *p1, int width,
 198                     int threshold, const uint8_t *coordinates[], int coord,
 199                     int maxc)
 200 {
 201     int x, i;
 202
 203     for (x = 0; x < width; x++) {
 204         int sum = 0;
 205         int limit = FFMIN(p1[x] + threshold, 255);
 206
 207         for (i = 0; i < 8; sum += *(coordinates[i++] + x));
 208
 209         dst[x] = FFMIN(FFMAX(sum / 8, p1[x]), limit);
 210     }
 211 }
 212
 213 static void inflate16(uint8_t *dstp, const uint8_t *p1, int width,
 214                       int threshold, const uint8_t *coordinates[], int coord,
 215                       int maxc)
 216 {
 217     uint16_t *dst = (uint16_t *)dstp;
 218     int x, i;
 219
 220     for (x = 0; x < width; x++) {
 221         int sum = 0;
 222         int limit = FFMIN(AV_RN16A(&p1[2 * x]) + threshold, maxc);
 223
 224         for (i = 0; i < 8; sum += AV_RN16A(coordinates[i++] + x * 2));
 225
 226         dst[x] = FFMIN(FFMAX(sum / 8, AV_RN16A(&p1[x * 2])), limit);
 227     }
 228 }
 229
 230 static int config_input(AVFilterLink *inlink)
 231 {
 232     AVFilterContext *ctx = inlink->dst;
 233     NContext *s = ctx->priv;
 234     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 235
 236     s->depth = desc->comp[0].depth;
 237     s->max = (1 << s->depth) - 1;
 238     s->bpc = (s->depth + 7) / 8;
 239
 240     s->planewidth[1] = s->planewidth[2] = AV_CEIL_RSHIFT(inlink->w, desc->log2_chroma_w);
 241     s->planewidth[0] = s->planewidth[3] = inlink->w;
 242     s->planeheight[1] = s->planeheight[2] = AV_CEIL_RSHIFT(inlink->h, desc->log2_chroma_h);
 243     s->planeheight[0] = s->planeheight[3] = inlink->h;
 244
 245     s->nb_planes = av_pix_fmt_count_planes(inlink->format);
 246
 247     if (!strcmp(ctx->filter->name, "erosion"))
 248         s->filter = s->depth > 8 ? erosion16 : erosion;
 249     else if (!strcmp(ctx->filter->name, "dilation"))
 250         s->filter = s->depth > 8 ? dilation16 : dilation;
 251     else if (!strcmp(ctx->filter->name, "deflate"))
 252         s->filter = s->depth > 8 ? deflate16 : deflate;
 253     else if (!strcmp(ctx->filter->name, "inflate"))
 254         s->filter = s->depth > 8 ? inflate16 : inflate;
 255
 256     return 0;
 257 }
 258
 259 static int filter_slice(AVFilterContext *ctx, void *arg, int jobnr, int nb_jobs)
 260 {
 261     NContext *s = ctx->priv;
 262     ThreadData *td = arg;
 263     AVFrame *out = td->out;
 264     AVFrame *in = td->in;
 265     int plane, y;
 266
 267     for (plane = 0; plane < s->nb_planes; plane++) {
 268         const int bpc = s->bpc;
 269         const int threshold = s->threshold[plane];
 270         const int stride = in->linesize[plane];
 271         const int dstride = out->linesize[plane];
 272         const int height = s->planeheight[plane];
 273         const int width  = s->planewidth[plane];
 274         const int slice_start = (height * jobnr) / nb_jobs;
 275         const int slice_end = (height * (jobnr+1)) / nb_jobs;
 276         const uint8_t *src = (const uint8_t *)in->data[plane] + slice_start * stride;
 277         uint8_t *dst = out->data[plane] + slice_start * dstride;
 278
 279         if (!threshold) {
 280             av_image_copy_plane(dst, dstride, src, stride, width * bpc, slice_end - slice_start);
 281             continue;
 282         }
 283
 284         for (y = slice_start; y < slice_end; y++) {
 285             const int nh = y > 0;
 286             const int ph = y < height - 1;
 287             const uint8_t *coordinates[] = { src - nh * stride, src + 1 * bpc - nh * stride, src + 2 * bpc - nh * stride,
 288                                              src,                                            src + 2 * bpc,
 289                                              src + ph * stride, src + 1 * bpc + ph * stride, src + 2 * bpc + ph * stride};
 290
 291             const uint8_t *coordinateslb[] = { src + 1 * bpc - nh * stride, src - nh * stride, src + 1 * bpc - nh * stride,
 292                                                src + 1 * bpc,                                  src + 1 * bpc,
 293                                                src + 1 * bpc + ph * stride, src + ph * stride, src + 1 * bpc + ph * stride};
 294
 295             const uint8_t *coordinatesrb[] = { src + (width - 2) * bpc - nh * stride, src + (width - 1) * bpc - nh * stride, src + (width - 2) * bpc - nh * stride,
 296                                                src + (width - 2) * bpc,                                                      src + (width - 2) * bpc,
 297                                                src + (width - 2) * bpc + ph * stride, src + (width - 1) * bpc + ph * stride, src + (width - 2) * bpc + ph * stride};
 298
 299             s->filter(dst,                     src,                     1,         threshold, coordinateslb, s->coordinates, s->max);
 300             s->filter(dst          + 1  * bpc, src          + 1  * bpc, width - 2, threshold, coordinates,   s->coordinates, s->max);
 301             s->filter(dst + (width - 1) * bpc, src + (width - 1) * bpc, 1,         threshold, coordinatesrb, s->coordinates, s->max);
 302
 303             src += stride;
 304             dst += dstride;
 305         }
 306     }
 307
 308     return 0;
 309 }
 310
 311 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
 312 {
 313     AVFilterContext *ctx = inlink->dst;
 314     AVFilterLink *outlink = ctx->outputs[0];
 315     NContext *s = ctx->priv;
 316     ThreadData td;
 317     AVFrame *out;
 318
 319     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
 320     if (!out) {
 321         av_frame_free(&in);
 322         return AVERROR(ENOMEM);
 323     }
 324     av_frame_copy_props(out, in);
 325
 326     td.in = in;
 327     td.out = out;
 328     ctx->internal->execute(ctx, filter_slice, &td, NULL, FFMIN(s->planeheight[1], ff_filter_get_nb_threads(ctx)));
 329
 330     av_frame_free(&in);
 331     return ff_filter_frame(outlink, out);
 332 }
 333
 334 static const AVFilterPad neighbor_inputs[] = {
 335     {
 336         .name         = "default",
 337         .type         = AVMEDIA_TYPE_VIDEO,
 338         .filter_frame = filter_frame,
 339         .config_props = config_input,
 340     },
 341     { NULL }
 342 };
 343
 344 static const AVFilterPad neighbor_outputs[] = {
 345     {
 346         .name = "default",
 347         .type = AVMEDIA_TYPE_VIDEO,
 348     },
 349     { NULL }
 350 };
 351
 352 #define OFFSET(x) offsetof(NContext, x)
 353 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
 354
 355 #define DEFINE_NEIGHBOR_FILTER(name_, description_)          \
 356 AVFILTER_DEFINE_CLASS(name_);                                \
 357                                                              \
 358 AVFilter ff_vf_##name_ = {                                   \
 359     .name          = #name_,                                 \
 360     .description   = NULL_IF_CONFIG_SMALL(description_),     \
 361     .priv_size     = sizeof(NContext),                       \
 362     .priv_class    = &name_##_class,                         \
 363     .query_formats = query_formats,                          \
 364     .inputs        = neighbor_inputs,                        \
 365     .outputs       = neighbor_outputs,                       \
 366     .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC| \
 367                      AVFILTER_FLAG_SLICE_THREADS,            \
 368 }
 369
 370 #if CONFIG_EROSION_FILTER
 371
 372 static const AVOption erosion_options[] = {
 373     { "threshold0",  "set threshold for 1st plane",   OFFSET(threshold[0]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 374     { "threshold1",  "set threshold for 2nd plane",   OFFSET(threshold[1]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 375     { "threshold2",  "set threshold for 3rd plane",   OFFSET(threshold[2]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 376     { "threshold3",  "set threshold for 4th plane",   OFFSET(threshold[3]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 377     { "coordinates", "set coordinates",               OFFSET(coordinates),    AV_OPT_TYPE_INT, {.i64=255},   0, 255,   FLAGS },
 378     { NULL }
 379 };
 380
 381 DEFINE_NEIGHBOR_FILTER(erosion, "Apply erosion effect.");
 382
 383 #endif /* CONFIG_EROSION_FILTER */
 384
 385 #if CONFIG_DILATION_FILTER
 386
 387 static const AVOption dilation_options[] = {
 388     { "threshold0",  "set threshold for 1st plane",   OFFSET(threshold[0]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 389     { "threshold1",  "set threshold for 2nd plane",   OFFSET(threshold[1]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 390     { "threshold2",  "set threshold for 3rd plane",   OFFSET(threshold[2]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 391     { "threshold3",  "set threshold for 4th plane",   OFFSET(threshold[3]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 392     { "coordinates", "set coordinates",               OFFSET(coordinates),    AV_OPT_TYPE_INT, {.i64=255},   0, 255,   FLAGS },
 393     { NULL }
 394 };
 395
 396 DEFINE_NEIGHBOR_FILTER(dilation, "Apply dilation effect.");
 397
 398 #endif /* CONFIG_DILATION_FILTER */
 399
 400 #if CONFIG_DEFLATE_FILTER
 401
 402 static const AVOption deflate_options[] = {
 403     { "threshold0", "set threshold for 1st plane",   OFFSET(threshold[0]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 404     { "threshold1", "set threshold for 2nd plane",   OFFSET(threshold[1]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 405     { "threshold2", "set threshold for 3rd plane",   OFFSET(threshold[2]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 406     { "threshold3", "set threshold for 4th plane",   OFFSET(threshold[3]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 407     { NULL }
 408 };
 409
 410 DEFINE_NEIGHBOR_FILTER(deflate, "Apply deflate effect.");
 411
 412 #endif /* CONFIG_DEFLATE_FILTER */
 413
 414 #if CONFIG_INFLATE_FILTER
 415
 416 static const AVOption inflate_options[] = {
 417     { "threshold0", "set threshold for 1st plane",   OFFSET(threshold[0]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 418     { "threshold1", "set threshold for 2nd plane",   OFFSET(threshold[1]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 419     { "threshold2", "set threshold for 3rd plane",   OFFSET(threshold[2]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 420     { "threshold3", "set threshold for 4th plane",   OFFSET(threshold[3]),   AV_OPT_TYPE_INT, {.i64=65535}, 0, 65535, FLAGS },
 421     { NULL }
 422 };
 423
 424 DEFINE_NEIGHBOR_FILTER(inflate, "Apply inflate effect.");
 425
 426 #endif /* CONFIG_INFLATE_FILTER */