git.sesse.net Git - ffmpeg/blob - libavfilter/vf_lumakey.c

   1 /*
   2  * Copyright (c) 2017 Paul B Mahol
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 #include "libavutil/opt.h"
  22 #include "libavutil/imgutils.h"
  23 #include "avfilter.h"
  24 #include "formats.h"
  25 #include "internal.h"
  26 #include "video.h"
  27
  28 typedef struct LumakeyContext {
  29     const AVClass *class;
  30
  31     double threshold;
  32     double tolerance;
  33     double softness;
  34
  35     int white;
  36     int black;
  37     int so;
  38     int max;
  39
  40     int (*do_lumakey_slice)(AVFilterContext *ctx, void *arg, int jobnr, int nb_jobs);
  41 } LumakeyContext;
  42
  43 static int do_lumakey_slice8(AVFilterContext *ctx, void *arg, int jobnr, int nb_jobs)
  44 {
  45     LumakeyContext *s = ctx->priv;
  46     AVFrame *frame = arg;
  47     const int slice_start = (frame->height * jobnr) / nb_jobs;
  48     const int slice_end = (frame->height * (jobnr + 1)) / nb_jobs;
  49     uint8_t *alpha = frame->data[3] + slice_start * frame->linesize[3];
  50     const uint8_t *luma = frame->data[0] + slice_start * frame->linesize[0];
  51     const int so = s->so;
  52     const int w = s->white;
  53     const int b = s->black;
  54     int x, y;
  55
  56     for (y = slice_start; y < slice_end; y++) {
  57         for (x = 0; x < frame->width; x++) {
  58             if (luma[x] >= b && luma[x] <= w) {
  59                 alpha[x] = 0;
  60             } else if (luma[x] > b - so && luma[x] < w + so) {
  61                 if (luma[x] < b) {
  62                     alpha[x] = 255 - (luma[x] - b + so) * 255 / so;
  63                 } else {
  64                     alpha[x] = (luma[x] - w) * 255 / so;
  65                 }
  66             }
  67         }
  68         luma += frame->linesize[0];
  69         alpha += frame->linesize[3];
  70     }
  71
  72     return 0;
  73 }
  74
  75 static int do_lumakey_slice16(AVFilterContext *ctx, void *arg, int jobnr, int nb_jobs)
  76 {
  77     LumakeyContext *s = ctx->priv;
  78     AVFrame *frame = arg;
  79     const int slice_start = (frame->height * jobnr) / nb_jobs;
  80     const int slice_end = (frame->height * (jobnr + 1)) / nb_jobs;
  81     uint16_t *alpha = (uint16_t *)(frame->data[3] + slice_start * frame->linesize[3]);
  82     const uint16_t *luma = (const uint16_t *)(frame->data[0] + slice_start * frame->linesize[0]);
  83     const int so = s->so;
  84     const int w = s->white;
  85     const int b = s->black;
  86     const int m = s->max;
  87     int x, y;
  88
  89     for (y = slice_start; y < slice_end; y++) {
  90         for (x = 0; x < frame->width; x++) {
  91             if (luma[x] >= b && luma[x] <= w) {
  92                 alpha[x] = 0;
  93             } else if (luma[x] > b - so && luma[x] < w + so) {
  94                 if (luma[x] < b) {
  95                     alpha[x] = m - (luma[x] - b + so) * m / so;
  96                 } else {
  97                     alpha[x] = (luma[x] - w) * m / so;
  98                 }
  99             }
 100         }
 101         luma += frame->linesize[0] / 2;
 102         alpha += frame->linesize[3] / 2;
 103     }
 104
 105     return 0;
 106 }
 107
 108 static int config_input(AVFilterLink *inlink)
 109 {
 110     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 111     AVFilterContext *ctx = inlink->dst;
 112     LumakeyContext *s = ctx->priv;
 113     int depth;
 114
 115     depth = desc->comp[0].depth;
 116     if (depth == 8) {
 117         s->white = av_clip_uint8((s->threshold + s->tolerance) * 255);
 118         s->black = av_clip_uint8((s->threshold - s->tolerance) * 255);
 119         s->do_lumakey_slice = do_lumakey_slice8;
 120         s->so = s->softness * 255;
 121     } else {
 122         s->max = (1 << depth) - 1;
 123         s->white = av_clip((s->threshold + s->tolerance) * s->max, 0, s->max);
 124         s->black = av_clip((s->threshold - s->tolerance) * s->max, 0, s->max);
 125         s->do_lumakey_slice = do_lumakey_slice16;
 126         s->so = s->softness * s->max;
 127     }
 128
 129     return 0;
 130 }
 131
 132 static int filter_frame(AVFilterLink *link, AVFrame *frame)
 133 {
 134     AVFilterContext *ctx = link->dst;
 135     LumakeyContext *s = ctx->priv;
 136     int ret;
 137
 138     if (ret = av_frame_make_writable(frame))
 139         return ret;
 140
 141     if (ret = ctx->internal->execute(ctx, s->do_lumakey_slice, frame, NULL, FFMIN(frame->height, ff_filter_get_nb_threads(ctx))))
 142         return ret;
 143
 144     return ff_filter_frame(ctx->outputs[0], frame);
 145 }
 146
 147 static av_cold int query_formats(AVFilterContext *ctx)
 148 {
 149     static const enum AVPixelFormat pixel_fmts[] = {
 150         AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUVA420P,
 151         AV_PIX_FMT_YUVA444P9, AV_PIX_FMT_YUVA422P9, AV_PIX_FMT_YUVA420P9,
 152         AV_PIX_FMT_YUVA444P10, AV_PIX_FMT_YUVA422P10, AV_PIX_FMT_YUVA420P10,
 153         AV_PIX_FMT_YUVA444P12, AV_PIX_FMT_YUVA422P12,
 154         AV_PIX_FMT_YUVA444P16, AV_PIX_FMT_YUVA422P16, AV_PIX_FMT_YUVA420P16,
 155         AV_PIX_FMT_NONE
 156     };
 157     AVFilterFormats *formats;
 158
 159     formats = ff_make_format_list(pixel_fmts);
 160     if (!formats)
 161         return AVERROR(ENOMEM);
 162
 163     return ff_set_common_formats(ctx, formats);
 164 }
 165
 166 static int process_command(AVFilterContext *ctx, const char *cmd, const char *args,
 167                            char *res, int res_len, int flags)
 168 {
 169     int ret;
 170
 171     ret = ff_filter_process_command(ctx, cmd, args, res, res_len, flags);
 172     if (ret < 0)
 173         return ret;
 174
 175     return config_input(ctx->inputs[0]);
 176 }
 177
 178 static const AVFilterPad lumakey_inputs[] = {
 179     {
 180         .name         = "default",
 181         .type         = AVMEDIA_TYPE_VIDEO,
 182         .filter_frame = filter_frame,
 183         .config_props = config_input,
 184     },
 185     { NULL }
 186 };
 187
 188 static const AVFilterPad lumakey_outputs[] = {
 189     {
 190         .name          = "default",
 191         .type          = AVMEDIA_TYPE_VIDEO,
 192     },
 193     { NULL }
 194 };
 195
 196 #define OFFSET(x) offsetof(LumakeyContext, x)
 197 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_RUNTIME_PARAM
 198
 199 static const AVOption lumakey_options[] = {
 200     { "threshold", "set the threshold value", OFFSET(threshold), AV_OPT_TYPE_DOUBLE, {.dbl=0},    0, 1, FLAGS },
 201     { "tolerance", "set the tolerance value", OFFSET(tolerance), AV_OPT_TYPE_DOUBLE, {.dbl=0.01}, 0, 1, FLAGS },
 202     { "softness",  "set the softness value",  OFFSET(softness),  AV_OPT_TYPE_DOUBLE, {.dbl=0},    0, 1, FLAGS },
 203     { NULL }
 204 };
 205
 206 AVFILTER_DEFINE_CLASS(lumakey);
 207
 208 const AVFilter ff_vf_lumakey = {
 209     .name          = "lumakey",
 210     .description   = NULL_IF_CONFIG_SMALL("Turns a certain luma into transparency."),
 211     .priv_size     = sizeof(LumakeyContext),
 212     .priv_class    = &lumakey_class,
 213     .query_formats = query_formats,
 214     .inputs        = lumakey_inputs,
 215     .outputs       = lumakey_outputs,
 216     .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC | AVFILTER_FLAG_SLICE_THREADS,
 217     .process_command = process_command,
 218 };