git.sesse.net Git - ffmpeg/blob - libavfilter/vf_lut2.c

   1 /*
   2  * Copyright (c) 2016 Paul B Mahol
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 #include "libavutil/attributes.h"
  22 #include "libavutil/common.h"
  23 #include "libavutil/eval.h"
  24 #include "libavutil/opt.h"
  25 #include "libavutil/pixdesc.h"
  26 #include "avfilter.h"
  27 #include "drawutils.h"
  28 #include "formats.h"
  29 #include "internal.h"
  30 #include "video.h"
  31 #include "framesync.h"
  32
  33 static const char *const var_names[] = {
  34     "w",        ///< width of the input video
  35     "h",        ///< height of the input video
  36     "x",        ///< input value for the pixel from input #1
  37     "y",        ///< input value for the pixel from input #2
  38     "bdx",      ///< input #1 video bitdepth
  39     "bdy",      ///< input #2 video bitdepth
  40     NULL
  41 };
  42
  43 enum var_name {
  44     VAR_W,
  45     VAR_H,
  46     VAR_X,
  47     VAR_Y,
  48     VAR_BITDEPTHX,
  49     VAR_BITDEPTHY,
  50     VAR_VARS_NB
  51 };
  52
  53 typedef struct LUT2Context {
  54     const AVClass *class;
  55     FFFrameSync fs;
  56
  57     char   *comp_expr_str[4];
  58
  59     AVExpr *comp_expr[4];
  60     double var_values[VAR_VARS_NB];
  61     uint16_t *lut[4];  ///< lookup table for each component
  62     int width[4], height[4];
  63     int nb_planes;
  64     int depth, depthx, depthy;
  65     int tlut2;
  66     AVFrame *prev_frame;        /* only used with tlut2 */
  67
  68     void (*lut2)(struct LUT2Context *s, AVFrame *dst, AVFrame *srcx, AVFrame *srcy);
  69
  70 } LUT2Context;
  71
  72 #define OFFSET(x) offsetof(LUT2Context, x)
  73 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
  74
  75 static const AVOption options[] = {
  76     { "c0", "set component #0 expression", OFFSET(comp_expr_str[0]),  AV_OPT_TYPE_STRING, { .str = "x" }, .flags = FLAGS },
  77     { "c1", "set component #1 expression", OFFSET(comp_expr_str[1]),  AV_OPT_TYPE_STRING, { .str = "x" }, .flags = FLAGS },
  78     { "c2", "set component #2 expression", OFFSET(comp_expr_str[2]),  AV_OPT_TYPE_STRING, { .str = "x" }, .flags = FLAGS },
  79     { "c3", "set component #3 expression", OFFSET(comp_expr_str[3]),  AV_OPT_TYPE_STRING, { .str = "x" }, .flags = FLAGS },
  80     { NULL }
  81 };
  82
  83 static av_cold void uninit(AVFilterContext *ctx)
  84 {
  85     LUT2Context *s = ctx->priv;
  86     int i;
  87
  88     ff_framesync_uninit(&s->fs);
  89     av_frame_free(&s->prev_frame);
  90
  91     for (i = 0; i < 4; i++) {
  92         av_expr_free(s->comp_expr[i]);
  93         s->comp_expr[i] = NULL;
  94         av_freep(&s->comp_expr_str[i]);
  95         av_freep(&s->lut[i]);
  96     }
  97 }
  98
  99 static int query_formats(AVFilterContext *ctx)
 100 {
 101     static const enum AVPixelFormat pix_fmts[] = {
 102         AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUV440P,
 103         AV_PIX_FMT_YUVJ444P, AV_PIX_FMT_YUVJ440P,
 104         AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUV420P,
 105         AV_PIX_FMT_YUVJ422P, AV_PIX_FMT_YUVJ420P,
 106         AV_PIX_FMT_YUVJ411P, AV_PIX_FMT_YUV411P, AV_PIX_FMT_YUV410P,
 107         AV_PIX_FMT_YUV420P9, AV_PIX_FMT_YUV422P9, AV_PIX_FMT_YUV444P9,
 108         AV_PIX_FMT_YUV420P10, AV_PIX_FMT_YUV422P10, AV_PIX_FMT_YUV444P10,
 109         AV_PIX_FMT_YUV420P12, AV_PIX_FMT_YUV422P12, AV_PIX_FMT_YUV444P12, AV_PIX_FMT_YUV440P12,
 110         AV_PIX_FMT_YUVA420P9, AV_PIX_FMT_YUVA422P9, AV_PIX_FMT_YUVA444P9,
 111         AV_PIX_FMT_YUVA420P10, AV_PIX_FMT_YUVA422P10, AV_PIX_FMT_YUVA444P10,
 112         AV_PIX_FMT_GBRP, AV_PIX_FMT_GBRP9, AV_PIX_FMT_GBRP10,
 113         AV_PIX_FMT_GBRP12,
 114         AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRAP10, AV_PIX_FMT_GBRAP12,
 115         AV_PIX_FMT_GRAY8, AV_PIX_FMT_GRAY9, AV_PIX_FMT_GRAY10, AV_PIX_FMT_GRAY12,
 116         AV_PIX_FMT_NONE
 117     };
 118
 119     return ff_set_common_formats(ctx, ff_make_format_list(pix_fmts));
 120 }
 121
 122 static int config_inputx(AVFilterLink *inlink)
 123 {
 124     AVFilterContext *ctx = inlink->dst;
 125     LUT2Context *s = ctx->priv;
 126     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 127     int hsub = desc->log2_chroma_w;
 128     int vsub = desc->log2_chroma_h;
 129
 130     s->nb_planes = av_pix_fmt_count_planes(inlink->format);
 131     s->height[1] = s->height[2] = AV_CEIL_RSHIFT(inlink->h, vsub);
 132     s->height[0] = s->height[3] = inlink->h;
 133     s->width[1]  = s->width[2]  = AV_CEIL_RSHIFT(inlink->w, hsub);
 134     s->width[0]  = s->width[3]  = inlink->w;
 135
 136     s->var_values[VAR_W] = inlink->w;
 137     s->var_values[VAR_H] = inlink->h;
 138     s->depthx = desc->comp[0].depth;
 139     s->var_values[VAR_BITDEPTHX] = s->depthx;
 140
 141     if (s->tlut2) {
 142         s->depthy = desc->comp[0].depth;
 143         s->var_values[VAR_BITDEPTHY] = s->depthy;
 144     }
 145
 146     return 0;
 147 }
 148
 149 static int config_inputy(AVFilterLink *inlink)
 150 {
 151     AVFilterContext *ctx = inlink->dst;
 152     LUT2Context *s = ctx->priv;
 153     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 154
 155     s->depthy = desc->comp[0].depth;
 156     s->var_values[VAR_BITDEPTHY] = s->depthy;
 157
 158     return 0;
 159 }
 160
 161 static void lut2_8bit(struct LUT2Context *s, AVFrame *out, AVFrame *srcx, AVFrame *srcy)
 162 {
 163     int p, y, x;
 164
 165     for (p = 0; p < s->nb_planes; p++) {
 166         const uint16_t *lut = s->lut[p];
 167         const uint8_t *srcxx, *srcyy;
 168         uint8_t *dst;
 169
 170         dst   = out->data[p];
 171         srcxx = srcx->data[p];
 172         srcyy = srcy->data[p];
 173
 174         for (y = 0; y < s->height[p]; y++) {
 175             for (x = 0; x < s->width[p]; x++) {
 176                 dst[x] = lut[(srcyy[x] << s->depthx) | srcxx[x]];
 177             }
 178
 179             dst   += out->linesize[p];
 180             srcxx += srcx->linesize[p];
 181             srcyy += srcy->linesize[p];
 182         }
 183     }
 184 }
 185
 186 static void lut2_16bit(struct LUT2Context *s, AVFrame *out, AVFrame *srcx, AVFrame *srcy)
 187 {
 188     int p, y, x;
 189
 190     for (p = 0; p < s->nb_planes; p++) {
 191         const uint16_t *lut = s->lut[p];
 192         const uint16_t *srcxx, *srcyy;
 193         uint16_t *dst;
 194
 195         dst   = (uint16_t *)out->data[p];
 196         srcxx = (uint16_t *)srcx->data[p];
 197         srcyy = (uint16_t *)srcy->data[p];
 198
 199         for (y = 0; y < s->height[p]; y++) {
 200             for (x = 0; x < s->width[p]; x++) {
 201                 dst[x] = lut[(srcyy[x] << s->depthx) | srcxx[x]];
 202             }
 203
 204             dst   += out->linesize[p]  / 2;
 205             srcxx += srcx->linesize[p] / 2;
 206             srcyy += srcy->linesize[p] / 2;
 207         }
 208     }
 209 }
 210
 211 static int process_frame(FFFrameSync *fs)
 212 {
 213     AVFilterContext *ctx = fs->parent;
 214     LUT2Context *s = fs->opaque;
 215     AVFilterLink *outlink = ctx->outputs[0];
 216     AVFrame *out, *srcx = NULL, *srcy = NULL;
 217     int ret;
 218
 219     if ((ret = ff_framesync_get_frame(&s->fs, 0, &srcx, 0)) < 0 ||
 220         (ret = ff_framesync_get_frame(&s->fs, 1, &srcy, 0)) < 0)
 221         return ret;
 222
 223     if (ctx->is_disabled || !srcy) {
 224         out = av_frame_clone(srcx);
 225         if (!out)
 226             return AVERROR(ENOMEM);
 227     } else {
 228         out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
 229         if (!out)
 230             return AVERROR(ENOMEM);
 231         av_frame_copy_props(out, srcx);
 232
 233         s->lut2(s, out, srcx, srcy);
 234     }
 235
 236     out->pts = av_rescale_q(s->fs.pts, s->fs.time_base, outlink->time_base);
 237
 238     return ff_filter_frame(outlink, out);
 239 }
 240
 241 static int config_output(AVFilterLink *outlink)
 242 {
 243     AVFilterContext *ctx = outlink->src;
 244     LUT2Context *s = ctx->priv;
 245     int p, ret;
 246
 247     s->depth = s->depthx + s->depthy;
 248
 249     s->lut2 = s->depth > 16 ? lut2_16bit : lut2_8bit;
 250
 251     for (p = 0; p < s->nb_planes; p++) {
 252         s->lut[p] = av_malloc_array(1 << s->depth, sizeof(uint16_t));
 253         if (!s->lut[p])
 254             return AVERROR(ENOMEM);
 255     }
 256
 257     for (p = 0; p < s->nb_planes; p++) {
 258         double res;
 259         int x, y;
 260
 261         /* create the parsed expression */
 262         av_expr_free(s->comp_expr[p]);
 263         s->comp_expr[p] = NULL;
 264         ret = av_expr_parse(&s->comp_expr[p], s->comp_expr_str[p],
 265                             var_names, NULL, NULL, NULL, NULL, 0, ctx);
 266         if (ret < 0) {
 267             av_log(ctx, AV_LOG_ERROR,
 268                    "Error when parsing the expression '%s' for the component %d.\n",
 269                    s->comp_expr_str[p], p);
 270             return AVERROR(EINVAL);
 271         }
 272
 273         /* compute the lut */
 274         for (y = 0; y < (1 << s->depthx); y++) {
 275             s->var_values[VAR_Y] = y;
 276             for (x = 0; x < (1 << s->depthx); x++) {
 277                 s->var_values[VAR_X] = x;
 278                 res = av_expr_eval(s->comp_expr[p], s->var_values, s);
 279                 if (isnan(res)) {
 280                     av_log(ctx, AV_LOG_ERROR,
 281                            "Error when evaluating the expression '%s' for the values %d and %d for the component %d.\n",
 282                            s->comp_expr_str[p], x, y, p);
 283                     return AVERROR(EINVAL);
 284                 }
 285
 286                 s->lut[p][(y << s->depthx) + x] = res;
 287             }
 288         }
 289     }
 290
 291     return 0;
 292 }
 293
 294 static int lut2_config_output(AVFilterLink *outlink)
 295 {
 296     AVFilterContext *ctx = outlink->src;
 297     LUT2Context *s = ctx->priv;
 298     AVFilterLink *srcx = ctx->inputs[0];
 299     AVFilterLink *srcy = ctx->inputs[1];
 300     FFFrameSyncIn *in;
 301     int ret;
 302
 303     if (srcx->format != srcy->format) {
 304         av_log(ctx, AV_LOG_ERROR, "inputs must be of same pixel format\n");
 305         return AVERROR(EINVAL);
 306     }
 307     if (srcx->w                       != srcy->w ||
 308         srcx->h                       != srcy->h ||
 309         srcx->sample_aspect_ratio.num != srcy->sample_aspect_ratio.num ||
 310         srcx->sample_aspect_ratio.den != srcy->sample_aspect_ratio.den) {
 311         av_log(ctx, AV_LOG_ERROR, "First input link %s parameters "
 312                "(size %dx%d, SAR %d:%d) do not match the corresponding "
 313                "second input link %s parameters (%dx%d, SAR %d:%d)\n",
 314                ctx->input_pads[0].name, srcx->w, srcx->h,
 315                srcx->sample_aspect_ratio.num,
 316                srcx->sample_aspect_ratio.den,
 317                ctx->input_pads[1].name,
 318                srcy->w, srcy->h,
 319                srcy->sample_aspect_ratio.num,
 320                srcy->sample_aspect_ratio.den);
 321         return AVERROR(EINVAL);
 322     }
 323
 324     outlink->w = srcx->w;
 325     outlink->h = srcx->h;
 326     outlink->time_base = srcx->time_base;
 327     outlink->sample_aspect_ratio = srcx->sample_aspect_ratio;
 328     outlink->frame_rate = srcx->frame_rate;
 329
 330     if ((ret = ff_framesync_init(&s->fs, ctx, 2)) < 0)
 331         return ret;
 332
 333     in = s->fs.in;
 334     in[0].time_base = srcx->time_base;
 335     in[1].time_base = srcy->time_base;
 336     in[0].sync   = 2;
 337     in[0].before = EXT_STOP;
 338     in[0].after  = EXT_INFINITY;
 339     in[1].sync   = 1;
 340     in[1].before = EXT_STOP;
 341     in[1].after  = EXT_INFINITY;
 342     s->fs.opaque   = s;
 343     s->fs.on_event = process_frame;
 344
 345     if ((ret = config_output(outlink)) < 0)
 346         return ret;
 347
 348     return ff_framesync_configure(&s->fs);
 349 }
 350
 351 static int activate(AVFilterContext *ctx)
 352 {
 353     LUT2Context *s = ctx->priv;
 354     return ff_framesync_activate(&s->fs);
 355 }
 356
 357 static const AVFilterPad inputs[] = {
 358     {
 359         .name         = "srcx",
 360         .type         = AVMEDIA_TYPE_VIDEO,
 361         .config_props = config_inputx,
 362     },
 363     {
 364         .name         = "srcy",
 365         .type         = AVMEDIA_TYPE_VIDEO,
 366         .config_props = config_inputy,
 367     },
 368     { NULL }
 369 };
 370
 371 static const AVFilterPad outputs[] = {
 372     {
 373         .name          = "default",
 374         .type          = AVMEDIA_TYPE_VIDEO,
 375         .config_props  = lut2_config_output,
 376     },
 377     { NULL }
 378 };
 379
 380 #define lut2_options options
 381
 382 FRAMESYNC_DEFINE_CLASS(lut2, LUT2Context, fs);
 383
 384 AVFilter ff_vf_lut2 = {
 385     .name          = "lut2",
 386     .description   = NULL_IF_CONFIG_SMALL("Compute and apply a lookup table from two video inputs."),
 387     .preinit       = lut2_framesync_preinit,
 388     .priv_size     = sizeof(LUT2Context),
 389     .priv_class    = &lut2_class,
 390     .uninit        = uninit,
 391     .query_formats = query_formats,
 392     .activate      = activate,
 393     .inputs        = inputs,
 394     .outputs       = outputs,
 395     .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL,
 396 };
 397
 398 #if CONFIG_TLUT2_FILTER
 399
 400 static av_cold int init(AVFilterContext *ctx)
 401 {
 402     LUT2Context *s = ctx->priv;
 403
 404     s->tlut2 = !strcmp(ctx->filter->name, "tlut2");
 405
 406     return 0;
 407 }
 408
 409 static int tlut2_filter_frame(AVFilterLink *inlink, AVFrame *frame)
 410 {
 411     LUT2Context *s = inlink->dst->priv;
 412     AVFilterLink *outlink = inlink->dst->outputs[0];
 413
 414     if (s->prev_frame) {
 415         AVFrame *out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
 416         if (!out) {
 417             av_frame_free(&s->prev_frame);
 418             s->prev_frame = frame;
 419             return AVERROR(ENOMEM);
 420         }
 421         av_frame_copy_props(out, frame);
 422         s->lut2(s, out, frame, s->prev_frame);
 423         av_frame_free(&s->prev_frame);
 424         s->prev_frame = frame;
 425         return ff_filter_frame(outlink, out);
 426     }
 427     s->prev_frame = frame;
 428     return 0;
 429 }
 430
 431 #define tlut2_options options
 432
 433 AVFILTER_DEFINE_CLASS(tlut2);
 434
 435 static const AVFilterPad tlut2_inputs[] = {
 436     {
 437         .name          = "default",
 438         .type          = AVMEDIA_TYPE_VIDEO,
 439         .filter_frame  = tlut2_filter_frame,
 440         .config_props  = config_inputx,
 441     },
 442     { NULL }
 443 };
 444
 445 static const AVFilterPad tlut2_outputs[] = {
 446     {
 447         .name          = "default",
 448         .type          = AVMEDIA_TYPE_VIDEO,
 449         .config_props  = config_output,
 450     },
 451     { NULL }
 452 };
 453
 454 AVFilter ff_vf_tlut2 = {
 455     .name          = "tlut2",
 456     .description   = NULL_IF_CONFIG_SMALL("Compute and apply a lookup table from two successive frames."),
 457     .priv_size     = sizeof(LUT2Context),
 458     .priv_class    = &tlut2_class,
 459     .query_formats = query_formats,
 460     .init          = init,
 461     .uninit        = uninit,
 462     .inputs        = tlut2_inputs,
 463     .outputs       = tlut2_outputs,
 464 };
 465
 466 #endif