git.sesse.net Git - ffmpeg/blob - libavfilter/vf_lut.c

   1 /*
   2  * Copyright (c) 2011 Stefano Sabatini
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 /**
  22  * @file
  23  * Compute a look-up table for binding the input value to the output
  24  * value, and apply it to input video.
  25  */
  26
  27 #include "libavutil/attributes.h"
  28 #include "libavutil/bswap.h"
  29 #include "libavutil/common.h"
  30 #include "libavutil/eval.h"
  31 #include "libavutil/opt.h"
  32 #include "libavutil/pixdesc.h"
  33 #include "avfilter.h"
  34 #include "drawutils.h"
  35 #include "formats.h"
  36 #include "internal.h"
  37 #include "video.h"
  38
  39 static const char *const var_names[] = {
  40     "w",        ///< width of the input video
  41     "h",        ///< height of the input video
  42     "val",      ///< input value for the pixel
  43     "maxval",   ///< max value for the pixel
  44     "minval",   ///< min value for the pixel
  45     "negval",   ///< negated value
  46     "clipval",
  47     NULL
  48 };
  49
  50 enum var_name {
  51     VAR_W,
  52     VAR_H,
  53     VAR_VAL,
  54     VAR_MAXVAL,
  55     VAR_MINVAL,
  56     VAR_NEGVAL,
  57     VAR_CLIPVAL,
  58     VAR_VARS_NB
  59 };
  60
  61 typedef struct LutContext {
  62     const AVClass *class;
  63     uint16_t lut[4][256 * 256];  ///< lookup table for each component
  64     char   *comp_expr_str[4];
  65     AVExpr *comp_expr[4];
  66     int hsub, vsub;
  67     double var_values[VAR_VARS_NB];
  68     int is_rgb, is_yuv;
  69     int is_16bit;
  70     int step;
  71     int negate_alpha; /* only used by negate */
  72 } LutContext;
  73
  74 #define Y 0
  75 #define U 1
  76 #define V 2
  77 #define R 0
  78 #define G 1
  79 #define B 2
  80 #define A 3
  81
  82 #define OFFSET(x) offsetof(LutContext, x)
  83 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
  84
  85 static const AVOption options[] = {
  86     { "c0", "set component #0 expression", OFFSET(comp_expr_str[0]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  87     { "c1", "set component #1 expression", OFFSET(comp_expr_str[1]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  88     { "c2", "set component #2 expression", OFFSET(comp_expr_str[2]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  89     { "c3", "set component #3 expression", OFFSET(comp_expr_str[3]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  90     { "y",  "set Y expression",            OFFSET(comp_expr_str[Y]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  91     { "u",  "set U expression",            OFFSET(comp_expr_str[U]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  92     { "v",  "set V expression",            OFFSET(comp_expr_str[V]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  93     { "r",  "set R expression",            OFFSET(comp_expr_str[R]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  94     { "g",  "set G expression",            OFFSET(comp_expr_str[G]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  95     { "b",  "set B expression",            OFFSET(comp_expr_str[B]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  96     { "a",  "set A expression",            OFFSET(comp_expr_str[A]),  AV_OPT_TYPE_STRING, { .str = "val" }, .flags = FLAGS },
  97     { NULL }
  98 };
  99
 100 static av_cold void uninit(AVFilterContext *ctx)
 101 {
 102     LutContext *s = ctx->priv;
 103     int i;
 104
 105     for (i = 0; i < 4; i++) {
 106         av_expr_free(s->comp_expr[i]);
 107         s->comp_expr[i] = NULL;
 108         av_freep(&s->comp_expr_str[i]);
 109     }
 110 }
 111
 112 #define YUV_FORMATS                                         \
 113     AV_PIX_FMT_YUV444P,  AV_PIX_FMT_YUV422P,  AV_PIX_FMT_YUV420P,    \
 114     AV_PIX_FMT_YUV411P,  AV_PIX_FMT_YUV410P,  AV_PIX_FMT_YUV440P,    \
 115     AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUVA444P,   \
 116     AV_PIX_FMT_YUVJ444P, AV_PIX_FMT_YUVJ422P, AV_PIX_FMT_YUVJ420P,   \
 117     AV_PIX_FMT_YUVJ440P,                                             \
 118     AV_PIX_FMT_YUV444P9LE, AV_PIX_FMT_YUV422P9LE, AV_PIX_FMT_YUV420P9LE, \
 119     AV_PIX_FMT_YUV444P10LE, AV_PIX_FMT_YUV422P10LE, AV_PIX_FMT_YUV420P10LE, AV_PIX_FMT_YUV440P10LE, \
 120     AV_PIX_FMT_YUV444P12LE, AV_PIX_FMT_YUV422P12LE, AV_PIX_FMT_YUV420P12LE, AV_PIX_FMT_YUV440P12LE, \
 121     AV_PIX_FMT_YUV444P14LE, AV_PIX_FMT_YUV422P14LE, AV_PIX_FMT_YUV420P14LE, \
 122     AV_PIX_FMT_YUV444P16LE, AV_PIX_FMT_YUV422P16LE, AV_PIX_FMT_YUV420P16LE, \
 123     AV_PIX_FMT_YUVA444P16LE, AV_PIX_FMT_YUVA422P16LE, AV_PIX_FMT_YUVA420P16LE
 124
 125 #define RGB_FORMATS                             \
 126     AV_PIX_FMT_ARGB,         AV_PIX_FMT_RGBA,         \
 127     AV_PIX_FMT_ABGR,         AV_PIX_FMT_BGRA,         \
 128     AV_PIX_FMT_RGB24,        AV_PIX_FMT_BGR24
 129
 130 static const enum AVPixelFormat yuv_pix_fmts[] = { YUV_FORMATS, AV_PIX_FMT_NONE };
 131 static const enum AVPixelFormat rgb_pix_fmts[] = { RGB_FORMATS, AV_PIX_FMT_NONE };
 132 static const enum AVPixelFormat all_pix_fmts[] = { RGB_FORMATS, YUV_FORMATS, AV_PIX_FMT_NONE };
 133
 134 static int query_formats(AVFilterContext *ctx)
 135 {
 136     LutContext *s = ctx->priv;
 137
 138     const enum AVPixelFormat *pix_fmts = s->is_rgb ? rgb_pix_fmts :
 139                                                      s->is_yuv ? yuv_pix_fmts :
 140                                                                  all_pix_fmts;
 141     AVFilterFormats *fmts_list = ff_make_format_list(pix_fmts);
 142     if (!fmts_list)
 143         return AVERROR(ENOMEM);
 144     return ff_set_common_formats(ctx, fmts_list);
 145 }
 146
 147 /**
 148  * Clip value val in the minval - maxval range.
 149  */
 150 static double clip(void *opaque, double val)
 151 {
 152     LutContext *s = opaque;
 153     double minval = s->var_values[VAR_MINVAL];
 154     double maxval = s->var_values[VAR_MAXVAL];
 155
 156     return av_clip(val, minval, maxval);
 157 }
 158
 159 /**
 160  * Compute gamma correction for value val, assuming the minval-maxval
 161  * range, val is clipped to a value contained in the same interval.
 162  */
 163 static double compute_gammaval(void *opaque, double gamma)
 164 {
 165     LutContext *s = opaque;
 166     double val    = s->var_values[VAR_CLIPVAL];
 167     double minval = s->var_values[VAR_MINVAL];
 168     double maxval = s->var_values[VAR_MAXVAL];
 169
 170     return pow((val-minval)/(maxval-minval), gamma) * (maxval-minval)+minval;
 171 }
 172
 173 /**
 174  * Compute ITU Rec.709 gamma correction of value val.
 175  */
 176 static double compute_gammaval709(void *opaque, double gamma)
 177 {
 178     LutContext *s = opaque;
 179     double val    = s->var_values[VAR_CLIPVAL];
 180     double minval = s->var_values[VAR_MINVAL];
 181     double maxval = s->var_values[VAR_MAXVAL];
 182     double level = (val - minval) / (maxval - minval);
 183     level = level < 0.018 ? 4.5 * level
 184                           : 1.099 * pow(level, 1.0 / gamma) - 0.099;
 185     return level * (maxval - minval) + minval;
 186 }
 187
 188 static double (* const funcs1[])(void *, double) = {
 189     (void *)clip,
 190     (void *)compute_gammaval,
 191     (void *)compute_gammaval709,
 192     NULL
 193 };
 194
 195 static const char * const funcs1_names[] = {
 196     "clip",
 197     "gammaval",
 198     "gammaval709",
 199     NULL
 200 };
 201
 202 static int config_props(AVFilterLink *inlink)
 203 {
 204     AVFilterContext *ctx = inlink->dst;
 205     LutContext *s = ctx->priv;
 206     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 207     uint8_t rgba_map[4]; /* component index -> RGBA color index map */
 208     int min[4], max[4];
 209     int val, color, ret;
 210
 211     s->hsub = desc->log2_chroma_w;
 212     s->vsub = desc->log2_chroma_h;
 213
 214     s->var_values[VAR_W] = inlink->w;
 215     s->var_values[VAR_H] = inlink->h;
 216     s->is_16bit = desc->comp[0].depth_minus1 > 7;
 217
 218     switch (inlink->format) {
 219     case AV_PIX_FMT_YUV410P:
 220     case AV_PIX_FMT_YUV411P:
 221     case AV_PIX_FMT_YUV420P:
 222     case AV_PIX_FMT_YUV422P:
 223     case AV_PIX_FMT_YUV440P:
 224     case AV_PIX_FMT_YUV444P:
 225     case AV_PIX_FMT_YUVA420P:
 226     case AV_PIX_FMT_YUVA422P:
 227     case AV_PIX_FMT_YUVA444P:
 228     case AV_PIX_FMT_YUV420P9LE:
 229     case AV_PIX_FMT_YUV422P9LE:
 230     case AV_PIX_FMT_YUV444P9LE:
 231     case AV_PIX_FMT_YUVA420P9LE:
 232     case AV_PIX_FMT_YUVA422P9LE:
 233     case AV_PIX_FMT_YUVA444P9LE:
 234     case AV_PIX_FMT_YUV420P10LE:
 235     case AV_PIX_FMT_YUV422P10LE:
 236     case AV_PIX_FMT_YUV440P10LE:
 237     case AV_PIX_FMT_YUV444P10LE:
 238     case AV_PIX_FMT_YUVA420P10LE:
 239     case AV_PIX_FMT_YUVA422P10LE:
 240     case AV_PIX_FMT_YUVA444P10LE:
 241     case AV_PIX_FMT_YUV420P12LE:
 242     case AV_PIX_FMT_YUV422P12LE:
 243     case AV_PIX_FMT_YUV440P12LE:
 244     case AV_PIX_FMT_YUV444P12LE:
 245     case AV_PIX_FMT_YUV420P14LE:
 246     case AV_PIX_FMT_YUV422P14LE:
 247     case AV_PIX_FMT_YUV444P14LE:
 248     case AV_PIX_FMT_YUV420P16LE:
 249     case AV_PIX_FMT_YUV422P16LE:
 250     case AV_PIX_FMT_YUV444P16LE:
 251     case AV_PIX_FMT_YUVA420P16LE:
 252     case AV_PIX_FMT_YUVA422P16LE:
 253     case AV_PIX_FMT_YUVA444P16LE:
 254         min[Y] = 16 * (1 << (desc->comp[0].depth_minus1 - 7));
 255         min[U] = 16 * (1 << (desc->comp[1].depth_minus1 - 7));
 256         min[V] = 16 * (1 << (desc->comp[2].depth_minus1 - 7));
 257         min[A] = 0;
 258         max[Y] = 235 * (1 << (desc->comp[0].depth_minus1 - 7));
 259         max[U] = 240 * (1 << (desc->comp[1].depth_minus1 - 7));
 260         max[V] = 240 * (1 << (desc->comp[2].depth_minus1 - 7));
 261         max[A] = (1 << (desc->comp[3].depth_minus1 + 1)) - 1;
 262         break;
 263     default:
 264         min[0] = min[1] = min[2] = min[3] = 0;
 265         max[0] = max[1] = max[2] = max[3] = 255;
 266     }
 267
 268     s->is_yuv = s->is_rgb = 0;
 269     if      (ff_fmt_is_in(inlink->format, yuv_pix_fmts)) s->is_yuv = 1;
 270     else if (ff_fmt_is_in(inlink->format, rgb_pix_fmts)) s->is_rgb = 1;
 271
 272     if (s->is_rgb) {
 273         ff_fill_rgba_map(rgba_map, inlink->format);
 274         s->step = av_get_bits_per_pixel(desc) >> 3;
 275     }
 276
 277     for (color = 0; color < desc->nb_components; color++) {
 278         double res;
 279         int comp = s->is_rgb ? rgba_map[color] : color;
 280
 281         /* create the parsed expression */
 282         av_expr_free(s->comp_expr[color]);
 283         s->comp_expr[color] = NULL;
 284         ret = av_expr_parse(&s->comp_expr[color], s->comp_expr_str[color],
 285                             var_names, funcs1_names, funcs1, NULL, NULL, 0, ctx);
 286         if (ret < 0) {
 287             av_log(ctx, AV_LOG_ERROR,
 288                    "Error when parsing the expression '%s' for the component %d and color %d.\n",
 289                    s->comp_expr_str[comp], comp, color);
 290             return AVERROR(EINVAL);
 291         }
 292
 293         /* compute the lut */
 294         s->var_values[VAR_MAXVAL] = max[color];
 295         s->var_values[VAR_MINVAL] = min[color];
 296
 297         for (val = 0; val < (1 << (desc->comp[0].depth_minus1 + 1)); val++) {
 298             s->var_values[VAR_VAL] = val;
 299             s->var_values[VAR_CLIPVAL] = av_clip(val, min[color], max[color]);
 300             s->var_values[VAR_NEGVAL] =
 301                 av_clip(min[color] + max[color] - s->var_values[VAR_VAL],
 302                         min[color], max[color]);
 303
 304             res = av_expr_eval(s->comp_expr[color], s->var_values, s);
 305             if (isnan(res)) {
 306                 av_log(ctx, AV_LOG_ERROR,
 307                        "Error when evaluating the expression '%s' for the value %d for the component %d.\n",
 308                        s->comp_expr_str[color], val, comp);
 309                 return AVERROR(EINVAL);
 310             }
 311             s->lut[comp][val] = av_clip((int)res, min[color], max[color]);
 312             av_log(ctx, AV_LOG_DEBUG, "val[%d][%d] = %d\n", comp, val, s->lut[comp][val]);
 313         }
 314     }
 315
 316     return 0;
 317 }
 318
 319 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
 320 {
 321     AVFilterContext *ctx = inlink->dst;
 322     LutContext *s = ctx->priv;
 323     AVFilterLink *outlink = ctx->outputs[0];
 324     AVFrame *out;
 325     int i, j, plane, direct = 0;
 326
 327     if (av_frame_is_writable(in)) {
 328         direct = 1;
 329         out = in;
 330     } else {
 331         out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
 332         if (!out) {
 333             av_frame_free(&in);
 334             return AVERROR(ENOMEM);
 335         }
 336         av_frame_copy_props(out, in);
 337     }
 338
 339     if (s->is_rgb) {
 340         /* packed */
 341         uint8_t *inrow, *outrow, *inrow0, *outrow0;
 342         const int w = inlink->w;
 343         const int h = in->height;
 344         const uint16_t (*tab)[256*256] = (const uint16_t (*)[256*256])s->lut;
 345         const int in_linesize  =  in->linesize[0];
 346         const int out_linesize = out->linesize[0];
 347         const int step = s->step;
 348
 349         inrow0  = in ->data[0];
 350         outrow0 = out->data[0];
 351
 352         for (i = 0; i < h; i ++) {
 353             inrow  = inrow0;
 354             outrow = outrow0;
 355             for (j = 0; j < w; j++) {
 356                 switch (step) {
 357                 case 4:  outrow[3] = tab[3][inrow[3]]; // Fall-through
 358                 case 3:  outrow[2] = tab[2][inrow[2]]; // Fall-through
 359                 case 2:  outrow[1] = tab[1][inrow[1]]; // Fall-through
 360                 default: outrow[0] = tab[0][inrow[0]];
 361                 }
 362                 outrow += step;
 363                 inrow  += step;
 364             }
 365             inrow0  += in_linesize;
 366             outrow0 += out_linesize;
 367         }
 368     } else if (s->is_16bit) {
 369         // planar yuv >8 bit depth
 370         uint16_t *inrow, *outrow;
 371
 372         for (plane = 0; plane < 4 && in->data[plane] && in->linesize[plane]; plane++) {
 373             int vsub = plane == 1 || plane == 2 ? s->vsub : 0;
 374             int hsub = plane == 1 || plane == 2 ? s->hsub : 0;
 375             int h = FF_CEIL_RSHIFT(inlink->h, vsub);
 376             int w = FF_CEIL_RSHIFT(inlink->w, hsub);
 377             const uint16_t *tab = s->lut[plane];
 378             const int in_linesize  =  in->linesize[plane] / 2;
 379             const int out_linesize = out->linesize[plane] / 2;
 380
 381             inrow  = (uint16_t *)in ->data[plane];
 382             outrow = (uint16_t *)out->data[plane];
 383
 384             for (i = 0; i < h; i++) {
 385                 for (j = 0; j < w; j++) {
 386 #if HAVE_BIGENDIAN
 387                     outrow[j] = av_bswap16(tab[av_bswap16(inrow[j])]);
 388 #else
 389                     outrow[j] = tab[inrow[j]];
 390 #endif
 391                 }
 392                 inrow  += in_linesize;
 393                 outrow += out_linesize;
 394             }
 395         }
 396     } else {
 397         /* planar 8bit depth */
 398         uint8_t *inrow, *outrow;
 399
 400         for (plane = 0; plane < 4 && in->data[plane] && in->linesize[plane]; plane++) {
 401             int vsub = plane == 1 || plane == 2 ? s->vsub : 0;
 402             int hsub = plane == 1 || plane == 2 ? s->hsub : 0;
 403             int h = FF_CEIL_RSHIFT(inlink->h, vsub);
 404             int w = FF_CEIL_RSHIFT(inlink->w, hsub);
 405             const uint16_t *tab = s->lut[plane];
 406             const int in_linesize  =  in->linesize[plane];
 407             const int out_linesize = out->linesize[plane];
 408
 409             inrow  = in ->data[plane];
 410             outrow = out->data[plane];
 411
 412             for (i = 0; i < h; i++) {
 413                 for (j = 0; j < w; j++)
 414                     outrow[j] = tab[inrow[j]];
 415                 inrow  += in_linesize;
 416                 outrow += out_linesize;
 417             }
 418         }
 419     }
 420
 421     if (!direct)
 422         av_frame_free(&in);
 423
 424     return ff_filter_frame(outlink, out);
 425 }
 426
 427 static const AVFilterPad inputs[] = {
 428     { .name         = "default",
 429       .type         = AVMEDIA_TYPE_VIDEO,
 430       .filter_frame = filter_frame,
 431       .config_props = config_props,
 432     },
 433     { NULL }
 434 };
 435 static const AVFilterPad outputs[] = {
 436     { .name = "default",
 437       .type = AVMEDIA_TYPE_VIDEO,
 438     },
 439     { NULL }
 440 };
 441
 442 #define DEFINE_LUT_FILTER(name_, description_)                          \
 443     AVFilter ff_vf_##name_ = {                                          \
 444         .name          = #name_,                                        \
 445         .description   = NULL_IF_CONFIG_SMALL(description_),            \
 446         .priv_size     = sizeof(LutContext),                            \
 447         .priv_class    = &name_ ## _class,                              \
 448         .init          = name_##_init,                                  \
 449         .uninit        = uninit,                                        \
 450         .query_formats = query_formats,                                 \
 451         .inputs        = inputs,                                        \
 452         .outputs       = outputs,                                       \
 453         .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC,        \
 454     }
 455
 456 #if CONFIG_LUT_FILTER
 457
 458 #define lut_options options
 459 AVFILTER_DEFINE_CLASS(lut);
 460
 461 static int lut_init(AVFilterContext *ctx)
 462 {
 463     return 0;
 464 }
 465
 466 DEFINE_LUT_FILTER(lut, "Compute and apply a lookup table to the RGB/YUV input video.");
 467 #endif
 468
 469 #if CONFIG_LUTYUV_FILTER
 470
 471 #define lutyuv_options options
 472 AVFILTER_DEFINE_CLASS(lutyuv);
 473
 474 static av_cold int lutyuv_init(AVFilterContext *ctx)
 475 {
 476     LutContext *s = ctx->priv;
 477
 478     s->is_yuv = 1;
 479
 480     return 0;
 481 }
 482
 483 DEFINE_LUT_FILTER(lutyuv, "Compute and apply a lookup table to the YUV input video.");
 484 #endif
 485
 486 #if CONFIG_LUTRGB_FILTER
 487
 488 #define lutrgb_options options
 489 AVFILTER_DEFINE_CLASS(lutrgb);
 490
 491 static av_cold int lutrgb_init(AVFilterContext *ctx)
 492 {
 493     LutContext *s = ctx->priv;
 494
 495     s->is_rgb = 1;
 496
 497     return 0;
 498 }
 499
 500 DEFINE_LUT_FILTER(lutrgb, "Compute and apply a lookup table to the RGB input video.");
 501 #endif
 502
 503 #if CONFIG_NEGATE_FILTER
 504
 505 static const AVOption negate_options[] = {
 506     { "negate_alpha", NULL, OFFSET(negate_alpha), AV_OPT_TYPE_INT, { .i64 = 0 }, 0, 1, FLAGS },
 507     { NULL }
 508 };
 509
 510 AVFILTER_DEFINE_CLASS(negate);
 511
 512 static av_cold int negate_init(AVFilterContext *ctx)
 513 {
 514     LutContext *s = ctx->priv;
 515     int i;
 516
 517     av_log(ctx, AV_LOG_DEBUG, "negate_alpha:%d\n", s->negate_alpha);
 518
 519     for (i = 0; i < 4; i++) {
 520         s->comp_expr_str[i] = av_strdup((i == 3 && !s->negate_alpha) ?
 521                                           "val" : "negval");
 522         if (!s->comp_expr_str[i]) {
 523             uninit(ctx);
 524             return AVERROR(ENOMEM);
 525         }
 526     }
 527
 528     return 0;
 529 }
 530
 531 DEFINE_LUT_FILTER(negate, "Negate input video.");
 532
 533 #endif