git.sesse.net Git - ffmpeg/blob - libavfilter/vf_hue.c

   1 /*
   2  * Copyright (c) 2003 Michael Niedermayer
   3  * Copyright (c) 2012 Jeremy Tran
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file
  24  * Apply a hue/saturation filter to the input video
  25  * Ported from MPlayer libmpcodecs/vf_hue.c.
  26  */
  27
  28 #include <float.h>
  29 #include "libavutil/eval.h"
  30 #include "libavutil/imgutils.h"
  31 #include "libavutil/opt.h"
  32 #include "libavutil/pixdesc.h"
  33
  34 #include "avfilter.h"
  35 #include "formats.h"
  36 #include "internal.h"
  37 #include "video.h"
  38
  39 #define SAT_MIN_VAL -10
  40 #define SAT_MAX_VAL 10
  41
  42 static const char *const var_names[] = {
  43     "n",   // frame count
  44     "pts", // presentation timestamp expressed in AV_TIME_BASE units
  45     "r",   // frame rate
  46     "t",   // timestamp expressed in seconds
  47     "tb",  // timebase
  48     NULL
  49 };
  50
  51 enum var_name {
  52     VAR_N,
  53     VAR_PTS,
  54     VAR_R,
  55     VAR_T,
  56     VAR_TB,
  57     VAR_NB
  58 };
  59
  60 typedef struct HueContext {
  61     const    AVClass *class;
  62     float    hue_deg; /* hue expressed in degrees */
  63     float    hue; /* hue expressed in radians */
  64     char     *hue_deg_expr;
  65     char     *hue_expr;
  66     AVExpr   *hue_deg_pexpr;
  67     AVExpr   *hue_pexpr;
  68     float    saturation;
  69     char     *saturation_expr;
  70     AVExpr   *saturation_pexpr;
  71     float    brightness;
  72     char     *brightness_expr;
  73     AVExpr   *brightness_pexpr;
  74     int      hsub;
  75     int      vsub;
  76     int is_first;
  77     int32_t hue_sin;
  78     int32_t hue_cos;
  79     double   var_values[VAR_NB];
  80     uint8_t  lut_l[256];
  81     uint8_t  lut_u[256][256];
  82     uint8_t  lut_v[256][256];
  83     uint16_t  lut_l16[65536];
  84     uint16_t  lut_u10[1024][1024];
  85     uint16_t  lut_v10[1024][1024];
  86 } HueContext;
  87
  88 #define OFFSET(x) offsetof(HueContext, x)
  89 #define FLAGS AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_RUNTIME_PARAM
  90 static const AVOption hue_options[] = {
  91     { "h", "set the hue angle degrees expression", OFFSET(hue_deg_expr), AV_OPT_TYPE_STRING,
  92       { .str = NULL }, .flags = FLAGS },
  93     { "s", "set the saturation expression", OFFSET(saturation_expr), AV_OPT_TYPE_STRING,
  94       { .str = "1" }, .flags = FLAGS },
  95     { "H", "set the hue angle radians expression", OFFSET(hue_expr), AV_OPT_TYPE_STRING,
  96       { .str = NULL }, .flags = FLAGS },
  97     { "b", "set the brightness expression", OFFSET(brightness_expr), AV_OPT_TYPE_STRING,
  98       { .str = "0" }, .flags = FLAGS },
  99     { NULL }
 100 };
 101
 102 AVFILTER_DEFINE_CLASS(hue);
 103
 104 static inline void compute_sin_and_cos(HueContext *hue)
 105 {
 106     /*
 107      * Scale the value to the norm of the resulting (U,V) vector, that is
 108      * the saturation.
 109      * This will be useful in the apply_lut function.
 110      */
 111     hue->hue_sin = lrint(sin(hue->hue) * (1 << 16) * hue->saturation);
 112     hue->hue_cos = lrint(cos(hue->hue) * (1 << 16) * hue->saturation);
 113 }
 114
 115 static inline void create_luma_lut(HueContext *h)
 116 {
 117     const float b = h->brightness;
 118     int i;
 119
 120     for (i = 0; i < 256; i++) {
 121         h->lut_l[i] = av_clip_uint8(i + b * 25.5);
 122     }
 123     for (i = 0; i < 65536; i++) {
 124         h->lut_l16[i] = av_clip_uintp2(i + b * 102.4, 10);
 125     }
 126 }
 127
 128 static inline void create_chrominance_lut(HueContext *h, const int32_t c,
 129                                           const int32_t s)
 130 {
 131     int32_t i, j, u, v, new_u, new_v;
 132
 133     /*
 134      * If we consider U and V as the components of a 2D vector then its angle
 135      * is the hue and the norm is the saturation
 136      */
 137     for (i = 0; i < 256; i++) {
 138         for (j = 0; j < 256; j++) {
 139             /* Normalize the components from range [16;240] to [-112;112] */
 140             u = i - 128;
 141             v = j - 128;
 142             /*
 143              * Apply the rotation of the vector : (c * u) - (s * v)
 144              *                                    (s * u) + (c * v)
 145              * De-normalize the components (without forgetting to scale 128
 146              * by << 16)
 147              * Finally scale back the result by >> 16
 148              */
 149             new_u = ((c * u) - (s * v) + (1 << 15) + (128 << 16)) >> 16;
 150             new_v = ((s * u) + (c * v) + (1 << 15) + (128 << 16)) >> 16;
 151
 152             /* Prevent a potential overflow */
 153             h->lut_u[i][j] = av_clip_uint8(new_u);
 154             h->lut_v[i][j] = av_clip_uint8(new_v);
 155         }
 156     }
 157     for (i = 0; i < 1024; i++) {
 158         for (j = 0; j < 1024; j++) {
 159             u = i - 512;
 160             v = j - 512;
 161             /*
 162              * Apply the rotation of the vector : (c * u) - (s * v)
 163              *                                    (s * u) + (c * v)
 164              * De-normalize the components (without forgetting to scale 512
 165              * by << 16)
 166              * Finally scale back the result by >> 16
 167              */
 168             new_u = ((c * u) - (s * v) + (1 << 15) + (512 << 16)) >> 16;
 169             new_v = ((s * u) + (c * v) + (1 << 15) + (512 << 16)) >> 16;
 170
 171             /* Prevent a potential overflow */
 172             h->lut_u10[i][j] = av_clip_uintp2(new_u, 10);
 173             h->lut_v10[i][j] = av_clip_uintp2(new_v, 10);
 174         }
 175     }
 176 }
 177
 178 static int set_expr(AVExpr **pexpr_ptr, char **expr_ptr,
 179                     const char *expr, const char *option, void *log_ctx)
 180 {
 181     int ret;
 182     AVExpr *new_pexpr;
 183     char *new_expr;
 184
 185     new_expr = av_strdup(expr);
 186     if (!new_expr)
 187         return AVERROR(ENOMEM);
 188     ret = av_expr_parse(&new_pexpr, expr, var_names,
 189                         NULL, NULL, NULL, NULL, 0, log_ctx);
 190     if (ret < 0) {
 191         av_log(log_ctx, AV_LOG_ERROR,
 192                "Error when evaluating the expression '%s' for %s\n",
 193                expr, option);
 194         av_free(new_expr);
 195         return ret;
 196     }
 197
 198     if (*pexpr_ptr)
 199         av_expr_free(*pexpr_ptr);
 200     *pexpr_ptr = new_pexpr;
 201     av_freep(expr_ptr);
 202     *expr_ptr = new_expr;
 203
 204     return 0;
 205 }
 206
 207 static av_cold int init(AVFilterContext *ctx)
 208 {
 209     HueContext *hue = ctx->priv;
 210     int ret;
 211
 212     if (hue->hue_expr && hue->hue_deg_expr) {
 213         av_log(ctx, AV_LOG_ERROR,
 214                "H and h options are incompatible and cannot be specified "
 215                "at the same time\n");
 216         return AVERROR(EINVAL);
 217     }
 218
 219 #define SET_EXPR(expr, option)                                          \
 220     if (hue->expr##_expr) do {                                          \
 221         ret = set_expr(&hue->expr##_pexpr, &hue->expr##_expr,           \
 222                        hue->expr##_expr, option, ctx);                  \
 223         if (ret < 0)                                                    \
 224             return ret;                                                 \
 225     } while (0)
 226     SET_EXPR(brightness, "b");
 227     SET_EXPR(saturation, "s");
 228     SET_EXPR(hue_deg,    "h");
 229     SET_EXPR(hue,        "H");
 230 #undef SET_EXPR
 231
 232     av_log(ctx, AV_LOG_VERBOSE,
 233            "H_expr:%s h_deg_expr:%s s_expr:%s b_expr:%s\n",
 234            hue->hue_expr, hue->hue_deg_expr, hue->saturation_expr, hue->brightness_expr);
 235     compute_sin_and_cos(hue);
 236     hue->is_first = 1;
 237
 238     return 0;
 239 }
 240
 241 static av_cold void uninit(AVFilterContext *ctx)
 242 {
 243     HueContext *hue = ctx->priv;
 244
 245     av_expr_free(hue->brightness_pexpr);
 246     av_expr_free(hue->hue_deg_pexpr);
 247     av_expr_free(hue->hue_pexpr);
 248     av_expr_free(hue->saturation_pexpr);
 249 }
 250
 251 static int query_formats(AVFilterContext *ctx)
 252 {
 253     static const enum AVPixelFormat pix_fmts[] = {
 254         AV_PIX_FMT_YUV444P,      AV_PIX_FMT_YUV422P,
 255         AV_PIX_FMT_YUV420P,      AV_PIX_FMT_YUV411P,
 256         AV_PIX_FMT_YUV410P,      AV_PIX_FMT_YUV440P,
 257         AV_PIX_FMT_YUVA444P,     AV_PIX_FMT_YUVA422P,
 258         AV_PIX_FMT_YUVA420P,
 259         AV_PIX_FMT_YUV444P10,      AV_PIX_FMT_YUV422P10,
 260         AV_PIX_FMT_YUV420P10,
 261         AV_PIX_FMT_YUV440P10,
 262         AV_PIX_FMT_YUVA444P10,     AV_PIX_FMT_YUVA422P10,
 263         AV_PIX_FMT_YUVA420P10,
 264         AV_PIX_FMT_NONE
 265     };
 266     AVFilterFormats *fmts_list = ff_make_format_list(pix_fmts);
 267     if (!fmts_list)
 268         return AVERROR(ENOMEM);
 269     return ff_set_common_formats(ctx, fmts_list);
 270 }
 271
 272 static int config_props(AVFilterLink *inlink)
 273 {
 274     HueContext *hue = inlink->dst->priv;
 275     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 276
 277     hue->hsub = desc->log2_chroma_w;
 278     hue->vsub = desc->log2_chroma_h;
 279
 280     hue->var_values[VAR_N]  = 0;
 281     hue->var_values[VAR_TB] = av_q2d(inlink->time_base);
 282     hue->var_values[VAR_R]  = inlink->frame_rate.num == 0 || inlink->frame_rate.den == 0 ?
 283         NAN : av_q2d(inlink->frame_rate);
 284
 285     return 0;
 286 }
 287
 288 static void apply_luma_lut(HueContext *s,
 289                            uint8_t *ldst, const int dst_linesize,
 290                            uint8_t *lsrc, const int src_linesize,
 291                            int w, int h)
 292 {
 293     int i;
 294
 295     while (h--) {
 296         for (i = 0; i < w; i++)
 297             ldst[i] = s->lut_l[lsrc[i]];
 298
 299         lsrc += src_linesize;
 300         ldst += dst_linesize;
 301     }
 302 }
 303
 304 static void apply_luma_lut10(HueContext *s,
 305                              uint16_t *ldst, const int dst_linesize,
 306                              uint16_t *lsrc, const int src_linesize,
 307                              int w, int h)
 308 {
 309     int i;
 310
 311     while (h--) {
 312         for (i = 0; i < w; i++)
 313             ldst[i] = s->lut_l16[lsrc[i]];
 314
 315         lsrc += src_linesize;
 316         ldst += dst_linesize;
 317     }
 318 }
 319
 320 static void apply_lut(HueContext *s,
 321                       uint8_t *udst, uint8_t *vdst, const int dst_linesize,
 322                       uint8_t *usrc, uint8_t *vsrc, const int src_linesize,
 323                       int w, int h)
 324 {
 325     int i;
 326
 327     while (h--) {
 328         for (i = 0; i < w; i++) {
 329             const int u = usrc[i];
 330             const int v = vsrc[i];
 331
 332             udst[i] = s->lut_u[u][v];
 333             vdst[i] = s->lut_v[u][v];
 334         }
 335
 336         usrc += src_linesize;
 337         vsrc += src_linesize;
 338         udst += dst_linesize;
 339         vdst += dst_linesize;
 340     }
 341 }
 342
 343 static void apply_lut10(HueContext *s,
 344                       uint16_t *udst, uint16_t *vdst, const int dst_linesize,
 345                       uint16_t *usrc, uint16_t *vsrc, const int src_linesize,
 346                       int w, int h)
 347 {
 348     int i;
 349
 350     while (h--) {
 351         for (i = 0; i < w; i++) {
 352             const int u = av_clip_uintp2(usrc[i], 10);
 353             const int v = av_clip_uintp2(vsrc[i], 10);
 354
 355             udst[i] = s->lut_u10[u][v];
 356             vdst[i] = s->lut_v10[u][v];
 357         }
 358
 359         usrc += src_linesize;
 360         vsrc += src_linesize;
 361         udst += dst_linesize;
 362         vdst += dst_linesize;
 363     }
 364 }
 365
 366 static int filter_frame(AVFilterLink *inlink, AVFrame *inpic)
 367 {
 368     HueContext *hue = inlink->dst->priv;
 369     AVFilterLink *outlink = inlink->dst->outputs[0];
 370     AVFrame *outpic;
 371     const int32_t old_hue_sin = hue->hue_sin, old_hue_cos = hue->hue_cos;
 372     const float old_brightness = hue->brightness;
 373     int direct = 0;
 374     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 375     const int bps = desc->comp[0].depth > 8 ? 2 : 1;
 376
 377     if (av_frame_is_writable(inpic)) {
 378         direct = 1;
 379         outpic = inpic;
 380     } else {
 381         outpic = ff_get_video_buffer(outlink, outlink->w, outlink->h);
 382         if (!outpic) {
 383             av_frame_free(&inpic);
 384             return AVERROR(ENOMEM);
 385         }
 386         av_frame_copy_props(outpic, inpic);
 387     }
 388
 389     hue->var_values[VAR_N]   = inlink->frame_count_out;
 390     hue->var_values[VAR_T]   = TS2T(inpic->pts, inlink->time_base);
 391     hue->var_values[VAR_PTS] = TS2D(inpic->pts);
 392
 393     if (hue->saturation_expr) {
 394         hue->saturation = av_expr_eval(hue->saturation_pexpr, hue->var_values, NULL);
 395
 396         if (hue->saturation < SAT_MIN_VAL || hue->saturation > SAT_MAX_VAL) {
 397             hue->saturation = av_clip(hue->saturation, SAT_MIN_VAL, SAT_MAX_VAL);
 398             av_log(inlink->dst, AV_LOG_WARNING,
 399                    "Saturation value not in range [%d,%d]: clipping value to %0.1f\n",
 400                    SAT_MIN_VAL, SAT_MAX_VAL, hue->saturation);
 401         }
 402     }
 403
 404     if (hue->brightness_expr) {
 405         hue->brightness = av_expr_eval(hue->brightness_pexpr, hue->var_values, NULL);
 406
 407         if (hue->brightness < -10 || hue->brightness > 10) {
 408             hue->brightness = av_clipf(hue->brightness, -10, 10);
 409             av_log(inlink->dst, AV_LOG_WARNING,
 410                    "Brightness value not in range [%d,%d]: clipping value to %0.1f\n",
 411                    -10, 10, hue->brightness);
 412         }
 413     }
 414
 415     if (hue->hue_deg_expr) {
 416         hue->hue_deg = av_expr_eval(hue->hue_deg_pexpr, hue->var_values, NULL);
 417         hue->hue = hue->hue_deg * M_PI / 180;
 418     } else if (hue->hue_expr) {
 419         hue->hue = av_expr_eval(hue->hue_pexpr, hue->var_values, NULL);
 420         hue->hue_deg = hue->hue * 180 / M_PI;
 421     }
 422
 423     av_log(inlink->dst, AV_LOG_DEBUG,
 424            "H:%0.1f*PI h:%0.1f s:%0.1f b:%0.f t:%0.1f n:%d\n",
 425            hue->hue/M_PI, hue->hue_deg, hue->saturation, hue->brightness,
 426            hue->var_values[VAR_T], (int)hue->var_values[VAR_N]);
 427
 428     compute_sin_and_cos(hue);
 429     if (hue->is_first || (old_hue_sin != hue->hue_sin || old_hue_cos != hue->hue_cos))
 430         create_chrominance_lut(hue, hue->hue_cos, hue->hue_sin);
 431
 432     if (hue->is_first || (old_brightness != hue->brightness && hue->brightness))
 433         create_luma_lut(hue);
 434
 435     if (!direct) {
 436         if (!hue->brightness)
 437             av_image_copy_plane(outpic->data[0], outpic->linesize[0],
 438                                 inpic->data[0],   inpic->linesize[0],
 439                                 inlink->w * bps, inlink->h);
 440         if (inpic->data[3])
 441             av_image_copy_plane(outpic->data[3], outpic->linesize[3],
 442                                 inpic->data[3],   inpic->linesize[3],
 443                                 inlink->w * bps, inlink->h);
 444     }
 445
 446     if (bps > 1) {
 447         apply_lut10(hue, (uint16_t*)outpic->data[1], (uint16_t*)outpic->data[2], outpic->linesize[1]/2,
 448                          (uint16_t*) inpic->data[1], (uint16_t*) inpic->data[2],  inpic->linesize[1]/2,
 449                     AV_CEIL_RSHIFT(inlink->w, hue->hsub),
 450                     AV_CEIL_RSHIFT(inlink->h, hue->vsub));
 451         if (hue->brightness)
 452             apply_luma_lut10(hue, (uint16_t*)outpic->data[0], outpic->linesize[0]/2,
 453                                   (uint16_t*) inpic->data[0],  inpic->linesize[0]/2, inlink->w, inlink->h);
 454     } else {
 455         apply_lut(hue, outpic->data[1], outpic->data[2], outpic->linesize[1],
 456                        inpic->data[1],   inpic->data[2],  inpic->linesize[1],
 457                   AV_CEIL_RSHIFT(inlink->w, hue->hsub),
 458                   AV_CEIL_RSHIFT(inlink->h, hue->vsub));
 459         if (hue->brightness)
 460             apply_luma_lut(hue, outpic->data[0], outpic->linesize[0],
 461                                 inpic->data[0],  inpic->linesize[0], inlink->w, inlink->h);
 462     }
 463
 464     if (!direct)
 465         av_frame_free(&inpic);
 466
 467     hue->is_first = 0;
 468     return ff_filter_frame(outlink, outpic);
 469 }
 470
 471 static int process_command(AVFilterContext *ctx, const char *cmd, const char *args,
 472                            char *res, int res_len, int flags)
 473 {
 474     HueContext *hue = ctx->priv;
 475     int ret;
 476
 477 #define SET_EXPR(expr, option)                                          \
 478     do {                                                                \
 479         ret = set_expr(&hue->expr##_pexpr, &hue->expr##_expr,           \
 480                        args, option, ctx);                              \
 481         if (ret < 0)                                                    \
 482             return ret;                                                 \
 483     } while (0)
 484
 485     if (!strcmp(cmd, "h")) {
 486         SET_EXPR(hue_deg, "h");
 487         av_freep(&hue->hue_expr);
 488     } else if (!strcmp(cmd, "H")) {
 489         SET_EXPR(hue, "H");
 490         av_freep(&hue->hue_deg_expr);
 491     } else if (!strcmp(cmd, "s")) {
 492         SET_EXPR(saturation, "s");
 493     } else if (!strcmp(cmd, "b")) {
 494         SET_EXPR(brightness, "b");
 495     } else
 496         return AVERROR(ENOSYS);
 497
 498     return 0;
 499 }
 500
 501 static const AVFilterPad hue_inputs[] = {
 502     {
 503         .name         = "default",
 504         .type         = AVMEDIA_TYPE_VIDEO,
 505         .filter_frame = filter_frame,
 506         .config_props = config_props,
 507     },
 508     { NULL }
 509 };
 510
 511 static const AVFilterPad hue_outputs[] = {
 512     {
 513         .name = "default",
 514         .type = AVMEDIA_TYPE_VIDEO,
 515     },
 516     { NULL }
 517 };
 518
 519 const AVFilter ff_vf_hue = {
 520     .name            = "hue",
 521     .description     = NULL_IF_CONFIG_SMALL("Adjust the hue and saturation of the input video."),
 522     .priv_size       = sizeof(HueContext),
 523     .init            = init,
 524     .uninit          = uninit,
 525     .query_formats   = query_formats,
 526     .process_command = process_command,
 527     .inputs          = hue_inputs,
 528     .outputs         = hue_outputs,
 529     .priv_class      = &hue_class,
 530     .flags           = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC,
 531 };