git.sesse.net Git - ffmpeg/blob - libavfilter/vf_histogram.c

   1 /*
   2  * Copyright (c) 2012-2013 Paul B Mahol
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 #include "libavutil/avassert.h"
  22 #include "libavutil/opt.h"
  23 #include "libavutil/parseutils.h"
  24 #include "libavutil/pixdesc.h"
  25 #include "libavutil/imgutils.h"
  26 #include "libavutil/intreadwrite.h"
  27 #include "avfilter.h"
  28 #include "formats.h"
  29 #include "internal.h"
  30 #include "video.h"
  31
  32 typedef struct HistogramContext {
  33     const AVClass *class;               ///< AVClass context for log and options purpose
  34     unsigned       histogram[256*256];
  35     int            histogram_size;
  36     int            mult;
  37     int            ncomp;
  38     const uint8_t  *bg_color;
  39     const uint8_t  *fg_color;
  40     int            level_height;
  41     int            scale_height;
  42     int            display_mode;
  43     int            levels_mode;
  44     const AVPixFmtDescriptor *desc, *odesc;
  45     int            components;
  46     int            planewidth[4];
  47     int            planeheight[4];
  48 } HistogramContext;
  49
  50 #define OFFSET(x) offsetof(HistogramContext, x)
  51 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
  52
  53 static const AVOption histogram_options[] = {
  54     { "level_height", "set level height", OFFSET(level_height), AV_OPT_TYPE_INT, {.i64=200}, 50, 2048, FLAGS},
  55     { "scale_height", "set scale height", OFFSET(scale_height), AV_OPT_TYPE_INT, {.i64=12}, 0, 40, FLAGS},
  56     { "display_mode", "set display mode", OFFSET(display_mode), AV_OPT_TYPE_INT, {.i64=1}, 0, 1, FLAGS, "display_mode"},
  57     { "parade",  NULL, 0, AV_OPT_TYPE_CONST, {.i64=1}, 0, 0, FLAGS, "display_mode" },
  58     { "overlay", NULL, 0, AV_OPT_TYPE_CONST, {.i64=0}, 0, 0, FLAGS, "display_mode" },
  59     { "levels_mode", "set levels mode", OFFSET(levels_mode), AV_OPT_TYPE_INT, {.i64=0}, 0, 1, FLAGS, "levels_mode"},
  60     { "linear",      NULL, 0, AV_OPT_TYPE_CONST, {.i64=0}, 0, 0, FLAGS, "levels_mode" },
  61     { "logarithmic", NULL, 0, AV_OPT_TYPE_CONST, {.i64=1}, 0, 0, FLAGS, "levels_mode" },
  62     { "components", "set color components to display", OFFSET(components), AV_OPT_TYPE_INT, {.i64=7}, 1, 15, FLAGS},
  63     { NULL }
  64 };
  65
  66 AVFILTER_DEFINE_CLASS(histogram);
  67
  68 static const enum AVPixelFormat levels_in_pix_fmts[] = {
  69     AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUVJ420P,
  70     AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUVJ422P,
  71     AV_PIX_FMT_YUV411P,  AV_PIX_FMT_YUVJ411P,
  72     AV_PIX_FMT_YUV440P,  AV_PIX_FMT_YUV410P,
  73     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVJ444P,
  74     AV_PIX_FMT_YUV420P9, AV_PIX_FMT_YUV422P9, AV_PIX_FMT_YUV444P9,
  75     AV_PIX_FMT_YUVA420P9, AV_PIX_FMT_YUVA422P9, AV_PIX_FMT_YUVA444P9,
  76     AV_PIX_FMT_YUV420P10, AV_PIX_FMT_YUV422P10, AV_PIX_FMT_YUV444P10,
  77     AV_PIX_FMT_YUVA420P10, AV_PIX_FMT_YUVA422P10, AV_PIX_FMT_YUVA444P10,
  78     AV_PIX_FMT_GBRAP,    AV_PIX_FMT_GBRP,
  79     AV_PIX_FMT_GBRP9,    AV_PIX_FMT_GBRP10,
  80     AV_PIX_FMT_GRAY8,
  81     AV_PIX_FMT_NONE
  82 };
  83
  84 static const enum AVPixelFormat levels_out_yuv8_pix_fmts[] = {
  85     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P,
  86     AV_PIX_FMT_NONE
  87 };
  88
  89 static const enum AVPixelFormat levels_out_yuv9_pix_fmts[] = {
  90     AV_PIX_FMT_YUVA444P9, AV_PIX_FMT_YUV444P9,
  91     AV_PIX_FMT_NONE
  92 };
  93
  94 static const enum AVPixelFormat levels_out_yuv10_pix_fmts[] = {
  95     AV_PIX_FMT_YUVA444P10, AV_PIX_FMT_YUV444P10,
  96     AV_PIX_FMT_NONE
  97 };
  98
  99 static const enum AVPixelFormat levels_out_rgb8_pix_fmts[] = {
 100     AV_PIX_FMT_GBRAP,    AV_PIX_FMT_GBRP,
 101     AV_PIX_FMT_NONE
 102 };
 103
 104 static const enum AVPixelFormat levels_out_rgb9_pix_fmts[] = {
 105     AV_PIX_FMT_GBRP9,
 106     AV_PIX_FMT_NONE
 107 };
 108
 109 static const enum AVPixelFormat levels_out_rgb10_pix_fmts[] = {
 110     AV_PIX_FMT_GBRP10,
 111     AV_PIX_FMT_NONE
 112 };
 113
 114 static int query_formats(AVFilterContext *ctx)
 115 {
 116     AVFilterFormats *avff;
 117     const AVPixFmtDescriptor *desc;
 118     const enum AVPixelFormat *out_pix_fmts;
 119     int rgb, i, bits;
 120     int ret;
 121
 122     if (!ctx->inputs[0]->in_formats ||
 123         !ctx->inputs[0]->in_formats->nb_formats) {
 124         return AVERROR(EAGAIN);
 125     }
 126
 127     if (!ctx->inputs[0]->out_formats)
 128         if ((ret = ff_formats_ref(ff_make_format_list(levels_in_pix_fmts), &ctx->inputs[0]->out_formats)) < 0)
 129             return ret;
 130     avff = ctx->inputs[0]->in_formats;
 131     desc = av_pix_fmt_desc_get(avff->formats[0]);
 132     rgb = desc->flags & AV_PIX_FMT_FLAG_RGB;
 133     bits = desc->comp[0].depth;
 134     for (i = 1; i < avff->nb_formats; i++) {
 135         desc = av_pix_fmt_desc_get(avff->formats[i]);
 136         if ((rgb != (desc->flags & AV_PIX_FMT_FLAG_RGB)) ||
 137             (bits != desc->comp[0].depth))
 138             return AVERROR(EAGAIN);
 139     }
 140
 141     if (rgb && bits == 8)
 142         out_pix_fmts = levels_out_rgb8_pix_fmts;
 143     else if (rgb && bits == 9)
 144         out_pix_fmts = levels_out_rgb9_pix_fmts;
 145     else if (rgb && bits == 10)
 146         out_pix_fmts = levels_out_rgb10_pix_fmts;
 147     else if (bits == 8)
 148         out_pix_fmts = levels_out_yuv8_pix_fmts;
 149     else if (bits == 9)
 150         out_pix_fmts = levels_out_yuv9_pix_fmts;
 151     else // if (bits == 10)
 152         out_pix_fmts = levels_out_yuv10_pix_fmts;
 153     if ((ret = ff_formats_ref(ff_make_format_list(out_pix_fmts), &ctx->outputs[0]->in_formats)) < 0)
 154         return ret;
 155
 156     return 0;
 157 }
 158
 159 static const uint8_t black_yuva_color[4] = { 0, 127, 127, 255 };
 160 static const uint8_t black_gbrp_color[4] = { 0, 0, 0, 255 };
 161 static const uint8_t white_yuva_color[4] = { 255, 127, 127, 255 };
 162 static const uint8_t white_gbrp_color[4] = { 255, 255, 255, 255 };
 163
 164 static int config_input(AVFilterLink *inlink)
 165 {
 166     HistogramContext *h = inlink->dst->priv;
 167
 168     h->desc  = av_pix_fmt_desc_get(inlink->format);
 169     h->ncomp = h->desc->nb_components;
 170     h->histogram_size = 1 << h->desc->comp[0].depth;
 171     h->mult = h->histogram_size / 256;
 172
 173     switch (inlink->format) {
 174     case AV_PIX_FMT_GBRP10:
 175     case AV_PIX_FMT_GBRP9:
 176     case AV_PIX_FMT_GBRAP:
 177     case AV_PIX_FMT_GBRP:
 178         h->bg_color = black_gbrp_color;
 179         h->fg_color = white_gbrp_color;
 180         break;
 181     default:
 182         h->bg_color = black_yuva_color;
 183         h->fg_color = white_yuva_color;
 184     }
 185
 186     h->planeheight[1] = h->planeheight[2] = AV_CEIL_RSHIFT(inlink->h, h->desc->log2_chroma_h);
 187     h->planeheight[0] = h->planeheight[3] = inlink->h;
 188     h->planewidth[1]  = h->planewidth[2]  = AV_CEIL_RSHIFT(inlink->w, h->desc->log2_chroma_w);
 189     h->planewidth[0]  = h->planewidth[3]  = inlink->w;
 190
 191     return 0;
 192 }
 193
 194 static int config_output(AVFilterLink *outlink)
 195 {
 196     AVFilterContext *ctx = outlink->src;
 197     HistogramContext *h = ctx->priv;
 198     int ncomp = 0, i;
 199
 200     for (i = 0; i < h->ncomp; i++) {
 201         if ((1 << i) & h->components)
 202             ncomp++;
 203     }
 204     outlink->w = h->histogram_size;
 205     outlink->h = (h->level_height + h->scale_height) * FFMAX(ncomp * h->display_mode, 1);
 206
 207     h->odesc = av_pix_fmt_desc_get(outlink->format);
 208     outlink->sample_aspect_ratio = (AVRational){1,1};
 209
 210     return 0;
 211 }
 212
 213 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
 214 {
 215     HistogramContext *h   = inlink->dst->priv;
 216     AVFilterContext *ctx  = inlink->dst;
 217     AVFilterLink *outlink = ctx->outputs[0];
 218     AVFrame *out;
 219     int i, j, k, l, m;
 220
 221     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
 222     if (!out) {
 223         av_frame_free(&in);
 224         return AVERROR(ENOMEM);
 225     }
 226
 227     out->pts = in->pts;
 228
 229     for (k = 0; k < 4 && out->data[k]; k++) {
 230         const int is_chroma = (k == 1 || k == 2);
 231         const int dst_h = AV_CEIL_RSHIFT(outlink->h, (is_chroma ? h->odesc->log2_chroma_h : 0));
 232         const int dst_w = AV_CEIL_RSHIFT(outlink->w, (is_chroma ? h->odesc->log2_chroma_w : 0));
 233
 234         if (h->histogram_size <= 256) {
 235             for (i = 0; i < dst_h ; i++)
 236                 memset(out->data[h->odesc->comp[k].plane] +
 237                        i * out->linesize[h->odesc->comp[k].plane],
 238                        h->bg_color[k], dst_w);
 239         } else {
 240             const int mult = h->mult;
 241
 242             for (i = 0; i < dst_h ; i++)
 243                 for (j = 0; j < dst_w; j++)
 244                     AV_WN16(out->data[h->odesc->comp[k].plane] +
 245                         i * out->linesize[h->odesc->comp[k].plane] + j * 2,
 246                         h->bg_color[k] * mult);
 247         }
 248     }
 249
 250     for (m = 0, k = 0; k < h->ncomp; k++) {
 251         const int p = h->desc->comp[k].plane;
 252         const int height = h->planeheight[p];
 253         const int width = h->planewidth[p];
 254         double max_hval_log;
 255         unsigned max_hval = 0;
 256         int start;
 257
 258         if (!((1 << k) & h->components))
 259             continue;
 260         start = m++ * (h->level_height + h->scale_height) * h->display_mode;
 261
 262         if (h->histogram_size <= 256) {
 263             for (i = 0; i < height; i++) {
 264                 const uint8_t *src = in->data[p] + i * in->linesize[p];
 265                 for (j = 0; j < width; j++)
 266                     h->histogram[src[j]]++;
 267             }
 268         } else {
 269             for (i = 0; i < height; i++) {
 270                 const uint16_t *src = (const uint16_t *)(in->data[p] + i * in->linesize[p]);
 271                 for (j = 0; j < width; j++)
 272                     h->histogram[src[j]]++;
 273             }
 274         }
 275
 276         for (i = 0; i < h->histogram_size; i++)
 277             max_hval = FFMAX(max_hval, h->histogram[i]);
 278         max_hval_log = log2(max_hval + 1);
 279
 280         for (i = 0; i < outlink->w; i++) {
 281             int col_height;
 282
 283             if (h->levels_mode)
 284                 col_height = lrint(h->level_height * (1. - (log2(h->histogram[i] + 1) / max_hval_log)));
 285             else
 286                 col_height = h->level_height - (h->histogram[i] * (int64_t)h->level_height + max_hval - 1) / max_hval;
 287
 288             if (h->histogram_size <= 256) {
 289                 for (j = h->level_height - 1; j >= col_height; j--) {
 290                     if (h->display_mode) {
 291                         for (l = 0; l < h->ncomp; l++)
 292                             out->data[l][(j + start) * out->linesize[l] + i] = h->fg_color[l];
 293                     } else {
 294                         out->data[p][(j + start) * out->linesize[p] + i] = 255;
 295                     }
 296                 }
 297                 for (j = h->level_height + h->scale_height - 1; j >= h->level_height; j--)
 298                     out->data[p][(j + start) * out->linesize[p] + i] = i;
 299             } else {
 300                 const int mult = h->mult;
 301
 302                 for (j = h->level_height - 1; j >= col_height; j--) {
 303                     if (h->display_mode) {
 304                         for (l = 0; l < h->ncomp; l++)
 305                             AV_WN16(out->data[l] + (j + start) * out->linesize[l] + i * 2, h->fg_color[l] * mult);
 306                     } else {
 307                         AV_WN16(out->data[p] + (j + start) * out->linesize[p] + i * 2, 255 * mult);
 308                     }
 309                 }
 310                 for (j = h->level_height + h->scale_height - 1; j >= h->level_height; j--)
 311                     AV_WN16(out->data[p] + (j + start) * out->linesize[p] + i * 2, i);
 312             }
 313         }
 314
 315         memset(h->histogram, 0, h->histogram_size * sizeof(unsigned));
 316     }
 317
 318     av_frame_free(&in);
 319     return ff_filter_frame(outlink, out);
 320 }
 321
 322 static const AVFilterPad inputs[] = {
 323     {
 324         .name         = "default",
 325         .type         = AVMEDIA_TYPE_VIDEO,
 326         .filter_frame = filter_frame,
 327         .config_props = config_input,
 328     },
 329     { NULL }
 330 };
 331
 332 static const AVFilterPad outputs[] = {
 333     {
 334         .name         = "default",
 335         .type         = AVMEDIA_TYPE_VIDEO,
 336         .config_props = config_output,
 337     },
 338     { NULL }
 339 };
 340
 341 AVFilter ff_vf_histogram = {
 342     .name          = "histogram",
 343     .description   = NULL_IF_CONFIG_SMALL("Compute and draw a histogram."),
 344     .priv_size     = sizeof(HistogramContext),
 345     .query_formats = query_formats,
 346     .inputs        = inputs,
 347     .outputs       = outputs,
 348     .priv_class    = &histogram_class,
 349 };