git.sesse.net Git - ffmpeg/blob - libavfilter/vf_datascope.c

   1 /*
   2  * Copyright (c) 2016 Paul B Mahol
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 #include "libavutil/avassert.h"
  22 #include "libavutil/intreadwrite.h"
  23 #include "libavutil/opt.h"
  24 #include "libavutil/parseutils.h"
  25 #include "libavutil/pixdesc.h"
  26 #include "libavutil/xga_font_data.h"
  27 #include "avfilter.h"
  28 #include "drawutils.h"
  29 #include "formats.h"
  30 #include "internal.h"
  31 #include "video.h"
  32
  33 typedef struct DatascopeContext {
  34     const AVClass *class;
  35     int ow, oh;
  36     int x, y;
  37     int mode;
  38     int axis;
  39     float opacity;
  40
  41     int nb_planes;
  42     int nb_comps;
  43     int chars;
  44     FFDrawContext draw;
  45     FFDrawColor yellow;
  46     FFDrawColor white;
  47     FFDrawColor black;
  48     FFDrawColor gray;
  49
  50     void (*pick_color)(FFDrawContext *draw, FFDrawColor *color, AVFrame *in, int x, int y, int *value);
  51     void (*reverse_color)(FFDrawContext *draw, FFDrawColor *color, FFDrawColor *reverse);
  52     int (*filter)(AVFilterContext *ctx, void *arg, int jobnr, int nb_jobs);
  53 } DatascopeContext;
  54
  55 #define OFFSET(x) offsetof(DatascopeContext, x)
  56 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
  57
  58 static const AVOption datascope_options[] = {
  59     { "size", "set output size", OFFSET(ow),   AV_OPT_TYPE_IMAGE_SIZE, {.str="hd720"}, 0, 0, FLAGS },
  60     { "s",    "set output size", OFFSET(ow),   AV_OPT_TYPE_IMAGE_SIZE, {.str="hd720"}, 0, 0, FLAGS },
  61     { "x",    "set x offset", OFFSET(x),    AV_OPT_TYPE_INT, {.i64=0}, 0, INT_MAX, FLAGS },
  62     { "y",    "set y offset", OFFSET(y),    AV_OPT_TYPE_INT, {.i64=0}, 0, INT_MAX, FLAGS },
  63     { "mode", "set scope mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64=0}, 0, 2, FLAGS, "mode" },
  64     {   "mono",   NULL, 0, AV_OPT_TYPE_CONST, {.i64=0}, 0, 0, FLAGS, "mode" },
  65     {   "color",  NULL, 0, AV_OPT_TYPE_CONST, {.i64=1}, 0, 0, FLAGS, "mode" },
  66     {   "color2", NULL, 0, AV_OPT_TYPE_CONST, {.i64=2}, 0, 0, FLAGS, "mode" },
  67     { "axis",    "draw column/row numbers", OFFSET(axis), AV_OPT_TYPE_BOOL, {.i64=0}, 0, 1, FLAGS },
  68     { "opacity", "set background opacity", OFFSET(opacity), AV_OPT_TYPE_FLOAT, {.dbl=0.75}, 0, 1, FLAGS },
  69     { NULL }
  70 };
  71
  72 AVFILTER_DEFINE_CLASS(datascope);
  73
  74 static int query_formats(AVFilterContext *ctx)
  75 {
  76     return ff_set_common_formats(ctx, ff_draw_supported_pixel_formats(0));
  77 }
  78
  79 static void draw_text(FFDrawContext *draw, AVFrame *frame, FFDrawColor *color,
  80                       int x0, int y0, const uint8_t *text, int vertical)
  81 {
  82     int x = x0;
  83
  84     for (; *text; text++) {
  85         if (*text == '\n') {
  86             x = x0;
  87             y0 += 8;
  88             continue;
  89         }
  90         ff_blend_mask(draw, color, frame->data, frame->linesize,
  91                       frame->width, frame->height,
  92                       avpriv_cga_font + *text * 8, 1, 8, 8, 0, 0, x, y0);
  93         if (vertical) {
  94             x = x0;
  95             y0 += 8;
  96         } else {
  97             x += 8;
  98         }
  99     }
 100 }
 101
 102 static void pick_color8(FFDrawContext *draw, FFDrawColor *color, AVFrame *in, int x, int y, int *value)
 103 {
 104     int p, i;
 105
 106     color->rgba[3] = 255;
 107     for (p = 0; p < draw->nb_planes; p++) {
 108         if (draw->nb_planes == 1) {
 109             for (i = 0; i < 4; i++) {
 110                 value[i] = in->data[0][y * in->linesize[0] + x * draw->pixelstep[0] + i];
 111                 color->comp[0].u8[i] = value[i];
 112             }
 113         } else {
 114             value[p] = in->data[p][(y >> draw->vsub[p]) * in->linesize[p] + (x >> draw->hsub[p])];
 115             color->comp[p].u8[0] = value[p];
 116         }
 117     }
 118 }
 119
 120 static void pick_color16(FFDrawContext *draw, FFDrawColor *color, AVFrame *in, int x, int y, int *value)
 121 {
 122     int p, i;
 123
 124     color->rgba[3] = 255;
 125     for (p = 0; p < draw->nb_planes; p++) {
 126         if (draw->nb_planes == 1) {
 127             for (i = 0; i < 4; i++) {
 128                 value[i] = AV_RL16(in->data[0] + y * in->linesize[0] + x * draw->pixelstep[0] + i * 2);
 129                 color->comp[0].u16[i] = value[i];
 130             }
 131         } else {
 132             value[p] = AV_RL16(in->data[p] + (y >> draw->vsub[p]) * in->linesize[p] + (x >> draw->hsub[p]) * 2);
 133             color->comp[p].u16[0] = value[p];
 134         }
 135     }
 136 }
 137
 138 static void reverse_color8(FFDrawContext *draw, FFDrawColor *color, FFDrawColor *reverse)
 139 {
 140     int p;
 141
 142     reverse->rgba[3] = 255;
 143     for (p = 0; p < draw->nb_planes; p++) {
 144         reverse->comp[p].u8[0] = color->comp[p].u8[0] > 127 ? 0 : 255;
 145         reverse->comp[p].u8[1] = color->comp[p].u8[1] > 127 ? 0 : 255;
 146         reverse->comp[p].u8[2] = color->comp[p].u8[2] > 127 ? 0 : 255;
 147     }
 148 }
 149
 150 static void reverse_color16(FFDrawContext *draw, FFDrawColor *color, FFDrawColor *reverse)
 151 {
 152     int p;
 153
 154     reverse->rgba[3] = 255;
 155     for (p = 0; p < draw->nb_planes; p++) {
 156         const unsigned max = (1 << draw->desc->comp[p].depth) - 1;
 157         const unsigned mid = (max + 1) / 2;
 158
 159         reverse->comp[p].u16[0] = color->comp[p].u16[0] > mid ? 0 : max;
 160         reverse->comp[p].u16[1] = color->comp[p].u16[1] > mid ? 0 : max;
 161         reverse->comp[p].u16[2] = color->comp[p].u16[2] > mid ? 0 : max;
 162     }
 163 }
 164
 165 typedef struct ThreadData {
 166     AVFrame *in, *out;
 167     int xoff, yoff;
 168 } ThreadData;
 169
 170 static int filter_color2(AVFilterContext *ctx, void *arg, int jobnr, int nb_jobs)
 171 {
 172     DatascopeContext *s = ctx->priv;
 173     AVFilterLink *outlink = ctx->outputs[0];
 174     AVFilterLink *inlink = ctx->inputs[0];
 175     ThreadData *td = arg;
 176     AVFrame *in = td->in;
 177     AVFrame *out = td->out;
 178     const int xoff = td->xoff;
 179     const int yoff = td->yoff;
 180     const int P = FFMAX(s->nb_planes, s->nb_comps);
 181     const int C = s->chars;
 182     const int W = (outlink->w - xoff) / (C * 10);
 183     const int H = (outlink->h - yoff) / (P * 12);
 184     const char *format[2] = {"%02X\n", "%04X\n"};
 185     const int slice_start = (W * jobnr) / nb_jobs;
 186     const int slice_end = (W * (jobnr+1)) / nb_jobs;
 187     int x, y, p;
 188
 189     for (y = 0; y < H && (y + s->y < inlink->h); y++) {
 190         for (x = slice_start; x < slice_end && (x + s->x < inlink->w); x++) {
 191             FFDrawColor color = { { 0 } };
 192             FFDrawColor reverse = { { 0 } };
 193             int value[4] = { 0 };
 194
 195             s->pick_color(&s->draw, &color, in, x + s->x, y + s->y, value);
 196             s->reverse_color(&s->draw, &color, &reverse);
 197             ff_fill_rectangle(&s->draw, &color, out->data, out->linesize,
 198                               xoff + x * C * 10, yoff + y * P * 12, C * 10, P * 12);
 199
 200             for (p = 0; p < P; p++) {
 201                 char text[256];
 202
 203                 snprintf(text, sizeof(text), format[C>>2], value[p]);
 204                 draw_text(&s->draw, out, &reverse, xoff + x * C * 10 + 2, yoff + y * P * 12 + p * 10 + 2, text, 0);
 205             }
 206         }
 207     }
 208
 209     return 0;
 210 }
 211
 212 static int filter_color(AVFilterContext *ctx, void *arg, int jobnr, int nb_jobs)
 213 {
 214     DatascopeContext *s = ctx->priv;
 215     AVFilterLink *outlink = ctx->outputs[0];
 216     AVFilterLink *inlink = ctx->inputs[0];
 217     ThreadData *td = arg;
 218     AVFrame *in = td->in;
 219     AVFrame *out = td->out;
 220     const int xoff = td->xoff;
 221     const int yoff = td->yoff;
 222     const int P = FFMAX(s->nb_planes, s->nb_comps);
 223     const int C = s->chars;
 224     const int W = (outlink->w - xoff) / (C * 10);
 225     const int H = (outlink->h - yoff) / (P * 12);
 226     const char *format[2] = {"%02X\n", "%04X\n"};
 227     const int slice_start = (W * jobnr) / nb_jobs;
 228     const int slice_end = (W * (jobnr+1)) / nb_jobs;
 229     int x, y, p;
 230
 231     for (y = 0; y < H && (y + s->y < inlink->h); y++) {
 232         for (x = slice_start; x < slice_end && (x + s->x < inlink->w); x++) {
 233             FFDrawColor color = { { 0 } };
 234             int value[4] = { 0 };
 235
 236             s->pick_color(&s->draw, &color, in, x + s->x, y + s->y, value);
 237
 238             for (p = 0; p < P; p++) {
 239                 char text[256];
 240
 241                 snprintf(text, sizeof(text), format[C>>2], value[p]);
 242                 draw_text(&s->draw, out, &color, xoff + x * C * 10 + 2, yoff + y * P * 12 + p * 10 + 2, text, 0);
 243             }
 244         }
 245     }
 246
 247     return 0;
 248 }
 249
 250 static int filter_mono(AVFilterContext *ctx, void *arg, int jobnr, int nb_jobs)
 251 {
 252     DatascopeContext *s = ctx->priv;
 253     AVFilterLink *outlink = ctx->outputs[0];
 254     AVFilterLink *inlink = ctx->inputs[0];
 255     ThreadData *td = arg;
 256     AVFrame *in = td->in;
 257     AVFrame *out = td->out;
 258     const int xoff = td->xoff;
 259     const int yoff = td->yoff;
 260     const int P = FFMAX(s->nb_planes, s->nb_comps);
 261     const int C = s->chars;
 262     const int W = (outlink->w - xoff) / (C * 10);
 263     const int H = (outlink->h - yoff) / (P * 12);
 264     const char *format[2] = {"%02X\n", "%04X\n"};
 265     const int slice_start = (W * jobnr) / nb_jobs;
 266     const int slice_end = (W * (jobnr+1)) / nb_jobs;
 267     int x, y, p;
 268
 269     for (y = 0; y < H && (y + s->y < inlink->h); y++) {
 270         for (x = slice_start; x < slice_end && (x + s->x < inlink->w); x++) {
 271             FFDrawColor color = { { 0 } };
 272             int value[4] = { 0 };
 273
 274             s->pick_color(&s->draw, &color, in, x + s->x, y + s->y, value);
 275             for (p = 0; p < P; p++) {
 276                 char text[256];
 277
 278                 snprintf(text, sizeof(text), format[C>>2], value[p]);
 279                 draw_text(&s->draw, out, &s->white, xoff + x * C * 10 + 2, yoff + y * P * 12 + p * 10 + 2, text, 0);
 280             }
 281         }
 282     }
 283
 284     return 0;
 285 }
 286
 287 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
 288 {
 289     AVFilterContext *ctx  = inlink->dst;
 290     DatascopeContext *s = ctx->priv;
 291     AVFilterLink *outlink = ctx->outputs[0];
 292     ThreadData td = { 0 };
 293     int ymaxlen = 0;
 294     int xmaxlen = 0;
 295     AVFrame *out;
 296
 297     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
 298     if (!out) {
 299         av_frame_free(&in);
 300         return AVERROR(ENOMEM);
 301     }
 302     out->pts = in->pts;
 303
 304     ff_fill_rectangle(&s->draw, &s->black, out->data, out->linesize,
 305                       0, 0, outlink->w, outlink->h);
 306
 307     if (s->axis) {
 308         const int P = FFMAX(s->nb_planes, s->nb_comps);
 309         const int C = s->chars;
 310         int Y = outlink->h / (P * 12);
 311         int X = outlink->w / (C * 10);
 312         char text[256] = { 0 };
 313         int x, y;
 314
 315         snprintf(text, sizeof(text), "%d", s->y + Y);
 316         ymaxlen = strlen(text);
 317         ymaxlen *= 10;
 318         snprintf(text, sizeof(text), "%d", s->x + X);
 319         xmaxlen = strlen(text);
 320         xmaxlen *= 10;
 321
 322         Y = (outlink->h - xmaxlen) / (P * 12);
 323         X = (outlink->w - ymaxlen) / (C * 10);
 324
 325         for (y = 0; y < Y; y++) {
 326             snprintf(text, sizeof(text), "%d", s->y + y);
 327
 328             ff_fill_rectangle(&s->draw, &s->gray, out->data, out->linesize,
 329                               0, xmaxlen + y * P * 12 + (P + 1) * P - 2, ymaxlen, 10);
 330
 331             draw_text(&s->draw, out, &s->yellow, 2, xmaxlen + y * P * 12 + (P + 1) * P, text, 0);
 332         }
 333
 334         for (x = 0; x < X; x++) {
 335             snprintf(text, sizeof(text), "%d", s->x + x);
 336
 337             ff_fill_rectangle(&s->draw, &s->gray, out->data, out->linesize,
 338                               ymaxlen + x * C * 10 + 2 * C - 2, 0, 10, xmaxlen);
 339
 340             draw_text(&s->draw, out, &s->yellow, ymaxlen + x * C * 10 + 2 * C, 2, text, 1);
 341         }
 342     }
 343
 344     td.in = in; td.out = out, td.yoff = xmaxlen, td.xoff = ymaxlen;
 345     ctx->internal->execute(ctx, s->filter, &td, NULL, FFMIN(ff_filter_get_nb_threads(ctx), FFMAX(outlink->w / 20, 1)));
 346
 347     av_frame_free(&in);
 348     return ff_filter_frame(outlink, out);
 349 }
 350
 351 static int config_input(AVFilterLink *inlink)
 352 {
 353     DatascopeContext *s = inlink->dst->priv;
 354     uint8_t alpha = s->opacity * 255;
 355
 356     s->nb_planes = av_pix_fmt_count_planes(inlink->format);
 357     ff_draw_init(&s->draw, inlink->format, 0);
 358     ff_draw_color(&s->draw, &s->white,  (uint8_t[]){ 255, 255, 255, 255} );
 359     ff_draw_color(&s->draw, &s->black,  (uint8_t[]){ 0, 0, 0, alpha} );
 360     ff_draw_color(&s->draw, &s->yellow, (uint8_t[]){ 255, 255, 0, 255} );
 361     ff_draw_color(&s->draw, &s->gray,   (uint8_t[]){ 77, 77, 77, 255} );
 362     s->chars = (s->draw.desc->comp[0].depth + 7) / 8 * 2;
 363     s->nb_comps = s->draw.desc->nb_components;
 364
 365     switch (s->mode) {
 366     case 0: s->filter = filter_mono;   break;
 367     case 1: s->filter = filter_color;  break;
 368     case 2: s->filter = filter_color2; break;
 369     }
 370
 371     if (s->draw.desc->comp[0].depth <= 8) {
 372         s->pick_color = pick_color8;
 373         s->reverse_color = reverse_color8;
 374     } else {
 375         s->pick_color = pick_color16;
 376         s->reverse_color = reverse_color16;
 377     }
 378
 379     return 0;
 380 }
 381
 382 static int config_output(AVFilterLink *outlink)
 383 {
 384     DatascopeContext *s = outlink->src->priv;
 385
 386     outlink->h = s->oh;
 387     outlink->w = s->ow;
 388     outlink->sample_aspect_ratio = (AVRational){1,1};
 389
 390     return 0;
 391 }
 392
 393 static const AVFilterPad inputs[] = {
 394     {
 395         .name         = "default",
 396         .type         = AVMEDIA_TYPE_VIDEO,
 397         .filter_frame = filter_frame,
 398         .config_props = config_input,
 399     },
 400     { NULL }
 401 };
 402
 403 static const AVFilterPad outputs[] = {
 404     {
 405         .name         = "default",
 406         .type         = AVMEDIA_TYPE_VIDEO,
 407         .config_props = config_output,
 408     },
 409     { NULL }
 410 };
 411
 412 AVFilter ff_vf_datascope = {
 413     .name          = "datascope",
 414     .description   = NULL_IF_CONFIG_SMALL("Video data analysis."),
 415     .priv_size     = sizeof(DatascopeContext),
 416     .priv_class    = &datascope_class,
 417     .query_formats = query_formats,
 418     .inputs        = inputs,
 419     .outputs       = outputs,
 420     .flags         = AVFILTER_FLAG_SLICE_THREADS,
 421 };
 422
 423 typedef struct PixscopeContext {
 424     const AVClass *class;
 425
 426     float xpos, ypos;
 427     int w, h;
 428     float o;
 429
 430     int x, y;
 431     int ww, wh;
 432
 433     int nb_planes;
 434     int nb_comps;
 435     int is_rgb;
 436     uint8_t rgba_map[4];
 437     FFDrawContext draw;
 438     FFDrawColor   dark;
 439     FFDrawColor   black;
 440     FFDrawColor   white;
 441     FFDrawColor   green;
 442     FFDrawColor   blue;
 443     FFDrawColor   red;
 444     FFDrawColor  *colors[4];
 445
 446     void (*pick_color)(FFDrawContext *draw, FFDrawColor *color, AVFrame *in, int x, int y, int *value);
 447 } PixscopeContext;
 448
 449 #define POFFSET(x) offsetof(PixscopeContext, x)
 450
 451 static const AVOption pixscope_options[] = {
 452     { "x", "set scope x offset", POFFSET(xpos), AV_OPT_TYPE_FLOAT, {.dbl=0.5}, 0,  1, FLAGS },
 453     { "y", "set scope y offset", POFFSET(ypos), AV_OPT_TYPE_FLOAT, {.dbl=0.5}, 0,  1, FLAGS },
 454     { "w", "set scope width",    POFFSET(w),    AV_OPT_TYPE_INT,   {.i64=7},   1, 80, FLAGS },
 455     { "h", "set scope height",   POFFSET(h),    AV_OPT_TYPE_INT,   {.i64=7},   1, 80, FLAGS },
 456     { "o", "set window opacity", POFFSET(o),    AV_OPT_TYPE_FLOAT, {.dbl=0.5}, 0,  1, FLAGS },
 457     { NULL }
 458 };
 459
 460 AVFILTER_DEFINE_CLASS(pixscope);
 461
 462 static int pixscope_config_input(AVFilterLink *inlink)
 463 {
 464     PixscopeContext *s = inlink->dst->priv;
 465
 466     s->nb_planes = av_pix_fmt_count_planes(inlink->format);
 467     ff_draw_init(&s->draw, inlink->format, 0);
 468     ff_draw_color(&s->draw, &s->dark,  (uint8_t[]){ 0, 0, 0, s->o * 255} );
 469     ff_draw_color(&s->draw, &s->black, (uint8_t[]){ 0, 0, 0, 255} );
 470     ff_draw_color(&s->draw, &s->white, (uint8_t[]){ 255, 255, 255, 255} );
 471     ff_draw_color(&s->draw, &s->green, (uint8_t[]){   0, 255,   0, 255} );
 472     ff_draw_color(&s->draw, &s->blue,  (uint8_t[]){   0,   0, 255, 255} );
 473     ff_draw_color(&s->draw, &s->red,   (uint8_t[]){ 255,   0,   0, 255} );
 474     s->nb_comps = s->draw.desc->nb_components;
 475     s->is_rgb   = s->draw.desc->flags & AV_PIX_FMT_FLAG_RGB;
 476
 477     if (s->is_rgb) {
 478         s->colors[0] = &s->red;
 479         s->colors[1] = &s->green;
 480         s->colors[2] = &s->blue;
 481         s->colors[3] = &s->white;
 482         ff_fill_rgba_map(s->rgba_map, inlink->format);
 483     } else {
 484         s->colors[0] = &s->white;
 485         s->colors[1] = &s->blue;
 486         s->colors[2] = &s->red;
 487         s->colors[3] = &s->white;
 488         s->rgba_map[0] = 0;
 489         s->rgba_map[1] = 1;
 490         s->rgba_map[2] = 2;
 491         s->rgba_map[3] = 3;
 492     }
 493
 494     if (s->draw.desc->comp[0].depth <= 8) {
 495         s->pick_color = pick_color8;
 496     } else {
 497         s->pick_color = pick_color16;
 498     }
 499
 500     if (inlink->w < 640 || inlink->h < 480) {
 501         av_log(inlink->dst, AV_LOG_ERROR, "min supported resolution is 640x480\n");
 502         return AVERROR(EINVAL);
 503     }
 504
 505     s->ww = 300;
 506     s->wh = 300 * 1.6180;
 507     s->x = s->xpos * (inlink->w - 1);
 508     s->y = s->ypos * (inlink->h - 1);
 509     if (s->x + s->w >= inlink->w || s->y + s->h >= inlink->h) {
 510         av_log(inlink->dst, AV_LOG_WARNING, "scope position is out of range, clipping\n");
 511         s->x = FFMIN(s->x, inlink->w - s->w);
 512         s->y = FFMIN(s->y, inlink->h - s->h);
 513     }
 514
 515     return 0;
 516 }
 517
 518 static int pixscope_filter_frame(AVFilterLink *inlink, AVFrame *in)
 519 {
 520     AVFilterContext *ctx  = inlink->dst;
 521     PixscopeContext *s = ctx->priv;
 522     AVFilterLink *outlink = ctx->outputs[0];
 523     int max[4] = { 0 }, min[4] = { INT_MAX, INT_MAX, INT_MAX, INT_MAX };
 524     float average[4] = { 0 };
 525     double rms[4] = { 0 };
 526     const char rgba[4] = { 'R', 'G', 'B', 'A' };
 527     const char yuva[4] = { 'Y', 'U', 'V', 'A' };
 528     int x, y, X, Y, i, w, h;
 529     char text[128];
 530
 531     w = s->ww / s->w;
 532     h = s->ww / s->h;
 533
 534     if (s->x <= s->ww && s->y <= s->wh) {
 535         X = in->width - s->ww;
 536         Y = in->height - s->wh;
 537     } else {
 538         X = 0;
 539         Y = 0;
 540     }
 541
 542     ff_blend_rectangle(&s->draw, &s->dark, in->data, in->linesize,
 543                        in->width, in->height,
 544                        X,
 545                        Y,
 546                        s->ww,
 547                        s->wh);
 548
 549     for (y = 0; y < s->h; y++) {
 550         for (x = 0; x < s->w; x++) {
 551             FFDrawColor color = { { 0 } };
 552             int value[4] = { 0 };
 553
 554             s->pick_color(&s->draw, &color, in, x + s->x, y + s->y, value);
 555             ff_fill_rectangle(&s->draw, &color, in->data, in->linesize,
 556                               x * w + (s->ww - 4 - (s->w * w)) / 2 + X, y * h + 2 + Y, w, h);
 557             for (i = 0; i < 4; i++) {
 558                 rms[i]     += (double)value[i] * (double)value[i];
 559                 average[i] += value[i];
 560                 min[i]      = FFMIN(min[i], value[i]);
 561                 max[i]      = FFMAX(max[i], value[i]);
 562             }
 563         }
 564     }
 565
 566     ff_blend_rectangle(&s->draw, &s->black, in->data, in->linesize,
 567                        in->width, in->height,
 568                        s->x - 2, s->y - 2, s->w + 4, 1);
 569
 570     ff_blend_rectangle(&s->draw, &s->white, in->data, in->linesize,
 571                        in->width, in->height,
 572                        s->x - 1, s->y - 1, s->w + 2, 1);
 573
 574     ff_blend_rectangle(&s->draw, &s->white, in->data, in->linesize,
 575                        in->width, in->height,
 576                        s->x - 1, s->y - 1, 1, s->h + 2);
 577
 578     ff_blend_rectangle(&s->draw, &s->black, in->data, in->linesize,
 579                        in->width, in->height,
 580                        s->x - 2, s->y - 2, 1, s->h + 4);
 581
 582     ff_blend_rectangle(&s->draw, &s->white, in->data, in->linesize,
 583                        in->width, in->height,
 584                        s->x - 1, s->y + 1 + s->h, s->w + 3, 1);
 585
 586     ff_blend_rectangle(&s->draw, &s->black, in->data, in->linesize,
 587                        in->width, in->height,
 588                        s->x - 2, s->y + 2 + s->h, s->w + 4, 1);
 589
 590     ff_blend_rectangle(&s->draw, &s->white, in->data, in->linesize,
 591                        in->width, in->height,
 592                        s->x + 1 + s->w, s->y - 1, 1, s->h + 2);
 593
 594     ff_blend_rectangle(&s->draw, &s->black, in->data, in->linesize,
 595                        in->width, in->height,
 596                        s->x + 2 + s->w, s->y - 2, 1, s->h + 5);
 597
 598     for (i = 0; i < 4; i++) {
 599         rms[i] /= s->w * s->h;
 600         rms[i]  = sqrt(rms[i]);
 601         average[i] /= s->w * s->h;
 602     }
 603
 604     snprintf(text, sizeof(text), "CH   AVG    MIN    MAX    RMS\n");
 605     draw_text(&s->draw, in, &s->white,        X + 28, Y + s->ww + 20,           text, 0);
 606     for (i = 0; i < s->nb_comps; i++) {
 607         int c = s->rgba_map[i];
 608
 609         snprintf(text, sizeof(text), "%c  %07.1f %05d %05d %07.1f\n", s->is_rgb ? rgba[i] : yuva[i], average[c], min[c], max[c], rms[c]);
 610         draw_text(&s->draw, in, s->colors[i], X + 28, Y + s->ww + 20 * (i + 2), text, 0);
 611     }
 612
 613     return ff_filter_frame(outlink, in);
 614 }
 615
 616 static const AVFilterPad pixscope_inputs[] = {
 617     {
 618         .name           = "default",
 619         .type           = AVMEDIA_TYPE_VIDEO,
 620         .filter_frame   = pixscope_filter_frame,
 621         .config_props   = pixscope_config_input,
 622         .needs_writable = 1,
 623     },
 624     { NULL }
 625 };
 626
 627 static const AVFilterPad pixscope_outputs[] = {
 628     {
 629         .name         = "default",
 630         .type         = AVMEDIA_TYPE_VIDEO,
 631     },
 632     { NULL }
 633 };
 634
 635 AVFilter ff_vf_pixscope = {
 636     .name          = "pixscope",
 637     .description   = NULL_IF_CONFIG_SMALL("Pixel data analysis."),
 638     .priv_size     = sizeof(PixscopeContext),
 639     .priv_class    = &pixscope_class,
 640     .query_formats = query_formats,
 641     .inputs        = pixscope_inputs,
 642     .outputs       = pixscope_outputs,
 643 };
 644
 645 typedef struct PixelValues {
 646     uint16_t p[4];
 647 } PixelValues;
 648
 649 typedef struct OscilloscopeContext {
 650     const AVClass *class;
 651
 652     float xpos, ypos;
 653     float tx, ty;
 654     float size;
 655     float tilt;
 656     float theight, twidth;
 657     float o;
 658     int components;
 659     int grid;
 660     int statistics;
 661     int scope;
 662
 663     int x1, y1, x2, y2;
 664     int ox, oy;
 665     int height, width;
 666
 667     int max;
 668     int nb_planes;
 669     int nb_comps;
 670     int is_rgb;
 671     uint8_t rgba_map[4];
 672     FFDrawContext draw;
 673     FFDrawColor   dark;
 674     FFDrawColor   black;
 675     FFDrawColor   white;
 676     FFDrawColor   green;
 677     FFDrawColor   blue;
 678     FFDrawColor   red;
 679     FFDrawColor   cyan;
 680     FFDrawColor   magenta;
 681     FFDrawColor   gray;
 682     FFDrawColor  *colors[4];
 683
 684     int nb_values;
 685     PixelValues  *values;
 686
 687     void (*pick_color)(FFDrawContext *draw, FFDrawColor *color, AVFrame *in, int x, int y, int *value);
 688     void (*draw_trace)(struct OscilloscopeContext *s, AVFrame *frame);
 689 } OscilloscopeContext;
 690
 691 #define OOFFSET(x) offsetof(OscilloscopeContext, x)
 692
 693 static const AVOption oscilloscope_options[] = {
 694     { "x",  "set scope x position",    OOFFSET(xpos),       AV_OPT_TYPE_FLOAT, {.dbl=0.5}, 0, 1,  FLAGS },
 695     { "y",  "set scope y position",    OOFFSET(ypos),       AV_OPT_TYPE_FLOAT, {.dbl=0.5}, 0, 1,  FLAGS },
 696     { "s",  "set scope size",          OOFFSET(size),       AV_OPT_TYPE_FLOAT, {.dbl=0.8}, 0, 1,  FLAGS },
 697     { "t",  "set scope tilt",          OOFFSET(tilt),       AV_OPT_TYPE_FLOAT, {.dbl=0.5}, 0, 1,  FLAGS },
 698     { "o",  "set trace opacity",       OOFFSET(o),          AV_OPT_TYPE_FLOAT, {.dbl=0.8}, 0, 1,  FLAGS },
 699     { "tx", "set trace x position",    OOFFSET(tx),         AV_OPT_TYPE_FLOAT, {.dbl=0.5}, 0, 1,  FLAGS },
 700     { "ty", "set trace y position",    OOFFSET(ty),         AV_OPT_TYPE_FLOAT, {.dbl=0.9}, 0, 1,  FLAGS },
 701     { "tw", "set trace width",         OOFFSET(twidth),     AV_OPT_TYPE_FLOAT, {.dbl=0.8},.1, 1,  FLAGS },
 702     { "th", "set trace height",        OOFFSET(theight),    AV_OPT_TYPE_FLOAT, {.dbl=0.3},.1, 1,  FLAGS },
 703     { "c",  "set components to trace", OOFFSET(components), AV_OPT_TYPE_INT,   {.i64=7},   0, 15, FLAGS },
 704     { "g",  "draw trace grid",         OOFFSET(grid),       AV_OPT_TYPE_BOOL,  {.i64=1},   0, 1,  FLAGS },
 705     { "st", "draw statistics",         OOFFSET(statistics), AV_OPT_TYPE_BOOL,  {.i64=1},   0, 1,  FLAGS },
 706     { "sc", "draw scope",              OOFFSET(scope),      AV_OPT_TYPE_BOOL,  {.i64=1},   0, 1,  FLAGS },
 707     { NULL }
 708 };
 709
 710 AVFILTER_DEFINE_CLASS(oscilloscope);
 711
 712 static void oscilloscope_uninit(AVFilterContext *ctx)
 713 {
 714     OscilloscopeContext *s = ctx->priv;
 715
 716     av_freep(&s->values);
 717 }
 718
 719 static void draw_line(FFDrawContext *draw, int x0, int y0, int x1, int y1,
 720                       AVFrame *out, FFDrawColor *color)
 721 {
 722     int dx = FFABS(x1 - x0), sx = x0 < x1 ? 1 : -1;
 723     int dy = FFABS(y1 - y0), sy = y0 < y1 ? 1 : -1;
 724     int err = (dx > dy ? dx : -dy) / 2, e2;
 725     int p, i;
 726
 727     for (;;) {
 728         if (x0 >= 0 && y0 >= 0 && x0 < out->width && y0 < out->height) {
 729             for (p = 0; p < draw->nb_planes; p++) {
 730                 if (draw->desc->comp[p].depth == 8) {
 731                     if (draw->nb_planes == 1) {
 732                         for (i = 0; i < 4; i++) {
 733                             out->data[0][y0 * out->linesize[0] + x0 * draw->pixelstep[0] + i] = color->comp[0].u8[i];
 734                         }
 735                     } else {
 736                         out->data[p][out->linesize[p] * (y0 >> draw->vsub[p]) + (x0 >> draw->hsub[p])] = color->comp[p].u8[0];
 737                     }
 738                 } else {
 739                     if (draw->nb_planes == 1) {
 740                         for (i = 0; i < 4; i++) {
 741                             AV_WN16(out->data[0] + y0 * out->linesize[0] + 2 * (x0 * draw->pixelstep[0] + i), color->comp[0].u16[i]);
 742                         }
 743                     } else {
 744                         AV_WN16(out->data[p] + out->linesize[p] * (y0 >> draw->vsub[p]) + (x0 >> draw->hsub[p]) * 2, color->comp[p].u16[0]);
 745                     }
 746                 }
 747             }
 748         }
 749
 750         if (x0 == x1 && y0 == y1)
 751             break;
 752
 753         e2 = err;
 754
 755         if (e2 >-dx) {
 756             err -= dy;
 757             x0 += sx;
 758         }
 759
 760         if (e2 < dy) {
 761             err += dx;
 762             y0 += sy;
 763         }
 764     }
 765 }
 766
 767 static void draw_trace8(OscilloscopeContext *s, AVFrame *frame)
 768 {
 769     int i, c;
 770
 771     for (i = 1; i < s->nb_values; i++) {
 772         for (c = 0; c < s->nb_comps; c++) {
 773             if ((1 << c) & s->components) {
 774                 int x = i * s->width / s->nb_values;
 775                 int px = (i - 1) * s->width / s->nb_values;
 776                 int py = s->height - s->values[i-1].p[c] * s->height / 256;
 777                 int y = s->height - s->values[i].p[c] * s->height / 256;
 778
 779                 draw_line(&s->draw, s->ox + x, s->oy + y, s->ox + px, s->oy + py, frame, s->colors[c]);
 780             }
 781         }
 782     }
 783 }
 784
 785
 786 static void draw_trace16(OscilloscopeContext *s, AVFrame *frame)
 787 {
 788     int i, c;
 789
 790     for (i = 1; i < s->nb_values; i++) {
 791         for (c = 0; c < s->nb_comps; c++) {
 792             if ((1 << c) & s->components) {
 793                 int x = i * s->width / s->nb_values;
 794                 int px = (i - 1) * s->width / s->nb_values;
 795                 int py = s->height - s->values[i-1].p[c] * s->height / s->max;
 796                 int y = s->height - s->values[i].p[c] * s->height / s->max;
 797
 798                 draw_line(&s->draw, s->ox + x, s->oy + y, s->ox + px, s->oy + py, frame, s->colors[c]);
 799             }
 800         }
 801     }
 802 }
 803
 804 static int oscilloscope_config_input(AVFilterLink *inlink)
 805 {
 806     OscilloscopeContext *s = inlink->dst->priv;
 807     int cx, cy, size;
 808     double tilt;
 809
 810     s->nb_planes = av_pix_fmt_count_planes(inlink->format);
 811     ff_draw_init(&s->draw, inlink->format, 0);
 812     ff_draw_color(&s->draw, &s->dark,    (uint8_t[]){   0,   0,   0, s->o * 255} );
 813     ff_draw_color(&s->draw, &s->black,   (uint8_t[]){   0,   0,   0, 255} );
 814     ff_draw_color(&s->draw, &s->white,   (uint8_t[]){ 255, 255, 255, 255} );
 815     ff_draw_color(&s->draw, &s->green,   (uint8_t[]){   0, 255,   0, 255} );
 816     ff_draw_color(&s->draw, &s->blue,    (uint8_t[]){   0,   0, 255, 255} );
 817     ff_draw_color(&s->draw, &s->red,     (uint8_t[]){ 255,   0,   0, 255} );
 818     ff_draw_color(&s->draw, &s->cyan,    (uint8_t[]){   0, 255, 255, 255} );
 819     ff_draw_color(&s->draw, &s->magenta, (uint8_t[]){ 255,   0, 255, 255} );
 820     ff_draw_color(&s->draw, &s->gray,    (uint8_t[]){ 128, 128, 128, 255} );
 821     s->nb_comps = s->draw.desc->nb_components;
 822     s->is_rgb   = s->draw.desc->flags & AV_PIX_FMT_FLAG_RGB;
 823
 824     if (s->is_rgb) {
 825         s->colors[0] = &s->red;
 826         s->colors[1] = &s->green;
 827         s->colors[2] = &s->blue;
 828         s->colors[3] = &s->white;
 829         ff_fill_rgba_map(s->rgba_map, inlink->format);
 830     } else {
 831         s->colors[0] = &s->white;
 832         s->colors[1] = &s->cyan;
 833         s->colors[2] = &s->magenta;
 834         s->colors[3] = &s->white;
 835         s->rgba_map[0] = 0;
 836         s->rgba_map[1] = 1;
 837         s->rgba_map[2] = 2;
 838         s->rgba_map[3] = 3;
 839     }
 840
 841     if (s->draw.desc->comp[0].depth <= 8) {
 842         s->pick_color = pick_color8;
 843         s->draw_trace = draw_trace8;
 844     } else {
 845         s->pick_color = pick_color16;
 846         s->draw_trace = draw_trace16;
 847     }
 848
 849     s->max = (1 << s->draw.desc->comp[0].depth);
 850     cx = s->xpos * (inlink->w - 1);
 851     cy = s->ypos * (inlink->h - 1);
 852     s->height = s->theight * inlink->h;
 853     s->width = s->twidth * inlink->w;
 854     size = hypot(inlink->w, inlink->h);
 855
 856     s->values = av_calloc(size, sizeof(*s->values));
 857     if (!s->values)
 858         return AVERROR(ENOMEM);
 859
 860     size *= s->size;
 861     tilt  = (s->tilt - 0.5) * M_PI;
 862     s->x1 = cx - size / 2.0 * cos(tilt);
 863     s->x2 = cx + size / 2.0 * cos(tilt);
 864     s->y1 = cy - size / 2.0 * sin(tilt);
 865     s->y2 = cy + size / 2.0 * sin(tilt);
 866     s->ox = (inlink->w - s->width) * s->tx;
 867     s->oy = (inlink->h - s->height) * s->ty;
 868
 869     return 0;
 870 }
 871
 872 static void draw_scope(OscilloscopeContext *s, int x0, int y0, int x1, int y1,
 873                        AVFrame *out, PixelValues *p, int state)
 874 {
 875     int dx = FFABS(x1 - x0), sx = x0 < x1 ? 1 : -1;
 876     int dy = FFABS(y1 - y0), sy = y0 < y1 ? 1 : -1;
 877     int err = (dx > dy ? dx : -dy) / 2, e2;
 878
 879     for (;;) {
 880         if (x0 >= 0 && y0 >= 0 && x0 < out->width && y0 < out->height) {
 881             FFDrawColor color = { { 0 } };
 882             int value[4] = { 0 };
 883
 884             s->pick_color(&s->draw, &color, out, x0, y0, value);
 885             s->values[s->nb_values].p[0] = value[0];
 886             s->values[s->nb_values].p[1] = value[1];
 887             s->values[s->nb_values].p[2] = value[2];
 888             s->values[s->nb_values].p[3] = value[3];
 889             s->nb_values++;
 890
 891             if (s->scope) {
 892                 if (s->draw.desc->comp[0].depth == 8) {
 893                     if (s->draw.nb_planes == 1) {
 894                         int i;
 895
 896                         for (i = 0; i < s->draw.pixelstep[0]; i++)
 897                             out->data[0][out->linesize[0] * y0 + x0 * s->draw.pixelstep[0] + i] = 255 * ((s->nb_values + state) & 1);
 898                     } else {
 899                         out->data[0][out->linesize[0] * y0 + x0] = 255 * ((s->nb_values + state) & 1);
 900                     }
 901                 } else {
 902                     if (s->draw.nb_planes == 1) {
 903                         int i;
 904
 905                         for (i = 0; i < s->draw.pixelstep[0]; i++)
 906                             AV_WN16(out->data[0] + out->linesize[0] * y0 + 2 * x0 * (s->draw.pixelstep[0] + i), (s->max - 1) * ((s->nb_values + state) & 1));
 907                     } else {
 908                         AV_WN16(out->data[0] + out->linesize[0] * y0 + 2 * x0, (s->max - 1) * ((s->nb_values + state) & 1));
 909                     }
 910                 }
 911             }
 912         }
 913
 914         if (x0 == x1 && y0 == y1)
 915             break;
 916
 917         e2 = err;
 918
 919         if (e2 >-dx) {
 920             err -= dy;
 921             x0 += sx;
 922         }
 923
 924         if (e2 < dy) {
 925             err += dx;
 926             y0 += sy;
 927         }
 928     }
 929 }
 930
 931 static int oscilloscope_filter_frame(AVFilterLink *inlink, AVFrame *frame)
 932 {
 933     AVFilterContext *ctx  = inlink->dst;
 934     OscilloscopeContext *s = ctx->priv;
 935     AVFilterLink *outlink = ctx->outputs[0];
 936     float average[4] = { 0 };
 937     int max[4] = { 0 };
 938     int min[4] = { INT_MAX, INT_MAX, INT_MAX, INT_MAX };
 939     int i, c;
 940
 941     s->nb_values = 0;
 942     draw_scope(s, s->x1, s->y1, s->x2, s->y2, frame, s->values, inlink->frame_count_in & 1);
 943     ff_blend_rectangle(&s->draw, &s->dark, frame->data, frame->linesize,
 944                        frame->width, frame->height,
 945                        s->ox, s->oy, s->width, s->height + 20 * s->statistics);
 946
 947     if (s->grid) {
 948         ff_fill_rectangle(&s->draw, &s->gray, frame->data, frame->linesize,
 949                           s->ox, s->oy, s->width - 1, 1);
 950
 951         for (i = 1; i < 5; i++) {
 952             ff_fill_rectangle(&s->draw, &s->gray, frame->data, frame->linesize,
 953                               s->ox, s->oy + i * (s->height - 1) / 4, s->width, 1);
 954         }
 955
 956         for (i = 0; i < 10; i++) {
 957             ff_fill_rectangle(&s->draw, &s->gray, frame->data, frame->linesize,
 958                               s->ox + i * (s->width - 1) / 10, s->oy, 1, s->height);
 959         }
 960
 961         ff_fill_rectangle(&s->draw, &s->gray, frame->data, frame->linesize,
 962                           s->ox + s->width - 1, s->oy, 1, s->height);
 963     }
 964
 965     s->draw_trace(s, frame);
 966
 967     for (i = 0; i < s->nb_values; i++) {
 968         for (c = 0; c < s->nb_comps; c++) {
 969             if ((1 << c) & s->components) {
 970                 max[c] = FFMAX(max[c], s->values[i].p[c]);
 971                 min[c] = FFMIN(min[c], s->values[i].p[c]);
 972                 average[c] += s->values[i].p[c];
 973             }
 974         }
 975     }
 976     for (c = 0; c < s->nb_comps; c++) {
 977         average[c] /= s->nb_values;
 978     }
 979
 980     if (s->statistics && s->height > 10 && s->width > 280 * av_popcount(s->components)) {
 981         for (c = 0, i = 0; c < s->nb_comps; c++) {
 982             if ((1 << c) & s->components) {
 983                 const char rgba[4] = { 'R', 'G', 'B', 'A' };
 984                 const char yuva[4] = { 'Y', 'U', 'V', 'A' };
 985                 char text[128];
 986
 987                 snprintf(text, sizeof(text), "%c avg:%.1f min:%d max:%d\n", s->is_rgb ? rgba[c] : yuva[c], average[s->rgba_map[c]], min[s->rgba_map[c]], max[s->rgba_map[c]]);
 988                 draw_text(&s->draw, frame, &s->white, s->ox +  2 + 280 * i++, s->oy + s->height + 4, text, 0);
 989             }
 990         }
 991     }
 992
 993     return ff_filter_frame(outlink, frame);
 994 }
 995
 996 static const AVFilterPad oscilloscope_inputs[] = {
 997     {
 998         .name           = "default",
 999         .type           = AVMEDIA_TYPE_VIDEO,
1000         .filter_frame   = oscilloscope_filter_frame,
1001         .config_props   = oscilloscope_config_input,
1002         .needs_writable = 1,
1003     },
1004     { NULL }
1005 };
1006
1007 static const AVFilterPad oscilloscope_outputs[] = {
1008     {
1009         .name         = "default",
1010         .type         = AVMEDIA_TYPE_VIDEO,
1011     },
1012     { NULL }
1013 };
1014
1015 AVFilter ff_vf_oscilloscope = {
1016     .name          = "oscilloscope",
1017     .description   = NULL_IF_CONFIG_SMALL("2D Video Oscilloscope."),
1018     .priv_size     = sizeof(OscilloscopeContext),
1019     .priv_class    = &oscilloscope_class,
1020     .query_formats = query_formats,
1021     .uninit        = oscilloscope_uninit,
1022     .inputs        = oscilloscope_inputs,
1023     .outputs       = oscilloscope_outputs,
1024 };