git.sesse.net Git - ffmpeg/blob - libavfilter/vf_showinfo.c

   1 /*
   2  * Copyright (c) 2011 Stefano Sabatini
   3  * This file is part of FFmpeg.
   4  *
   5  * FFmpeg is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU Lesser General Public
   7  * License as published by the Free Software Foundation; either
   8  * version 2.1 of the License, or (at your option) any later version.
   9  *
  10  * FFmpeg is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * Lesser General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU Lesser General Public
  16  * License along with FFmpeg; if not, write to the Free Software
  17  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  18  */
  19
  20 /**
  21  * @file
  22  * filter for showing textual video frame information
  23  */
  24
  25 #include <inttypes.h>
  26
  27 #include "libavutil/bswap.h"
  28 #include "libavutil/adler32.h"
  29 #include "libavutil/display.h"
  30 #include "libavutil/imgutils.h"
  31 #include "libavutil/internal.h"
  32 #include "libavutil/opt.h"
  33 #include "libavutil/pixdesc.h"
  34 #include "libavutil/spherical.h"
  35 #include "libavutil/stereo3d.h"
  36 #include "libavutil/timestamp.h"
  37 #include "libavutil/timecode.h"
  38 #include "libavutil/mastering_display_metadata.h"
  39 #include "libavutil/video_enc_params.h"
  40
  41 #include "avfilter.h"
  42 #include "internal.h"
  43 #include "video.h"
  44
  45 typedef struct ShowInfoContext {
  46     const AVClass *class;
  47     int calculate_checksums;
  48 } ShowInfoContext;
  49
  50 #define OFFSET(x) offsetof(ShowInfoContext, x)
  51 #define VF AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_FILTERING_PARAM
  52
  53 static const AVOption showinfo_options[] = {
  54     { "checksum", "calculate checksums", OFFSET(calculate_checksums), AV_OPT_TYPE_BOOL, {.i64=1}, 0, 1, VF },
  55     { NULL }
  56 };
  57
  58 AVFILTER_DEFINE_CLASS(showinfo);
  59
  60 static void dump_spherical(AVFilterContext *ctx, AVFrame *frame, AVFrameSideData *sd)
  61 {
  62     AVSphericalMapping *spherical = (AVSphericalMapping *)sd->data;
  63     double yaw, pitch, roll;
  64
  65     av_log(ctx, AV_LOG_INFO, "spherical information: ");
  66     if (sd->size < sizeof(*spherical)) {
  67         av_log(ctx, AV_LOG_ERROR, "invalid data\n");
  68         return;
  69     }
  70
  71     if (spherical->projection == AV_SPHERICAL_EQUIRECTANGULAR)
  72         av_log(ctx, AV_LOG_INFO, "equirectangular ");
  73     else if (spherical->projection == AV_SPHERICAL_CUBEMAP)
  74         av_log(ctx, AV_LOG_INFO, "cubemap ");
  75     else if (spherical->projection == AV_SPHERICAL_EQUIRECTANGULAR_TILE)
  76         av_log(ctx, AV_LOG_INFO, "tiled equirectangular ");
  77     else {
  78         av_log(ctx, AV_LOG_WARNING, "unknown\n");
  79         return;
  80     }
  81
  82     yaw = ((double)spherical->yaw) / (1 << 16);
  83     pitch = ((double)spherical->pitch) / (1 << 16);
  84     roll = ((double)spherical->roll) / (1 << 16);
  85     av_log(ctx, AV_LOG_INFO, "(%f/%f/%f) ", yaw, pitch, roll);
  86
  87     if (spherical->projection == AV_SPHERICAL_EQUIRECTANGULAR_TILE) {
  88         size_t l, t, r, b;
  89         av_spherical_tile_bounds(spherical, frame->width, frame->height,
  90                                  &l, &t, &r, &b);
  91         av_log(ctx, AV_LOG_INFO,
  92                "[%"SIZE_SPECIFIER", %"SIZE_SPECIFIER", %"SIZE_SPECIFIER", %"SIZE_SPECIFIER"] ",
  93                l, t, r, b);
  94     } else if (spherical->projection == AV_SPHERICAL_CUBEMAP) {
  95         av_log(ctx, AV_LOG_INFO, "[pad %"PRIu32"] ", spherical->padding);
  96     }
  97 }
  98
  99 static void dump_stereo3d(AVFilterContext *ctx, AVFrameSideData *sd)
 100 {
 101     AVStereo3D *stereo;
 102
 103     av_log(ctx, AV_LOG_INFO, "stereoscopic information: ");
 104     if (sd->size < sizeof(*stereo)) {
 105         av_log(ctx, AV_LOG_ERROR, "invalid data\n");
 106         return;
 107     }
 108
 109     stereo = (AVStereo3D *)sd->data;
 110
 111     av_log(ctx, AV_LOG_INFO, "type - %s", av_stereo3d_type_name(stereo->type));
 112
 113     if (stereo->flags & AV_STEREO3D_FLAG_INVERT)
 114         av_log(ctx, AV_LOG_INFO, " (inverted)");
 115 }
 116
 117 static void dump_roi(AVFilterContext *ctx, AVFrameSideData *sd)
 118 {
 119     int nb_rois;
 120     const AVRegionOfInterest *roi;
 121     uint32_t roi_size;
 122
 123     roi = (const AVRegionOfInterest *)sd->data;
 124     roi_size = roi->self_size;
 125     if (!roi_size || sd->size % roi_size != 0) {
 126         av_log(ctx, AV_LOG_ERROR, "Invalid AVRegionOfInterest.self_size.\n");
 127         return;
 128     }
 129     nb_rois = sd->size / roi_size;
 130
 131     av_log(ctx, AV_LOG_INFO, "Regions Of Interest(RoI) information: ");
 132     for (int i = 0; i < nb_rois; i++) {
 133         roi = (const AVRegionOfInterest *)(sd->data + roi_size * i);
 134         av_log(ctx, AV_LOG_INFO, "index: %d, region: (%d, %d)/(%d, %d), qp offset: %d/%d.\n",
 135                i, roi->left, roi->top, roi->right, roi->bottom, roi->qoffset.num, roi->qoffset.den);
 136     }
 137 }
 138
 139 static void dump_mastering_display(AVFilterContext *ctx, AVFrameSideData *sd)
 140 {
 141     AVMasteringDisplayMetadata *mastering_display;
 142
 143     av_log(ctx, AV_LOG_INFO, "mastering display: ");
 144     if (sd->size < sizeof(*mastering_display)) {
 145         av_log(ctx, AV_LOG_ERROR, "invalid data\n");
 146         return;
 147     }
 148
 149     mastering_display = (AVMasteringDisplayMetadata *)sd->data;
 150
 151     av_log(ctx, AV_LOG_INFO, "has_primaries:%d has_luminance:%d "
 152            "r(%5.4f,%5.4f) g(%5.4f,%5.4f) b(%5.4f %5.4f) wp(%5.4f, %5.4f) "
 153            "min_luminance=%f, max_luminance=%f",
 154            mastering_display->has_primaries, mastering_display->has_luminance,
 155            av_q2d(mastering_display->display_primaries[0][0]),
 156            av_q2d(mastering_display->display_primaries[0][1]),
 157            av_q2d(mastering_display->display_primaries[1][0]),
 158            av_q2d(mastering_display->display_primaries[1][1]),
 159            av_q2d(mastering_display->display_primaries[2][0]),
 160            av_q2d(mastering_display->display_primaries[2][1]),
 161            av_q2d(mastering_display->white_point[0]), av_q2d(mastering_display->white_point[1]),
 162            av_q2d(mastering_display->min_luminance), av_q2d(mastering_display->max_luminance));
 163 }
 164
 165 static void dump_content_light_metadata(AVFilterContext *ctx, AVFrameSideData *sd)
 166 {
 167     AVContentLightMetadata* metadata = (AVContentLightMetadata*)sd->data;
 168
 169     av_log(ctx, AV_LOG_INFO, "Content Light Level information: "
 170            "MaxCLL=%d, MaxFALL=%d",
 171            metadata->MaxCLL, metadata->MaxFALL);
 172 }
 173
 174 static void dump_video_enc_params(AVFilterContext *ctx, AVFrameSideData *sd)
 175 {
 176     AVVideoEncParams *par = (AVVideoEncParams*)sd->data;
 177     int plane, acdc;
 178
 179     av_log(ctx, AV_LOG_INFO, "video encoding parameters: type %d; ", par->type);
 180     if (par->qp)
 181         av_log(ctx, AV_LOG_INFO, "qp=%d; ", par->qp);
 182     for (plane = 0; plane < FF_ARRAY_ELEMS(par->delta_qp); plane++)
 183         for (acdc = 0; acdc < FF_ARRAY_ELEMS(par->delta_qp[plane]); acdc++) {
 184             int delta_qp = par->delta_qp[plane][acdc];
 185             if (delta_qp)
 186                 av_log(ctx, AV_LOG_INFO, "delta_qp[%d][%d]=%d; ",
 187                        plane, acdc, delta_qp);
 188         }
 189     if (par->nb_blocks)
 190         av_log(ctx, AV_LOG_INFO, "%u blocks; ", par->nb_blocks);
 191 }
 192
 193 static void dump_sei_unregistered_metadata(AVFilterContext *ctx, AVFrameSideData *sd)
 194 {
 195     const int uuid_size = 16;
 196     uint8_t *user_data = sd->data;
 197     int i;
 198
 199     if (sd->size < uuid_size) {
 200         av_log(ctx, AV_LOG_ERROR, "invalid data(%d < UUID(%d-bytes))\n", sd->size, uuid_size);
 201         return;
 202     }
 203
 204     av_log(ctx, AV_LOG_INFO, "User Data Unregistered:\n");
 205     av_log(ctx, AV_LOG_INFO, "UUID=");
 206     for (i = 0; i < uuid_size; i++) {
 207         av_log(ctx, AV_LOG_INFO, "%02x", user_data[i]);
 208         if (i == 3 || i == 5 || i == 7 || i == 9)
 209             av_log(ctx, AV_LOG_INFO, "-");
 210     }
 211     av_log(ctx, AV_LOG_INFO, "\n");
 212
 213     av_log(ctx, AV_LOG_INFO, "User Data=");
 214     for (; i < sd->size; i++) {
 215         av_log(ctx, AV_LOG_INFO, "%02x", user_data[i]);
 216     }
 217     av_log(ctx, AV_LOG_INFO, "\n");
 218 }
 219
 220 static void dump_color_property(AVFilterContext *ctx, AVFrame *frame)
 221 {
 222     const char *color_range_str     = av_color_range_name(frame->color_range);
 223     const char *colorspace_str      = av_color_space_name(frame->colorspace);
 224     const char *color_primaries_str = av_color_primaries_name(frame->color_primaries);
 225     const char *color_trc_str       = av_color_transfer_name(frame->color_trc);
 226
 227     if (!color_range_str || frame->color_range == AVCOL_RANGE_UNSPECIFIED) {
 228         av_log(ctx, AV_LOG_INFO, "color_range:unknown");
 229     } else {
 230         av_log(ctx, AV_LOG_INFO, "color_range:%s", color_range_str);
 231     }
 232
 233     if (!colorspace_str || frame->colorspace == AVCOL_SPC_UNSPECIFIED) {
 234         av_log(ctx, AV_LOG_INFO, " color_space:unknown");
 235     } else {
 236         av_log(ctx, AV_LOG_INFO, " color_space:%s", colorspace_str);
 237     }
 238
 239     if (!color_primaries_str || frame->color_primaries == AVCOL_PRI_UNSPECIFIED) {
 240         av_log(ctx, AV_LOG_INFO, " color_primaries:unknown");
 241     } else {
 242         av_log(ctx, AV_LOG_INFO, " color_primaries:%s", color_primaries_str);
 243     }
 244
 245     if (!color_trc_str || frame->color_trc == AVCOL_TRC_UNSPECIFIED) {
 246         av_log(ctx, AV_LOG_INFO, " color_trc:unknown");
 247     } else {
 248         av_log(ctx, AV_LOG_INFO, " color_trc:%s", color_trc_str);
 249     }
 250     av_log(ctx, AV_LOG_INFO, "\n");
 251 }
 252
 253 static void update_sample_stats_8(const uint8_t *src, int len, int64_t *sum, int64_t *sum2)
 254 {
 255     int i;
 256
 257     for (i = 0; i < len; i++) {
 258         *sum += src[i];
 259         *sum2 += src[i] * src[i];
 260     }
 261 }
 262
 263 static void update_sample_stats_16(int be, const uint8_t *src, int len, int64_t *sum, int64_t *sum2)
 264 {
 265     const uint16_t *src1 = (const uint16_t *)src;
 266     int i;
 267
 268     for (i = 0; i < len / 2; i++) {
 269         if ((HAVE_BIGENDIAN && !be) || (!HAVE_BIGENDIAN && be)) {
 270             *sum += av_bswap16(src1[i]);
 271             *sum2 += (uint32_t)av_bswap16(src1[i]) * (uint32_t)av_bswap16(src1[i]);
 272         } else {
 273             *sum += src1[i];
 274             *sum2 += (uint32_t)src1[i] * (uint32_t)src1[i];
 275         }
 276     }
 277 }
 278
 279 static void update_sample_stats(int depth, int be, const uint8_t *src, int len, int64_t *sum, int64_t *sum2)
 280 {
 281     if (depth <= 8)
 282         update_sample_stats_8(src, len, sum, sum2);
 283     else
 284         update_sample_stats_16(be, src, len, sum, sum2);
 285 }
 286
 287 static int filter_frame(AVFilterLink *inlink, AVFrame *frame)
 288 {
 289     AVFilterContext *ctx = inlink->dst;
 290     ShowInfoContext *s = ctx->priv;
 291     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 292     uint32_t plane_checksum[4] = {0}, checksum = 0;
 293     int64_t sum[4] = {0}, sum2[4] = {0};
 294     int32_t pixelcount[4] = {0};
 295     int bitdepth = desc->comp[0].depth;
 296     int be = desc->flags & AV_PIX_FMT_FLAG_BE;
 297     int i, plane, vsub = desc->log2_chroma_h;
 298
 299     for (plane = 0; plane < 4 && s->calculate_checksums && frame->data[plane] && frame->linesize[plane]; plane++) {
 300         uint8_t *data = frame->data[plane];
 301         int h = plane == 1 || plane == 2 ? AV_CEIL_RSHIFT(inlink->h, vsub) : inlink->h;
 302         int linesize = av_image_get_linesize(frame->format, frame->width, plane);
 303         int width = linesize >> (bitdepth > 8);
 304
 305         if (linesize < 0)
 306             return linesize;
 307
 308         for (i = 0; i < h; i++) {
 309             plane_checksum[plane] = av_adler32_update(plane_checksum[plane], data, linesize);
 310             checksum = av_adler32_update(checksum, data, linesize);
 311
 312             update_sample_stats(bitdepth, be, data, linesize, sum+plane, sum2+plane);
 313             pixelcount[plane] += width;
 314             data += frame->linesize[plane];
 315         }
 316     }
 317
 318     av_log(ctx, AV_LOG_INFO,
 319            "n:%4"PRId64" pts:%7s pts_time:%-7s pos:%9"PRId64" "
 320            "fmt:%s sar:%d/%d s:%dx%d i:%c iskey:%d type:%c ",
 321            inlink->frame_count_out,
 322            av_ts2str(frame->pts), av_ts2timestr(frame->pts, &inlink->time_base), frame->pkt_pos,
 323            desc->name,
 324            frame->sample_aspect_ratio.num, frame->sample_aspect_ratio.den,
 325            frame->width, frame->height,
 326            !frame->interlaced_frame ? 'P' :         /* Progressive  */
 327            frame->top_field_first   ? 'T' : 'B',    /* Top / Bottom */
 328            frame->key_frame,
 329            av_get_picture_type_char(frame->pict_type));
 330
 331     if (s->calculate_checksums) {
 332         av_log(ctx, AV_LOG_INFO,
 333                "checksum:%08"PRIX32" plane_checksum:[%08"PRIX32,
 334                checksum, plane_checksum[0]);
 335
 336         for (plane = 1; plane < 4 && frame->data[plane] && frame->linesize[plane]; plane++)
 337             av_log(ctx, AV_LOG_INFO, " %08"PRIX32, plane_checksum[plane]);
 338         av_log(ctx, AV_LOG_INFO, "] mean:[");
 339         for (plane = 0; plane < 4 && frame->data[plane] && frame->linesize[plane]; plane++)
 340             av_log(ctx, AV_LOG_INFO, "%"PRId64" ", (sum[plane] + pixelcount[plane]/2) / pixelcount[plane]);
 341         av_log(ctx, AV_LOG_INFO, "\b] stdev:[");
 342         for (plane = 0; plane < 4 && frame->data[plane] && frame->linesize[plane]; plane++)
 343             av_log(ctx, AV_LOG_INFO, "%3.1f ",
 344                    sqrt((sum2[plane] - sum[plane]*(double)sum[plane]/pixelcount[plane])/pixelcount[plane]));
 345         av_log(ctx, AV_LOG_INFO, "\b]");
 346     }
 347     av_log(ctx, AV_LOG_INFO, "\n");
 348
 349     for (i = 0; i < frame->nb_side_data; i++) {
 350         AVFrameSideData *sd = frame->side_data[i];
 351
 352         av_log(ctx, AV_LOG_INFO, "  side data - ");
 353         switch (sd->type) {
 354         case AV_FRAME_DATA_PANSCAN:
 355             av_log(ctx, AV_LOG_INFO, "pan/scan");
 356             break;
 357         case AV_FRAME_DATA_A53_CC:
 358             av_log(ctx, AV_LOG_INFO, "A/53 closed captions (%d bytes)", sd->size);
 359             break;
 360         case AV_FRAME_DATA_SPHERICAL:
 361             dump_spherical(ctx, frame, sd);
 362             break;
 363         case AV_FRAME_DATA_STEREO3D:
 364             dump_stereo3d(ctx, sd);
 365             break;
 366         case AV_FRAME_DATA_S12M_TIMECODE: {
 367             uint32_t *tc = (uint32_t*)sd->data;
 368             int m = FFMIN(tc[0],3);
 369             if (sd->size != 16) {
 370                 av_log(ctx, AV_LOG_ERROR, "invalid data\n");
 371                 break;
 372             }
 373             for (int j = 1; j <= m; j++) {
 374                 char tcbuf[AV_TIMECODE_STR_SIZE];
 375                 av_timecode_make_smpte_tc_string(tcbuf, tc[j], 0);
 376                 av_log(ctx, AV_LOG_INFO, "timecode - %s%s", tcbuf, j != m ? ", " : "");
 377             }
 378             break;
 379         }
 380         case AV_FRAME_DATA_DISPLAYMATRIX:
 381             av_log(ctx, AV_LOG_INFO, "displaymatrix: rotation of %.2f degrees",
 382                    av_display_rotation_get((int32_t *)sd->data));
 383             break;
 384         case AV_FRAME_DATA_AFD:
 385             av_log(ctx, AV_LOG_INFO, "afd: value of %"PRIu8, sd->data[0]);
 386             break;
 387         case AV_FRAME_DATA_REGIONS_OF_INTEREST:
 388             dump_roi(ctx, sd);
 389             break;
 390         case AV_FRAME_DATA_MASTERING_DISPLAY_METADATA:
 391             dump_mastering_display(ctx, sd);
 392             break;
 393         case AV_FRAME_DATA_CONTENT_LIGHT_LEVEL:
 394             dump_content_light_metadata(ctx, sd);
 395             break;
 396         case AV_FRAME_DATA_GOP_TIMECODE: {
 397             char tcbuf[AV_TIMECODE_STR_SIZE];
 398             av_timecode_make_mpeg_tc_string(tcbuf, *(int64_t *)(sd->data));
 399             av_log(ctx, AV_LOG_INFO, "GOP timecode - %s", tcbuf);
 400             break;
 401         }
 402         case AV_FRAME_DATA_VIDEO_ENC_PARAMS:
 403             dump_video_enc_params(ctx, sd);
 404             break;
 405         case AV_FRAME_DATA_SEI_UNREGISTERED:
 406             dump_sei_unregistered_metadata(ctx, sd);
 407             break;
 408         default:
 409             av_log(ctx, AV_LOG_WARNING, "unknown side data type %d (%d bytes)\n",
 410                    sd->type, sd->size);
 411             break;
 412         }
 413
 414         av_log(ctx, AV_LOG_INFO, "\n");
 415     }
 416
 417     dump_color_property(ctx, frame);
 418
 419     return ff_filter_frame(inlink->dst->outputs[0], frame);
 420 }
 421
 422 static int config_props(AVFilterContext *ctx, AVFilterLink *link, int is_out)
 423 {
 424
 425     av_log(ctx, AV_LOG_INFO, "config %s time_base: %d/%d, frame_rate: %d/%d\n",
 426            is_out ? "out" : "in",
 427            link->time_base.num, link->time_base.den,
 428            link->frame_rate.num, link->frame_rate.den);
 429
 430     return 0;
 431 }
 432
 433 static int config_props_in(AVFilterLink *link)
 434 {
 435     AVFilterContext *ctx = link->dst;
 436     return config_props(ctx, link, 0);
 437 }
 438
 439 static int config_props_out(AVFilterLink *link)
 440 {
 441     AVFilterContext *ctx = link->src;
 442     return config_props(ctx, link, 1);
 443 }
 444
 445 static const AVFilterPad avfilter_vf_showinfo_inputs[] = {
 446     {
 447         .name             = "default",
 448         .type             = AVMEDIA_TYPE_VIDEO,
 449         .filter_frame     = filter_frame,
 450         .config_props     = config_props_in,
 451     },
 452     { NULL }
 453 };
 454
 455 static const AVFilterPad avfilter_vf_showinfo_outputs[] = {
 456     {
 457         .name = "default",
 458         .type = AVMEDIA_TYPE_VIDEO,
 459         .config_props  = config_props_out,
 460     },
 461     { NULL }
 462 };
 463
 464 AVFilter ff_vf_showinfo = {
 465     .name        = "showinfo",
 466     .description = NULL_IF_CONFIG_SMALL("Show textual information for each video frame."),
 467     .inputs      = avfilter_vf_showinfo_inputs,
 468     .outputs     = avfilter_vf_showinfo_outputs,
 469     .priv_size   = sizeof(ShowInfoContext),
 470     .priv_class  = &showinfo_class,
 471 };