git.sesse.net Git - ffmpeg/blob - libavfilter/f_sidedata.c

   1 /*
   2  * This file is part of FFmpeg.
   3  *
   4  * FFmpeg is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Lesser General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2.1 of the License, or (at your option) any later version.
   8  *
   9  * FFmpeg is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Lesser General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Lesser General Public
  15  * License along with FFmpeg; if not, write to the Free Software
  16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  17  */
  18
  19 /**
  20  * @file
  21  * filter for manipulating frame side data
  22  */
  23
  24 #include "libavutil/avassert.h"
  25 #include "libavutil/internal.h"
  26 #include "libavutil/frame.h"
  27 #include "libavutil/opt.h"
  28 #include "avfilter.h"
  29 #include "formats.h"
  30 #include "internal.h"
  31
  32 enum SideDataMode {
  33     SIDEDATA_SELECT,
  34     SIDEDATA_DELETE,
  35     SIDEDATA_NB
  36 };
  37
  38 typedef struct SideDataContext {
  39     const AVClass *class;
  40
  41     int mode;
  42     int type;   // enum AVFrameSideDataType or -1 for delete side data mode
  43 } SideDataContext;
  44
  45 #define OFFSET(x) offsetof(SideDataContext, x)
  46 #if FF_API_FRAME_QP
  47 #define DEFINE_OPTIONS(filt_name, FLAGS) \
  48 static const AVOption filt_name##_options[] = { \
  49     { "mode", "set a mode of operation", OFFSET(mode),   AV_OPT_TYPE_INT,    {.i64 = 0 }, 0, SIDEDATA_NB-1, FLAGS, "mode" }, \
  50     {   "select", "select frame",        0,              AV_OPT_TYPE_CONST,  {.i64 = SIDEDATA_SELECT }, 0, 0, FLAGS, "mode" }, \
  51     {   "delete", "delete side data",    0,              AV_OPT_TYPE_CONST,  {.i64 = SIDEDATA_DELETE }, 0, 0, FLAGS, "mode" }, \
  52     { "type",   "set side data type",    OFFSET(type),   AV_OPT_TYPE_INT,    {.i64 = -1 }, -1, INT_MAX, FLAGS, "type" }, \
  53     {   "PANSCAN",                    "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_PANSCAN                    }, 0, 0, FLAGS, "type" }, \
  54     {   "A53_CC",                     "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_A53_CC                     }, 0, 0, FLAGS, "type" }, \
  55     {   "STEREO3D",                   "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_STEREO3D                   }, 0, 0, FLAGS, "type" }, \
  56     {   "MATRIXENCODING",             "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_MATRIXENCODING             }, 0, 0, FLAGS, "type" }, \
  57     {   "DOWNMIX_INFO",               "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_DOWNMIX_INFO               }, 0, 0, FLAGS, "type" }, \
  58     {   "REPLAYGAIN",                 "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_REPLAYGAIN                 }, 0, 0, FLAGS, "type" }, \
  59     {   "DISPLAYMATRIX",              "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_DISPLAYMATRIX              }, 0, 0, FLAGS, "type" }, \
  60     {   "AFD",                        "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_AFD                        }, 0, 0, FLAGS, "type" }, \
  61     {   "MOTION_VECTORS",             "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_MOTION_VECTORS             }, 0, 0, FLAGS, "type" }, \
  62     {   "SKIP_SAMPLES",               "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_SKIP_SAMPLES               }, 0, 0, FLAGS, "type" }, \
  63     {   "AUDIO_SERVICE_TYPE",         "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_AUDIO_SERVICE_TYPE         }, 0, 0, FLAGS, "type" }, \
  64     {   "MASTERING_DISPLAY_METADATA", "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_MASTERING_DISPLAY_METADATA }, 0, 0, FLAGS, "type" }, \
  65     {   "GOP_TIMECODE",               "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_GOP_TIMECODE               }, 0, 0, FLAGS, "type" }, \
  66     {   "SPHERICAL",                  "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_SPHERICAL                  }, 0, 0, FLAGS, "type" }, \
  67     {   "CONTENT_LIGHT_LEVEL",        "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_CONTENT_LIGHT_LEVEL        }, 0, 0, FLAGS, "type" }, \
  68     {   "ICC_PROFILE",                "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_ICC_PROFILE                }, 0, 0, FLAGS, "type" }, \
  69     {   "QP_TABLE_PROPERTIES",        "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_QP_TABLE_PROPERTIES        }, 0, 0, FLAGS, "type" }, \
  70     {   "QP_TABLE_DATA",              "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_QP_TABLE_DATA              }, 0, 0, FLAGS, "type" }, \
  71     {   "S12M_TIMECOD",               "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_S12M_TIMECODE              }, 0, 0, FLAGS, "type" }, \
  72     {   "DYNAMIC_HDR_PLUS",           "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_DYNAMIC_HDR_PLUS           }, 0, 0, FLAGS, "type" }, \
  73     {   "REGIONS_OF_INTEREST",        "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_REGIONS_OF_INTEREST        }, 0, 0, FLAGS, "type" }, \
  74     {   "DETECTION_BOUNDING_BOXES",   "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_DETECTION_BBOXES           }, 0, 0, FLAGS, "type" }, \
  75     {   "SEI_UNREGISTERED",           "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_SEI_UNREGISTERED           }, 0, 0, FLAGS, "type" }, \
  76     { NULL } \
  77 }
  78 #else
  79 #define DEFINE_OPTIONS(filt_name, FLAGS) \
  80 static const AVOption filt_name##_options[] = { \
  81     { "mode", "set a mode of operation", OFFSET(mode),   AV_OPT_TYPE_INT,    {.i64 = 0 }, 0, SIDEDATA_NB-1, FLAGS, "mode" }, \
  82     {   "select", "select frame",        0,              AV_OPT_TYPE_CONST,  {.i64 = SIDEDATA_SELECT }, 0, 0, FLAGS, "mode" }, \
  83     {   "delete", "delete side data",    0,              AV_OPT_TYPE_CONST,  {.i64 = SIDEDATA_DELETE }, 0, 0, FLAGS, "mode" }, \
  84     { "type",   "set side data type",    OFFSET(type),   AV_OPT_TYPE_INT,    {.i64 = -1 }, -1, INT_MAX, FLAGS, "type" }, \
  85     {   "PANSCAN",                    "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_PANSCAN                    }, 0, 0, FLAGS, "type" }, \
  86     {   "A53_CC",                     "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_A53_CC                     }, 0, 0, FLAGS, "type" }, \
  87     {   "STEREO3D",                   "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_STEREO3D                   }, 0, 0, FLAGS, "type" }, \
  88     {   "MATRIXENCODING",             "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_MATRIXENCODING             }, 0, 0, FLAGS, "type" }, \
  89     {   "DOWNMIX_INFO",               "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_DOWNMIX_INFO               }, 0, 0, FLAGS, "type" }, \
  90     {   "REPLAYGAIN",                 "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_REPLAYGAIN                 }, 0, 0, FLAGS, "type" }, \
  91     {   "DISPLAYMATRIX",              "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_DISPLAYMATRIX              }, 0, 0, FLAGS, "type" }, \
  92     {   "AFD",                        "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_AFD                        }, 0, 0, FLAGS, "type" }, \
  93     {   "MOTION_VECTORS",             "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_MOTION_VECTORS             }, 0, 0, FLAGS, "type" }, \
  94     {   "SKIP_SAMPLES",               "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_SKIP_SAMPLES               }, 0, 0, FLAGS, "type" }, \
  95     {   "AUDIO_SERVICE_TYPE",         "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_AUDIO_SERVICE_TYPE         }, 0, 0, FLAGS, "type" }, \
  96     {   "MASTERING_DISPLAY_METADATA", "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_MASTERING_DISPLAY_METADATA }, 0, 0, FLAGS, "type" }, \
  97     {   "GOP_TIMECODE",               "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_GOP_TIMECODE               }, 0, 0, FLAGS, "type" }, \
  98     {   "SPHERICAL",                  "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_SPHERICAL                  }, 0, 0, FLAGS, "type" }, \
  99     {   "CONTENT_LIGHT_LEVEL",        "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_CONTENT_LIGHT_LEVEL        }, 0, 0, FLAGS, "type" }, \
 100     {   "ICC_PROFILE",                "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_ICC_PROFILE                }, 0, 0, FLAGS, "type" }, \
 101     {   "S12M_TIMECOD",               "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_S12M_TIMECODE              }, 0, 0, FLAGS, "type" }, \
 102     {   "DYNAMIC_HDR_PLUS",           "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_DYNAMIC_HDR_PLUS           }, 0, 0, FLAGS, "type" }, \
 103     {   "REGIONS_OF_INTEREST",        "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_REGIONS_OF_INTEREST        }, 0, 0, FLAGS, "type" }, \
 104     {   "DETECTION_BOUNDING_BOXES",   "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_DETECTION_BBOXES           }, 0, 0, FLAGS, "type" }, \
 105     {   "SEI_UNREGISTERED",           "", 0,             AV_OPT_TYPE_CONST,  {.i64 = AV_FRAME_DATA_SEI_UNREGISTERED           }, 0, 0, FLAGS, "type" }, \
 106     { NULL } \
 107 }
 108 #endif
 109
 110 static av_cold int init(AVFilterContext *ctx)
 111 {
 112     SideDataContext *s = ctx->priv;
 113
 114     if (s->type == -1 && s->mode != SIDEDATA_DELETE) {
 115         av_log(ctx, AV_LOG_ERROR, "Side data type must be set\n");
 116         return AVERROR(EINVAL);
 117     }
 118
 119     return 0;
 120 }
 121
 122 static int filter_frame(AVFilterLink *inlink, AVFrame *frame)
 123 {
 124     AVFilterContext *ctx = inlink->dst;
 125     AVFilterLink *outlink = ctx->outputs[0];
 126     SideDataContext *s = ctx->priv;
 127     AVFrameSideData *sd = NULL;
 128
 129     if (s->type != -1)
 130        sd = av_frame_get_side_data(frame, s->type);
 131
 132     switch (s->mode) {
 133     case SIDEDATA_SELECT:
 134         if (sd) {
 135             return ff_filter_frame(outlink, frame);
 136         }
 137         break;
 138     case SIDEDATA_DELETE:
 139         if (s->type == -1) {
 140             while (frame->nb_side_data)
 141                 av_frame_remove_side_data(frame, frame->side_data[0]->type);
 142         } else if (sd) {
 143             av_frame_remove_side_data(frame, s->type);
 144         }
 145         return ff_filter_frame(outlink, frame);
 146         break;
 147     default:
 148         av_assert0(0);
 149     };
 150
 151     av_frame_free(&frame);
 152
 153     return 0;
 154 }
 155
 156 #if CONFIG_ASIDEDATA_FILTER
 157
 158 DEFINE_OPTIONS(asidedata, AV_OPT_FLAG_AUDIO_PARAM|AV_OPT_FLAG_FILTERING_PARAM);
 159 AVFILTER_DEFINE_CLASS(asidedata);
 160
 161 static const AVFilterPad ainputs[] = {
 162     {
 163         .name         = "default",
 164         .type         = AVMEDIA_TYPE_AUDIO,
 165         .filter_frame = filter_frame,
 166     },
 167     { NULL }
 168 };
 169
 170 static const AVFilterPad aoutputs[] = {
 171     {
 172         .name = "default",
 173         .type = AVMEDIA_TYPE_AUDIO,
 174     },
 175     { NULL }
 176 };
 177
 178 AVFilter ff_af_asidedata = {
 179     .name          = "asidedata",
 180     .description   = NULL_IF_CONFIG_SMALL("Manipulate audio frame side data."),
 181     .priv_size     = sizeof(SideDataContext),
 182     .priv_class    = &asidedata_class,
 183     .init          = init,
 184     .inputs        = ainputs,
 185     .outputs       = aoutputs,
 186     .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC,
 187 };
 188 #endif /* CONFIG_ASIDEDATA_FILTER */
 189
 190 #if CONFIG_SIDEDATA_FILTER
 191
 192 DEFINE_OPTIONS(sidedata, AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_FILTERING_PARAM);
 193 AVFILTER_DEFINE_CLASS(sidedata);
 194
 195 static const AVFilterPad inputs[] = {
 196     {
 197         .name         = "default",
 198         .type         = AVMEDIA_TYPE_VIDEO,
 199         .filter_frame = filter_frame,
 200     },
 201     { NULL }
 202 };
 203
 204 static const AVFilterPad outputs[] = {
 205     {
 206         .name = "default",
 207         .type = AVMEDIA_TYPE_VIDEO,
 208     },
 209     { NULL }
 210 };
 211
 212 AVFilter ff_vf_sidedata = {
 213     .name        = "sidedata",
 214     .description = NULL_IF_CONFIG_SMALL("Manipulate video frame side data."),
 215     .priv_size   = sizeof(SideDataContext),
 216     .priv_class  = &sidedata_class,
 217     .init        = init,
 218     .inputs      = inputs,
 219     .outputs     = outputs,
 220     .flags       = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC,
 221 };
 222 #endif /* CONFIG_SIDEDATA_FILTER */