git.sesse.net Git - ffmpeg/blob - libavfilter/vf_hwupload.c

   1 /*
   2  * This file is part of FFmpeg.
   3  *
   4  * FFmpeg is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Lesser General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2.1 of the License, or (at your option) any later version.
   8  *
   9  * FFmpeg is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Lesser General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Lesser General Public
  15  * License along with FFmpeg; if not, write to the Free Software
  16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  17  */
  18
  19 #include "libavutil/buffer.h"
  20 #include "libavutil/hwcontext.h"
  21 #include "libavutil/hwcontext_internal.h"
  22 #include "libavutil/log.h"
  23 #include "libavutil/pixdesc.h"
  24 #include "libavutil/opt.h"
  25
  26 #include "avfilter.h"
  27 #include "formats.h"
  28 #include "internal.h"
  29 #include "video.h"
  30
  31 typedef struct HWUploadContext {
  32     const AVClass *class;
  33
  34     AVBufferRef       *hwdevice_ref;
  35     AVHWDeviceContext *hwdevice;
  36
  37     AVBufferRef       *hwframes_ref;
  38     AVHWFramesContext *hwframes;
  39 } HWUploadContext;
  40
  41 static int hwupload_query_formats(AVFilterContext *avctx)
  42 {
  43     HWUploadContext *ctx = avctx->priv;
  44     AVHWFramesConstraints *constraints = NULL;
  45     const enum AVPixelFormat *input_pix_fmts, *output_pix_fmts;
  46     AVFilterFormats *input_formats = NULL;
  47     int err, i;
  48
  49     if (!avctx->hw_device_ctx) {
  50         av_log(ctx, AV_LOG_ERROR, "A hardware device reference is required "
  51                "to upload frames to.\n");
  52         return AVERROR(EINVAL);
  53     }
  54
  55     ctx->hwdevice_ref = av_buffer_ref(avctx->hw_device_ctx);
  56     if (!ctx->hwdevice_ref)
  57         return AVERROR(ENOMEM);
  58     ctx->hwdevice = (AVHWDeviceContext*)ctx->hwdevice_ref->data;
  59
  60     constraints = av_hwdevice_get_hwframe_constraints(ctx->hwdevice_ref, NULL);
  61     if (!constraints) {
  62         err = AVERROR(EINVAL);
  63         goto fail;
  64     }
  65
  66     input_pix_fmts  = constraints->valid_sw_formats;
  67     output_pix_fmts = constraints->valid_hw_formats;
  68
  69     input_formats = ff_make_format_list(output_pix_fmts);
  70     if (!input_formats) {
  71         err = AVERROR(ENOMEM);
  72         goto fail;
  73     }
  74     if (input_pix_fmts) {
  75         for (i = 0; input_pix_fmts[i] != AV_PIX_FMT_NONE; i++) {
  76             err = ff_add_format(&input_formats, input_pix_fmts[i]);
  77             if (err < 0)
  78                 goto fail;
  79         }
  80     }
  81
  82     if ((err = ff_formats_ref(input_formats, &avctx->inputs[0]->out_formats)) < 0 ||
  83         (err = ff_formats_ref(ff_make_format_list(output_pix_fmts),
  84                               &avctx->outputs[0]->in_formats)) < 0)
  85         goto fail;
  86
  87     av_hwframe_constraints_free(&constraints);
  88     return 0;
  89
  90 fail:
  91     av_buffer_unref(&ctx->hwdevice_ref);
  92     av_hwframe_constraints_free(&constraints);
  93     return err;
  94 }
  95
  96 static int hwupload_config_output(AVFilterLink *outlink)
  97 {
  98     AVFilterContext *avctx = outlink->src;
  99     AVFilterLink   *inlink = avctx->inputs[0];
 100     HWUploadContext   *ctx = avctx->priv;
 101     int err;
 102
 103     av_buffer_unref(&ctx->hwframes_ref);
 104
 105     if (inlink->format == outlink->format) {
 106         // The input is already a hardware format, so we just want to
 107         // pass through the input frames in their own hardware context.
 108         if (!inlink->hw_frames_ctx) {
 109             av_log(ctx, AV_LOG_ERROR, "No input hwframe context.\n");
 110             return AVERROR(EINVAL);
 111         }
 112
 113         outlink->hw_frames_ctx = av_buffer_ref(inlink->hw_frames_ctx);
 114         if (!outlink->hw_frames_ctx)
 115             return AVERROR(ENOMEM);
 116
 117         return 0;
 118     }
 119
 120     ctx->hwframes_ref = av_hwframe_ctx_alloc(ctx->hwdevice_ref);
 121     if (!ctx->hwframes_ref)
 122         return AVERROR(ENOMEM);
 123
 124     ctx->hwframes = (AVHWFramesContext*)ctx->hwframes_ref->data;
 125
 126     av_log(ctx, AV_LOG_DEBUG, "Surface format is %s.\n",
 127            av_get_pix_fmt_name(inlink->format));
 128
 129     ctx->hwframes->format    = outlink->format;
 130     ctx->hwframes->sw_format = inlink->format;
 131     ctx->hwframes->width     = inlink->w;
 132     ctx->hwframes->height    = inlink->h;
 133
 134     if (avctx->extra_hw_frames >= 0)
 135         ctx->hwframes->initial_pool_size = 2 + avctx->extra_hw_frames;
 136
 137     err = av_hwframe_ctx_init(ctx->hwframes_ref);
 138     if (err < 0)
 139         goto fail;
 140
 141     outlink->hw_frames_ctx = av_buffer_ref(ctx->hwframes_ref);
 142     if (!outlink->hw_frames_ctx) {
 143         err = AVERROR(ENOMEM);
 144         goto fail;
 145     }
 146
 147     return 0;
 148
 149 fail:
 150     av_buffer_unref(&ctx->hwframes_ref);
 151     return err;
 152 }
 153
 154 static int hwupload_filter_frame(AVFilterLink *link, AVFrame *input)
 155 {
 156     AVFilterContext *avctx = link->dst;
 157     AVFilterLink  *outlink = avctx->outputs[0];
 158     HWUploadContext   *ctx = avctx->priv;
 159     AVFrame *output = NULL;
 160     int err;
 161
 162     if (input->format == outlink->format)
 163         return ff_filter_frame(outlink, input);
 164
 165     output = ff_get_video_buffer(outlink, outlink->w, outlink->h);
 166     if (!output) {
 167         av_log(ctx, AV_LOG_ERROR, "Failed to allocate frame to upload to.\n");
 168         err = AVERROR(ENOMEM);
 169         goto fail;
 170     }
 171
 172     output->width  = input->width;
 173     output->height = input->height;
 174
 175     err = av_hwframe_transfer_data(output, input, 0);
 176     if (err < 0) {
 177         av_log(ctx, AV_LOG_ERROR, "Failed to upload frame: %d.\n", err);
 178         goto fail;
 179     }
 180
 181     err = av_frame_copy_props(output, input);
 182     if (err < 0)
 183         goto fail;
 184
 185     av_frame_free(&input);
 186
 187     return ff_filter_frame(outlink, output);
 188
 189 fail:
 190     av_frame_free(&input);
 191     av_frame_free(&output);
 192     return err;
 193 }
 194
 195 static av_cold void hwupload_uninit(AVFilterContext *avctx)
 196 {
 197     HWUploadContext *ctx = avctx->priv;
 198
 199     av_buffer_unref(&ctx->hwframes_ref);
 200     av_buffer_unref(&ctx->hwdevice_ref);
 201 }
 202
 203 static const AVClass hwupload_class = {
 204     .class_name = "hwupload",
 205     .item_name  = av_default_item_name,
 206     .option     = NULL,
 207     .version    = LIBAVUTIL_VERSION_INT,
 208 };
 209
 210 static const AVFilterPad hwupload_inputs[] = {
 211     {
 212         .name         = "default",
 213         .type         = AVMEDIA_TYPE_VIDEO,
 214         .filter_frame = hwupload_filter_frame,
 215     },
 216     { NULL }
 217 };
 218
 219 static const AVFilterPad hwupload_outputs[] = {
 220     {
 221         .name         = "default",
 222         .type         = AVMEDIA_TYPE_VIDEO,
 223         .config_props = hwupload_config_output,
 224     },
 225     { NULL }
 226 };
 227
 228 AVFilter ff_vf_hwupload = {
 229     .name          = "hwupload",
 230     .description   = NULL_IF_CONFIG_SMALL("Upload a normal frame to a hardware frame"),
 231     .uninit        = hwupload_uninit,
 232     .query_formats = hwupload_query_formats,
 233     .priv_size     = sizeof(HWUploadContext),
 234     .priv_class    = &hwupload_class,
 235     .inputs        = hwupload_inputs,
 236     .outputs       = hwupload_outputs,
 237     .flags_internal = FF_FILTER_FLAG_HWFRAME_AWARE,
 238 };