git.sesse.net Git - ffmpeg/blob - libavcodec/qsvdec_other.c

   1 /*
   2  * Intel MediaSDK QSV based MPEG-2, VC-1, VP8, MJPEG, VP9 and AV1 decoders
   3  *
   4  * copyright (c) 2015 Anton Khirnov
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23
  24 #include <stdint.h>
  25 #include <string.h>
  26
  27 #include <mfx/mfxvideo.h>
  28
  29 #include "libavutil/common.h"
  30 #include "libavutil/fifo.h"
  31 #include "libavutil/opt.h"
  32
  33 #include "avcodec.h"
  34 #include "internal.h"
  35 #include "qsv_internal.h"
  36 #include "qsvdec.h"
  37 #include "qsv.h"
  38
  39 typedef struct QSVOtherContext {
  40     AVClass *class;
  41     QSVContext qsv;
  42
  43     AVFifoBuffer *packet_fifo;
  44
  45     AVPacket input_ref;
  46 } QSVOtherContext;
  47
  48 static void qsv_clear_buffers(QSVOtherContext *s)
  49 {
  50     AVPacket pkt;
  51     while (av_fifo_size(s->packet_fifo) >= sizeof(pkt)) {
  52         av_fifo_generic_read(s->packet_fifo, &pkt, sizeof(pkt), NULL);
  53         av_packet_unref(&pkt);
  54     }
  55
  56     av_packet_unref(&s->input_ref);
  57 }
  58
  59 static av_cold int qsv_decode_close(AVCodecContext *avctx)
  60 {
  61     QSVOtherContext *s = avctx->priv_data;
  62
  63 #if CONFIG_VP8_QSV_DECODER || CONFIG_VP9_QSV_DECODER
  64     if (avctx->codec_id == AV_CODEC_ID_VP8 || avctx->codec_id == AV_CODEC_ID_VP9)
  65         av_freep(&s->qsv.load_plugins);
  66 #endif
  67
  68     ff_qsv_decode_close(&s->qsv);
  69
  70     qsv_clear_buffers(s);
  71
  72     av_fifo_free(s->packet_fifo);
  73
  74     return 0;
  75 }
  76
  77 static av_cold int qsv_decode_init(AVCodecContext *avctx)
  78 {
  79     QSVOtherContext *s = avctx->priv_data;
  80     int ret;
  81
  82 #if CONFIG_VP8_QSV_DECODER
  83     if (avctx->codec_id == AV_CODEC_ID_VP8) {
  84         static const char *uid_vp8dec_hw = "f622394d8d87452f878c51f2fc9b4131";
  85
  86         av_freep(&s->qsv.load_plugins);
  87         s->qsv.load_plugins = av_strdup(uid_vp8dec_hw);
  88         if (!s->qsv.load_plugins)
  89             return AVERROR(ENOMEM);
  90     }
  91 #endif
  92
  93 #if CONFIG_VP9_QSV_DECODER
  94     if (avctx->codec_id == AV_CODEC_ID_VP9) {
  95         static const char *uid_vp9dec_hw = "a922394d8d87452f878c51f2fc9b4131";
  96
  97         av_freep(&s->qsv.load_plugins);
  98         s->qsv.load_plugins = av_strdup(uid_vp9dec_hw);
  99         if (!s->qsv.load_plugins)
 100             return AVERROR(ENOMEM);
 101     }
 102 #endif
 103
 104     s->qsv.orig_pix_fmt = AV_PIX_FMT_NV12;
 105     s->packet_fifo = av_fifo_alloc(sizeof(AVPacket));
 106     if (!s->packet_fifo) {
 107         ret = AVERROR(ENOMEM);
 108         goto fail;
 109     }
 110
 111     return 0;
 112 fail:
 113     qsv_decode_close(avctx);
 114     return ret;
 115 }
 116
 117 static int qsv_decode_frame(AVCodecContext *avctx, void *data,
 118                             int *got_frame, AVPacket *avpkt)
 119 {
 120     QSVOtherContext *s = avctx->priv_data;
 121     AVFrame *frame    = data;
 122     int ret;
 123
 124     /* buffer the input packet */
 125     if (avpkt->size) {
 126         AVPacket input_ref;
 127
 128         if (av_fifo_space(s->packet_fifo) < sizeof(input_ref)) {
 129             ret = av_fifo_realloc2(s->packet_fifo,
 130                                    av_fifo_size(s->packet_fifo) + sizeof(input_ref));
 131             if (ret < 0)
 132                 return ret;
 133         }
 134
 135         ret = av_packet_ref(&input_ref, avpkt);
 136         if (ret < 0)
 137             return ret;
 138         av_fifo_generic_write(s->packet_fifo, &input_ref, sizeof(input_ref), NULL);
 139     }
 140
 141     /* process buffered data */
 142     while (!*got_frame) {
 143         if (s->input_ref.size <= 0) {
 144             /* no more data */
 145             if (av_fifo_size(s->packet_fifo) < sizeof(AVPacket))
 146                 return avpkt->size ? avpkt->size : ff_qsv_process_data(avctx, &s->qsv, frame, got_frame, avpkt);
 147             /* in progress of reinit, no read from fifo and keep the buffer_pkt */
 148             if (!s->qsv.reinit_flag) {
 149                 av_packet_unref(&s->input_ref);
 150                 av_fifo_generic_read(s->packet_fifo, &s->input_ref, sizeof(s->input_ref), NULL);
 151             }
 152         }
 153
 154         ret = ff_qsv_process_data(avctx, &s->qsv, frame, got_frame, &s->input_ref);
 155         if (ret < 0) {
 156             /* Drop input packet when failed to decode the packet. Otherwise,
 157                the decoder will keep decoding the failure packet. */
 158             av_packet_unref(&s->input_ref);
 159
 160             return ret;
 161         }
 162         if (s->qsv.reinit_flag)
 163             continue;
 164
 165         s->input_ref.size -= ret;
 166         s->input_ref.data += ret;
 167     }
 168
 169     return avpkt->size;
 170 }
 171
 172 static void qsv_decode_flush(AVCodecContext *avctx)
 173 {
 174     QSVOtherContext *s = avctx->priv_data;
 175
 176     qsv_clear_buffers(s);
 177     ff_qsv_decode_flush(avctx, &s->qsv);
 178 }
 179
 180 #define OFFSET(x) offsetof(QSVOtherContext, x)
 181 #define VD AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_DECODING_PARAM
 182 static const AVOption options[] = {
 183     { "async_depth", "Internal parallelization depth, the higher the value the higher the latency.", OFFSET(qsv.async_depth), AV_OPT_TYPE_INT, { .i64 = ASYNC_DEPTH_DEFAULT }, 1, INT_MAX, VD },
 184
 185     { "gpu_copy", "A GPU-accelerated copy between video and system memory", OFFSET(qsv.gpu_copy), AV_OPT_TYPE_INT, { .i64 = MFX_GPUCOPY_DEFAULT }, MFX_GPUCOPY_DEFAULT, MFX_GPUCOPY_OFF, VD, "gpu_copy"},
 186         { "default", NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_GPUCOPY_DEFAULT }, 0, 0, VD, "gpu_copy"},
 187         { "on",      NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_GPUCOPY_ON },      0, 0, VD, "gpu_copy"},
 188         { "off",     NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_GPUCOPY_OFF },     0, 0, VD, "gpu_copy"},
 189     { NULL },
 190 };
 191
 192 #if CONFIG_MPEG2_QSV_DECODER
 193 static const AVClass mpeg2_qsv_class = {
 194     .class_name = "mpeg2_qsv",
 195     .item_name  = av_default_item_name,
 196     .option     = options,
 197     .version    = LIBAVUTIL_VERSION_INT,
 198 };
 199
 200 AVCodec ff_mpeg2_qsv_decoder = {
 201     .name           = "mpeg2_qsv",
 202     .long_name      = NULL_IF_CONFIG_SMALL("MPEG-2 video (Intel Quick Sync Video acceleration)"),
 203     .priv_data_size = sizeof(QSVOtherContext),
 204     .type           = AVMEDIA_TYPE_VIDEO,
 205     .id             = AV_CODEC_ID_MPEG2VIDEO,
 206     .init           = qsv_decode_init,
 207     .decode         = qsv_decode_frame,
 208     .flush          = qsv_decode_flush,
 209     .close          = qsv_decode_close,
 210     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 211     .priv_class     = &mpeg2_qsv_class,
 212     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 213                                                     AV_PIX_FMT_QSV,
 214                                                     AV_PIX_FMT_NONE },
 215     .hw_configs     = ff_qsv_hw_configs,
 216     .wrapper_name   = "qsv",
 217 };
 218 #endif
 219
 220 #if CONFIG_VC1_QSV_DECODER
 221 static const AVClass vc1_qsv_class = {
 222     .class_name = "vc1_qsv",
 223     .item_name  = av_default_item_name,
 224     .option     = options,
 225     .version    = LIBAVUTIL_VERSION_INT,
 226 };
 227
 228 AVCodec ff_vc1_qsv_decoder = {
 229     .name           = "vc1_qsv",
 230     .long_name      = NULL_IF_CONFIG_SMALL("VC-1 video (Intel Quick Sync Video acceleration)"),
 231     .priv_data_size = sizeof(QSVOtherContext),
 232     .type           = AVMEDIA_TYPE_VIDEO,
 233     .id             = AV_CODEC_ID_VC1,
 234     .init           = qsv_decode_init,
 235     .decode         = qsv_decode_frame,
 236     .flush          = qsv_decode_flush,
 237     .close          = qsv_decode_close,
 238     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 239     .priv_class     = &vc1_qsv_class,
 240     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 241                                                     AV_PIX_FMT_QSV,
 242                                                     AV_PIX_FMT_NONE },
 243     .hw_configs     = ff_qsv_hw_configs,
 244     .wrapper_name   = "qsv",
 245 };
 246 #endif
 247
 248 #if CONFIG_VP8_QSV_DECODER
 249 static const AVClass vp8_qsv_class = {
 250     .class_name = "vp8_qsv",
 251     .item_name  = av_default_item_name,
 252     .option     = options,
 253     .version    = LIBAVUTIL_VERSION_INT,
 254 };
 255
 256 AVCodec ff_vp8_qsv_decoder = {
 257     .name           = "vp8_qsv",
 258     .long_name      = NULL_IF_CONFIG_SMALL("VP8 video (Intel Quick Sync Video acceleration)"),
 259     .priv_data_size = sizeof(QSVOtherContext),
 260     .type           = AVMEDIA_TYPE_VIDEO,
 261     .id             = AV_CODEC_ID_VP8,
 262     .init           = qsv_decode_init,
 263     .decode         = qsv_decode_frame,
 264     .flush          = qsv_decode_flush,
 265     .close          = qsv_decode_close,
 266     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 267     .priv_class     = &vp8_qsv_class,
 268     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 269                                                     AV_PIX_FMT_QSV,
 270                                                     AV_PIX_FMT_NONE },
 271     .hw_configs     = ff_qsv_hw_configs,
 272     .wrapper_name   = "qsv",
 273 };
 274 #endif
 275
 276 #if CONFIG_MJPEG_QSV_DECODER
 277 static const AVClass mjpeg_qsv_class = {
 278     .class_name = "mjpeg_qsv",
 279     .item_name  = av_default_item_name,
 280     .option     = options,
 281     .version    = LIBAVUTIL_VERSION_INT,
 282 };
 283
 284 AVCodec ff_mjpeg_qsv_decoder = {
 285     .name           = "mjpeg_qsv",
 286     .long_name      = NULL_IF_CONFIG_SMALL("MJPEG video (Intel Quick Sync Video acceleration)"),
 287     .priv_data_size = sizeof(QSVOtherContext),
 288     .type           = AVMEDIA_TYPE_VIDEO,
 289     .id             = AV_CODEC_ID_MJPEG,
 290     .init           = qsv_decode_init,
 291     .decode         = qsv_decode_frame,
 292     .flush          = qsv_decode_flush,
 293     .close          = qsv_decode_close,
 294     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 295     .priv_class     = &mjpeg_qsv_class,
 296     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 297                                                     AV_PIX_FMT_QSV,
 298                                                     AV_PIX_FMT_NONE },
 299 };
 300 #endif
 301
 302 #if CONFIG_VP9_QSV_DECODER
 303 static const AVClass vp9_qsv_class = {
 304     .class_name = "vp9_qsv",
 305     .item_name  = av_default_item_name,
 306     .option     = options,
 307     .version    = LIBAVUTIL_VERSION_INT,
 308 };
 309
 310 AVCodec ff_vp9_qsv_decoder = {
 311     .name           = "vp9_qsv",
 312     .long_name      = NULL_IF_CONFIG_SMALL("VP9 video (Intel Quick Sync Video acceleration)"),
 313     .priv_data_size = sizeof(QSVOtherContext),
 314     .type           = AVMEDIA_TYPE_VIDEO,
 315     .id             = AV_CODEC_ID_VP9,
 316     .init           = qsv_decode_init,
 317     .decode         = qsv_decode_frame,
 318     .flush          = qsv_decode_flush,
 319     .close          = qsv_decode_close,
 320     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 321     .priv_class     = &vp9_qsv_class,
 322     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 323                                                     AV_PIX_FMT_P010,
 324                                                     AV_PIX_FMT_QSV,
 325                                                     AV_PIX_FMT_NONE },
 326     .hw_configs     = ff_qsv_hw_configs,
 327     .wrapper_name   = "qsv",
 328 };
 329 #endif
 330
 331 #if CONFIG_AV1_QSV_DECODER
 332 static const AVClass av1_qsv_class = {
 333     .class_name = "av1_qsv",
 334     .item_name  = av_default_item_name,
 335     .option     = options,
 336     .version    = LIBAVUTIL_VERSION_INT,
 337 };
 338
 339 AVCodec ff_av1_qsv_decoder = {
 340     .name           = "av1_qsv",
 341     .long_name      = NULL_IF_CONFIG_SMALL("AV1 video (Intel Quick Sync Video acceleration)"),
 342     .priv_data_size = sizeof(QSVOtherContext),
 343     .type           = AVMEDIA_TYPE_VIDEO,
 344     .id             = AV_CODEC_ID_AV1,
 345     .init           = qsv_decode_init,
 346     .decode         = qsv_decode_frame,
 347     .flush          = qsv_decode_flush,
 348     .close          = qsv_decode_close,
 349     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 350     .priv_class     = &av1_qsv_class,
 351     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 352                                                     AV_PIX_FMT_P010,
 353                                                     AV_PIX_FMT_QSV,
 354                                                     AV_PIX_FMT_NONE },
 355     .hw_configs     = ff_qsv_hw_configs,
 356     .wrapper_name   = "qsv",
 357 };
 358 #endif