git.sesse.net Git - ffmpeg/blob - libavcodec/qsvdec_other.c

   1 /*
   2  * Intel MediaSDK QSV based MPEG-2, VC-1, VP8, MJPEG and VP9 decoders
   3  *
   4  * copyright (c) 2015 Anton Khirnov
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23
  24 #include <stdint.h>
  25 #include <string.h>
  26
  27 #include <mfx/mfxvideo.h>
  28
  29 #include "libavutil/common.h"
  30 #include "libavutil/fifo.h"
  31 #include "libavutil/opt.h"
  32
  33 #include "avcodec.h"
  34 #include "internal.h"
  35 #include "qsv_internal.h"
  36 #include "qsvdec.h"
  37 #include "qsv.h"
  38
  39 typedef struct QSVOtherContext {
  40     AVClass *class;
  41     QSVContext qsv;
  42
  43     AVFifoBuffer *packet_fifo;
  44
  45     AVPacket input_ref;
  46 } QSVOtherContext;
  47
  48 static void qsv_clear_buffers(QSVOtherContext *s)
  49 {
  50     AVPacket pkt;
  51     while (av_fifo_size(s->packet_fifo) >= sizeof(pkt)) {
  52         av_fifo_generic_read(s->packet_fifo, &pkt, sizeof(pkt), NULL);
  53         av_packet_unref(&pkt);
  54     }
  55
  56     av_packet_unref(&s->input_ref);
  57 }
  58
  59 static av_cold int qsv_decode_close(AVCodecContext *avctx)
  60 {
  61     QSVOtherContext *s = avctx->priv_data;
  62
  63 #if CONFIG_VP8_QSV_DECODER || CONFIG_VP9_QSV_DECODER
  64     if (avctx->codec_id == AV_CODEC_ID_VP8 || avctx->codec_id == AV_CODEC_ID_VP9)
  65         av_freep(&s->qsv.load_plugins);
  66 #endif
  67
  68     ff_qsv_decode_close(&s->qsv);
  69
  70     qsv_clear_buffers(s);
  71
  72     av_fifo_free(s->packet_fifo);
  73
  74     return 0;
  75 }
  76
  77 static av_cold int qsv_decode_init(AVCodecContext *avctx)
  78 {
  79     QSVOtherContext *s = avctx->priv_data;
  80     int ret;
  81
  82 #if CONFIG_VP8_QSV_DECODER
  83     if (avctx->codec_id == AV_CODEC_ID_VP8) {
  84         static const char *uid_vp8dec_hw = "f622394d8d87452f878c51f2fc9b4131";
  85
  86         av_freep(&s->qsv.load_plugins);
  87         s->qsv.load_plugins = av_strdup(uid_vp8dec_hw);
  88         if (!s->qsv.load_plugins)
  89             return AVERROR(ENOMEM);
  90     }
  91 #endif
  92
  93 #if CONFIG_VP9_QSV_DECODER
  94     if (avctx->codec_id == AV_CODEC_ID_VP9) {
  95         static const char *uid_vp9dec_hw = "a922394d8d87452f878c51f2fc9b4131";
  96
  97         av_freep(&s->qsv.load_plugins);
  98         s->qsv.load_plugins = av_strdup(uid_vp9dec_hw);
  99         if (!s->qsv.load_plugins)
 100             return AVERROR(ENOMEM);
 101     }
 102 #endif
 103
 104     s->qsv.orig_pix_fmt = AV_PIX_FMT_NV12;
 105     s->packet_fifo = av_fifo_alloc(sizeof(AVPacket));
 106     if (!s->packet_fifo) {
 107         ret = AVERROR(ENOMEM);
 108         goto fail;
 109     }
 110
 111     return 0;
 112 fail:
 113     qsv_decode_close(avctx);
 114     return ret;
 115 }
 116
 117 static int qsv_decode_frame(AVCodecContext *avctx, void *data,
 118                             int *got_frame, AVPacket *avpkt)
 119 {
 120     QSVOtherContext *s = avctx->priv_data;
 121     AVFrame *frame    = data;
 122     int ret;
 123
 124     /* buffer the input packet */
 125     if (avpkt->size) {
 126         AVPacket input_ref = { 0 };
 127
 128         if (av_fifo_space(s->packet_fifo) < sizeof(input_ref)) {
 129             ret = av_fifo_realloc2(s->packet_fifo,
 130                                    av_fifo_size(s->packet_fifo) + sizeof(input_ref));
 131             if (ret < 0)
 132                 return ret;
 133         }
 134
 135         ret = av_packet_ref(&input_ref, avpkt);
 136         if (ret < 0)
 137             return ret;
 138         av_fifo_generic_write(s->packet_fifo, &input_ref, sizeof(input_ref), NULL);
 139     }
 140
 141     /* process buffered data */
 142     while (!*got_frame) {
 143         if (s->input_ref.size <= 0) {
 144             /* no more data */
 145             if (av_fifo_size(s->packet_fifo) < sizeof(AVPacket))
 146                 return avpkt->size ? avpkt->size : ff_qsv_process_data(avctx, &s->qsv, frame, got_frame, avpkt);
 147             /* in progress of reinit, no read from fifo and keep the buffer_pkt */
 148             if (!s->qsv.reinit_flag) {
 149                 av_packet_unref(&s->input_ref);
 150                 av_fifo_generic_read(s->packet_fifo, &s->input_ref, sizeof(s->input_ref), NULL);
 151             }
 152         }
 153
 154         ret = ff_qsv_process_data(avctx, &s->qsv, frame, got_frame, &s->input_ref);
 155         if (ret < 0) {
 156             /* Drop input packet when failed to decode the packet. Otherwise,
 157                the decoder will keep decoding the failure packet. */
 158             av_packet_unref(&s->input_ref);
 159
 160             return ret;
 161         }
 162         if (s->qsv.reinit_flag)
 163             continue;
 164
 165         s->input_ref.size -= ret;
 166         s->input_ref.data += ret;
 167     }
 168
 169     return avpkt->size;
 170 }
 171
 172 static void qsv_decode_flush(AVCodecContext *avctx)
 173 {
 174     QSVOtherContext *s = avctx->priv_data;
 175
 176     qsv_clear_buffers(s);
 177     ff_qsv_decode_flush(avctx, &s->qsv);
 178 }
 179
 180 #define OFFSET(x) offsetof(QSVOtherContext, x)
 181 #define VD AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_DECODING_PARAM
 182 static const AVOption options[] = {
 183     { "async_depth", "Internal parallelization depth, the higher the value the higher the latency.", OFFSET(qsv.async_depth), AV_OPT_TYPE_INT, { .i64 = ASYNC_DEPTH_DEFAULT }, 1, INT_MAX, VD },
 184     { NULL },
 185 };
 186
 187 #if CONFIG_MPEG2_QSV_DECODER
 188 static const AVClass mpeg2_qsv_class = {
 189     .class_name = "mpeg2_qsv",
 190     .item_name  = av_default_item_name,
 191     .option     = options,
 192     .version    = LIBAVUTIL_VERSION_INT,
 193 };
 194
 195 AVCodec ff_mpeg2_qsv_decoder = {
 196     .name           = "mpeg2_qsv",
 197     .long_name      = NULL_IF_CONFIG_SMALL("MPEG-2 video (Intel Quick Sync Video acceleration)"),
 198     .priv_data_size = sizeof(QSVOtherContext),
 199     .type           = AVMEDIA_TYPE_VIDEO,
 200     .id             = AV_CODEC_ID_MPEG2VIDEO,
 201     .init           = qsv_decode_init,
 202     .decode         = qsv_decode_frame,
 203     .flush          = qsv_decode_flush,
 204     .close          = qsv_decode_close,
 205     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 206     .priv_class     = &mpeg2_qsv_class,
 207     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 208                                                     AV_PIX_FMT_QSV,
 209                                                     AV_PIX_FMT_NONE },
 210     .hw_configs     = ff_qsv_hw_configs,
 211     .wrapper_name   = "qsv",
 212 };
 213 #endif
 214
 215 #if CONFIG_VC1_QSV_DECODER
 216 static const AVClass vc1_qsv_class = {
 217     .class_name = "vc1_qsv",
 218     .item_name  = av_default_item_name,
 219     .option     = options,
 220     .version    = LIBAVUTIL_VERSION_INT,
 221 };
 222
 223 AVCodec ff_vc1_qsv_decoder = {
 224     .name           = "vc1_qsv",
 225     .long_name      = NULL_IF_CONFIG_SMALL("VC-1 video (Intel Quick Sync Video acceleration)"),
 226     .priv_data_size = sizeof(QSVOtherContext),
 227     .type           = AVMEDIA_TYPE_VIDEO,
 228     .id             = AV_CODEC_ID_VC1,
 229     .init           = qsv_decode_init,
 230     .decode         = qsv_decode_frame,
 231     .flush          = qsv_decode_flush,
 232     .close          = qsv_decode_close,
 233     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 234     .priv_class     = &vc1_qsv_class,
 235     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 236                                                     AV_PIX_FMT_QSV,
 237                                                     AV_PIX_FMT_NONE },
 238     .hw_configs     = ff_qsv_hw_configs,
 239     .wrapper_name   = "qsv",
 240 };
 241 #endif
 242
 243 #if CONFIG_VP8_QSV_DECODER
 244 static const AVClass vp8_qsv_class = {
 245     .class_name = "vp8_qsv",
 246     .item_name  = av_default_item_name,
 247     .option     = options,
 248     .version    = LIBAVUTIL_VERSION_INT,
 249 };
 250
 251 AVCodec ff_vp8_qsv_decoder = {
 252     .name           = "vp8_qsv",
 253     .long_name      = NULL_IF_CONFIG_SMALL("VP8 video (Intel Quick Sync Video acceleration)"),
 254     .priv_data_size = sizeof(QSVOtherContext),
 255     .type           = AVMEDIA_TYPE_VIDEO,
 256     .id             = AV_CODEC_ID_VP8,
 257     .init           = qsv_decode_init,
 258     .decode         = qsv_decode_frame,
 259     .flush          = qsv_decode_flush,
 260     .close          = qsv_decode_close,
 261     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 262     .priv_class     = &vp8_qsv_class,
 263     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 264                                                     AV_PIX_FMT_QSV,
 265                                                     AV_PIX_FMT_NONE },
 266     .hw_configs     = ff_qsv_hw_configs,
 267     .wrapper_name   = "qsv",
 268 };
 269 #endif
 270
 271 #if CONFIG_MJPEG_QSV_DECODER
 272 static const AVClass mjpeg_qsv_class = {
 273     .class_name = "mjpeg_qsv",
 274     .item_name  = av_default_item_name,
 275     .option     = options,
 276     .version    = LIBAVUTIL_VERSION_INT,
 277 };
 278
 279 AVCodec ff_mjpeg_qsv_decoder = {
 280     .name           = "mjpeg_qsv",
 281     .long_name      = NULL_IF_CONFIG_SMALL("MJPEG video (Intel Quick Sync Video acceleration)"),
 282     .priv_data_size = sizeof(QSVOtherContext),
 283     .type           = AVMEDIA_TYPE_VIDEO,
 284     .id             = AV_CODEC_ID_MJPEG,
 285     .init           = qsv_decode_init,
 286     .decode         = qsv_decode_frame,
 287     .flush          = qsv_decode_flush,
 288     .close          = qsv_decode_close,
 289     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 290     .priv_class     = &mjpeg_qsv_class,
 291     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 292                                                     AV_PIX_FMT_QSV,
 293                                                     AV_PIX_FMT_NONE },
 294 };
 295 #endif
 296
 297 #if CONFIG_VP9_QSV_DECODER
 298 static const AVClass vp9_qsv_class = {
 299     .class_name = "vp9_qsv",
 300     .item_name  = av_default_item_name,
 301     .option     = options,
 302     .version    = LIBAVUTIL_VERSION_INT,
 303 };
 304
 305 AVCodec ff_vp9_qsv_decoder = {
 306     .name           = "vp9_qsv",
 307     .long_name      = NULL_IF_CONFIG_SMALL("VP9 video (Intel Quick Sync Video acceleration)"),
 308     .priv_data_size = sizeof(QSVOtherContext),
 309     .type           = AVMEDIA_TYPE_VIDEO,
 310     .id             = AV_CODEC_ID_VP9,
 311     .init           = qsv_decode_init,
 312     .decode         = qsv_decode_frame,
 313     .flush          = qsv_decode_flush,
 314     .close          = qsv_decode_close,
 315     .capabilities   = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1 | AV_CODEC_CAP_AVOID_PROBING | AV_CODEC_CAP_HYBRID,
 316     .priv_class     = &vp9_qsv_class,
 317     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_NV12,
 318                                                     AV_PIX_FMT_P010,
 319                                                     AV_PIX_FMT_QSV,
 320                                                     AV_PIX_FMT_NONE },
 321     .hw_configs     = ff_qsv_hw_configs,
 322     .wrapper_name   = "qsv",
 323 };
 324 #endif