git.sesse.net Git - ffmpeg/blob - libavfilter/vf_deinterlace_qsv.c

   1 /*
   2  * This file is part of Libav.
   3  *
   4  * Libav is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Lesser General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2.1 of the License, or (at your option) any later version.
   8  *
   9  * Libav is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Lesser General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Lesser General Public
  15  * License along with Libav; if not, write to the Free Software
  16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  17  */
  18
  19 /**
  20  * @file
  21  * deinterlace video filter - QSV
  22  */
  23
  24 #include <mfx/mfxvideo.h>
  25
  26 #include <stdio.h>
  27 #include <string.h>
  28
  29 #include "libavutil/avstring.h"
  30 #include "libavutil/common.h"
  31 #include "libavutil/hwcontext.h"
  32 #include "libavutil/hwcontext_qsv.h"
  33 #include "libavutil/internal.h"
  34 #include "libavutil/mathematics.h"
  35 #include "libavutil/opt.h"
  36 #include "libavutil/pixdesc.h"
  37 #include "libavutil/time.h"
  38
  39 #include "avfilter.h"
  40 #include "formats.h"
  41 #include "internal.h"
  42 #include "video.h"
  43
  44 enum {
  45     QSVDEINT_MORE_OUTPUT = 1,
  46     QSVDEINT_MORE_INPUT,
  47 };
  48
  49 typedef struct QSVFrame {
  50     AVFrame *frame;
  51     mfxFrameSurface1 surface;
  52     int used;
  53
  54     struct QSVFrame *next;
  55 } QSVFrame;
  56
  57 typedef struct QSVDeintContext {
  58     const AVClass *class;
  59
  60     AVBufferRef *hw_frames_ctx;
  61     /* a clone of the main session, used internally for deinterlacing */
  62     mfxSession   session;
  63
  64     mfxMemId *mem_ids;
  65     int    nb_mem_ids;
  66
  67     mfxFrameSurface1 **surface_ptrs;
  68     int             nb_surface_ptrs;
  69
  70     mfxExtOpaqueSurfaceAlloc opaque_alloc;
  71     mfxExtBuffer            *ext_buffers[1];
  72
  73     QSVFrame *work_frames;
  74
  75     int64_t last_pts;
  76
  77     int got_output_frame;
  78     int eof;
  79 } QSVDeintContext;
  80
  81 static void qsvdeint_uninit(AVFilterContext *ctx)
  82 {
  83     QSVDeintContext *s = ctx->priv;
  84     QSVFrame *cur;
  85
  86     if (s->session) {
  87         MFXClose(s->session);
  88         s->session = NULL;
  89     }
  90     av_buffer_unref(&s->hw_frames_ctx);
  91
  92     cur = s->work_frames;
  93     while (cur) {
  94         s->work_frames = cur->next;
  95         av_frame_free(&cur->frame);
  96         av_freep(&cur);
  97         cur = s->work_frames;
  98     }
  99
 100     av_freep(&s->mem_ids);
 101     s->nb_mem_ids = 0;
 102
 103     av_freep(&s->surface_ptrs);
 104     s->nb_surface_ptrs = 0;
 105 }
 106
 107 static int qsvdeint_query_formats(AVFilterContext *ctx)
 108 {
 109     static const enum AVPixelFormat pixel_formats[] = {
 110         AV_PIX_FMT_QSV, AV_PIX_FMT_NONE,
 111     };
 112     AVFilterFormats *pix_fmts  = ff_make_format_list(pixel_formats);
 113
 114     ff_set_common_formats(ctx, pix_fmts);
 115
 116     return 0;
 117 }
 118
 119 static mfxStatus frame_alloc(mfxHDL pthis, mfxFrameAllocRequest *req,
 120                              mfxFrameAllocResponse *resp)
 121 {
 122     AVFilterContext *ctx = pthis;
 123     QSVDeintContext   *s = ctx->priv;
 124
 125     if (!(req->Type & MFX_MEMTYPE_VIDEO_MEMORY_PROCESSOR_TARGET) ||
 126         !(req->Type & (MFX_MEMTYPE_FROM_VPPIN | MFX_MEMTYPE_FROM_VPPOUT)) ||
 127         !(req->Type & MFX_MEMTYPE_EXTERNAL_FRAME))
 128         return MFX_ERR_UNSUPPORTED;
 129
 130     resp->mids           = s->mem_ids;
 131     resp->NumFrameActual = s->nb_mem_ids;
 132
 133     return MFX_ERR_NONE;
 134 }
 135
 136 static mfxStatus frame_free(mfxHDL pthis, mfxFrameAllocResponse *resp)
 137 {
 138     return MFX_ERR_NONE;
 139 }
 140
 141 static mfxStatus frame_lock(mfxHDL pthis, mfxMemId mid, mfxFrameData *ptr)
 142 {
 143     return MFX_ERR_UNSUPPORTED;
 144 }
 145
 146 static mfxStatus frame_unlock(mfxHDL pthis, mfxMemId mid, mfxFrameData *ptr)
 147 {
 148     return MFX_ERR_UNSUPPORTED;
 149 }
 150
 151 static mfxStatus frame_get_hdl(mfxHDL pthis, mfxMemId mid, mfxHDL *hdl)
 152 {
 153     *hdl = mid;
 154     return MFX_ERR_NONE;
 155 }
 156
 157 static const mfxHandleType handle_types[] = {
 158     MFX_HANDLE_VA_DISPLAY,
 159     MFX_HANDLE_D3D9_DEVICE_MANAGER,
 160     MFX_HANDLE_D3D11_DEVICE,
 161 };
 162
 163 static int init_out_session(AVFilterContext *ctx)
 164 {
 165
 166     QSVDeintContext                  *s = ctx->priv;
 167     AVHWFramesContext    *hw_frames_ctx = (AVHWFramesContext*)s->hw_frames_ctx->data;
 168     AVQSVFramesContext *hw_frames_hwctx = hw_frames_ctx->hwctx;
 169     AVQSVDeviceContext    *device_hwctx = hw_frames_ctx->device_ctx->hwctx;
 170
 171     int opaque = !!(hw_frames_hwctx->frame_type & MFX_MEMTYPE_OPAQUE_FRAME);
 172
 173     mfxHDL handle = NULL;
 174     mfxHandleType handle_type;
 175     mfxVersion ver;
 176     mfxIMPL impl;
 177     mfxVideoParam par;
 178     mfxStatus err;
 179     int i;
 180
 181     /* extract the properties of the "master" session given to us */
 182     err = MFXQueryIMPL(device_hwctx->session, &impl);
 183     if (err == MFX_ERR_NONE)
 184         err = MFXQueryVersion(device_hwctx->session, &ver);
 185     if (err != MFX_ERR_NONE) {
 186         av_log(ctx, AV_LOG_ERROR, "Error querying the session attributes\n");
 187         return AVERROR_UNKNOWN;
 188     }
 189
 190     for (i = 0; i < FF_ARRAY_ELEMS(handle_types); i++) {
 191         err = MFXVideoCORE_GetHandle(device_hwctx->session, handle_types[i], &handle);
 192         if (err == MFX_ERR_NONE) {
 193             handle_type = handle_types[i];
 194             break;
 195         }
 196     }
 197
 198     /* create a "slave" session with those same properties, to be used for
 199      * actual deinterlacing */
 200     err = MFXInit(impl, &ver, &s->session);
 201     if (err != MFX_ERR_NONE) {
 202         av_log(ctx, AV_LOG_ERROR, "Error initializing a session for deinterlacing\n");
 203         return AVERROR_UNKNOWN;
 204     }
 205
 206     if (handle) {
 207         err = MFXVideoCORE_SetHandle(s->session, handle_type, handle);
 208         if (err != MFX_ERR_NONE)
 209             return AVERROR_UNKNOWN;
 210     }
 211
 212     memset(&par, 0, sizeof(par));
 213
 214     if (opaque) {
 215         s->surface_ptrs = av_mallocz_array(hw_frames_hwctx->nb_surfaces,
 216                                            sizeof(*s->surface_ptrs));
 217         if (!s->surface_ptrs)
 218             return AVERROR(ENOMEM);
 219         for (i = 0; i < hw_frames_hwctx->nb_surfaces; i++)
 220             s->surface_ptrs[i] = hw_frames_hwctx->surfaces + i;
 221         s->nb_surface_ptrs = hw_frames_hwctx->nb_surfaces;
 222
 223         s->opaque_alloc.In.Surfaces   = s->surface_ptrs;
 224         s->opaque_alloc.In.NumSurface = s->nb_surface_ptrs;
 225         s->opaque_alloc.In.Type       = hw_frames_hwctx->frame_type;
 226
 227         s->opaque_alloc.Out = s->opaque_alloc.In;
 228
 229         s->opaque_alloc.Header.BufferId = MFX_EXTBUFF_OPAQUE_SURFACE_ALLOCATION;
 230         s->opaque_alloc.Header.BufferSz = sizeof(s->opaque_alloc);
 231
 232         s->ext_buffers[0] = (mfxExtBuffer*)&s->opaque_alloc;
 233
 234         par.ExtParam    = s->ext_buffers;
 235         par.NumExtParam = FF_ARRAY_ELEMS(s->ext_buffers);
 236
 237         par.IOPattern = MFX_IOPATTERN_IN_OPAQUE_MEMORY | MFX_IOPATTERN_OUT_OPAQUE_MEMORY;
 238     } else {
 239         mfxFrameAllocator frame_allocator = {
 240             .pthis  = ctx,
 241             .Alloc  = frame_alloc,
 242             .Lock   = frame_lock,
 243             .Unlock = frame_unlock,
 244             .GetHDL = frame_get_hdl,
 245             .Free   = frame_free,
 246         };
 247
 248         s->mem_ids = av_mallocz_array(hw_frames_hwctx->nb_surfaces,
 249                                       sizeof(*s->mem_ids));
 250         if (!s->mem_ids)
 251             return AVERROR(ENOMEM);
 252         for (i = 0; i < hw_frames_hwctx->nb_surfaces; i++)
 253             s->mem_ids[i] = hw_frames_hwctx->surfaces[i].Data.MemId;
 254         s->nb_mem_ids = hw_frames_hwctx->nb_surfaces;
 255
 256         err = MFXVideoCORE_SetFrameAllocator(s->session, &frame_allocator);
 257         if (err != MFX_ERR_NONE)
 258             return AVERROR_UNKNOWN;
 259
 260         par.IOPattern = MFX_IOPATTERN_IN_VIDEO_MEMORY | MFX_IOPATTERN_OUT_VIDEO_MEMORY;
 261     }
 262
 263     par.AsyncDepth = 1;    // TODO async
 264
 265     par.vpp.In = hw_frames_hwctx->surfaces[0].Info;
 266
 267     par.vpp.In.CropW = ctx->inputs[0]->w;
 268     par.vpp.In.CropH = ctx->inputs[0]->h;
 269
 270     if (ctx->inputs[0]->frame_rate.num) {
 271         par.vpp.In.FrameRateExtN = ctx->inputs[0]->frame_rate.num;
 272         par.vpp.In.FrameRateExtD = ctx->inputs[0]->frame_rate.den;
 273     } else {
 274         par.vpp.In.FrameRateExtN = ctx->inputs[0]->time_base.num;
 275         par.vpp.In.FrameRateExtD = ctx->inputs[0]->time_base.den;
 276     }
 277
 278     par.vpp.Out = par.vpp.In;
 279
 280     if (ctx->outputs[0]->frame_rate.num) {
 281         par.vpp.Out.FrameRateExtN = ctx->outputs[0]->frame_rate.num;
 282         par.vpp.Out.FrameRateExtD = ctx->outputs[0]->frame_rate.den;
 283     } else {
 284         par.vpp.Out.FrameRateExtN = ctx->outputs[0]->time_base.num;
 285         par.vpp.Out.FrameRateExtD = ctx->outputs[0]->time_base.den;
 286     }
 287
 288     err = MFXVideoVPP_Init(s->session, &par);
 289     if (err != MFX_ERR_NONE) {
 290         av_log(ctx, AV_LOG_ERROR, "Error opening the VPP for deinterlacing: %d\n", err);
 291         return AVERROR_UNKNOWN;
 292     }
 293
 294     return 0;
 295 }
 296
 297 static int qsvdeint_config_props(AVFilterLink *outlink)
 298 {
 299     AVFilterContext *ctx = outlink->src;
 300     AVFilterLink *inlink = ctx->inputs[0];
 301     QSVDeintContext  *s = ctx->priv;
 302     int ret;
 303
 304     qsvdeint_uninit(ctx);
 305
 306     s->last_pts = AV_NOPTS_VALUE;
 307     outlink->frame_rate = av_mul_q(inlink->frame_rate,
 308                                    (AVRational){ 2, 1 });
 309     outlink->time_base  = av_mul_q(inlink->time_base,
 310                                    (AVRational){ 1, 2 });
 311
 312     /* check that we have a hw context */
 313     if (!inlink->hw_frames_ctx) {
 314         av_log(ctx, AV_LOG_ERROR, "No hw context provided on input\n");
 315         return AVERROR(EINVAL);
 316     }
 317
 318     s->hw_frames_ctx = av_buffer_ref(inlink->hw_frames_ctx);
 319     if (!s->hw_frames_ctx)
 320         return AVERROR(ENOMEM);
 321
 322     av_buffer_unref(&outlink->hw_frames_ctx);
 323     outlink->hw_frames_ctx = av_buffer_ref(inlink->hw_frames_ctx);
 324     if (!outlink->hw_frames_ctx) {
 325         qsvdeint_uninit(ctx);
 326         return AVERROR(ENOMEM);
 327     }
 328
 329     ret = init_out_session(ctx);
 330     if (ret < 0)
 331         return ret;
 332
 333
 334     return 0;
 335 }
 336
 337 static void clear_unused_frames(QSVDeintContext *s)
 338 {
 339     QSVFrame *cur = s->work_frames;
 340     while (cur) {
 341         if (!cur->surface.Data.Locked) {
 342             av_frame_free(&cur->frame);
 343             cur->used = 0;
 344         }
 345         cur = cur->next;
 346     }
 347 }
 348
 349 static int get_free_frame(QSVDeintContext *s, QSVFrame **f)
 350 {
 351     QSVFrame *frame, **last;
 352
 353     clear_unused_frames(s);
 354
 355     frame = s->work_frames;
 356     last  = &s->work_frames;
 357     while (frame) {
 358         if (!frame->used) {
 359             *f = frame;
 360             return 0;
 361         }
 362
 363         last  = &frame->next;
 364         frame = frame->next;
 365     }
 366
 367     frame = av_mallocz(sizeof(*frame));
 368     if (!frame)
 369         return AVERROR(ENOMEM);
 370     *last = frame;
 371     *f    = frame;
 372
 373     return 0;
 374 }
 375
 376 static int submit_frame(AVFilterContext *ctx, AVFrame *frame,
 377                         mfxFrameSurface1 **surface)
 378 {
 379     QSVDeintContext *s = ctx->priv;
 380     QSVFrame *qf;
 381     int ret;
 382
 383     ret = get_free_frame(s, &qf);
 384     if (ret < 0)
 385         return ret;
 386
 387     qf->frame = frame;
 388
 389     qf->surface = *(mfxFrameSurface1*)qf->frame->data[3];
 390
 391     qf->surface.Data.Locked = 0;
 392     qf->surface.Info.CropW  = qf->frame->width;
 393     qf->surface.Info.CropH  = qf->frame->height;
 394
 395     qf->surface.Info.PicStruct = !qf->frame->interlaced_frame ? MFX_PICSTRUCT_PROGRESSIVE :
 396                                  (qf->frame->top_field_first ? MFX_PICSTRUCT_FIELD_TFF :
 397                                                            MFX_PICSTRUCT_FIELD_BFF);
 398     if (qf->frame->repeat_pict == 1)
 399         qf->surface.Info.PicStruct |= MFX_PICSTRUCT_FIELD_REPEATED;
 400     else if (qf->frame->repeat_pict == 2)
 401         qf->surface.Info.PicStruct |= MFX_PICSTRUCT_FRAME_DOUBLING;
 402     else if (qf->frame->repeat_pict == 4)
 403         qf->surface.Info.PicStruct |= MFX_PICSTRUCT_FRAME_TRIPLING;
 404
 405     if (ctx->inputs[0]->frame_rate.num) {
 406         qf->surface.Info.FrameRateExtN = ctx->inputs[0]->frame_rate.num;
 407         qf->surface.Info.FrameRateExtD = ctx->inputs[0]->frame_rate.den;
 408     } else {
 409         qf->surface.Info.FrameRateExtN = ctx->inputs[0]->time_base.num;
 410         qf->surface.Info.FrameRateExtD = ctx->inputs[0]->time_base.den;
 411     }
 412
 413     qf->surface.Data.TimeStamp = av_rescale_q(qf->frame->pts,
 414                                               ctx->inputs[0]->time_base,
 415                                               (AVRational){1, 90000});
 416
 417     *surface = &qf->surface;
 418     qf->used = 1;
 419
 420     return 0;
 421 }
 422
 423 static int process_frame(AVFilterContext *ctx, const AVFrame *in,
 424                          mfxFrameSurface1 *surf_in)
 425 {
 426     QSVDeintContext    *s = ctx->priv;
 427     AVFilterLink  *inlink = ctx->inputs[0];
 428     AVFilterLink *outlink = ctx->outputs[0];
 429
 430     AVFrame *out;
 431     mfxFrameSurface1 *surf_out;
 432     mfxSyncPoint sync = NULL;
 433     mfxStatus err;
 434     int ret, again = 0;
 435
 436     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
 437     if (!out) {
 438         ret = AVERROR(ENOMEM);
 439         goto fail;
 440     }
 441
 442     surf_out = (mfxFrameSurface1*)out->data[3];
 443     surf_out->Info.CropW     = outlink->w;
 444     surf_out->Info.CropH     = outlink->h;
 445     surf_out->Info.PicStruct = MFX_PICSTRUCT_PROGRESSIVE;
 446
 447     do {
 448         err = MFXVideoVPP_RunFrameVPPAsync(s->session, surf_in, surf_out,
 449                                            NULL, &sync);
 450         if (err == MFX_WRN_DEVICE_BUSY)
 451             av_usleep(1);
 452     } while (err == MFX_WRN_DEVICE_BUSY);
 453
 454     if (err == MFX_ERR_MORE_DATA) {
 455         av_frame_free(&out);
 456         return QSVDEINT_MORE_INPUT;
 457     }
 458
 459     if ((err < 0 && err != MFX_ERR_MORE_SURFACE) || !sync) {
 460         av_log(ctx, AV_LOG_ERROR, "Error during deinterlacing: %d\n", err);
 461         ret = AVERROR_UNKNOWN;
 462         goto fail;
 463     }
 464     if (err == MFX_ERR_MORE_SURFACE)
 465         again = 1;
 466
 467     do {
 468         err = MFXVideoCORE_SyncOperation(s->session, sync, 1000);
 469     } while (err == MFX_WRN_IN_EXECUTION);
 470     if (err < 0) {
 471         av_log(ctx, AV_LOG_ERROR, "Error synchronizing the operation: %d\n", err);
 472         ret = AVERROR_UNKNOWN;
 473         goto fail;
 474     }
 475
 476     ret = av_frame_copy_props(out, in);
 477     if (ret < 0)
 478         goto fail;
 479
 480     out->width            = outlink->w;
 481     out->height           = outlink->h;
 482     out->interlaced_frame = 0;
 483
 484     out->pts = av_rescale_q(out->pts, inlink->time_base, outlink->time_base);
 485     if (out->pts == s->last_pts)
 486         out->pts++;
 487     s->last_pts = out->pts;
 488
 489     ret = ff_filter_frame(outlink, out);
 490     if (ret < 0)
 491         return ret;
 492
 493     return again ? QSVDEINT_MORE_OUTPUT : 0;
 494 fail:
 495     av_frame_free(&out);
 496     return ret;
 497 }
 498
 499 static int qsvdeint_filter_frame(AVFilterLink *link, AVFrame *in)
 500 {
 501     AVFilterContext *ctx = link->dst;
 502
 503     mfxFrameSurface1 *surf_in;
 504     int ret;
 505
 506     ret = submit_frame(ctx, in, &surf_in);
 507     if (ret < 0) {
 508         av_frame_free(&in);
 509         return ret;
 510     }
 511
 512     do {
 513         ret = process_frame(ctx, in, surf_in);
 514         if (ret < 0)
 515             return ret;
 516     } while (ret == QSVDEINT_MORE_OUTPUT);
 517
 518     return 0;
 519 }
 520
 521 static int qsvdeint_request_frame(AVFilterLink *outlink)
 522 {
 523     AVFilterContext *ctx = outlink->src;
 524     QSVDeintContext   *s = ctx->priv;
 525     int ret = 0;
 526
 527     s->got_output_frame = 0;
 528     while (ret >= 0 && !s->got_output_frame)
 529         ret = ff_request_frame(ctx->inputs[0]);
 530
 531     return ret;
 532 }
 533
 534 #define OFFSET(x) offsetof(QSVDeintContext, x)
 535 #define FLAGS AV_OPT_FLAG_VIDEO_PARAM
 536 static const AVOption options[] = {
 537     { NULL },
 538 };
 539
 540 static const AVClass qsvdeint_class = {
 541     .class_name = "deinterlace_qsv",
 542     .item_name  = av_default_item_name,
 543     .option     = options,
 544     .version    = LIBAVUTIL_VERSION_INT,
 545 };
 546
 547 static const AVFilterPad qsvdeint_inputs[] = {
 548     {
 549         .name         = "default",
 550         .type         = AVMEDIA_TYPE_VIDEO,
 551         .filter_frame = qsvdeint_filter_frame,
 552     },
 553     { NULL }
 554 };
 555
 556 static const AVFilterPad qsvdeint_outputs[] = {
 557     {
 558         .name          = "default",
 559         .type          = AVMEDIA_TYPE_VIDEO,
 560         .config_props  = qsvdeint_config_props,
 561         .request_frame = qsvdeint_request_frame,
 562     },
 563     { NULL }
 564 };
 565
 566 AVFilter ff_vf_deinterlace_qsv = {
 567     .name      = "deinterlace_qsv",
 568     .description = NULL_IF_CONFIG_SMALL("QuickSync video deinterlacing"),
 569
 570     .uninit        = qsvdeint_uninit,
 571     .query_formats = qsvdeint_query_formats,
 572
 573     .priv_size = sizeof(QSVDeintContext),
 574     .priv_class = &qsvdeint_class,
 575
 576     .inputs    = qsvdeint_inputs,
 577     .outputs   = qsvdeint_outputs,
 578
 579     .flags_internal = FF_FILTER_FLAG_HWFRAME_AWARE,
 580 };