git.sesse.net Git - ffmpeg/blob - libavcodec/nvenc.c

   1 /*
   2  * H.264/HEVC hardware encoding using nvidia nvenc
   3  * Copyright (c) 2016 Timo Rothenpieler <timo@rothenpieler.org>
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "config.h"
  23
  24 #include "nvenc.h"
  25
  26 #include "libavutil/hwcontext_cuda.h"
  27 #include "libavutil/hwcontext.h"
  28 #include "libavutil/cuda_check.h"
  29 #include "libavutil/imgutils.h"
  30 #include "libavutil/avassert.h"
  31 #include "libavutil/mem.h"
  32 #include "libavutil/pixdesc.h"
  33 #include "internal.h"
  34
  35 #define CHECK_CU(x) FF_CUDA_CHECK_DL(avctx, dl_fn->cuda_dl, x)
  36
  37 #define NVENC_CAP 0x30
  38 #define IS_CBR(rc) (rc == NV_ENC_PARAMS_RC_CBR ||             \
  39                     rc == NV_ENC_PARAMS_RC_CBR_LOWDELAY_HQ || \
  40                     rc == NV_ENC_PARAMS_RC_CBR_HQ)
  41
  42 const enum AVPixelFormat ff_nvenc_pix_fmts[] = {
  43     AV_PIX_FMT_YUV420P,
  44     AV_PIX_FMT_NV12,
  45     AV_PIX_FMT_P010,
  46     AV_PIX_FMT_YUV444P,
  47     AV_PIX_FMT_P016,      // Truncated to 10bits
  48     AV_PIX_FMT_YUV444P16, // Truncated to 10bits
  49     AV_PIX_FMT_0RGB32,
  50     AV_PIX_FMT_0BGR32,
  51     AV_PIX_FMT_CUDA,
  52 #if CONFIG_D3D11VA
  53     AV_PIX_FMT_D3D11,
  54 #endif
  55     AV_PIX_FMT_NONE
  56 };
  57
  58 #define IS_10BIT(pix_fmt)  (pix_fmt == AV_PIX_FMT_P010    || \
  59                             pix_fmt == AV_PIX_FMT_P016    || \
  60                             pix_fmt == AV_PIX_FMT_YUV444P16)
  61
  62 #define IS_YUV444(pix_fmt) (pix_fmt == AV_PIX_FMT_YUV444P || \
  63                             pix_fmt == AV_PIX_FMT_YUV444P16)
  64
  65 static const struct {
  66     NVENCSTATUS nverr;
  67     int         averr;
  68     const char *desc;
  69 } nvenc_errors[] = {
  70     { NV_ENC_SUCCESS,                      0,                "success"                  },
  71     { NV_ENC_ERR_NO_ENCODE_DEVICE,         AVERROR(ENOENT),  "no encode device"         },
  72     { NV_ENC_ERR_UNSUPPORTED_DEVICE,       AVERROR(ENOSYS),  "unsupported device"       },
  73     { NV_ENC_ERR_INVALID_ENCODERDEVICE,    AVERROR(EINVAL),  "invalid encoder device"   },
  74     { NV_ENC_ERR_INVALID_DEVICE,           AVERROR(EINVAL),  "invalid device"           },
  75     { NV_ENC_ERR_DEVICE_NOT_EXIST,         AVERROR(EIO),     "device does not exist"    },
  76     { NV_ENC_ERR_INVALID_PTR,              AVERROR(EFAULT),  "invalid ptr"              },
  77     { NV_ENC_ERR_INVALID_EVENT,            AVERROR(EINVAL),  "invalid event"            },
  78     { NV_ENC_ERR_INVALID_PARAM,            AVERROR(EINVAL),  "invalid param"            },
  79     { NV_ENC_ERR_INVALID_CALL,             AVERROR(EINVAL),  "invalid call"             },
  80     { NV_ENC_ERR_OUT_OF_MEMORY,            AVERROR(ENOMEM),  "out of memory"            },
  81     { NV_ENC_ERR_ENCODER_NOT_INITIALIZED,  AVERROR(EINVAL),  "encoder not initialized"  },
  82     { NV_ENC_ERR_UNSUPPORTED_PARAM,        AVERROR(ENOSYS),  "unsupported param"        },
  83     { NV_ENC_ERR_LOCK_BUSY,                AVERROR(EAGAIN),  "lock busy"                },
  84     { NV_ENC_ERR_NOT_ENOUGH_BUFFER,        AVERROR_BUFFER_TOO_SMALL, "not enough buffer"},
  85     { NV_ENC_ERR_INVALID_VERSION,          AVERROR(EINVAL),  "invalid version"          },
  86     { NV_ENC_ERR_MAP_FAILED,               AVERROR(EIO),     "map failed"               },
  87     { NV_ENC_ERR_NEED_MORE_INPUT,          AVERROR(EAGAIN),  "need more input"          },
  88     { NV_ENC_ERR_ENCODER_BUSY,             AVERROR(EAGAIN),  "encoder busy"             },
  89     { NV_ENC_ERR_EVENT_NOT_REGISTERD,      AVERROR(EBADF),   "event not registered"     },
  90     { NV_ENC_ERR_GENERIC,                  AVERROR_UNKNOWN,  "generic error"            },
  91     { NV_ENC_ERR_INCOMPATIBLE_CLIENT_KEY,  AVERROR(EINVAL),  "incompatible client key"  },
  92     { NV_ENC_ERR_UNIMPLEMENTED,            AVERROR(ENOSYS),  "unimplemented"            },
  93     { NV_ENC_ERR_RESOURCE_REGISTER_FAILED, AVERROR(EIO),     "resource register failed" },
  94     { NV_ENC_ERR_RESOURCE_NOT_REGISTERED,  AVERROR(EBADF),   "resource not registered"  },
  95     { NV_ENC_ERR_RESOURCE_NOT_MAPPED,      AVERROR(EBADF),   "resource not mapped"      },
  96 };
  97
  98 static int nvenc_map_error(NVENCSTATUS err, const char **desc)
  99 {
 100     int i;
 101     for (i = 0; i < FF_ARRAY_ELEMS(nvenc_errors); i++) {
 102         if (nvenc_errors[i].nverr == err) {
 103             if (desc)
 104                 *desc = nvenc_errors[i].desc;
 105             return nvenc_errors[i].averr;
 106         }
 107     }
 108     if (desc)
 109         *desc = "unknown error";
 110     return AVERROR_UNKNOWN;
 111 }
 112
 113 static int nvenc_print_error(void *log_ctx, NVENCSTATUS err,
 114                              const char *error_string)
 115 {
 116     const char *desc;
 117     int ret;
 118     ret = nvenc_map_error(err, &desc);
 119     av_log(log_ctx, AV_LOG_ERROR, "%s: %s (%d)\n", error_string, desc, err);
 120     return ret;
 121 }
 122
 123 static void nvenc_print_driver_requirement(AVCodecContext *avctx, int level)
 124 {
 125 #if NVENCAPI_CHECK_VERSION(9, 0)
 126 # if defined(_WIN32) || defined(__CYGWIN__)
 127     const char *minver = "418.81";
 128 # else
 129     const char *minver = "418.30";
 130 # endif
 131 #elif NVENCAPI_CHECK_VERSION(8, 2)
 132 # if defined(_WIN32) || defined(__CYGWIN__)
 133     const char *minver = "397.93";
 134 # else
 135     const char *minver = "396.24";
 136 #endif
 137 #elif NVENCAPI_CHECK_VERSION(8, 1)
 138 # if defined(_WIN32) || defined(__CYGWIN__)
 139     const char *minver = "390.77";
 140 # else
 141     const char *minver = "390.25";
 142 # endif
 143 #else
 144 # if defined(_WIN32) || defined(__CYGWIN__)
 145     const char *minver = "378.66";
 146 # else
 147     const char *minver = "378.13";
 148 # endif
 149 #endif
 150     av_log(avctx, level, "The minimum required Nvidia driver for nvenc is %s or newer\n", minver);
 151 }
 152
 153 static av_cold int nvenc_load_libraries(AVCodecContext *avctx)
 154 {
 155     NvencContext *ctx            = avctx->priv_data;
 156     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
 157     NVENCSTATUS err;
 158     uint32_t nvenc_max_ver;
 159     int ret;
 160
 161     ret = cuda_load_functions(&dl_fn->cuda_dl, avctx);
 162     if (ret < 0)
 163         return ret;
 164
 165     ret = nvenc_load_functions(&dl_fn->nvenc_dl, avctx);
 166     if (ret < 0) {
 167         nvenc_print_driver_requirement(avctx, AV_LOG_ERROR);
 168         return ret;
 169     }
 170
 171     err = dl_fn->nvenc_dl->NvEncodeAPIGetMaxSupportedVersion(&nvenc_max_ver);
 172     if (err != NV_ENC_SUCCESS)
 173         return nvenc_print_error(avctx, err, "Failed to query nvenc max version");
 174
 175     av_log(avctx, AV_LOG_VERBOSE, "Loaded Nvenc version %d.%d\n", nvenc_max_ver >> 4, nvenc_max_ver & 0xf);
 176
 177     if ((NVENCAPI_MAJOR_VERSION << 4 | NVENCAPI_MINOR_VERSION) > nvenc_max_ver) {
 178         av_log(avctx, AV_LOG_ERROR, "Driver does not support the required nvenc API version. "
 179                "Required: %d.%d Found: %d.%d\n",
 180                NVENCAPI_MAJOR_VERSION, NVENCAPI_MINOR_VERSION,
 181                nvenc_max_ver >> 4, nvenc_max_ver & 0xf);
 182         nvenc_print_driver_requirement(avctx, AV_LOG_ERROR);
 183         return AVERROR(ENOSYS);
 184     }
 185
 186     dl_fn->nvenc_funcs.version = NV_ENCODE_API_FUNCTION_LIST_VER;
 187
 188     err = dl_fn->nvenc_dl->NvEncodeAPICreateInstance(&dl_fn->nvenc_funcs);
 189     if (err != NV_ENC_SUCCESS)
 190         return nvenc_print_error(avctx, err, "Failed to create nvenc instance");
 191
 192     av_log(avctx, AV_LOG_VERBOSE, "Nvenc initialized successfully\n");
 193
 194     return 0;
 195 }
 196
 197 static int nvenc_push_context(AVCodecContext *avctx)
 198 {
 199     NvencContext *ctx            = avctx->priv_data;
 200     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
 201
 202     if (ctx->d3d11_device)
 203         return 0;
 204
 205     return CHECK_CU(dl_fn->cuda_dl->cuCtxPushCurrent(ctx->cu_context));
 206 }
 207
 208 static int nvenc_pop_context(AVCodecContext *avctx)
 209 {
 210     NvencContext *ctx            = avctx->priv_data;
 211     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
 212     CUcontext dummy;
 213
 214     if (ctx->d3d11_device)
 215         return 0;
 216
 217     return CHECK_CU(dl_fn->cuda_dl->cuCtxPopCurrent(&dummy));
 218 }
 219
 220 static av_cold int nvenc_open_session(AVCodecContext *avctx)
 221 {
 222     NV_ENC_OPEN_ENCODE_SESSION_EX_PARAMS params = { 0 };
 223     NvencContext *ctx = avctx->priv_data;
 224     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &ctx->nvenc_dload_funcs.nvenc_funcs;
 225     NVENCSTATUS ret;
 226
 227     params.version    = NV_ENC_OPEN_ENCODE_SESSION_EX_PARAMS_VER;
 228     params.apiVersion = NVENCAPI_VERSION;
 229     if (ctx->d3d11_device) {
 230         params.device     = ctx->d3d11_device;
 231         params.deviceType = NV_ENC_DEVICE_TYPE_DIRECTX;
 232     } else {
 233         params.device     = ctx->cu_context;
 234         params.deviceType = NV_ENC_DEVICE_TYPE_CUDA;
 235     }
 236
 237     ret = p_nvenc->nvEncOpenEncodeSessionEx(&params, &ctx->nvencoder);
 238     if (ret != NV_ENC_SUCCESS) {
 239         ctx->nvencoder = NULL;
 240         return nvenc_print_error(avctx, ret, "OpenEncodeSessionEx failed");
 241     }
 242
 243     return 0;
 244 }
 245
 246 static int nvenc_check_codec_support(AVCodecContext *avctx)
 247 {
 248     NvencContext *ctx                    = avctx->priv_data;
 249     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &ctx->nvenc_dload_funcs.nvenc_funcs;
 250     int i, ret, count = 0;
 251     GUID *guids = NULL;
 252
 253     ret = p_nvenc->nvEncGetEncodeGUIDCount(ctx->nvencoder, &count);
 254
 255     if (ret != NV_ENC_SUCCESS || !count)
 256         return AVERROR(ENOSYS);
 257
 258     guids = av_malloc(count * sizeof(GUID));
 259     if (!guids)
 260         return AVERROR(ENOMEM);
 261
 262     ret = p_nvenc->nvEncGetEncodeGUIDs(ctx->nvencoder, guids, count, &count);
 263     if (ret != NV_ENC_SUCCESS) {
 264         ret = AVERROR(ENOSYS);
 265         goto fail;
 266     }
 267
 268     ret = AVERROR(ENOSYS);
 269     for (i = 0; i < count; i++) {
 270         if (!memcmp(&guids[i], &ctx->init_encode_params.encodeGUID, sizeof(*guids))) {
 271             ret = 0;
 272             break;
 273         }
 274     }
 275
 276 fail:
 277     av_free(guids);
 278
 279     return ret;
 280 }
 281
 282 static int nvenc_check_cap(AVCodecContext *avctx, NV_ENC_CAPS cap)
 283 {
 284     NvencContext *ctx = avctx->priv_data;
 285     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &ctx->nvenc_dload_funcs.nvenc_funcs;
 286     NV_ENC_CAPS_PARAM params        = { 0 };
 287     int ret, val = 0;
 288
 289     params.version     = NV_ENC_CAPS_PARAM_VER;
 290     params.capsToQuery = cap;
 291
 292     ret = p_nvenc->nvEncGetEncodeCaps(ctx->nvencoder, ctx->init_encode_params.encodeGUID, &params, &val);
 293
 294     if (ret == NV_ENC_SUCCESS)
 295         return val;
 296     return 0;
 297 }
 298
 299 static int nvenc_check_capabilities(AVCodecContext *avctx)
 300 {
 301     NvencContext *ctx = avctx->priv_data;
 302     int ret;
 303
 304     ret = nvenc_check_codec_support(avctx);
 305     if (ret < 0) {
 306         av_log(avctx, AV_LOG_VERBOSE, "Codec not supported\n");
 307         return ret;
 308     }
 309
 310     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_SUPPORT_YUV444_ENCODE);
 311     if (IS_YUV444(ctx->data_pix_fmt) && ret <= 0) {
 312         av_log(avctx, AV_LOG_VERBOSE, "YUV444P not supported\n");
 313         return AVERROR(ENOSYS);
 314     }
 315
 316     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_SUPPORT_LOSSLESS_ENCODE);
 317     if (ctx->preset >= PRESET_LOSSLESS_DEFAULT && ret <= 0) {
 318         av_log(avctx, AV_LOG_VERBOSE, "Lossless encoding not supported\n");
 319         return AVERROR(ENOSYS);
 320     }
 321
 322     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_WIDTH_MAX);
 323     if (ret < avctx->width) {
 324         av_log(avctx, AV_LOG_VERBOSE, "Width %d exceeds %d\n",
 325                avctx->width, ret);
 326         return AVERROR(ENOSYS);
 327     }
 328
 329     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_HEIGHT_MAX);
 330     if (ret < avctx->height) {
 331         av_log(avctx, AV_LOG_VERBOSE, "Height %d exceeds %d\n",
 332                avctx->height, ret);
 333         return AVERROR(ENOSYS);
 334     }
 335
 336     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_NUM_MAX_BFRAMES);
 337     if (ret < avctx->max_b_frames) {
 338         av_log(avctx, AV_LOG_VERBOSE, "Max B-frames %d exceed %d\n",
 339                avctx->max_b_frames, ret);
 340
 341         return AVERROR(ENOSYS);
 342     }
 343
 344     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_SUPPORT_FIELD_ENCODING);
 345     if (ret < 1 && avctx->flags & AV_CODEC_FLAG_INTERLACED_DCT) {
 346         av_log(avctx, AV_LOG_VERBOSE,
 347                "Interlaced encoding is not supported. Supported level: %d\n",
 348                ret);
 349         return AVERROR(ENOSYS);
 350     }
 351
 352     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_SUPPORT_10BIT_ENCODE);
 353     if (IS_10BIT(ctx->data_pix_fmt) && ret <= 0) {
 354         av_log(avctx, AV_LOG_VERBOSE, "10 bit encode not supported\n");
 355         return AVERROR(ENOSYS);
 356     }
 357
 358     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_SUPPORT_LOOKAHEAD);
 359     if (ctx->rc_lookahead > 0 && ret <= 0) {
 360         av_log(avctx, AV_LOG_VERBOSE, "RC lookahead not supported\n");
 361         return AVERROR(ENOSYS);
 362     }
 363
 364     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_SUPPORT_TEMPORAL_AQ);
 365     if (ctx->temporal_aq > 0 && ret <= 0) {
 366         av_log(avctx, AV_LOG_VERBOSE, "Temporal AQ not supported\n");
 367         return AVERROR(ENOSYS);
 368     }
 369
 370     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_SUPPORT_WEIGHTED_PREDICTION);
 371     if (ctx->weighted_pred > 0 && ret <= 0) {
 372         av_log (avctx, AV_LOG_VERBOSE, "Weighted Prediction not supported\n");
 373         return AVERROR(ENOSYS);
 374     }
 375
 376     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_SUPPORT_CABAC);
 377     if (ctx->coder == NV_ENC_H264_ENTROPY_CODING_MODE_CABAC && ret <= 0) {
 378         av_log(avctx, AV_LOG_VERBOSE, "CABAC entropy coding not supported\n");
 379         return AVERROR(ENOSYS);
 380     }
 381
 382 #ifdef NVENC_HAVE_BFRAME_REF_MODE
 383     ret = nvenc_check_cap(avctx, NV_ENC_CAPS_SUPPORT_BFRAME_REF_MODE);
 384     if (ctx->b_ref_mode == NV_ENC_BFRAME_REF_MODE_EACH && ret != 1) {
 385         av_log(avctx, AV_LOG_VERBOSE, "Each B frame as reference is not supported\n");
 386         return AVERROR(ENOSYS);
 387     } else if (ctx->b_ref_mode != NV_ENC_BFRAME_REF_MODE_DISABLED && ret == 0) {
 388         av_log(avctx, AV_LOG_VERBOSE, "B frames as references are not supported\n");
 389         return AVERROR(ENOSYS);
 390     }
 391 #else
 392     if (ctx->b_ref_mode != 0) {
 393         av_log(avctx, AV_LOG_VERBOSE, "B frames as references need SDK 8.1 at build time\n");
 394         return AVERROR(ENOSYS);
 395     }
 396 #endif
 397
 398     ctx->support_dyn_bitrate = nvenc_check_cap(avctx, NV_ENC_CAPS_SUPPORT_DYN_BITRATE_CHANGE);
 399
 400     return 0;
 401 }
 402
 403 static av_cold int nvenc_check_device(AVCodecContext *avctx, int idx)
 404 {
 405     NvencContext *ctx = avctx->priv_data;
 406     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
 407     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &dl_fn->nvenc_funcs;
 408     char name[128] = { 0};
 409     int major, minor, ret;
 410     CUdevice cu_device;
 411     int loglevel = AV_LOG_VERBOSE;
 412
 413     if (ctx->device == LIST_DEVICES)
 414         loglevel = AV_LOG_INFO;
 415
 416     ret = CHECK_CU(dl_fn->cuda_dl->cuDeviceGet(&cu_device, idx));
 417     if (ret < 0)
 418         return ret;
 419
 420     ret = CHECK_CU(dl_fn->cuda_dl->cuDeviceGetName(name, sizeof(name), cu_device));
 421     if (ret < 0)
 422         return ret;
 423
 424     ret = CHECK_CU(dl_fn->cuda_dl->cuDeviceComputeCapability(&major, &minor, cu_device));
 425     if (ret < 0)
 426         return ret;
 427
 428     av_log(avctx, loglevel, "[ GPU #%d - < %s > has Compute SM %d.%d ]\n", idx, name, major, minor);
 429     if (((major << 4) | minor) < NVENC_CAP) {
 430         av_log(avctx, loglevel, "does not support NVENC\n");
 431         goto fail;
 432     }
 433
 434     if (ctx->device != idx && ctx->device != ANY_DEVICE)
 435         return -1;
 436
 437     ret = CHECK_CU(dl_fn->cuda_dl->cuCtxCreate(&ctx->cu_context_internal, 0, cu_device));
 438     if (ret < 0)
 439         goto fail;
 440
 441     ctx->cu_context = ctx->cu_context_internal;
 442
 443     if ((ret = nvenc_pop_context(avctx)) < 0)
 444         goto fail2;
 445
 446     if ((ret = nvenc_open_session(avctx)) < 0)
 447         goto fail2;
 448
 449     if ((ret = nvenc_check_capabilities(avctx)) < 0)
 450         goto fail3;
 451
 452     av_log(avctx, loglevel, "supports NVENC\n");
 453
 454     dl_fn->nvenc_device_count++;
 455
 456     if (ctx->device == idx || ctx->device == ANY_DEVICE)
 457         return 0;
 458
 459 fail3:
 460     if ((ret = nvenc_push_context(avctx)) < 0)
 461         return ret;
 462
 463     p_nvenc->nvEncDestroyEncoder(ctx->nvencoder);
 464     ctx->nvencoder = NULL;
 465
 466     if ((ret = nvenc_pop_context(avctx)) < 0)
 467         return ret;
 468
 469 fail2:
 470     CHECK_CU(dl_fn->cuda_dl->cuCtxDestroy(ctx->cu_context_internal));
 471     ctx->cu_context_internal = NULL;
 472
 473 fail:
 474     return AVERROR(ENOSYS);
 475 }
 476
 477 static av_cold int nvenc_setup_device(AVCodecContext *avctx)
 478 {
 479     NvencContext *ctx            = avctx->priv_data;
 480     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
 481
 482     switch (avctx->codec->id) {
 483     case AV_CODEC_ID_H264:
 484         ctx->init_encode_params.encodeGUID = NV_ENC_CODEC_H264_GUID;
 485         break;
 486     case AV_CODEC_ID_HEVC:
 487         ctx->init_encode_params.encodeGUID = NV_ENC_CODEC_HEVC_GUID;
 488         break;
 489     default:
 490         return AVERROR_BUG;
 491     }
 492
 493     if (avctx->pix_fmt == AV_PIX_FMT_CUDA || avctx->pix_fmt == AV_PIX_FMT_D3D11 || avctx->hw_frames_ctx || avctx->hw_device_ctx) {
 494         AVHWFramesContext   *frames_ctx;
 495         AVHWDeviceContext   *hwdev_ctx;
 496         AVCUDADeviceContext *cuda_device_hwctx = NULL;
 497 #if CONFIG_D3D11VA
 498         AVD3D11VADeviceContext *d3d11_device_hwctx = NULL;
 499 #endif
 500         int ret;
 501
 502         if (avctx->hw_frames_ctx) {
 503             frames_ctx = (AVHWFramesContext*)avctx->hw_frames_ctx->data;
 504             if (frames_ctx->format == AV_PIX_FMT_CUDA)
 505                 cuda_device_hwctx = frames_ctx->device_ctx->hwctx;
 506 #if CONFIG_D3D11VA
 507             else if (frames_ctx->format == AV_PIX_FMT_D3D11)
 508                 d3d11_device_hwctx = frames_ctx->device_ctx->hwctx;
 509 #endif
 510             else
 511                 return AVERROR(EINVAL);
 512         } else if (avctx->hw_device_ctx) {
 513             hwdev_ctx = (AVHWDeviceContext*)avctx->hw_device_ctx->data;
 514             if (hwdev_ctx->type == AV_HWDEVICE_TYPE_CUDA)
 515                 cuda_device_hwctx = hwdev_ctx->hwctx;
 516 #if CONFIG_D3D11VA
 517             else if (hwdev_ctx->type == AV_HWDEVICE_TYPE_D3D11VA)
 518                 d3d11_device_hwctx = hwdev_ctx->hwctx;
 519 #endif
 520             else
 521                 return AVERROR(EINVAL);
 522         } else {
 523             return AVERROR(EINVAL);
 524         }
 525
 526         if (cuda_device_hwctx) {
 527             ctx->cu_context = cuda_device_hwctx->cuda_ctx;
 528         }
 529 #if CONFIG_D3D11VA
 530         else if (d3d11_device_hwctx) {
 531             ctx->d3d11_device = d3d11_device_hwctx->device;
 532             ID3D11Device_AddRef(ctx->d3d11_device);
 533         }
 534 #endif
 535
 536         ret = nvenc_open_session(avctx);
 537         if (ret < 0)
 538             return ret;
 539
 540         ret = nvenc_check_capabilities(avctx);
 541         if (ret < 0) {
 542             av_log(avctx, AV_LOG_FATAL, "Provided device doesn't support required NVENC features\n");
 543             return ret;
 544         }
 545     } else {
 546         int i, nb_devices = 0;
 547
 548         if (CHECK_CU(dl_fn->cuda_dl->cuInit(0)) < 0)
 549             return AVERROR_UNKNOWN;
 550
 551         if (CHECK_CU(dl_fn->cuda_dl->cuDeviceGetCount(&nb_devices)) < 0)
 552             return AVERROR_UNKNOWN;
 553
 554         if (!nb_devices) {
 555             av_log(avctx, AV_LOG_FATAL, "No CUDA capable devices found\n");
 556                 return AVERROR_EXTERNAL;
 557         }
 558
 559         av_log(avctx, AV_LOG_VERBOSE, "%d CUDA capable devices found\n", nb_devices);
 560
 561         dl_fn->nvenc_device_count = 0;
 562         for (i = 0; i < nb_devices; ++i) {
 563             if ((nvenc_check_device(avctx, i)) >= 0 && ctx->device != LIST_DEVICES)
 564                 return 0;
 565         }
 566
 567         if (ctx->device == LIST_DEVICES)
 568             return AVERROR_EXIT;
 569
 570         if (!dl_fn->nvenc_device_count) {
 571             av_log(avctx, AV_LOG_FATAL, "No NVENC capable devices found\n");
 572             return AVERROR_EXTERNAL;
 573         }
 574
 575         av_log(avctx, AV_LOG_FATAL, "Requested GPU %d, but only %d GPUs are available!\n", ctx->device, nb_devices);
 576         return AVERROR(EINVAL);
 577     }
 578
 579     return 0;
 580 }
 581
 582 typedef struct GUIDTuple {
 583     const GUID guid;
 584     int flags;
 585 } GUIDTuple;
 586
 587 #define PRESET_ALIAS(alias, name, ...) \
 588     [PRESET_ ## alias] = { NV_ENC_PRESET_ ## name ## _GUID, __VA_ARGS__ }
 589
 590 #define PRESET(name, ...) PRESET_ALIAS(name, name, __VA_ARGS__)
 591
 592 static void nvenc_map_preset(NvencContext *ctx)
 593 {
 594     GUIDTuple presets[] = {
 595         PRESET(DEFAULT),
 596         PRESET(HP),
 597         PRESET(HQ),
 598         PRESET(BD),
 599         PRESET_ALIAS(SLOW,   HQ,    NVENC_TWO_PASSES),
 600         PRESET_ALIAS(MEDIUM, HQ,    NVENC_ONE_PASS),
 601         PRESET_ALIAS(FAST,   HP,    NVENC_ONE_PASS),
 602         PRESET(LOW_LATENCY_DEFAULT, NVENC_LOWLATENCY),
 603         PRESET(LOW_LATENCY_HP,      NVENC_LOWLATENCY),
 604         PRESET(LOW_LATENCY_HQ,      NVENC_LOWLATENCY),
 605         PRESET(LOSSLESS_DEFAULT,    NVENC_LOSSLESS),
 606         PRESET(LOSSLESS_HP,         NVENC_LOSSLESS),
 607     };
 608
 609     GUIDTuple *t = &presets[ctx->preset];
 610
 611     ctx->init_encode_params.presetGUID = t->guid;
 612     ctx->flags = t->flags;
 613 }
 614
 615 #undef PRESET
 616 #undef PRESET_ALIAS
 617
 618 static av_cold void set_constqp(AVCodecContext *avctx)
 619 {
 620     NvencContext *ctx = avctx->priv_data;
 621     NV_ENC_RC_PARAMS *rc = &ctx->encode_config.rcParams;
 622
 623     rc->rateControlMode = NV_ENC_PARAMS_RC_CONSTQP;
 624
 625     if (ctx->init_qp_p >= 0) {
 626         rc->constQP.qpInterP = ctx->init_qp_p;
 627         if (ctx->init_qp_i >= 0 && ctx->init_qp_b >= 0) {
 628             rc->constQP.qpIntra = ctx->init_qp_i;
 629             rc->constQP.qpInterB = ctx->init_qp_b;
 630         } else if (avctx->i_quant_factor != 0.0 && avctx->b_quant_factor != 0.0) {
 631             rc->constQP.qpIntra = av_clip(
 632                 rc->constQP.qpInterP * fabs(avctx->i_quant_factor) + avctx->i_quant_offset + 0.5, 0, 51);
 633             rc->constQP.qpInterB = av_clip(
 634                 rc->constQP.qpInterP * fabs(avctx->b_quant_factor) + avctx->b_quant_offset + 0.5, 0, 51);
 635         } else {
 636             rc->constQP.qpIntra = rc->constQP.qpInterP;
 637             rc->constQP.qpInterB = rc->constQP.qpInterP;
 638         }
 639     } else if (ctx->cqp >= 0) {
 640         rc->constQP.qpInterP = rc->constQP.qpInterB = rc->constQP.qpIntra = ctx->cqp;
 641         if (avctx->b_quant_factor != 0.0)
 642             rc->constQP.qpInterB = av_clip(ctx->cqp * fabs(avctx->b_quant_factor) + avctx->b_quant_offset + 0.5, 0, 51);
 643         if (avctx->i_quant_factor != 0.0)
 644             rc->constQP.qpIntra = av_clip(ctx->cqp * fabs(avctx->i_quant_factor) + avctx->i_quant_offset + 0.5, 0, 51);
 645     }
 646
 647     avctx->qmin = -1;
 648     avctx->qmax = -1;
 649 }
 650
 651 static av_cold void set_vbr(AVCodecContext *avctx)
 652 {
 653     NvencContext *ctx = avctx->priv_data;
 654     NV_ENC_RC_PARAMS *rc = &ctx->encode_config.rcParams;
 655     int qp_inter_p;
 656
 657     if (avctx->qmin >= 0 && avctx->qmax >= 0) {
 658         rc->enableMinQP = 1;
 659         rc->enableMaxQP = 1;
 660
 661         rc->minQP.qpInterB = avctx->qmin;
 662         rc->minQP.qpInterP = avctx->qmin;
 663         rc->minQP.qpIntra  = avctx->qmin;
 664
 665         rc->maxQP.qpInterB = avctx->qmax;
 666         rc->maxQP.qpInterP = avctx->qmax;
 667         rc->maxQP.qpIntra = avctx->qmax;
 668
 669         qp_inter_p = (avctx->qmax + 3 * avctx->qmin) / 4; // biased towards Qmin
 670     } else if (avctx->qmin >= 0) {
 671         rc->enableMinQP = 1;
 672
 673         rc->minQP.qpInterB = avctx->qmin;
 674         rc->minQP.qpInterP = avctx->qmin;
 675         rc->minQP.qpIntra = avctx->qmin;
 676
 677         qp_inter_p = avctx->qmin;
 678     } else {
 679         qp_inter_p = 26; // default to 26
 680     }
 681
 682     rc->enableInitialRCQP = 1;
 683
 684     if (ctx->init_qp_p < 0) {
 685         rc->initialRCQP.qpInterP  = qp_inter_p;
 686     } else {
 687         rc->initialRCQP.qpInterP = ctx->init_qp_p;
 688     }
 689
 690     if (ctx->init_qp_i < 0) {
 691         if (avctx->i_quant_factor != 0.0 && avctx->b_quant_factor != 0.0) {
 692             rc->initialRCQP.qpIntra = av_clip(
 693                 rc->initialRCQP.qpInterP * fabs(avctx->i_quant_factor) + avctx->i_quant_offset + 0.5, 0, 51);
 694         } else {
 695             rc->initialRCQP.qpIntra = rc->initialRCQP.qpInterP;
 696         }
 697     } else {
 698         rc->initialRCQP.qpIntra = ctx->init_qp_i;
 699     }
 700
 701     if (ctx->init_qp_b < 0) {
 702         if (avctx->i_quant_factor != 0.0 && avctx->b_quant_factor != 0.0) {
 703             rc->initialRCQP.qpInterB = av_clip(
 704                 rc->initialRCQP.qpInterP * fabs(avctx->b_quant_factor) + avctx->b_quant_offset + 0.5, 0, 51);
 705         } else {
 706             rc->initialRCQP.qpInterB = rc->initialRCQP.qpInterP;
 707         }
 708     } else {
 709         rc->initialRCQP.qpInterB = ctx->init_qp_b;
 710     }
 711 }
 712
 713 static av_cold void set_lossless(AVCodecContext *avctx)
 714 {
 715     NvencContext *ctx = avctx->priv_data;
 716     NV_ENC_RC_PARAMS *rc = &ctx->encode_config.rcParams;
 717
 718     rc->rateControlMode = NV_ENC_PARAMS_RC_CONSTQP;
 719     rc->constQP.qpInterB = 0;
 720     rc->constQP.qpInterP = 0;
 721     rc->constQP.qpIntra  = 0;
 722
 723     avctx->qmin = -1;
 724     avctx->qmax = -1;
 725 }
 726
 727 static void nvenc_override_rate_control(AVCodecContext *avctx)
 728 {
 729     NvencContext *ctx    = avctx->priv_data;
 730     NV_ENC_RC_PARAMS *rc = &ctx->encode_config.rcParams;
 731
 732     switch (ctx->rc) {
 733     case NV_ENC_PARAMS_RC_CONSTQP:
 734         set_constqp(avctx);
 735         return;
 736     case NV_ENC_PARAMS_RC_VBR_MINQP:
 737         if (avctx->qmin < 0) {
 738             av_log(avctx, AV_LOG_WARNING,
 739                    "The variable bitrate rate-control requires "
 740                    "the 'qmin' option set.\n");
 741             set_vbr(avctx);
 742             return;
 743         }
 744         /* fall through */
 745     case NV_ENC_PARAMS_RC_VBR_HQ:
 746     case NV_ENC_PARAMS_RC_VBR:
 747         set_vbr(avctx);
 748         break;
 749     case NV_ENC_PARAMS_RC_CBR:
 750     case NV_ENC_PARAMS_RC_CBR_HQ:
 751     case NV_ENC_PARAMS_RC_CBR_LOWDELAY_HQ:
 752         break;
 753     }
 754
 755     rc->rateControlMode = ctx->rc;
 756 }
 757
 758 static av_cold int nvenc_recalc_surfaces(AVCodecContext *avctx)
 759 {
 760     NvencContext *ctx = avctx->priv_data;
 761     // default minimum of 4 surfaces
 762     // multiply by 2 for number of NVENCs on gpu (hardcode to 2)
 763     // another multiply by 2 to avoid blocking next PBB group
 764     int nb_surfaces = FFMAX(4, ctx->encode_config.frameIntervalP * 2 * 2);
 765
 766     // lookahead enabled
 767     if (ctx->rc_lookahead > 0) {
 768         // +1 is to account for lkd_bound calculation later
 769         // +4 is to allow sufficient pipelining with lookahead
 770         nb_surfaces = FFMAX(1, FFMAX(nb_surfaces, ctx->rc_lookahead + ctx->encode_config.frameIntervalP + 1 + 4));
 771         if (nb_surfaces > ctx->nb_surfaces && ctx->nb_surfaces > 0)
 772         {
 773             av_log(avctx, AV_LOG_WARNING,
 774                    "Defined rc_lookahead requires more surfaces, "
 775                    "increasing used surfaces %d -> %d\n", ctx->nb_surfaces, nb_surfaces);
 776         }
 777         ctx->nb_surfaces = FFMAX(nb_surfaces, ctx->nb_surfaces);
 778     } else {
 779         if (ctx->encode_config.frameIntervalP > 1 && ctx->nb_surfaces < nb_surfaces && ctx->nb_surfaces > 0)
 780         {
 781             av_log(avctx, AV_LOG_WARNING,
 782                    "Defined b-frame requires more surfaces, "
 783                    "increasing used surfaces %d -> %d\n", ctx->nb_surfaces, nb_surfaces);
 784             ctx->nb_surfaces = FFMAX(ctx->nb_surfaces, nb_surfaces);
 785         }
 786         else if (ctx->nb_surfaces <= 0)
 787             ctx->nb_surfaces = nb_surfaces;
 788         // otherwise use user specified value
 789     }
 790
 791     ctx->nb_surfaces = FFMAX(1, FFMIN(MAX_REGISTERED_FRAMES, ctx->nb_surfaces));
 792     ctx->async_depth = FFMIN(ctx->async_depth, ctx->nb_surfaces - 1);
 793
 794     return 0;
 795 }
 796
 797 static av_cold void nvenc_setup_rate_control(AVCodecContext *avctx)
 798 {
 799     NvencContext *ctx = avctx->priv_data;
 800
 801     if (avctx->global_quality > 0)
 802         av_log(avctx, AV_LOG_WARNING, "Using global_quality with nvenc is deprecated. Use qp instead.\n");
 803
 804     if (ctx->cqp < 0 && avctx->global_quality > 0)
 805         ctx->cqp = avctx->global_quality;
 806
 807     if (avctx->bit_rate > 0) {
 808         ctx->encode_config.rcParams.averageBitRate = avctx->bit_rate;
 809     } else if (ctx->encode_config.rcParams.averageBitRate > 0) {
 810         ctx->encode_config.rcParams.maxBitRate = ctx->encode_config.rcParams.averageBitRate;
 811     }
 812
 813     if (avctx->rc_max_rate > 0)
 814         ctx->encode_config.rcParams.maxBitRate = avctx->rc_max_rate;
 815
 816     if (ctx->rc < 0) {
 817         if (ctx->flags & NVENC_ONE_PASS)
 818             ctx->twopass = 0;
 819         if (ctx->flags & NVENC_TWO_PASSES)
 820             ctx->twopass = 1;
 821
 822         if (ctx->twopass < 0)
 823             ctx->twopass = (ctx->flags & NVENC_LOWLATENCY) != 0;
 824
 825         if (ctx->cbr) {
 826             if (ctx->twopass) {
 827                 ctx->rc = NV_ENC_PARAMS_RC_CBR_LOWDELAY_HQ;
 828             } else {
 829                 ctx->rc = NV_ENC_PARAMS_RC_CBR;
 830             }
 831         } else if (ctx->cqp >= 0) {
 832             ctx->rc = NV_ENC_PARAMS_RC_CONSTQP;
 833         } else if (ctx->twopass) {
 834             ctx->rc = NV_ENC_PARAMS_RC_VBR_HQ;
 835         } else if (avctx->qmin >= 0 && avctx->qmax >= 0) {
 836             ctx->rc = NV_ENC_PARAMS_RC_VBR_MINQP;
 837         }
 838     }
 839
 840     if (ctx->rc >= 0 && ctx->rc & RC_MODE_DEPRECATED) {
 841         av_log(avctx, AV_LOG_WARNING, "Specified rc mode is deprecated.\n");
 842         av_log(avctx, AV_LOG_WARNING, "\tll_2pass_quality -> cbr_ld_hq\n");
 843         av_log(avctx, AV_LOG_WARNING, "\tll_2pass_size -> cbr_hq\n");
 844         av_log(avctx, AV_LOG_WARNING, "\tvbr_2pass -> vbr_hq\n");
 845         av_log(avctx, AV_LOG_WARNING, "\tvbr_minqp -> (no replacement)\n");
 846
 847         ctx->rc &= ~RC_MODE_DEPRECATED;
 848     }
 849
 850     if (ctx->flags & NVENC_LOSSLESS) {
 851         set_lossless(avctx);
 852     } else if (ctx->rc >= 0) {
 853         nvenc_override_rate_control(avctx);
 854     } else {
 855         ctx->encode_config.rcParams.rateControlMode = NV_ENC_PARAMS_RC_VBR;
 856         set_vbr(avctx);
 857     }
 858
 859     if (avctx->rc_buffer_size > 0) {
 860         ctx->encode_config.rcParams.vbvBufferSize = avctx->rc_buffer_size;
 861     } else if (ctx->encode_config.rcParams.averageBitRate > 0) {
 862         avctx->rc_buffer_size = ctx->encode_config.rcParams.vbvBufferSize = 2 * ctx->encode_config.rcParams.averageBitRate;
 863     }
 864
 865     if (ctx->aq) {
 866         ctx->encode_config.rcParams.enableAQ   = 1;
 867         ctx->encode_config.rcParams.aqStrength = ctx->aq_strength;
 868         av_log(avctx, AV_LOG_VERBOSE, "AQ enabled.\n");
 869     }
 870
 871     if (ctx->temporal_aq) {
 872         ctx->encode_config.rcParams.enableTemporalAQ = 1;
 873         av_log(avctx, AV_LOG_VERBOSE, "Temporal AQ enabled.\n");
 874     }
 875
 876     if (ctx->rc_lookahead > 0) {
 877         int lkd_bound = FFMIN(ctx->nb_surfaces, ctx->async_depth) -
 878                         ctx->encode_config.frameIntervalP - 4;
 879
 880         if (lkd_bound < 0) {
 881             av_log(avctx, AV_LOG_WARNING,
 882                    "Lookahead not enabled. Increase buffer delay (-delay).\n");
 883         } else {
 884             ctx->encode_config.rcParams.enableLookahead = 1;
 885             ctx->encode_config.rcParams.lookaheadDepth  = av_clip(ctx->rc_lookahead, 0, lkd_bound);
 886             ctx->encode_config.rcParams.disableIadapt   = ctx->no_scenecut;
 887             ctx->encode_config.rcParams.disableBadapt   = !ctx->b_adapt;
 888             av_log(avctx, AV_LOG_VERBOSE,
 889                    "Lookahead enabled: depth %d, scenecut %s, B-adapt %s.\n",
 890                    ctx->encode_config.rcParams.lookaheadDepth,
 891                    ctx->encode_config.rcParams.disableIadapt ? "disabled" : "enabled",
 892                    ctx->encode_config.rcParams.disableBadapt ? "disabled" : "enabled");
 893         }
 894     }
 895
 896     if (ctx->strict_gop) {
 897         ctx->encode_config.rcParams.strictGOPTarget = 1;
 898         av_log(avctx, AV_LOG_VERBOSE, "Strict GOP target enabled.\n");
 899     }
 900
 901     if (ctx->nonref_p)
 902         ctx->encode_config.rcParams.enableNonRefP = 1;
 903
 904     if (ctx->zerolatency)
 905         ctx->encode_config.rcParams.zeroReorderDelay = 1;
 906
 907     if (ctx->quality)
 908     {
 909         //convert from float to fixed point 8.8
 910         int tmp_quality = (int)(ctx->quality * 256.0f);
 911         ctx->encode_config.rcParams.targetQuality = (uint8_t)(tmp_quality >> 8);
 912         ctx->encode_config.rcParams.targetQualityLSB = (uint8_t)(tmp_quality & 0xff);
 913     }
 914 }
 915
 916 static av_cold int nvenc_setup_h264_config(AVCodecContext *avctx)
 917 {
 918     NvencContext *ctx                      = avctx->priv_data;
 919     NV_ENC_CONFIG *cc                      = &ctx->encode_config;
 920     NV_ENC_CONFIG_H264 *h264               = &cc->encodeCodecConfig.h264Config;
 921     NV_ENC_CONFIG_H264_VUI_PARAMETERS *vui = &h264->h264VUIParameters;
 922
 923     vui->colourMatrix = avctx->colorspace;
 924     vui->colourPrimaries = avctx->color_primaries;
 925     vui->transferCharacteristics = avctx->color_trc;
 926     vui->videoFullRangeFlag = (avctx->color_range == AVCOL_RANGE_JPEG
 927         || ctx->data_pix_fmt == AV_PIX_FMT_YUVJ420P || ctx->data_pix_fmt == AV_PIX_FMT_YUVJ422P || ctx->data_pix_fmt == AV_PIX_FMT_YUVJ444P);
 928
 929     vui->colourDescriptionPresentFlag =
 930         (avctx->colorspace != 2 || avctx->color_primaries != 2 || avctx->color_trc != 2);
 931
 932     vui->videoSignalTypePresentFlag =
 933         (vui->colourDescriptionPresentFlag
 934         || vui->videoFormat != 5
 935         || vui->videoFullRangeFlag != 0);
 936
 937     h264->sliceMode = 3;
 938     h264->sliceModeData = 1;
 939
 940     h264->disableSPSPPS = (avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER) ? 1 : 0;
 941     h264->repeatSPSPPS  = (avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER) ? 0 : 1;
 942     h264->outputAUD     = ctx->aud;
 943
 944     if (avctx->refs >= 0) {
 945         /* 0 means "let the hardware decide" */
 946         h264->maxNumRefFrames = avctx->refs;
 947     }
 948     if (avctx->gop_size >= 0) {
 949         h264->idrPeriod = cc->gopLength;
 950     }
 951
 952     if (IS_CBR(cc->rcParams.rateControlMode)) {
 953         h264->outputBufferingPeriodSEI = 1;
 954     }
 955
 956     h264->outputPictureTimingSEI = 1;
 957
 958     if (cc->rcParams.rateControlMode == NV_ENC_PARAMS_RC_CBR_LOWDELAY_HQ ||
 959         cc->rcParams.rateControlMode == NV_ENC_PARAMS_RC_CBR_HQ ||
 960         cc->rcParams.rateControlMode == NV_ENC_PARAMS_RC_VBR_HQ) {
 961         h264->adaptiveTransformMode = NV_ENC_H264_ADAPTIVE_TRANSFORM_ENABLE;
 962         h264->fmoMode = NV_ENC_H264_FMO_DISABLE;
 963     }
 964
 965     if (ctx->flags & NVENC_LOSSLESS) {
 966         h264->qpPrimeYZeroTransformBypassFlag = 1;
 967     } else {
 968         switch(ctx->profile) {
 969         case NV_ENC_H264_PROFILE_BASELINE:
 970             cc->profileGUID = NV_ENC_H264_PROFILE_BASELINE_GUID;
 971             avctx->profile = FF_PROFILE_H264_BASELINE;
 972             break;
 973         case NV_ENC_H264_PROFILE_MAIN:
 974             cc->profileGUID = NV_ENC_H264_PROFILE_MAIN_GUID;
 975             avctx->profile = FF_PROFILE_H264_MAIN;
 976             break;
 977         case NV_ENC_H264_PROFILE_HIGH:
 978             cc->profileGUID = NV_ENC_H264_PROFILE_HIGH_GUID;
 979             avctx->profile = FF_PROFILE_H264_HIGH;
 980             break;
 981         case NV_ENC_H264_PROFILE_HIGH_444P:
 982             cc->profileGUID = NV_ENC_H264_PROFILE_HIGH_444_GUID;
 983             avctx->profile = FF_PROFILE_H264_HIGH_444_PREDICTIVE;
 984             break;
 985         }
 986     }
 987
 988     // force setting profile as high444p if input is AV_PIX_FMT_YUV444P
 989     if (ctx->data_pix_fmt == AV_PIX_FMT_YUV444P) {
 990         cc->profileGUID = NV_ENC_H264_PROFILE_HIGH_444_GUID;
 991         avctx->profile = FF_PROFILE_H264_HIGH_444_PREDICTIVE;
 992     }
 993
 994     h264->chromaFormatIDC = avctx->profile == FF_PROFILE_H264_HIGH_444_PREDICTIVE ? 3 : 1;
 995
 996     h264->level = ctx->level;
 997
 998     if (ctx->coder >= 0)
 999         h264->entropyCodingMode = ctx->coder;
1000
1001 #ifdef NVENC_HAVE_BFRAME_REF_MODE
1002     h264->useBFramesAsRef = ctx->b_ref_mode;
1003 #endif
1004
1005     return 0;
1006 }
1007
1008 static av_cold int nvenc_setup_hevc_config(AVCodecContext *avctx)
1009 {
1010     NvencContext *ctx                      = avctx->priv_data;
1011     NV_ENC_CONFIG *cc                      = &ctx->encode_config;
1012     NV_ENC_CONFIG_HEVC *hevc               = &cc->encodeCodecConfig.hevcConfig;
1013     NV_ENC_CONFIG_HEVC_VUI_PARAMETERS *vui = &hevc->hevcVUIParameters;
1014
1015     vui->colourMatrix = avctx->colorspace;
1016     vui->colourPrimaries = avctx->color_primaries;
1017     vui->transferCharacteristics = avctx->color_trc;
1018     vui->videoFullRangeFlag = (avctx->color_range == AVCOL_RANGE_JPEG
1019         || ctx->data_pix_fmt == AV_PIX_FMT_YUVJ420P || ctx->data_pix_fmt == AV_PIX_FMT_YUVJ422P || ctx->data_pix_fmt == AV_PIX_FMT_YUVJ444P);
1020
1021     vui->colourDescriptionPresentFlag =
1022         (avctx->colorspace != 2 || avctx->color_primaries != 2 || avctx->color_trc != 2);
1023
1024     vui->videoSignalTypePresentFlag =
1025         (vui->colourDescriptionPresentFlag
1026         || vui->videoFormat != 5
1027         || vui->videoFullRangeFlag != 0);
1028
1029     hevc->sliceMode = 3;
1030     hevc->sliceModeData = 1;
1031
1032     hevc->disableSPSPPS = (avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER) ? 1 : 0;
1033     hevc->repeatSPSPPS  = (avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER) ? 0 : 1;
1034     hevc->outputAUD     = ctx->aud;
1035
1036     if (avctx->refs >= 0) {
1037         /* 0 means "let the hardware decide" */
1038         hevc->maxNumRefFramesInDPB = avctx->refs;
1039     }
1040     if (avctx->gop_size >= 0) {
1041         hevc->idrPeriod = cc->gopLength;
1042     }
1043
1044     if (IS_CBR(cc->rcParams.rateControlMode)) {
1045         hevc->outputBufferingPeriodSEI = 1;
1046     }
1047
1048     hevc->outputPictureTimingSEI = 1;
1049
1050     switch (ctx->profile) {
1051     case NV_ENC_HEVC_PROFILE_MAIN:
1052         cc->profileGUID = NV_ENC_HEVC_PROFILE_MAIN_GUID;
1053         avctx->profile  = FF_PROFILE_HEVC_MAIN;
1054         break;
1055     case NV_ENC_HEVC_PROFILE_MAIN_10:
1056         cc->profileGUID = NV_ENC_HEVC_PROFILE_MAIN10_GUID;
1057         avctx->profile  = FF_PROFILE_HEVC_MAIN_10;
1058         break;
1059     case NV_ENC_HEVC_PROFILE_REXT:
1060         cc->profileGUID = NV_ENC_HEVC_PROFILE_FREXT_GUID;
1061         avctx->profile  = FF_PROFILE_HEVC_REXT;
1062         break;
1063     }
1064
1065     // force setting profile as main10 if input is 10 bit
1066     if (IS_10BIT(ctx->data_pix_fmt)) {
1067         cc->profileGUID = NV_ENC_HEVC_PROFILE_MAIN10_GUID;
1068         avctx->profile = FF_PROFILE_HEVC_MAIN_10;
1069     }
1070
1071     // force setting profile as rext if input is yuv444
1072     if (IS_YUV444(ctx->data_pix_fmt)) {
1073         cc->profileGUID = NV_ENC_HEVC_PROFILE_FREXT_GUID;
1074         avctx->profile = FF_PROFILE_HEVC_REXT;
1075     }
1076
1077     hevc->chromaFormatIDC = IS_YUV444(ctx->data_pix_fmt) ? 3 : 1;
1078
1079     hevc->pixelBitDepthMinus8 = IS_10BIT(ctx->data_pix_fmt) ? 2 : 0;
1080
1081     hevc->level = ctx->level;
1082
1083     hevc->tier = ctx->tier;
1084
1085 #ifdef NVENC_HAVE_HEVC_BFRAME_REF_MODE
1086     hevc->useBFramesAsRef = ctx->b_ref_mode;
1087 #endif
1088
1089     return 0;
1090 }
1091
1092 static av_cold int nvenc_setup_codec_config(AVCodecContext *avctx)
1093 {
1094     switch (avctx->codec->id) {
1095     case AV_CODEC_ID_H264:
1096         return nvenc_setup_h264_config(avctx);
1097     case AV_CODEC_ID_HEVC:
1098         return nvenc_setup_hevc_config(avctx);
1099     /* Earlier switch/case will return if unknown codec is passed. */
1100     }
1101
1102     return 0;
1103 }
1104
1105 static void compute_dar(AVCodecContext *avctx, int *dw, int *dh) {
1106     int sw, sh;
1107
1108     sw = avctx->width;
1109     sh = avctx->height;
1110
1111     if (avctx->sample_aspect_ratio.num > 0 && avctx->sample_aspect_ratio.den > 0) {
1112         sw *= avctx->sample_aspect_ratio.num;
1113         sh *= avctx->sample_aspect_ratio.den;
1114     }
1115
1116     av_reduce(dw, dh, sw, sh, 1024 * 1024);
1117 }
1118
1119 static av_cold int nvenc_setup_encoder(AVCodecContext *avctx)
1120 {
1121     NvencContext *ctx = avctx->priv_data;
1122     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
1123     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &dl_fn->nvenc_funcs;
1124
1125     NV_ENC_PRESET_CONFIG preset_config = { 0 };
1126     NVENCSTATUS nv_status = NV_ENC_SUCCESS;
1127     AVCPBProperties *cpb_props;
1128     int res = 0;
1129     int dw, dh;
1130
1131     ctx->encode_config.version = NV_ENC_CONFIG_VER;
1132     ctx->init_encode_params.version = NV_ENC_INITIALIZE_PARAMS_VER;
1133
1134     ctx->init_encode_params.encodeHeight = avctx->height;
1135     ctx->init_encode_params.encodeWidth = avctx->width;
1136
1137     ctx->init_encode_params.encodeConfig = &ctx->encode_config;
1138
1139     nvenc_map_preset(ctx);
1140
1141     preset_config.version = NV_ENC_PRESET_CONFIG_VER;
1142     preset_config.presetCfg.version = NV_ENC_CONFIG_VER;
1143
1144     nv_status = p_nvenc->nvEncGetEncodePresetConfig(ctx->nvencoder,
1145                                                     ctx->init_encode_params.encodeGUID,
1146                                                     ctx->init_encode_params.presetGUID,
1147                                                     &preset_config);
1148     if (nv_status != NV_ENC_SUCCESS)
1149         return nvenc_print_error(avctx, nv_status, "Cannot get the preset configuration");
1150
1151     memcpy(&ctx->encode_config, &preset_config.presetCfg, sizeof(ctx->encode_config));
1152
1153     ctx->encode_config.version = NV_ENC_CONFIG_VER;
1154
1155     compute_dar(avctx, &dw, &dh);
1156     ctx->init_encode_params.darHeight = dh;
1157     ctx->init_encode_params.darWidth = dw;
1158
1159     ctx->init_encode_params.frameRateNum = avctx->time_base.den;
1160     ctx->init_encode_params.frameRateDen = avctx->time_base.num * avctx->ticks_per_frame;
1161
1162     ctx->init_encode_params.enableEncodeAsync = 0;
1163     ctx->init_encode_params.enablePTD = 1;
1164
1165     if (ctx->weighted_pred == 1)
1166         ctx->init_encode_params.enableWeightedPrediction = 1;
1167
1168     if (ctx->bluray_compat) {
1169         ctx->aud = 1;
1170         avctx->refs = FFMIN(FFMAX(avctx->refs, 0), 6);
1171         avctx->max_b_frames = FFMIN(avctx->max_b_frames, 3);
1172         switch (avctx->codec->id) {
1173         case AV_CODEC_ID_H264:
1174             /* maximum level depends on used resolution */
1175             break;
1176         case AV_CODEC_ID_HEVC:
1177             ctx->level = NV_ENC_LEVEL_HEVC_51;
1178             ctx->tier = NV_ENC_TIER_HEVC_HIGH;
1179             break;
1180         }
1181     }
1182
1183     if (avctx->gop_size > 0) {
1184         if (avctx->max_b_frames >= 0) {
1185             /* 0 is intra-only, 1 is I/P only, 2 is one B-Frame, 3 two B-frames, and so on. */
1186             ctx->encode_config.frameIntervalP = avctx->max_b_frames + 1;
1187         }
1188
1189         ctx->encode_config.gopLength = avctx->gop_size;
1190     } else if (avctx->gop_size == 0) {
1191         ctx->encode_config.frameIntervalP = 0;
1192         ctx->encode_config.gopLength = 1;
1193     }
1194
1195     ctx->initial_pts[0] = AV_NOPTS_VALUE;
1196     ctx->initial_pts[1] = AV_NOPTS_VALUE;
1197
1198     nvenc_recalc_surfaces(avctx);
1199
1200     nvenc_setup_rate_control(avctx);
1201
1202     if (avctx->flags & AV_CODEC_FLAG_INTERLACED_DCT) {
1203         ctx->encode_config.frameFieldMode = NV_ENC_PARAMS_FRAME_FIELD_MODE_FIELD;
1204     } else {
1205         ctx->encode_config.frameFieldMode = NV_ENC_PARAMS_FRAME_FIELD_MODE_FRAME;
1206     }
1207
1208     res = nvenc_setup_codec_config(avctx);
1209     if (res)
1210         return res;
1211
1212     res = nvenc_push_context(avctx);
1213     if (res < 0)
1214         return res;
1215
1216     nv_status = p_nvenc->nvEncInitializeEncoder(ctx->nvencoder, &ctx->init_encode_params);
1217
1218     res = nvenc_pop_context(avctx);
1219     if (res < 0)
1220         return res;
1221
1222     if (nv_status != NV_ENC_SUCCESS) {
1223         return nvenc_print_error(avctx, nv_status, "InitializeEncoder failed");
1224     }
1225
1226     if (ctx->encode_config.frameIntervalP > 1)
1227         avctx->has_b_frames = 2;
1228
1229     if (ctx->encode_config.rcParams.averageBitRate > 0)
1230         avctx->bit_rate = ctx->encode_config.rcParams.averageBitRate;
1231
1232     cpb_props = ff_add_cpb_side_data(avctx);
1233     if (!cpb_props)
1234         return AVERROR(ENOMEM);
1235     cpb_props->max_bitrate = ctx->encode_config.rcParams.maxBitRate;
1236     cpb_props->avg_bitrate = avctx->bit_rate;
1237     cpb_props->buffer_size = ctx->encode_config.rcParams.vbvBufferSize;
1238
1239     return 0;
1240 }
1241
1242 static NV_ENC_BUFFER_FORMAT nvenc_map_buffer_format(enum AVPixelFormat pix_fmt)
1243 {
1244     switch (pix_fmt) {
1245     case AV_PIX_FMT_YUV420P:
1246         return NV_ENC_BUFFER_FORMAT_YV12_PL;
1247     case AV_PIX_FMT_NV12:
1248         return NV_ENC_BUFFER_FORMAT_NV12_PL;
1249     case AV_PIX_FMT_P010:
1250     case AV_PIX_FMT_P016:
1251         return NV_ENC_BUFFER_FORMAT_YUV420_10BIT;
1252     case AV_PIX_FMT_YUV444P:
1253         return NV_ENC_BUFFER_FORMAT_YUV444_PL;
1254     case AV_PIX_FMT_YUV444P16:
1255         return NV_ENC_BUFFER_FORMAT_YUV444_10BIT;
1256     case AV_PIX_FMT_0RGB32:
1257         return NV_ENC_BUFFER_FORMAT_ARGB;
1258     case AV_PIX_FMT_0BGR32:
1259         return NV_ENC_BUFFER_FORMAT_ABGR;
1260     default:
1261         return NV_ENC_BUFFER_FORMAT_UNDEFINED;
1262     }
1263 }
1264
1265 static av_cold int nvenc_alloc_surface(AVCodecContext *avctx, int idx)
1266 {
1267     NvencContext *ctx = avctx->priv_data;
1268     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
1269     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &dl_fn->nvenc_funcs;
1270     NvencSurface* tmp_surface = &ctx->surfaces[idx];
1271
1272     NVENCSTATUS nv_status;
1273     NV_ENC_CREATE_BITSTREAM_BUFFER allocOut = { 0 };
1274     allocOut.version = NV_ENC_CREATE_BITSTREAM_BUFFER_VER;
1275
1276     if (avctx->pix_fmt == AV_PIX_FMT_CUDA || avctx->pix_fmt == AV_PIX_FMT_D3D11) {
1277         ctx->surfaces[idx].in_ref = av_frame_alloc();
1278         if (!ctx->surfaces[idx].in_ref)
1279             return AVERROR(ENOMEM);
1280     } else {
1281         NV_ENC_CREATE_INPUT_BUFFER allocSurf = { 0 };
1282
1283         ctx->surfaces[idx].format = nvenc_map_buffer_format(ctx->data_pix_fmt);
1284         if (ctx->surfaces[idx].format == NV_ENC_BUFFER_FORMAT_UNDEFINED) {
1285             av_log(avctx, AV_LOG_FATAL, "Invalid input pixel format: %s\n",
1286                    av_get_pix_fmt_name(ctx->data_pix_fmt));
1287             return AVERROR(EINVAL);
1288         }
1289
1290         allocSurf.version = NV_ENC_CREATE_INPUT_BUFFER_VER;
1291         allocSurf.width = avctx->width;
1292         allocSurf.height = avctx->height;
1293         allocSurf.bufferFmt = ctx->surfaces[idx].format;
1294
1295         nv_status = p_nvenc->nvEncCreateInputBuffer(ctx->nvencoder, &allocSurf);
1296         if (nv_status != NV_ENC_SUCCESS) {
1297             return nvenc_print_error(avctx, nv_status, "CreateInputBuffer failed");
1298         }
1299
1300         ctx->surfaces[idx].input_surface = allocSurf.inputBuffer;
1301         ctx->surfaces[idx].width = allocSurf.width;
1302         ctx->surfaces[idx].height = allocSurf.height;
1303     }
1304
1305     nv_status = p_nvenc->nvEncCreateBitstreamBuffer(ctx->nvencoder, &allocOut);
1306     if (nv_status != NV_ENC_SUCCESS) {
1307         int err = nvenc_print_error(avctx, nv_status, "CreateBitstreamBuffer failed");
1308         if (avctx->pix_fmt != AV_PIX_FMT_CUDA && avctx->pix_fmt != AV_PIX_FMT_D3D11)
1309             p_nvenc->nvEncDestroyInputBuffer(ctx->nvencoder, ctx->surfaces[idx].input_surface);
1310         av_frame_free(&ctx->surfaces[idx].in_ref);
1311         return err;
1312     }
1313
1314     ctx->surfaces[idx].output_surface = allocOut.bitstreamBuffer;
1315     ctx->surfaces[idx].size = allocOut.size;
1316
1317     av_fifo_generic_write(ctx->unused_surface_queue, &tmp_surface, sizeof(tmp_surface), NULL);
1318
1319     return 0;
1320 }
1321
1322 static av_cold int nvenc_setup_surfaces(AVCodecContext *avctx)
1323 {
1324     NvencContext *ctx = avctx->priv_data;
1325     int i, res = 0, res2;
1326
1327     ctx->surfaces = av_mallocz_array(ctx->nb_surfaces, sizeof(*ctx->surfaces));
1328     if (!ctx->surfaces)
1329         return AVERROR(ENOMEM);
1330
1331     ctx->timestamp_list = av_fifo_alloc(ctx->nb_surfaces * sizeof(int64_t));
1332     if (!ctx->timestamp_list)
1333         return AVERROR(ENOMEM);
1334
1335     ctx->unused_surface_queue = av_fifo_alloc(ctx->nb_surfaces * sizeof(NvencSurface*));
1336     if (!ctx->unused_surface_queue)
1337         return AVERROR(ENOMEM);
1338
1339     ctx->output_surface_queue = av_fifo_alloc(ctx->nb_surfaces * sizeof(NvencSurface*));
1340     if (!ctx->output_surface_queue)
1341         return AVERROR(ENOMEM);
1342     ctx->output_surface_ready_queue = av_fifo_alloc(ctx->nb_surfaces * sizeof(NvencSurface*));
1343     if (!ctx->output_surface_ready_queue)
1344         return AVERROR(ENOMEM);
1345
1346     res = nvenc_push_context(avctx);
1347     if (res < 0)
1348         return res;
1349
1350     for (i = 0; i < ctx->nb_surfaces; i++) {
1351         if ((res = nvenc_alloc_surface(avctx, i)) < 0)
1352             goto fail;
1353     }
1354
1355 fail:
1356     res2 = nvenc_pop_context(avctx);
1357     if (res2 < 0)
1358         return res2;
1359
1360     return res;
1361 }
1362
1363 static av_cold int nvenc_setup_extradata(AVCodecContext *avctx)
1364 {
1365     NvencContext *ctx = avctx->priv_data;
1366     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
1367     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &dl_fn->nvenc_funcs;
1368
1369     NVENCSTATUS nv_status;
1370     uint32_t outSize = 0;
1371     char tmpHeader[256];
1372     NV_ENC_SEQUENCE_PARAM_PAYLOAD payload = { 0 };
1373     payload.version = NV_ENC_SEQUENCE_PARAM_PAYLOAD_VER;
1374
1375     payload.spsppsBuffer = tmpHeader;
1376     payload.inBufferSize = sizeof(tmpHeader);
1377     payload.outSPSPPSPayloadSize = &outSize;
1378
1379     nv_status = p_nvenc->nvEncGetSequenceParams(ctx->nvencoder, &payload);
1380     if (nv_status != NV_ENC_SUCCESS) {
1381         return nvenc_print_error(avctx, nv_status, "GetSequenceParams failed");
1382     }
1383
1384     avctx->extradata_size = outSize;
1385     avctx->extradata = av_mallocz(outSize + AV_INPUT_BUFFER_PADDING_SIZE);
1386
1387     if (!avctx->extradata) {
1388         return AVERROR(ENOMEM);
1389     }
1390
1391     memcpy(avctx->extradata, tmpHeader, outSize);
1392
1393     return 0;
1394 }
1395
1396 av_cold int ff_nvenc_encode_close(AVCodecContext *avctx)
1397 {
1398     NvencContext *ctx               = avctx->priv_data;
1399     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
1400     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &dl_fn->nvenc_funcs;
1401     int i, res;
1402
1403     /* the encoder has to be flushed before it can be closed */
1404     if (ctx->nvencoder) {
1405         NV_ENC_PIC_PARAMS params        = { .version        = NV_ENC_PIC_PARAMS_VER,
1406                                             .encodePicFlags = NV_ENC_PIC_FLAG_EOS };
1407
1408         res = nvenc_push_context(avctx);
1409         if (res < 0)
1410             return res;
1411
1412         p_nvenc->nvEncEncodePicture(ctx->nvencoder, &params);
1413     }
1414
1415     av_fifo_freep(&ctx->timestamp_list);
1416     av_fifo_freep(&ctx->output_surface_ready_queue);
1417     av_fifo_freep(&ctx->output_surface_queue);
1418     av_fifo_freep(&ctx->unused_surface_queue);
1419
1420     if (ctx->surfaces && (avctx->pix_fmt == AV_PIX_FMT_CUDA || avctx->pix_fmt == AV_PIX_FMT_D3D11)) {
1421         for (i = 0; i < ctx->nb_registered_frames; i++) {
1422             if (ctx->registered_frames[i].mapped)
1423                 p_nvenc->nvEncUnmapInputResource(ctx->nvencoder, ctx->registered_frames[i].in_map.mappedResource);
1424             if (ctx->registered_frames[i].regptr)
1425                 p_nvenc->nvEncUnregisterResource(ctx->nvencoder, ctx->registered_frames[i].regptr);
1426         }
1427         ctx->nb_registered_frames = 0;
1428     }
1429
1430     if (ctx->surfaces) {
1431         for (i = 0; i < ctx->nb_surfaces; ++i) {
1432             if (avctx->pix_fmt != AV_PIX_FMT_CUDA && avctx->pix_fmt != AV_PIX_FMT_D3D11)
1433                 p_nvenc->nvEncDestroyInputBuffer(ctx->nvencoder, ctx->surfaces[i].input_surface);
1434             av_frame_free(&ctx->surfaces[i].in_ref);
1435             p_nvenc->nvEncDestroyBitstreamBuffer(ctx->nvencoder, ctx->surfaces[i].output_surface);
1436         }
1437     }
1438     av_freep(&ctx->surfaces);
1439     ctx->nb_surfaces = 0;
1440
1441     if (ctx->nvencoder) {
1442         p_nvenc->nvEncDestroyEncoder(ctx->nvencoder);
1443
1444         res = nvenc_pop_context(avctx);
1445         if (res < 0)
1446             return res;
1447     }
1448     ctx->nvencoder = NULL;
1449
1450     if (ctx->cu_context_internal)
1451         CHECK_CU(dl_fn->cuda_dl->cuCtxDestroy(ctx->cu_context_internal));
1452     ctx->cu_context = ctx->cu_context_internal = NULL;
1453
1454 #if CONFIG_D3D11VA
1455     if (ctx->d3d11_device) {
1456         ID3D11Device_Release(ctx->d3d11_device);
1457         ctx->d3d11_device = NULL;
1458     }
1459 #endif
1460
1461     nvenc_free_functions(&dl_fn->nvenc_dl);
1462     cuda_free_functions(&dl_fn->cuda_dl);
1463
1464     dl_fn->nvenc_device_count = 0;
1465
1466     av_log(avctx, AV_LOG_VERBOSE, "Nvenc unloaded\n");
1467
1468     return 0;
1469 }
1470
1471 av_cold int ff_nvenc_encode_init(AVCodecContext *avctx)
1472 {
1473     NvencContext *ctx = avctx->priv_data;
1474     int ret;
1475
1476     if (avctx->pix_fmt == AV_PIX_FMT_CUDA || avctx->pix_fmt == AV_PIX_FMT_D3D11) {
1477         AVHWFramesContext *frames_ctx;
1478         if (!avctx->hw_frames_ctx) {
1479             av_log(avctx, AV_LOG_ERROR,
1480                    "hw_frames_ctx must be set when using GPU frames as input\n");
1481             return AVERROR(EINVAL);
1482         }
1483         frames_ctx = (AVHWFramesContext*)avctx->hw_frames_ctx->data;
1484         if (frames_ctx->format != avctx->pix_fmt) {
1485             av_log(avctx, AV_LOG_ERROR,
1486                    "hw_frames_ctx must match the GPU frame type\n");
1487             return AVERROR(EINVAL);
1488         }
1489         ctx->data_pix_fmt = frames_ctx->sw_format;
1490     } else {
1491         ctx->data_pix_fmt = avctx->pix_fmt;
1492     }
1493
1494     if ((ret = nvenc_load_libraries(avctx)) < 0)
1495         return ret;
1496
1497     if ((ret = nvenc_setup_device(avctx)) < 0)
1498         return ret;
1499
1500     if ((ret = nvenc_setup_encoder(avctx)) < 0)
1501         return ret;
1502
1503     if ((ret = nvenc_setup_surfaces(avctx)) < 0)
1504         return ret;
1505
1506     if (avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER) {
1507         if ((ret = nvenc_setup_extradata(avctx)) < 0)
1508             return ret;
1509     }
1510
1511     return 0;
1512 }
1513
1514 static NvencSurface *get_free_frame(NvencContext *ctx)
1515 {
1516     NvencSurface *tmp_surf;
1517
1518     if (!(av_fifo_size(ctx->unused_surface_queue) > 0))
1519         // queue empty
1520         return NULL;
1521
1522     av_fifo_generic_read(ctx->unused_surface_queue, &tmp_surf, sizeof(tmp_surf), NULL);
1523     return tmp_surf;
1524 }
1525
1526 static int nvenc_copy_frame(AVCodecContext *avctx, NvencSurface *nv_surface,
1527             NV_ENC_LOCK_INPUT_BUFFER *lock_buffer_params, const AVFrame *frame)
1528 {
1529     int dst_linesize[4] = {
1530         lock_buffer_params->pitch,
1531         lock_buffer_params->pitch,
1532         lock_buffer_params->pitch,
1533         lock_buffer_params->pitch
1534     };
1535     uint8_t *dst_data[4];
1536     int ret;
1537
1538     if (frame->format == AV_PIX_FMT_YUV420P)
1539         dst_linesize[1] = dst_linesize[2] >>= 1;
1540
1541     ret = av_image_fill_pointers(dst_data, frame->format, nv_surface->height,
1542                                  lock_buffer_params->bufferDataPtr, dst_linesize);
1543     if (ret < 0)
1544         return ret;
1545
1546     if (frame->format == AV_PIX_FMT_YUV420P)
1547         FFSWAP(uint8_t*, dst_data[1], dst_data[2]);
1548
1549     av_image_copy(dst_data, dst_linesize,
1550                   (const uint8_t**)frame->data, frame->linesize, frame->format,
1551                   avctx->width, avctx->height);
1552
1553     return 0;
1554 }
1555
1556 static int nvenc_find_free_reg_resource(AVCodecContext *avctx)
1557 {
1558     NvencContext *ctx = avctx->priv_data;
1559     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
1560     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &dl_fn->nvenc_funcs;
1561     NVENCSTATUS nv_status;
1562
1563     int i;
1564
1565     if (ctx->nb_registered_frames == FF_ARRAY_ELEMS(ctx->registered_frames)) {
1566         for (i = 0; i < ctx->nb_registered_frames; i++) {
1567             if (!ctx->registered_frames[i].mapped) {
1568                 if (ctx->registered_frames[i].regptr) {
1569                     nv_status = p_nvenc->nvEncUnregisterResource(ctx->nvencoder, ctx->registered_frames[i].regptr);
1570                     if (nv_status != NV_ENC_SUCCESS)
1571                         return nvenc_print_error(avctx, nv_status, "Failed unregistering unused input resource");
1572                     ctx->registered_frames[i].ptr = NULL;
1573                     ctx->registered_frames[i].regptr = NULL;
1574                 }
1575                 return i;
1576             }
1577         }
1578     } else {
1579         return ctx->nb_registered_frames++;
1580     }
1581
1582     av_log(avctx, AV_LOG_ERROR, "Too many registered CUDA frames\n");
1583     return AVERROR(ENOMEM);
1584 }
1585
1586 static int nvenc_register_frame(AVCodecContext *avctx, const AVFrame *frame)
1587 {
1588     NvencContext *ctx = avctx->priv_data;
1589     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
1590     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &dl_fn->nvenc_funcs;
1591
1592     AVHWFramesContext *frames_ctx = (AVHWFramesContext*)frame->hw_frames_ctx->data;
1593     NV_ENC_REGISTER_RESOURCE reg;
1594     int i, idx, ret;
1595
1596     for (i = 0; i < ctx->nb_registered_frames; i++) {
1597         if (avctx->pix_fmt == AV_PIX_FMT_CUDA && ctx->registered_frames[i].ptr == frame->data[0])
1598             return i;
1599         else if (avctx->pix_fmt == AV_PIX_FMT_D3D11 && ctx->registered_frames[i].ptr == frame->data[0] && ctx->registered_frames[i].ptr_index == (intptr_t)frame->data[1])
1600             return i;
1601     }
1602
1603     idx = nvenc_find_free_reg_resource(avctx);
1604     if (idx < 0)
1605         return idx;
1606
1607     reg.version            = NV_ENC_REGISTER_RESOURCE_VER;
1608     reg.width              = frames_ctx->width;
1609     reg.height             = frames_ctx->height;
1610     reg.pitch              = frame->linesize[0];
1611     reg.resourceToRegister = frame->data[0];
1612
1613     if (avctx->pix_fmt == AV_PIX_FMT_CUDA) {
1614         reg.resourceType   = NV_ENC_INPUT_RESOURCE_TYPE_CUDADEVICEPTR;
1615     }
1616     else if (avctx->pix_fmt == AV_PIX_FMT_D3D11) {
1617         reg.resourceType     = NV_ENC_INPUT_RESOURCE_TYPE_DIRECTX;
1618         reg.subResourceIndex = (intptr_t)frame->data[1];
1619     }
1620
1621     reg.bufferFormat       = nvenc_map_buffer_format(frames_ctx->sw_format);
1622     if (reg.bufferFormat == NV_ENC_BUFFER_FORMAT_UNDEFINED) {
1623         av_log(avctx, AV_LOG_FATAL, "Invalid input pixel format: %s\n",
1624                av_get_pix_fmt_name(frames_ctx->sw_format));
1625         return AVERROR(EINVAL);
1626     }
1627
1628     ret = p_nvenc->nvEncRegisterResource(ctx->nvencoder, &reg);
1629     if (ret != NV_ENC_SUCCESS) {
1630         nvenc_print_error(avctx, ret, "Error registering an input resource");
1631         return AVERROR_UNKNOWN;
1632     }
1633
1634     ctx->registered_frames[idx].ptr       = frame->data[0];
1635     ctx->registered_frames[idx].ptr_index = reg.subResourceIndex;
1636     ctx->registered_frames[idx].regptr    = reg.registeredResource;
1637     return idx;
1638 }
1639
1640 static int nvenc_upload_frame(AVCodecContext *avctx, const AVFrame *frame,
1641                                       NvencSurface *nvenc_frame)
1642 {
1643     NvencContext *ctx = avctx->priv_data;
1644     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
1645     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &dl_fn->nvenc_funcs;
1646
1647     int res;
1648     NVENCSTATUS nv_status;
1649
1650     if (avctx->pix_fmt == AV_PIX_FMT_CUDA || avctx->pix_fmt == AV_PIX_FMT_D3D11) {
1651         int reg_idx = nvenc_register_frame(avctx, frame);
1652         if (reg_idx < 0) {
1653             av_log(avctx, AV_LOG_ERROR, "Could not register an input HW frame\n");
1654             return reg_idx;
1655         }
1656
1657         res = av_frame_ref(nvenc_frame->in_ref, frame);
1658         if (res < 0)
1659             return res;
1660
1661         if (!ctx->registered_frames[reg_idx].mapped) {
1662             ctx->registered_frames[reg_idx].in_map.version = NV_ENC_MAP_INPUT_RESOURCE_VER;
1663             ctx->registered_frames[reg_idx].in_map.registeredResource = ctx->registered_frames[reg_idx].regptr;
1664             nv_status = p_nvenc->nvEncMapInputResource(ctx->nvencoder, &ctx->registered_frames[reg_idx].in_map);
1665             if (nv_status != NV_ENC_SUCCESS) {
1666                 av_frame_unref(nvenc_frame->in_ref);
1667                 return nvenc_print_error(avctx, nv_status, "Error mapping an input resource");
1668             }
1669         }
1670
1671         ctx->registered_frames[reg_idx].mapped += 1;
1672
1673         nvenc_frame->reg_idx                   = reg_idx;
1674         nvenc_frame->input_surface             = ctx->registered_frames[reg_idx].in_map.mappedResource;
1675         nvenc_frame->format                    = ctx->registered_frames[reg_idx].in_map.mappedBufferFmt;
1676         nvenc_frame->pitch                     = frame->linesize[0];
1677
1678         return 0;
1679     } else {
1680         NV_ENC_LOCK_INPUT_BUFFER lockBufferParams = { 0 };
1681
1682         lockBufferParams.version = NV_ENC_LOCK_INPUT_BUFFER_VER;
1683         lockBufferParams.inputBuffer = nvenc_frame->input_surface;
1684
1685         nv_status = p_nvenc->nvEncLockInputBuffer(ctx->nvencoder, &lockBufferParams);
1686         if (nv_status != NV_ENC_SUCCESS) {
1687             return nvenc_print_error(avctx, nv_status, "Failed locking nvenc input buffer");
1688         }
1689
1690         nvenc_frame->pitch = lockBufferParams.pitch;
1691         res = nvenc_copy_frame(avctx, nvenc_frame, &lockBufferParams, frame);
1692
1693         nv_status = p_nvenc->nvEncUnlockInputBuffer(ctx->nvencoder, nvenc_frame->input_surface);
1694         if (nv_status != NV_ENC_SUCCESS) {
1695             return nvenc_print_error(avctx, nv_status, "Failed unlocking input buffer!");
1696         }
1697
1698         return res;
1699     }
1700 }
1701
1702 static void nvenc_codec_specific_pic_params(AVCodecContext *avctx,
1703                                             NV_ENC_PIC_PARAMS *params,
1704                                             NV_ENC_SEI_PAYLOAD *sei_data)
1705 {
1706     NvencContext *ctx = avctx->priv_data;
1707
1708     switch (avctx->codec->id) {
1709     case AV_CODEC_ID_H264:
1710         params->codecPicParams.h264PicParams.sliceMode =
1711             ctx->encode_config.encodeCodecConfig.h264Config.sliceMode;
1712         params->codecPicParams.h264PicParams.sliceModeData =
1713             ctx->encode_config.encodeCodecConfig.h264Config.sliceModeData;
1714         if (sei_data) {
1715             params->codecPicParams.h264PicParams.seiPayloadArray = sei_data;
1716             params->codecPicParams.h264PicParams.seiPayloadArrayCnt = 1;
1717         }
1718
1719       break;
1720     case AV_CODEC_ID_HEVC:
1721         params->codecPicParams.hevcPicParams.sliceMode =
1722             ctx->encode_config.encodeCodecConfig.hevcConfig.sliceMode;
1723         params->codecPicParams.hevcPicParams.sliceModeData =
1724             ctx->encode_config.encodeCodecConfig.hevcConfig.sliceModeData;
1725         if (sei_data) {
1726             params->codecPicParams.hevcPicParams.seiPayloadArray = sei_data;
1727             params->codecPicParams.hevcPicParams.seiPayloadArrayCnt = 1;
1728         }
1729
1730         break;
1731     }
1732 }
1733
1734 static inline void timestamp_queue_enqueue(AVFifoBuffer* queue, int64_t timestamp)
1735 {
1736     av_fifo_generic_write(queue, &timestamp, sizeof(timestamp), NULL);
1737 }
1738
1739 static inline int64_t timestamp_queue_dequeue(AVFifoBuffer* queue)
1740 {
1741     int64_t timestamp = AV_NOPTS_VALUE;
1742     if (av_fifo_size(queue) > 0)
1743         av_fifo_generic_read(queue, &timestamp, sizeof(timestamp), NULL);
1744
1745     return timestamp;
1746 }
1747
1748 static int nvenc_set_timestamp(AVCodecContext *avctx,
1749                                NV_ENC_LOCK_BITSTREAM *params,
1750                                AVPacket *pkt)
1751 {
1752     NvencContext *ctx = avctx->priv_data;
1753
1754     pkt->pts = params->outputTimeStamp;
1755
1756     /* generate the first dts by linearly extrapolating the
1757      * first two pts values to the past */
1758     if (avctx->max_b_frames > 0 && !ctx->first_packet_output &&
1759         ctx->initial_pts[1] != AV_NOPTS_VALUE) {
1760         int64_t ts0 = ctx->initial_pts[0], ts1 = ctx->initial_pts[1];
1761         int64_t delta;
1762
1763         if ((ts0 < 0 && ts1 > INT64_MAX + ts0) ||
1764             (ts0 > 0 && ts1 < INT64_MIN + ts0))
1765             return AVERROR(ERANGE);
1766         delta = ts1 - ts0;
1767
1768         if ((delta < 0 && ts0 > INT64_MAX + delta) ||
1769             (delta > 0 && ts0 < INT64_MIN + delta))
1770             return AVERROR(ERANGE);
1771         pkt->dts = ts0 - delta;
1772
1773         ctx->first_packet_output = 1;
1774         return 0;
1775     }
1776
1777     pkt->dts = timestamp_queue_dequeue(ctx->timestamp_list);
1778
1779     return 0;
1780 }
1781
1782 static int process_output_surface(AVCodecContext *avctx, AVPacket *pkt, NvencSurface *tmpoutsurf)
1783 {
1784     NvencContext *ctx = avctx->priv_data;
1785     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
1786     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &dl_fn->nvenc_funcs;
1787
1788     uint32_t slice_mode_data;
1789     uint32_t *slice_offsets = NULL;
1790     NV_ENC_LOCK_BITSTREAM lock_params = { 0 };
1791     NVENCSTATUS nv_status;
1792     int res = 0;
1793
1794     enum AVPictureType pict_type;
1795
1796     switch (avctx->codec->id) {
1797     case AV_CODEC_ID_H264:
1798       slice_mode_data = ctx->encode_config.encodeCodecConfig.h264Config.sliceModeData;
1799       break;
1800     case AV_CODEC_ID_H265:
1801       slice_mode_data = ctx->encode_config.encodeCodecConfig.hevcConfig.sliceModeData;
1802       break;
1803     default:
1804       av_log(avctx, AV_LOG_ERROR, "Unknown codec name\n");
1805       res = AVERROR(EINVAL);
1806       goto error;
1807     }
1808     slice_offsets = av_mallocz(slice_mode_data * sizeof(*slice_offsets));
1809
1810     if (!slice_offsets) {
1811         res = AVERROR(ENOMEM);
1812         goto error;
1813     }
1814
1815     lock_params.version = NV_ENC_LOCK_BITSTREAM_VER;
1816
1817     lock_params.doNotWait = 0;
1818     lock_params.outputBitstream = tmpoutsurf->output_surface;
1819     lock_params.sliceOffsets = slice_offsets;
1820
1821     nv_status = p_nvenc->nvEncLockBitstream(ctx->nvencoder, &lock_params);
1822     if (nv_status != NV_ENC_SUCCESS) {
1823         res = nvenc_print_error(avctx, nv_status, "Failed locking bitstream buffer");
1824         goto error;
1825     }
1826
1827     if (res = ff_alloc_packet2(avctx, pkt, lock_params.bitstreamSizeInBytes,0)) {
1828         p_nvenc->nvEncUnlockBitstream(ctx->nvencoder, tmpoutsurf->output_surface);
1829         goto error;
1830     }
1831
1832     memcpy(pkt->data, lock_params.bitstreamBufferPtr, lock_params.bitstreamSizeInBytes);
1833
1834     nv_status = p_nvenc->nvEncUnlockBitstream(ctx->nvencoder, tmpoutsurf->output_surface);
1835     if (nv_status != NV_ENC_SUCCESS) {
1836         res = nvenc_print_error(avctx, nv_status, "Failed unlocking bitstream buffer, expect the gates of mordor to open");
1837         goto error;
1838     }
1839
1840
1841     if (avctx->pix_fmt == AV_PIX_FMT_CUDA || avctx->pix_fmt == AV_PIX_FMT_D3D11) {
1842         ctx->registered_frames[tmpoutsurf->reg_idx].mapped -= 1;
1843         if (ctx->registered_frames[tmpoutsurf->reg_idx].mapped == 0) {
1844             nv_status = p_nvenc->nvEncUnmapInputResource(ctx->nvencoder, ctx->registered_frames[tmpoutsurf->reg_idx].in_map.mappedResource);
1845             if (nv_status != NV_ENC_SUCCESS) {
1846                 res = nvenc_print_error(avctx, nv_status, "Failed unmapping input resource");
1847                 goto error;
1848             }
1849             nv_status = p_nvenc->nvEncUnregisterResource(ctx->nvencoder, ctx->registered_frames[tmpoutsurf->reg_idx].regptr);
1850             if (nv_status != NV_ENC_SUCCESS) {
1851                 res = nvenc_print_error(avctx, nv_status, "Failed unregistering input resource");
1852                 goto error;
1853             }
1854             ctx->registered_frames[tmpoutsurf->reg_idx].ptr = NULL;
1855             ctx->registered_frames[tmpoutsurf->reg_idx].regptr = NULL;
1856         } else if (ctx->registered_frames[tmpoutsurf->reg_idx].mapped < 0) {
1857             res = AVERROR_BUG;
1858             goto error;
1859         }
1860
1861         av_frame_unref(tmpoutsurf->in_ref);
1862
1863         tmpoutsurf->input_surface = NULL;
1864     }
1865
1866     switch (lock_params.pictureType) {
1867     case NV_ENC_PIC_TYPE_IDR:
1868         pkt->flags |= AV_PKT_FLAG_KEY;
1869     case NV_ENC_PIC_TYPE_I:
1870         pict_type = AV_PICTURE_TYPE_I;
1871         break;
1872     case NV_ENC_PIC_TYPE_P:
1873         pict_type = AV_PICTURE_TYPE_P;
1874         break;
1875     case NV_ENC_PIC_TYPE_B:
1876         pict_type = AV_PICTURE_TYPE_B;
1877         break;
1878     case NV_ENC_PIC_TYPE_BI:
1879         pict_type = AV_PICTURE_TYPE_BI;
1880         break;
1881     default:
1882         av_log(avctx, AV_LOG_ERROR, "Unknown picture type encountered, expect the output to be broken.\n");
1883         av_log(avctx, AV_LOG_ERROR, "Please report this error and include as much information on how to reproduce it as possible.\n");
1884         res = AVERROR_EXTERNAL;
1885         goto error;
1886     }
1887
1888 #if FF_API_CODED_FRAME
1889 FF_DISABLE_DEPRECATION_WARNINGS
1890     avctx->coded_frame->pict_type = pict_type;
1891 FF_ENABLE_DEPRECATION_WARNINGS
1892 #endif
1893
1894     ff_side_data_set_encoder_stats(pkt,
1895         (lock_params.frameAvgQP - 1) * FF_QP2LAMBDA, NULL, 0, pict_type);
1896
1897     res = nvenc_set_timestamp(avctx, &lock_params, pkt);
1898     if (res < 0)
1899         goto error2;
1900
1901     av_free(slice_offsets);
1902
1903     return 0;
1904
1905 error:
1906     timestamp_queue_dequeue(ctx->timestamp_list);
1907
1908 error2:
1909     av_free(slice_offsets);
1910
1911     return res;
1912 }
1913
1914 static int output_ready(AVCodecContext *avctx, int flush)
1915 {
1916     NvencContext *ctx = avctx->priv_data;
1917     int nb_ready, nb_pending;
1918
1919     /* when B-frames are enabled, we wait for two initial timestamps to
1920      * calculate the first dts */
1921     if (!flush && avctx->max_b_frames > 0 &&
1922         (ctx->initial_pts[0] == AV_NOPTS_VALUE || ctx->initial_pts[1] == AV_NOPTS_VALUE))
1923         return 0;
1924
1925     nb_ready   = av_fifo_size(ctx->output_surface_ready_queue)   / sizeof(NvencSurface*);
1926     nb_pending = av_fifo_size(ctx->output_surface_queue)         / sizeof(NvencSurface*);
1927     if (flush)
1928         return nb_ready > 0;
1929     return (nb_ready > 0) && (nb_ready + nb_pending >= ctx->async_depth);
1930 }
1931
1932 static void reconfig_encoder(AVCodecContext *avctx, const AVFrame *frame)
1933 {
1934     NvencContext *ctx = avctx->priv_data;
1935     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &ctx->nvenc_dload_funcs.nvenc_funcs;
1936     NVENCSTATUS ret;
1937
1938     NV_ENC_RECONFIGURE_PARAMS params = { 0 };
1939     int needs_reconfig = 0;
1940     int needs_encode_config = 0;
1941     int reconfig_bitrate = 0, reconfig_dar = 0;
1942     int dw, dh;
1943
1944     params.version = NV_ENC_RECONFIGURE_PARAMS_VER;
1945     params.reInitEncodeParams = ctx->init_encode_params;
1946
1947     compute_dar(avctx, &dw, &dh);
1948     if (dw != ctx->init_encode_params.darWidth || dh != ctx->init_encode_params.darHeight) {
1949         av_log(avctx, AV_LOG_VERBOSE,
1950                "aspect ratio change (DAR): %d:%d -> %d:%d\n",
1951                ctx->init_encode_params.darWidth,
1952                ctx->init_encode_params.darHeight, dw, dh);
1953
1954         params.reInitEncodeParams.darHeight = dh;
1955         params.reInitEncodeParams.darWidth = dw;
1956
1957         needs_reconfig = 1;
1958         reconfig_dar = 1;
1959     }
1960
1961     if (ctx->rc != NV_ENC_PARAMS_RC_CONSTQP && ctx->support_dyn_bitrate) {
1962         if (avctx->bit_rate > 0 && params.reInitEncodeParams.encodeConfig->rcParams.averageBitRate != avctx->bit_rate) {
1963             av_log(avctx, AV_LOG_VERBOSE,
1964                    "avg bitrate change: %d -> %d\n",
1965                    params.reInitEncodeParams.encodeConfig->rcParams.averageBitRate,
1966                    (uint32_t)avctx->bit_rate);
1967
1968             params.reInitEncodeParams.encodeConfig->rcParams.averageBitRate = avctx->bit_rate;
1969             reconfig_bitrate = 1;
1970         }
1971
1972         if (avctx->rc_max_rate > 0 && ctx->encode_config.rcParams.maxBitRate != avctx->rc_max_rate) {
1973             av_log(avctx, AV_LOG_VERBOSE,
1974                    "max bitrate change: %d -> %d\n",
1975                    params.reInitEncodeParams.encodeConfig->rcParams.maxBitRate,
1976                    (uint32_t)avctx->rc_max_rate);
1977
1978             params.reInitEncodeParams.encodeConfig->rcParams.maxBitRate = avctx->rc_max_rate;
1979             reconfig_bitrate = 1;
1980         }
1981
1982         if (avctx->rc_buffer_size > 0 && ctx->encode_config.rcParams.vbvBufferSize != avctx->rc_buffer_size) {
1983             av_log(avctx, AV_LOG_VERBOSE,
1984                    "vbv buffer size change: %d -> %d\n",
1985                    params.reInitEncodeParams.encodeConfig->rcParams.vbvBufferSize,
1986                    avctx->rc_buffer_size);
1987
1988             params.reInitEncodeParams.encodeConfig->rcParams.vbvBufferSize = avctx->rc_buffer_size;
1989             reconfig_bitrate = 1;
1990         }
1991
1992         if (reconfig_bitrate) {
1993             params.resetEncoder = 1;
1994             params.forceIDR = 1;
1995
1996             needs_encode_config = 1;
1997             needs_reconfig = 1;
1998         }
1999     }
2000
2001     if (!needs_encode_config)
2002         params.reInitEncodeParams.encodeConfig = NULL;
2003
2004     if (needs_reconfig) {
2005         ret = p_nvenc->nvEncReconfigureEncoder(ctx->nvencoder, &params);
2006         if (ret != NV_ENC_SUCCESS) {
2007             nvenc_print_error(avctx, ret, "failed to reconfigure nvenc");
2008         } else {
2009             if (reconfig_dar) {
2010                 ctx->init_encode_params.darHeight = dh;
2011                 ctx->init_encode_params.darWidth = dw;
2012             }
2013
2014             if (reconfig_bitrate) {
2015                 ctx->encode_config.rcParams.averageBitRate = params.reInitEncodeParams.encodeConfig->rcParams.averageBitRate;
2016                 ctx->encode_config.rcParams.maxBitRate = params.reInitEncodeParams.encodeConfig->rcParams.maxBitRate;
2017                 ctx->encode_config.rcParams.vbvBufferSize = params.reInitEncodeParams.encodeConfig->rcParams.vbvBufferSize;
2018             }
2019
2020         }
2021     }
2022 }
2023
2024 int ff_nvenc_send_frame(AVCodecContext *avctx, const AVFrame *frame)
2025 {
2026     NVENCSTATUS nv_status;
2027     NvencSurface *tmp_out_surf, *in_surf;
2028     int res, res2;
2029     NV_ENC_SEI_PAYLOAD *sei_data = NULL;
2030     size_t sei_size;
2031
2032     NvencContext *ctx = avctx->priv_data;
2033     NvencDynLoadFunctions *dl_fn = &ctx->nvenc_dload_funcs;
2034     NV_ENCODE_API_FUNCTION_LIST *p_nvenc = &dl_fn->nvenc_funcs;
2035
2036     NV_ENC_PIC_PARAMS pic_params = { 0 };
2037     pic_params.version = NV_ENC_PIC_PARAMS_VER;
2038
2039     if ((!ctx->cu_context && !ctx->d3d11_device) || !ctx->nvencoder)
2040         return AVERROR(EINVAL);
2041
2042     if (ctx->encoder_flushing) {
2043         if (avctx->internal->draining)
2044             return AVERROR_EOF;
2045
2046         ctx->encoder_flushing = 0;
2047         ctx->first_packet_output = 0;
2048         ctx->initial_pts[0] = AV_NOPTS_VALUE;
2049         ctx->initial_pts[1] = AV_NOPTS_VALUE;
2050         av_fifo_reset(ctx->timestamp_list);
2051     }
2052
2053     if (frame) {
2054         in_surf = get_free_frame(ctx);
2055         if (!in_surf)
2056             return AVERROR(EAGAIN);
2057
2058         res = nvenc_push_context(avctx);
2059         if (res < 0)
2060             return res;
2061
2062         reconfig_encoder(avctx, frame);
2063
2064         res = nvenc_upload_frame(avctx, frame, in_surf);
2065
2066         res2 = nvenc_pop_context(avctx);
2067         if (res2 < 0)
2068             return res2;
2069
2070         if (res)
2071             return res;
2072
2073         pic_params.inputBuffer = in_surf->input_surface;
2074         pic_params.bufferFmt = in_surf->format;
2075         pic_params.inputWidth = in_surf->width;
2076         pic_params.inputHeight = in_surf->height;
2077         pic_params.inputPitch = in_surf->pitch;
2078         pic_params.outputBitstream = in_surf->output_surface;
2079
2080         if (avctx->flags & AV_CODEC_FLAG_INTERLACED_DCT) {
2081             if (frame->top_field_first)
2082                 pic_params.pictureStruct = NV_ENC_PIC_STRUCT_FIELD_TOP_BOTTOM;
2083             else
2084                 pic_params.pictureStruct = NV_ENC_PIC_STRUCT_FIELD_BOTTOM_TOP;
2085         } else {
2086             pic_params.pictureStruct = NV_ENC_PIC_STRUCT_FRAME;
2087         }
2088
2089         if (ctx->forced_idr >= 0 && frame->pict_type == AV_PICTURE_TYPE_I) {
2090             pic_params.encodePicFlags =
2091                 ctx->forced_idr ? NV_ENC_PIC_FLAG_FORCEIDR : NV_ENC_PIC_FLAG_FORCEINTRA;
2092         } else {
2093             pic_params.encodePicFlags = 0;
2094         }
2095
2096         pic_params.inputTimeStamp = frame->pts;
2097
2098         if (ctx->a53_cc && av_frame_get_side_data(frame, AV_FRAME_DATA_A53_CC)) {
2099             if (ff_alloc_a53_sei(frame, sizeof(NV_ENC_SEI_PAYLOAD), (void**)&sei_data, &sei_size) < 0) {
2100                 av_log(ctx, AV_LOG_ERROR, "Not enough memory for closed captions, skipping\n");
2101             }
2102
2103             if (sei_data) {
2104                 sei_data->payloadSize = (uint32_t)sei_size;
2105                 sei_data->payloadType = 4;
2106                 sei_data->payload = (uint8_t*)(sei_data + 1);
2107             }
2108         }
2109
2110         nvenc_codec_specific_pic_params(avctx, &pic_params, sei_data);
2111     } else {
2112         pic_params.encodePicFlags = NV_ENC_PIC_FLAG_EOS;
2113         ctx->encoder_flushing = 1;
2114     }
2115
2116     res = nvenc_push_context(avctx);
2117     if (res < 0)
2118         return res;
2119
2120     nv_status = p_nvenc->nvEncEncodePicture(ctx->nvencoder, &pic_params);
2121     av_free(sei_data);
2122
2123     res = nvenc_pop_context(avctx);
2124     if (res < 0)
2125         return res;
2126
2127     if (nv_status != NV_ENC_SUCCESS &&
2128         nv_status != NV_ENC_ERR_NEED_MORE_INPUT)
2129         return nvenc_print_error(avctx, nv_status, "EncodePicture failed!");
2130
2131     if (frame) {
2132         av_fifo_generic_write(ctx->output_surface_queue, &in_surf, sizeof(in_surf), NULL);
2133         timestamp_queue_enqueue(ctx->timestamp_list, frame->pts);
2134
2135         if (ctx->initial_pts[0] == AV_NOPTS_VALUE)
2136             ctx->initial_pts[0] = frame->pts;
2137         else if (ctx->initial_pts[1] == AV_NOPTS_VALUE)
2138             ctx->initial_pts[1] = frame->pts;
2139     }
2140
2141     /* all the pending buffers are now ready for output */
2142     if (nv_status == NV_ENC_SUCCESS) {
2143         while (av_fifo_size(ctx->output_surface_queue) > 0) {
2144             av_fifo_generic_read(ctx->output_surface_queue, &tmp_out_surf, sizeof(tmp_out_surf), NULL);
2145             av_fifo_generic_write(ctx->output_surface_ready_queue, &tmp_out_surf, sizeof(tmp_out_surf), NULL);
2146         }
2147     }
2148
2149     return 0;
2150 }
2151
2152 int ff_nvenc_receive_packet(AVCodecContext *avctx, AVPacket *pkt)
2153 {
2154     NvencSurface *tmp_out_surf;
2155     int res, res2;
2156
2157     NvencContext *ctx = avctx->priv_data;
2158
2159     if ((!ctx->cu_context && !ctx->d3d11_device) || !ctx->nvencoder)
2160         return AVERROR(EINVAL);
2161
2162     if (output_ready(avctx, ctx->encoder_flushing)) {
2163         av_fifo_generic_read(ctx->output_surface_ready_queue, &tmp_out_surf, sizeof(tmp_out_surf), NULL);
2164
2165         res = nvenc_push_context(avctx);
2166         if (res < 0)
2167             return res;
2168
2169         res = process_output_surface(avctx, pkt, tmp_out_surf);
2170
2171         res2 = nvenc_pop_context(avctx);
2172         if (res2 < 0)
2173             return res2;
2174
2175         if (res)
2176             return res;
2177
2178         av_fifo_generic_write(ctx->unused_surface_queue, &tmp_out_surf, sizeof(tmp_out_surf), NULL);
2179     } else if (ctx->encoder_flushing) {
2180         return AVERROR_EOF;
2181     } else {
2182         return AVERROR(EAGAIN);
2183     }
2184
2185     return 0;
2186 }
2187
2188 int ff_nvenc_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
2189                           const AVFrame *frame, int *got_packet)
2190 {
2191     NvencContext *ctx = avctx->priv_data;
2192     int res;
2193
2194     if (!ctx->encoder_flushing) {
2195         res = ff_nvenc_send_frame(avctx, frame);
2196         if (res < 0)
2197             return res;
2198     }
2199
2200     res = ff_nvenc_receive_packet(avctx, pkt);
2201     if (res == AVERROR(EAGAIN) || res == AVERROR_EOF) {
2202         *got_packet = 0;
2203     } else if (res < 0) {
2204         return res;
2205     } else {
2206         *got_packet = 1;
2207     }
2208
2209     return 0;
2210 }