git.sesse.net Git - ffmpeg/blob - libavutil/hwcontext_vulkan.h

   1 /*
   2  * This file is part of FFmpeg.
   3  *
   4  * FFmpeg is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Lesser General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2.1 of the License, or (at your option) any later version.
   8  *
   9  * FFmpeg is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Lesser General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Lesser General Public
  15  * License along with FFmpeg; if not, write to the Free Software
  16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  17  */
  18
  19 #ifndef AVUTIL_HWCONTEXT_VULKAN_H
  20 #define AVUTIL_HWCONTEXT_VULKAN_H
  21
  22 #include <vulkan/vulkan.h>
  23
  24 /**
  25  * @file
  26  * API-specific header for AV_HWDEVICE_TYPE_VULKAN.
  27  *
  28  * For user-allocated pools, AVHWFramesContext.pool must return AVBufferRefs
  29  * with the data pointer set to an AVVkFrame.
  30  */
  31
  32 /**
  33  * Main Vulkan context, allocated as AVHWDeviceContext.hwctx.
  34  * All of these can be set before init to change what the context uses
  35  */
  36 typedef struct AVVulkanDeviceContext {
  37     /**
  38      * Custom memory allocator, else NULL
  39      */
  40     const VkAllocationCallbacks *alloc;
  41     /**
  42      * Vulkan instance. Must be at least version 1.1.
  43      */
  44     VkInstance inst;
  45     /**
  46      * Physical device
  47      */
  48     VkPhysicalDevice phys_dev;
  49     /**
  50      * Active device
  51      */
  52     VkDevice act_dev;
  53     /**
  54      * Queue family index for graphics
  55      * @note av_hwdevice_create() will set all 3 queue indices if unset
  56      * If there is no dedicated queue for compute or transfer operations,
  57      * they will be set to the graphics queue index which can handle both.
  58      */
  59     int queue_family_index;
  60     /**
  61      * Queue family index for transfer ops only
  62      */
  63     int queue_family_tx_index;
  64     /**
  65      * Queue family index for compute ops
  66      */
  67     int queue_family_comp_index;
  68     /**
  69      * Enabled instance extensions. By default, VK_KHR_surface is enabled if found.
  70      * If supplying your own device context, set this to an array of strings, with
  71      * each entry containing the specified Vulkan extension string to enable.
  72      * Duplicates are possible and accepted.
  73      * If no extensions are enabled, set these fields to NULL, and 0 respectively.
  74      */
  75     const char * const *enabled_inst_extensions;
  76     int nb_enabled_inst_extensions;
  77     /**
  78      * Enabled device extensions. By default, VK_KHR_external_memory_fd,
  79      * VK_EXT_external_memory_dma_buf, VK_EXT_image_drm_format_modifier and
  80      * VK_KHR_external_semaphore_fd are enabled if found.
  81      * If supplying your own device context, these fields takes the same format as
  82      * the above fields, with the same conditions that duplicates are possible
  83      * and accepted, and that NULL and 0 respectively means no extensions are enabled.
  84      */
  85     const char * const *enabled_dev_extensions;
  86     int nb_enabled_dev_extensions;
  87 } AVVulkanDeviceContext;
  88
  89 /**
  90  * Allocated as AVHWFramesContext.hwctx, used to set pool-specific options
  91  */
  92 typedef struct AVVulkanFramesContext {
  93     /**
  94      * Controls the tiling of output frames.
  95      */
  96     VkImageTiling tiling;
  97     /**
  98      * Defines extra usage of output frames. This is bitwise OR'd with the
  99      * standard usage flags (SAMPLED, STORAGE, TRANSFER_SRC and TRANSFER_DST).
 100      */
 101     VkImageUsageFlagBits usage;
 102     /**
 103      * Extension data for image creation. By default, if the extension is
 104      * available, this will be chained to a VkImageFormatListCreateInfoKHR.
 105      */
 106     void *create_pnext;
 107     /**
 108      * Extension data for memory allocation. Must have as many entries as
 109      * the number of planes of the sw_format.
 110      * This will be chained to VkExportMemoryAllocateInfo, which is used
 111      * to make all pool images exportable to other APIs.
 112      */
 113     void *alloc_pnext[AV_NUM_DATA_POINTERS];
 114 } AVVulkanFramesContext;
 115
 116 /*
 117  * Frame structure, the VkFormat of the image will always match
 118  * the pool's sw_format.
 119  * All frames, imported or allocated, will be created with the
 120  * VK_IMAGE_CREATE_ALIAS_BIT flag set, so the memory may be aliased if needed.
 121  *
 122  * If all three queue family indices in the device context are the same,
 123  * images will be created with the EXCLUSIVE sharing mode. Otherwise, all images
 124  * will be created using the CONCURRENT sharing mode.
 125  *
 126  * @note the size of this structure is not part of the ABI, to allocate
 127  * you must use @av_vk_frame_alloc().
 128  */
 129 typedef struct AVVkFrame {
 130     /**
 131      * Vulkan images to which the memory is bound to.
 132      */
 133     VkImage img[AV_NUM_DATA_POINTERS];
 134
 135     /**
 136      * Same tiling must be used for all images.
 137      */
 138     VkImageTiling tiling;
 139
 140     /**
 141      * Memory backing the images. Could be less than the amount of images
 142      * if importing from a DRM or VAAPI frame.
 143      */
 144     VkDeviceMemory mem[AV_NUM_DATA_POINTERS];
 145     size_t size[AV_NUM_DATA_POINTERS];
 146
 147     /**
 148      * OR'd flags for all memory allocated
 149      */
 150     VkMemoryPropertyFlagBits flags;
 151
 152     /**
 153      * Updated after every barrier
 154      */
 155     VkAccessFlagBits access[AV_NUM_DATA_POINTERS];
 156     VkImageLayout layout[AV_NUM_DATA_POINTERS];
 157
 158     /**
 159      * Per-image semaphores. Must not be freed manually. Must be waited on
 160      * and signalled at every queue submission.
 161      */
 162     VkSemaphore sem[AV_NUM_DATA_POINTERS];
 163
 164     /**
 165      * Internal data.
 166      */
 167     struct AVVkFrameInternal *internal;
 168 } AVVkFrame;
 169
 170 /**
 171  * Allocates a single AVVkFrame and initializes everything as 0.
 172  * @note Must be freed via av_free()
 173  */
 174 AVVkFrame *av_vk_frame_alloc(void);
 175
 176 /**
 177  * Returns the format of each image up to the number of planes for a given sw_format.
 178  */
 179 const VkFormat *av_vkfmt_from_pixfmt(enum AVPixelFormat p);
 180
 181 #endif /* AVUTIL_HWCONTEXT_VULKAN_H */