git.sesse.net Git - ffmpeg/blob - libavutil/hwcontext_videotoolbox.c

   1 /*
   2  * This file is part of FFmpeg.
   3  *
   4  * FFmpeg is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Lesser General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2.1 of the License, or (at your option) any later version.
   8  *
   9  * FFmpeg is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Lesser General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Lesser General Public
  15  * License along with FFmpeg; if not, write to the Free Software
  16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  17  */
  18
  19 #include "config.h"
  20
  21 #include <stdint.h>
  22 #include <string.h>
  23
  24 #include <VideoToolbox/VideoToolbox.h>
  25
  26 #include "buffer.h"
  27 #include "common.h"
  28 #include "hwcontext.h"
  29 #include "hwcontext_internal.h"
  30 #include "hwcontext_videotoolbox.h"
  31 #include "mem.h"
  32 #include "pixfmt.h"
  33 #include "pixdesc.h"
  34
  35 static const struct {
  36     uint32_t cv_fmt;
  37     enum AVPixelFormat pix_fmt;
  38 } cv_pix_fmts[] = {
  39     { kCVPixelFormatType_420YpCbCr8Planar,              AV_PIX_FMT_YUV420P },
  40     { kCVPixelFormatType_422YpCbCr8,                    AV_PIX_FMT_UYVY422 },
  41     { kCVPixelFormatType_32BGRA,                        AV_PIX_FMT_BGRA },
  42 #ifdef kCFCoreFoundationVersionNumber10_7
  43     { kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange,  AV_PIX_FMT_NV12 },
  44 #endif
  45 #if HAVE_KCVPIXELFORMATTYPE_420YPCBCR10BIPLANARVIDEORANGE
  46     { kCVPixelFormatType_420YpCbCr10BiPlanarVideoRange, AV_PIX_FMT_P010 },
  47 #endif
  48 };
  49
  50 enum AVPixelFormat av_map_videotoolbox_format_to_pixfmt(uint32_t cv_fmt)
  51 {
  52     int i;
  53     for (i = 0; i < FF_ARRAY_ELEMS(cv_pix_fmts); i++) {
  54         if (cv_pix_fmts[i].cv_fmt == cv_fmt)
  55             return cv_pix_fmts[i].pix_fmt;
  56     }
  57     return AV_PIX_FMT_NONE;
  58 }
  59
  60 uint32_t av_map_videotoolbox_format_from_pixfmt(enum AVPixelFormat pix_fmt)
  61 {
  62     int i;
  63     for (i = 0; i < FF_ARRAY_ELEMS(cv_pix_fmts); i++) {
  64         if (cv_pix_fmts[i].pix_fmt == pix_fmt)
  65             return cv_pix_fmts[i].cv_fmt;
  66     }
  67     return 0;
  68 }
  69
  70 static int vt_get_buffer(AVHWFramesContext *ctx, AVFrame *frame)
  71 {
  72     frame->buf[0] = av_buffer_pool_get(ctx->pool);
  73     if (!frame->buf[0])
  74         return AVERROR(ENOMEM);
  75
  76     frame->data[3] = frame->buf[0]->data;
  77     frame->format  = AV_PIX_FMT_VIDEOTOOLBOX;
  78     frame->width   = ctx->width;
  79     frame->height  = ctx->height;
  80
  81     return 0;
  82 }
  83
  84 static int vt_transfer_get_formats(AVHWFramesContext *ctx,
  85                                    enum AVHWFrameTransferDirection dir,
  86                                    enum AVPixelFormat **formats)
  87 {
  88     enum AVPixelFormat *fmts = av_malloc_array(2, sizeof(*fmts));
  89     if (!fmts)
  90         return AVERROR(ENOMEM);
  91
  92     fmts[0] = ctx->sw_format;
  93     fmts[1] = AV_PIX_FMT_NONE;
  94
  95     *formats = fmts;
  96     return 0;
  97 }
  98
  99 static void vt_unmap(AVHWFramesContext *ctx, HWMapDescriptor *hwmap)
 100 {
 101     CVPixelBufferRef pixbuf = (CVPixelBufferRef)hwmap->source->data[3];
 102
 103     CVPixelBufferUnlockBaseAddress(pixbuf, (uintptr_t)hwmap->priv);
 104 }
 105
 106 static int vt_map_frame(AVHWFramesContext *ctx, AVFrame *dst, const AVFrame *src,
 107                         int flags)
 108 {
 109     CVPixelBufferRef pixbuf = (CVPixelBufferRef)src->data[3];
 110     OSType pixel_format = CVPixelBufferGetPixelFormatType(pixbuf);
 111     CVReturn err;
 112     uint32_t map_flags = 0;
 113     int ret;
 114     int i;
 115     enum AVPixelFormat format;
 116
 117     format = av_map_videotoolbox_format_to_pixfmt(pixel_format);
 118     if (dst->format != format) {
 119         av_log(ctx, AV_LOG_ERROR, "Unsupported or mismatching pixel format: %s\n",
 120                av_fourcc2str(pixel_format));
 121         return AVERROR_UNKNOWN;
 122     }
 123
 124     if (CVPixelBufferGetWidth(pixbuf) != ctx->width ||
 125         CVPixelBufferGetHeight(pixbuf) != ctx->height) {
 126         av_log(ctx, AV_LOG_ERROR, "Inconsistent frame dimensions.\n");
 127         return AVERROR_UNKNOWN;
 128     }
 129
 130     if (flags == AV_HWFRAME_MAP_READ)
 131         map_flags = kCVPixelBufferLock_ReadOnly;
 132
 133     err = CVPixelBufferLockBaseAddress(pixbuf, map_flags);
 134     if (err != kCVReturnSuccess) {
 135         av_log(ctx, AV_LOG_ERROR, "Error locking the pixel buffer.\n");
 136         return AVERROR_UNKNOWN;
 137     }
 138
 139     if (CVPixelBufferIsPlanar(pixbuf)) {
 140         int planes = CVPixelBufferGetPlaneCount(pixbuf);
 141         for (i = 0; i < planes; i++) {
 142             dst->data[i]     = CVPixelBufferGetBaseAddressOfPlane(pixbuf, i);
 143             dst->linesize[i] = CVPixelBufferGetBytesPerRowOfPlane(pixbuf, i);
 144         }
 145     } else {
 146         dst->data[0]     = CVPixelBufferGetBaseAddress(pixbuf);
 147         dst->linesize[0] = CVPixelBufferGetBytesPerRow(pixbuf);
 148     }
 149
 150     ret = ff_hwframe_map_create(src->hw_frames_ctx, dst, src, vt_unmap,
 151                                 (void *)(uintptr_t)map_flags);
 152     if (ret < 0)
 153         goto unlock;
 154
 155     return 0;
 156
 157 unlock:
 158     CVPixelBufferUnlockBaseAddress(pixbuf, map_flags);
 159     return ret;
 160 }
 161
 162 static int vt_transfer_data_from(AVHWFramesContext *hwfc,
 163                                  AVFrame *dst, const AVFrame *src)
 164 {
 165     AVFrame *map;
 166     int err;
 167
 168     if (dst->width > hwfc->width || dst->height > hwfc->height)
 169         return AVERROR(EINVAL);
 170
 171     map = av_frame_alloc();
 172     if (!map)
 173         return AVERROR(ENOMEM);
 174     map->format = dst->format;
 175
 176     err = vt_map_frame(hwfc, map, src, AV_HWFRAME_MAP_READ);
 177     if (err)
 178         goto fail;
 179
 180     map->width  = dst->width;
 181     map->height = dst->height;
 182
 183     err = av_frame_copy(dst, map);
 184     if (err)
 185         goto fail;
 186
 187     err = 0;
 188 fail:
 189     av_frame_free(&map);
 190     return err;
 191 }
 192
 193 static int vt_transfer_data_to(AVHWFramesContext *hwfc,
 194                                AVFrame *dst, const AVFrame *src)
 195 {
 196     AVFrame *map;
 197     int err;
 198
 199     if (src->width > hwfc->width || src->height > hwfc->height)
 200         return AVERROR(EINVAL);
 201
 202     map = av_frame_alloc();
 203     if (!map)
 204         return AVERROR(ENOMEM);
 205     map->format = src->format;
 206
 207     err = vt_map_frame(hwfc, map, dst, AV_HWFRAME_MAP_WRITE | AV_HWFRAME_MAP_OVERWRITE);
 208     if (err)
 209         goto fail;
 210
 211     map->width  = src->width;
 212     map->height = src->height;
 213
 214     err = av_frame_copy(map, src);
 215     if (err)
 216         goto fail;
 217
 218     err = 0;
 219 fail:
 220     av_frame_free(&map);
 221     return err;
 222 }
 223
 224 static int vt_device_create(AVHWDeviceContext *ctx, const char *device,
 225                             AVDictionary *opts, int flags)
 226 {
 227     if (device && device[0]) {
 228         av_log(ctx, AV_LOG_ERROR, "Device selection unsupported.\n");
 229         return AVERROR_UNKNOWN;
 230     }
 231
 232     return 0;
 233 }
 234
 235 const HWContextType ff_hwcontext_type_videotoolbox = {
 236     .type                 = AV_HWDEVICE_TYPE_VIDEOTOOLBOX,
 237     .name                 = "videotoolbox",
 238
 239     .device_create        = vt_device_create,
 240     .frames_get_buffer    = vt_get_buffer,
 241     .transfer_get_formats = vt_transfer_get_formats,
 242     .transfer_data_to     = vt_transfer_data_to,
 243     .transfer_data_from   = vt_transfer_data_from,
 244
 245     .pix_fmts = (const enum AVPixelFormat[]){ AV_PIX_FMT_VIDEOTOOLBOX, AV_PIX_FMT_NONE },
 246 };