git.sesse.net Git - vlc/blob - modules/access/qtcapture.m

   1 /*****************************************************************************
   2 * qtcapture.m: qtkit (Mac OS X) based capture module
   3 *****************************************************************************
   4 * Copyright (C) 2008 the VideoLAN team
   5 *
   6 * Authors: Pierre d'Herbemont <pdherbemont@videolan.org>
   7 *
   8 *****************************************************************************
   9 * This library is free software; you can redistribute it and/or
  10 * modify it under the terms of the GNU Lesser General Public
  11 * License as published by the Free Software Foundation;
  12 * version 2 of the License.
  13 *
  14 * This library is distributed in the hope that it will be useful,
  15 * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17 * Lesser General Public License for more details.
  18 *
  19 * You should have received a copy of the GNU Lesser General Public
  20 * License along with this library; if not, write to the Free Software
  21 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  22 *
  23 *****************************************************************************/
  24
  25 /*****************************************************************************
  26 * Preamble
  27 *****************************************************************************/
  28
  29 #ifdef HAVE_CONFIG_H
  30 # include "config.h"
  31 #endif
  32
  33 #include <vlc/vlc.h>
  34 #include <vlc_plugin.h>
  35 #include <vlc_input.h>
  36 #include <vlc_vout.h>
  37 #include <vlc_demux.h>
  38
  39 #import <QTKit/QTKit.h>
  40
  41 /*****************************************************************************
  42 * Local prototypes
  43 *****************************************************************************/
  44 static int Open( vlc_object_t *p_this );
  45 static void Close( vlc_object_t *p_this );
  46 static int Demux( demux_t *p_demux );
  47 static int Control( demux_t *, int, va_list );
  48
  49 /*****************************************************************************
  50 * Module descriptor
  51 *****************************************************************************/
  52 vlc_module_begin();
  53    set_shortname( N_("Quicktime Capture") );
  54    set_description( N_("Quicktime Capture") );
  55    set_category( CAT_INPUT );
  56    set_subcategory( SUBCAT_INPUT_ACCESS );
  57    add_shortcut( "qtcapture" );
  58    set_capability( "access_demux", 10 );
  59    set_callbacks( Open, Close );
  60 vlc_module_end();
  61
  62
  63 /*****************************************************************************
  64 * QTKit Bridge
  65 *****************************************************************************/
  66 @interface VLCDecompressedVideoOutput : QTCaptureDecompressedVideoOutput
  67 {
  68     CVImageBufferRef currentImageBuffer;
  69     mtime_t currentPts;
  70 }
  71 - (id)init;
  72 - (void)outputVideoFrame:(CVImageBufferRef)videoFrame withSampleBuffer:(QTSampleBuffer *)sampleBuffer fromConnection:(QTCaptureConnection *)connection;
  73 - (mtime_t)copyCurrentFrameToBuffer:(void *)buffer;
  74 @end
  75
  76 /* Apple sample code */
  77 @implementation VLCDecompressedVideoOutput : QTCaptureDecompressedVideoOutput
  78 - (id)init
  79 {
  80     if( self = [super init] )
  81     {
  82         currentImageBuffer = nil;
  83         currentPts = 0;
  84     }
  85     return self;
  86 }
  87 - (void)dealloc
  88 {
  89     @synchronized (self) {
  90         CVBufferRelease(currentImageBuffer);
  91         currentImageBuffer = nil;
  92     }
  93     [super dealloc];
  94 }
  95
  96 - (void)outputVideoFrame:(CVImageBufferRef)videoFrame withSampleBuffer:(QTSampleBuffer *)sampleBuffer fromConnection:(QTCaptureConnection *)connection
  97 {
  98     // Store the latest frame
  99     // This must be done in a @synchronized block because this delegate method is not called on the main thread
 100     CVImageBufferRef imageBufferToRelease;
 101
 102     CVBufferRetain(videoFrame);
 103
 104     @synchronized (self) {
 105         imageBufferToRelease = currentImageBuffer;
 106         currentImageBuffer = videoFrame;
 107         /* FIXME: is it the right PTS? */
 108         currentPts = [sampleBuffer presentationTime].timeValue / [sampleBuffer presentationTime].timeScale;
 109     }
 110     CVBufferRelease(imageBufferToRelease);
 111 }
 112
 113 - (mtime_t)copyCurrentFrameToBuffer:(void *)buffer
 114 {
 115     CVImageBufferRef imageBuffer;
 116     mtime_t pts;
 117     @synchronized (self) {
 118         if(!currentImageBuffer) return 0;
 119         imageBuffer = CVBufferRetain(currentImageBuffer);
 120         pts = currentPts;
 121     }
 122
 123     CVPixelBufferLockBaseAddress(imageBuffer, 0);
 124     void * pixels = CVPixelBufferGetBaseAddress(imageBuffer);
 125     memcpy( buffer, pixels, CVPixelBufferGetBytesPerRow(imageBuffer) * CVPixelBufferGetHeight(imageBuffer) );
 126     CVPixelBufferUnlockBaseAddress(imageBuffer, 0);
 127
 128     CVBufferRelease(imageBuffer);
 129
 130     return currentPts;
 131 }
 132
 133 @end
 134
 135 /*****************************************************************************
 136 * Struct
 137 *****************************************************************************/
 138
 139 struct demux_sys_t {
 140    QTCaptureSession * session;
 141    VLCDecompressedVideoOutput * output;
 142    int height, width;
 143    es_out_id_t * p_es_video;
 144 };
 145
 146
 147 /*****************************************************************************
 148 * qtchroma_to_fourcc
 149 *****************************************************************************/
 150 static int qtchroma_to_fourcc( int i_qt )
 151 {
 152     static struct
 153     {
 154         unsigned int i_qt;
 155         int i_fourcc;
 156     } qtchroma_to_fourcc[] =
 157     {
 158         /* Raw data types */
 159         { k422YpCbCr8CodecType,    VLC_FOURCC('U','Y','V','Y') },
 160         { 0, 0 }
 161     };
 162     int i;
 163     for( i = 0; qtchroma_to_fourcc[i].i_qt; i++ )
 164     {
 165         if( qtchroma_to_fourcc[i].i_qt == i_qt )
 166             return qtchroma_to_fourcc[i].i_fourcc;
 167     }
 168     return 0;
 169 }
 170
 171 /*****************************************************************************
 172 * Open:
 173 *****************************************************************************/
 174 static int Open( vlc_object_t *p_this )
 175 {
 176     demux_t     *p_demux = (demux_t*)p_this;
 177     demux_sys_t *p_sys = NULL;
 178     es_format_t fmt;
 179     int i;
 180     int i_width;
 181     int i_height;
 182     int i_aspect;
 183     int result = 0;
 184
 185     /* Only when selected */
 186     if( *p_demux->psz_access == '\0' )
 187         return VLC_EGENERIC;
 188
 189     NSAutoreleasePool * pool = [[NSAutoreleasePool alloc] init];
 190
 191     msg_Dbg( p_demux, "QTCapture Probed" );
 192
 193     QTCaptureDeviceInput * input = nil;
 194     QTCaptureSession * session = nil;
 195     VLCDecompressedVideoOutput * output = nil;
 196
 197     QTCaptureDevice * device = [QTCaptureDevice defaultInputDeviceWithMediaType: QTMediaTypeVideo];
 198     if( !device )
 199     {
 200         msg_Err( p_demux, "Can't open any Video device" );
 201         goto error;
 202     }
 203
 204     if( ![device open: nil  /* FIXME */] )
 205     {
 206         msg_Err( p_demux, "Can't open any Video device" );
 207         goto error;
 208     }
 209
 210     input = [[QTCaptureDeviceInput alloc] initWithDevice: device];
 211     if( !device )
 212     {
 213         msg_Err( p_demux, "Can't create a capture session" );
 214         goto error;
 215     }
 216
 217     output = [[VLCDecompressedVideoOutput alloc] init];
 218
 219     /* Hack - This will lower CPU consumption for some reason */
 220     [output setPixelBufferAttributes: [NSDictionary dictionaryWithObjectsAndKeys:
 221         [NSNumber numberWithInt:480], kCVPixelBufferHeightKey,
 222         [NSNumber numberWithInt:640], kCVPixelBufferWidthKey, nil]];
 223
 224     session = [[QTCaptureSession alloc] init];
 225
 226     bool ret = [session addInput:input error:nil  /* FIXME */];
 227     if( !ret )
 228     {
 229         msg_Err( p_demux, "Can't add the video device as input" );
 230         goto error;
 231     }
 232
 233     ret = [session addOutput:output error:nil  /* FIXME */];
 234     if( !ret )
 235     {
 236         msg_Err( p_demux, "Can't get any output output" );
 237         goto error;
 238     }
 239
 240     [session startRunning];
 241
 242
 243     int qtchroma = [[[device formatDescriptions] objectAtIndex: 0] formatType]; /* FIXME */
 244     int chroma = qtchroma_to_fourcc( qtchroma );
 245     if( !chroma )
 246     {
 247         msg_Err( p_demux, "Unknown qt chroma %4.4s provided by camera", (char*)&qtchroma );
 248         goto error;
 249     }
 250
 251     /* Now we can init */
 252
 253     /* Set up p_demux */
 254     p_demux->pf_demux = Demux;
 255     p_demux->pf_control = Control;
 256     p_demux->info.i_update = 0;
 257     p_demux->info.i_title = 0;
 258     p_demux->info.i_seekpoint = 0;
 259
 260     p_demux->p_sys = p_sys = malloc( sizeof( demux_sys_t ) );
 261     if( !p_sys ) return VLC_ENOMEM;
 262
 263     memset( p_sys, 0, sizeof( demux_sys_t ) );
 264     memset( &fmt, 0, sizeof( es_format_t ) );
 265
 266     es_format_Init( &fmt, VIDEO_ES, chroma );
 267
 268     NSSize size = [[device attributeForKey:QTFormatDescriptionVideoEncodedPixelsSizeAttribute] sizeValue];
 269     p_sys->width = fmt.video.i_width = 640;/* size.width; FIXME */
 270     p_sys->height = fmt.video.i_height = 480;/* size.height; FIXME */
 271
 272     msg_Dbg( p_demux, "added new video es %4.4s %dx%d",
 273             (char*)&fmt.i_codec, fmt.video.i_width, fmt.video.i_height );
 274
 275     p_sys->p_es_video = es_out_Add( p_demux->out, &fmt );
 276
 277     p_sys->output = [output retain];
 278     p_sys->session = [session retain];
 279
 280     [input release];
 281     [output release];
 282     [session release];
 283     [pool release];
 284
 285     msg_Dbg( p_demux, "QTCapture: We have a video device ready!" );
 286
 287     return VLC_SUCCESS;
 288 error:
 289     [input release];
 290     [session release];
 291     [input release];
 292     [output release];
 293     [pool release];
 294
 295     free( p_sys );
 296
 297     return VLC_EGENERIC;
 298 }
 299
 300 /*****************************************************************************
 301 * Close:
 302 *****************************************************************************/
 303 static void Close( vlc_object_t *p_this )
 304 {
 305     NSAutoreleasePool * pool = [[NSAutoreleasePool alloc] init];
 306
 307     demux_t     *p_demux = (demux_t*)p_this;
 308     demux_sys_t *p_sys = p_demux->p_sys;
 309     [p_sys->output release];
 310     [p_sys->session release];
 311     free( p_sys );
 312
 313     [pool release];
 314 }
 315
 316
 317 /*****************************************************************************
 318 * Demux:
 319 *****************************************************************************/
 320 static int Demux( demux_t *p_demux )
 321 {
 322     demux_sys_t *p_sys = p_demux->p_sys;
 323     block_t *p_block;
 324
 325     p_block = block_New( p_demux, p_sys->width *
 326                             p_sys->height * 2 /* FIXME */ );
 327     if( !p_block )
 328     {
 329         msg_Err( p_demux, "cannot get block" );
 330         return 0;
 331     }
 332
 333     NSAutoreleasePool * pool = [[NSAutoreleasePool alloc] init];
 334
 335     p_block->i_pts = [p_sys->output copyCurrentFrameToBuffer: p_block->p_buffer];
 336
 337     if( !p_block->i_pts )
 338     {
 339         /* Nothing to display yet, just forget */
 340         block_Release( p_block );
 341         [pool release];
 342         return 1;
 343     }
 344
 345     /* FIXME */
 346     p_block->i_pts = mdate();
 347
 348     es_out_Control( p_demux->out, ES_OUT_SET_PCR, p_block->i_pts );
 349     es_out_Send( p_demux->out, p_sys->p_es_video, p_block );
 350
 351     [pool release];
 352     return 1;
 353 }
 354
 355 /*****************************************************************************
 356 * Control:
 357 *****************************************************************************/
 358 static int Control( demux_t *p_demux, int i_query, va_list args )
 359 {
 360     bool *pb;
 361     int64_t    *pi64;
 362
 363     switch( i_query )
 364     {
 365         /* Special for access_demux */
 366         case DEMUX_CAN_PAUSE:
 367         case DEMUX_CAN_SEEK:
 368         case DEMUX_SET_PAUSE_STATE:
 369         case DEMUX_CAN_CONTROL_PACE:
 370            pb = (bool*)va_arg( args, bool * );
 371            *pb = false;
 372            return VLC_SUCCESS;
 373
 374         case DEMUX_GET_PTS_DELAY:
 375            pi64 = (int64_t*)va_arg( args, int64_t * );
 376            *pi64 = (int64_t)DEFAULT_PTS_DELAY;
 377            return VLC_SUCCESS;
 378
 379         case DEMUX_GET_TIME:
 380            pi64 = (int64_t*)va_arg( args, int64_t * );
 381            *pi64 = mdate();
 382            return VLC_SUCCESS;
 383
 384         /* TODO implement others */
 385         default:
 386            return VLC_EGENERIC;
 387     }
 388     return VLC_EGENERIC;
 389 }