git.sesse.net Git - vlc/blob - modules/audio_output/audiounit_ios.c

   1 /*****************************************************************************
   2  * audiounit_ios.c: AudioUnit output plugin for iOS
   3  *****************************************************************************
   4  * Copyright (C) 2012 - 2013 VLC authors and VideoLAN
   5  * $Id$
   6  *
   7  * Authors: Felix Paul Kühne <fkuehne at videolan dot org>
   8  *
   9  * This program is free software; you can redistribute it and/or modify it
  10  * under the terms of the GNU Lesser General Public License as published by
  11  * the Free Software Foundation; either version 2.1 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  17  * GNU Lesser General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Lesser General Public License
  20  * along with this program; if not, write to the Free Software Foundation,
  21  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  22  *****************************************************************************/
  23
  24 #pragma mark includes
  25
  26 #ifdef HAVE_CONFIG_H
  27 # import "config.h"
  28 #endif
  29
  30 #import <vlc_common.h>
  31 #import <vlc_plugin.h>
  32 #import <vlc_aout.h>
  33
  34 #import <AudioUnit/AudioUnit.h>
  35 #import <CoreAudio/CoreAudioTypes.h>
  36 #import <AudioToolbox/AudioToolbox.h>
  37 #import <mach/mach_time.h>
  38
  39 #import "TPCircularBuffer.h"
  40
  41 #pragma mark -
  42 #pragma mark private declarations
  43
  44 #define STREAM_FORMAT_MSG(pre, sfm) \
  45     pre "[%f][%4.4s][%u][%u][%u][%u][%u][%u]", \
  46     sfm.mSampleRate, (char *)&sfm.mFormatID, \
  47     (unsigned int)sfm.mFormatFlags, (unsigned int)sfm.mBytesPerPacket, \
  48     (unsigned int)sfm.mFramesPerPacket, (unsigned int)sfm.mBytesPerFrame, \
  49     (unsigned int)sfm.mChannelsPerFrame, (unsigned int)sfm.mBitsPerChannel
  50
  51 #define AUDIO_BUFFER_SIZE_IN_SECONDS (AOUT_MAX_ADVANCE_TIME / CLOCK_FREQ)
  52
  53 /*****************************************************************************
  54  * aout_sys_t: private audio output method descriptor
  55  *****************************************************************************
  56  * This structure is part of the audio output thread descriptor.
  57  * It describes the CoreAudio specific properties of an output thread.
  58  *****************************************************************************/
  59 struct aout_sys_t
  60 {
  61     TPCircularBuffer            circular_buffer;    /* circular buffer to swap the audio data */
  62
  63     /* AUHAL specific */
  64     AudioComponent              au_component;       /* The AudioComponent we use */
  65     AudioUnit                   au_unit;            /* The AudioUnit we use */
  66
  67     int                         i_rate;             /* media sample rate */
  68     int                         i_bytes_per_sample;
  69
  70     bool                        b_paused;
  71
  72     vlc_mutex_t                 lock;
  73     vlc_cond_t                  cond;
  74 };
  75
  76 #pragma mark -
  77 #pragma mark local prototypes & module descriptor
  78
  79 static int      Open                    (vlc_object_t *);
  80 static void     Close                   (vlc_object_t *);
  81 static int      Start                   (audio_output_t *, audio_sample_format_t *);
  82 static int      StartAnalog             (audio_output_t *, audio_sample_format_t *);
  83 static void     Stop                    (audio_output_t *);
  84
  85 static void     Play                    (audio_output_t *, block_t *);
  86 static void     Pause                   (audio_output_t *, bool, mtime_t);
  87 static void     Flush                   (audio_output_t *, bool);
  88 static int      TimeGet                 (audio_output_t *, mtime_t *);
  89 static OSStatus RenderCallback    (vlc_object_t *, AudioUnitRenderActionFlags *, const AudioTimeStamp *,
  90                                          UInt32 , UInt32, AudioBufferList *);
  91
  92 vlc_module_begin ()
  93     set_shortname("audiounit_ios")
  94     set_description(N_("AudioUnit output for iOS"))
  95     set_capability("audio output", 101)
  96     set_category(CAT_AUDIO)
  97     set_subcategory(SUBCAT_AUDIO_AOUT)
  98     set_callbacks(Open, Close)
  99 vlc_module_end ()
 100
 101 #pragma mark -
 102 #pragma mark initialization
 103
 104 static int Open(vlc_object_t *obj)
 105 {
 106     audio_output_t *aout = (audio_output_t *)obj;
 107     aout_sys_t *sys = malloc(sizeof (*sys));
 108
 109     if (unlikely(sys == NULL))
 110         return VLC_ENOMEM;
 111
 112     vlc_mutex_init(&sys->lock);
 113     vlc_cond_init(&sys->cond);
 114     sys->b_paused = false;
 115
 116     aout->sys = sys;
 117     aout->start = Start;
 118     aout->stop = Stop;
 119
 120     return VLC_SUCCESS;
 121 }
 122
 123 static void Close(vlc_object_t *obj)
 124 {
 125     audio_output_t *aout = (audio_output_t *)obj;
 126     aout_sys_t *sys = aout->sys;
 127
 128     vlc_mutex_destroy(&sys->lock);
 129     vlc_cond_destroy(&sys->cond);
 130
 131     free(sys);
 132 }
 133
 134 static int Start(audio_output_t *p_aout, audio_sample_format_t *restrict fmt)
 135 {
 136     struct aout_sys_t *p_sys = NULL;
 137
 138     p_sys = p_aout->sys;
 139     p_sys->au_component = NULL;
 140     p_sys->au_unit = NULL;
 141     p_sys->i_bytes_per_sample = 0;
 142
 143     aout_FormatPrint(p_aout, "VLC is looking for:", fmt);
 144
 145     if (StartAnalog(p_aout, fmt)) {
 146         msg_Dbg(p_aout, "analog AudioUnit output successfully opened");
 147         p_aout->play = Play;
 148         p_aout->flush = Flush;
 149         p_aout->time_get = TimeGet;
 150         p_aout->pause = Pause;
 151         return VLC_SUCCESS;
 152     }
 153
 154     /* If we reach this, this aout has failed */
 155     msg_Err(p_aout, "opening AudioUnit output failed");
 156     return VLC_EGENERIC;
 157 }
 158
 159 /*
 160  * StartAnalog: open and setup a HAL AudioUnit to do PCM audio output
 161  */
 162 static int StartAnalog(audio_output_t *p_aout, audio_sample_format_t *fmt)
 163 {
 164     struct aout_sys_t           *p_sys = p_aout->sys;
 165     UInt32                      i_param_size = 0;
 166     AudioComponentDescription   desc;
 167     AURenderCallbackStruct      callback;
 168     OSStatus status;
 169
 170     /* Lets go find our Component */
 171     desc.componentType = kAudioUnitType_Output;
 172     desc.componentSubType = kAudioUnitSubType_RemoteIO;
 173     desc.componentManufacturer = kAudioUnitManufacturer_Apple;
 174     desc.componentFlags = 0;
 175     desc.componentFlagsMask = 0;
 176
 177     p_sys->au_component = AudioComponentFindNext(NULL, &desc);
 178     if (p_sys->au_component == NULL) {
 179         msg_Warn(p_aout, "we cannot find our audio component");
 180         return false;
 181     }
 182
 183     status = AudioComponentInstanceNew(p_sys->au_component, &p_sys->au_unit);
 184     if (status != noErr) {
 185         msg_Warn(p_aout, "we cannot open our audio component (%i)", (int)status);
 186         return false;
 187     }
 188
 189     UInt32 flag = 1;
 190     status = AudioUnitSetProperty(p_sys->au_unit,
 191                                   kAudioOutputUnitProperty_EnableIO,
 192                                   kAudioUnitScope_Output,
 193                                   0,
 194                                   &flag,
 195                                   sizeof(flag));
 196     if (status != noErr)
 197         msg_Warn(p_aout, "failed to set IO mode (%i)", (int)status);
 198
 199     /* Get the current format */
 200     AudioStreamBasicDescription streamDescription;
 201     streamDescription.mSampleRate = fmt->i_rate;
 202     fmt->i_format = VLC_CODEC_FL32;
 203     fmt->i_physical_channels = fmt->i_original_channels = AOUT_CHANS_STEREO;
 204     streamDescription.mFormatID = kAudioFormatLinearPCM;
 205     streamDescription.mFormatFlags = kAudioFormatFlagsNativeFloatPacked; // FL32
 206     streamDescription.mChannelsPerFrame = aout_FormatNbChannels(fmt);
 207     streamDescription.mFramesPerPacket = 1;
 208     streamDescription.mBitsPerChannel = 32;
 209     streamDescription.mBytesPerFrame = streamDescription.mBitsPerChannel * streamDescription.mChannelsPerFrame / 8;
 210     streamDescription.mBytesPerPacket = streamDescription.mBytesPerFrame * streamDescription.mFramesPerPacket;
 211     i_param_size = sizeof(streamDescription);
 212     p_sys->i_rate = fmt->i_rate;
 213
 214     /* Set the desired format */
 215     i_param_size = sizeof(AudioStreamBasicDescription);
 216     status = AudioUnitSetProperty(p_sys->au_unit,
 217                                   kAudioUnitProperty_StreamFormat,
 218                                   kAudioUnitScope_Input,
 219                                   0,
 220                                   &streamDescription,
 221                                   i_param_size);
 222     if (status != noErr) {
 223         msg_Err(p_aout, "failed to set stream format (%i)", (int)status);
 224         return false;
 225     }
 226     msg_Dbg(p_aout, STREAM_FORMAT_MSG("we set the AU format: " , streamDescription));
 227
 228     /* Retrieve actual format */
 229     status = AudioUnitGetProperty(p_sys->au_unit,
 230                                   kAudioUnitProperty_StreamFormat,
 231                                   kAudioUnitScope_Input,
 232                                   0,
 233                                   &streamDescription,
 234                                   &i_param_size);
 235     if (status != noErr)
 236         msg_Warn(p_aout, "failed to verify stream format (%i)", (int)status);
 237     msg_Dbg(p_aout, STREAM_FORMAT_MSG("the actual set AU format is " , streamDescription));
 238
 239     /* Do the last VLC aout setups */
 240     aout_FormatPrepare(fmt);
 241
 242     /* set the IOproc callback */
 243     callback.inputProc = (AURenderCallback) RenderCallback;
 244     callback.inputProcRefCon = p_aout;
 245
 246     status = AudioUnitSetProperty(p_sys->au_unit,
 247                             kAudioUnitProperty_SetRenderCallback,
 248                             kAudioUnitScope_Input,
 249                             0, &callback, sizeof(callback));
 250     if (status != noErr) {
 251         msg_Err(p_aout, "render callback setup failed (%i)", (int)status);
 252         return false;
 253     }
 254
 255     /* AU init */
 256     status = AudioUnitInitialize(p_sys->au_unit);
 257     if (status != noErr) {
 258         msg_Err(p_aout, "failed to init AudioUnit (%i)", (int)status);
 259         return false;
 260     }
 261
 262     /* setup circular buffer */
 263     TPCircularBufferInit(&p_sys->circular_buffer, AUDIO_BUFFER_SIZE_IN_SECONDS * fmt->i_rate * fmt->i_bytes_per_frame);
 264
 265     /* start audio session so playback continues if mute switch is on */
 266     AudioSessionInitialize (NULL,
 267                             kCFRunLoopCommonModes,
 268                             NULL,
 269                             NULL);
 270
 271         /* Set audio session to mediaplayback */
 272         UInt32 sessionCategory = kAudioSessionCategory_MediaPlayback;
 273         AudioSessionSetProperty(kAudioSessionProperty_AudioCategory, sizeof(sessionCategory),&sessionCategory);
 274         AudioSessionSetActive(true);
 275
 276     /* start the unit */
 277     status = AudioOutputUnitStart(p_sys->au_unit);
 278     msg_Dbg(p_aout, "audio output unit started: %i", (int)status);
 279
 280     return true;
 281 }
 282
 283 static void Stop(audio_output_t *p_aout)
 284 {
 285     struct aout_sys_t   *p_sys = p_aout->sys;
 286     OSStatus status;
 287
 288     AudioSessionSetActive(false);
 289
 290     if (p_sys->au_unit) {
 291         status = AudioOutputUnitStop(p_sys->au_unit);
 292         if (status != noErr)
 293             msg_Warn(p_aout, "failed to stop AudioUnit (%i)", (int)status);
 294
 295         status = AudioComponentInstanceDispose(p_sys->au_unit);
 296         if (status != noErr)
 297             msg_Warn(p_aout, "failed to dispose Audio Component instance (%i)", (int)status);
 298     }
 299     p_sys->i_bytes_per_sample = 0;
 300
 301     /* clean-up circular buffer */
 302     TPCircularBufferCleanup(&p_sys->circular_buffer);
 303 }
 304
 305 #pragma mark -
 306 #pragma mark actual playback
 307
 308 static void Play (audio_output_t * p_aout, block_t * p_block)
 309 {
 310     struct aout_sys_t *p_sys = p_aout->sys;
 311
 312     if (p_block->i_nb_samples > 0) {
 313         /* move data to buffer */
 314         if (unlikely(!TPCircularBufferProduceBytes(&p_sys->circular_buffer, p_block->p_buffer, p_block->i_buffer)))
 315             msg_Warn(p_aout, "Audio buffer was dropped");
 316
 317         if (!p_sys->i_bytes_per_sample)
 318             p_sys->i_bytes_per_sample = p_block->i_buffer / p_block->i_nb_samples;
 319     }
 320
 321     block_Release(p_block);
 322 }
 323
 324 static void Pause (audio_output_t *p_aout, bool pause, mtime_t date)
 325 {
 326     struct aout_sys_t * p_sys = p_aout->sys;
 327     VLC_UNUSED(date);
 328
 329     vlc_mutex_lock(&p_sys->lock);
 330     p_sys->b_paused = pause;
 331     vlc_mutex_unlock(&p_sys->lock);
 332
 333     /* we need to start / stop the audio unit here because otherwise
 334      * the OS won't believe us that we stopped the audio output
 335      * so in case of an interruption, our unit would be permanently
 336      * silenced.
 337      * in case of multi-tasking, the multi-tasking view would still
 338      * show a playing state despite we are paused, same for lock screen */
 339     if (pause) {
 340         AudioOutputUnitStop(p_sys->au_unit);
 341         AudioSessionSetActive(false);
 342     } else {
 343         AudioOutputUnitStart(p_sys->au_unit);
 344         UInt32 sessionCategory = kAudioSessionCategory_MediaPlayback;
 345         AudioSessionSetProperty(kAudioSessionProperty_AudioCategory, sizeof(sessionCategory),&sessionCategory);
 346         AudioSessionSetActive(true);
 347     }
 348 }
 349
 350 static void Flush(audio_output_t *p_aout, bool wait)
 351 {
 352     struct aout_sys_t *p_sys = p_aout->sys;
 353
 354     int32_t availableBytes;
 355     vlc_mutex_lock(&p_sys->lock);
 356     TPCircularBufferTail(&p_sys->circular_buffer, &availableBytes);
 357
 358     if (wait) {
 359         while (availableBytes > 0) {
 360             vlc_cond_wait(&p_sys->cond, &p_sys->lock);
 361             TPCircularBufferTail(&p_sys->circular_buffer, &availableBytes);
 362         }
 363     } else {
 364         /* flush circular buffer if data is left */
 365         if (availableBytes > 0)
 366             TPCircularBufferClear(&p_aout->sys->circular_buffer);
 367     }
 368
 369     vlc_mutex_unlock(&p_sys->lock);
 370 }
 371
 372 static int TimeGet(audio_output_t *p_aout, mtime_t *delay)
 373 {
 374     struct aout_sys_t * p_sys = p_aout->sys;
 375
 376     if (!p_sys->i_bytes_per_sample)
 377         return -1;
 378
 379     int32_t availableBytes;
 380     TPCircularBufferTail(&p_sys->circular_buffer, &availableBytes);
 381
 382     *delay = (availableBytes / p_sys->i_bytes_per_sample) * CLOCK_FREQ / p_sys->i_rate;
 383
 384     return 0;
 385 }
 386
 387 /*****************************************************************************
 388  * RenderCallback: This function is called everytime the AudioUnit wants
 389  * us to provide some more audio data.
 390  * Don't print anything during normal playback, calling blocking function from
 391  * this callback is not allowed.
 392  *****************************************************************************/
 393 static OSStatus RenderCallback(vlc_object_t *p_obj,
 394                                AudioUnitRenderActionFlags *ioActionFlags,
 395                                const AudioTimeStamp *inTimeStamp,
 396                                UInt32 inBusNumber,
 397                                UInt32 inNumberFrames,
 398                                AudioBufferList *ioData) {
 399     VLC_UNUSED(ioActionFlags);
 400     VLC_UNUSED(inTimeStamp);
 401     VLC_UNUSED(inBusNumber);
 402     VLC_UNUSED(inNumberFrames);
 403
 404     audio_output_t * p_aout = (audio_output_t *)p_obj;
 405     struct aout_sys_t * p_sys = p_aout->sys;
 406
 407     int bytesRequested = ioData->mBuffers[0].mDataByteSize;
 408     Float32 *targetBuffer = (Float32*)ioData->mBuffers[0].mData;
 409
 410     vlc_mutex_lock(&p_sys->lock);
 411     /* Pull audio from buffer */
 412     int32_t availableBytes;
 413     Float32 *buffer = TPCircularBufferTail(&p_sys->circular_buffer, &availableBytes);
 414
 415     /* check if we have enough data */
 416     if (!availableBytes || p_sys->b_paused) {
 417         /* return an empty buffer so silence is played until we have data */
 418         memset(targetBuffer, 0, ioData->mBuffers[0].mDataByteSize);
 419     } else {
 420         int32_t bytesToCopy = __MIN(bytesRequested, availableBytes);
 421
 422         if (likely(bytesToCopy > 0)) {
 423             memcpy(targetBuffer, buffer, bytesToCopy);
 424             TPCircularBufferConsume(&p_sys->circular_buffer, bytesToCopy);
 425             ioData->mBuffers[0].mDataByteSize = bytesToCopy;
 426         }
 427     }
 428
 429     vlc_cond_signal(&p_sys->cond);
 430     vlc_mutex_unlock(&p_sys->lock);
 431
 432     return noErr;
 433 }
 434