git.sesse.net Git - mlt/blob - src/framework/mlt_multitrack.c

   1 /**
   2  * \file mlt_multitrack.c
   3  * \brief multitrack service class
   4  * \see mlt_multitrack_s
   5  *
   6  * Copyright (C) 2003-2009 Ushodaya Enterprises Limited
   7  * \author Charles Yates <charles.yates@pandora.be>
   8  *
   9  * This library is free software; you can redistribute it and/or
  10  * modify it under the terms of the GNU Lesser General Public
  11  * License as published by the Free Software Foundation; either
  12  * version 2.1 of the License, or (at your option) any later version.
  13  *
  14  * This library is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17  * Lesser General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Lesser General Public
  20  * License along with this library; if not, write to the Free Software
  21  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  22  */
  23
  24 #include "mlt_multitrack.h"
  25 #include "mlt_playlist.h"
  26 #include "mlt_frame.h"
  27
  28 #include <stdio.h>
  29 #include <stdlib.h>
  30
  31 /* Forward reference. */
  32
  33 static int producer_get_frame( mlt_producer producer, mlt_frame_ptr frame, int index );
  34
  35 /** Construct and initialize a new multitrack.
  36  *
  37  * Sets the resource property to "<multitrack>".
  38  *
  39  * \public \memberof mlt_multitrack_s
  40  * \return a new multitrack
  41  */
  42
  43 mlt_multitrack mlt_multitrack_init( )
  44 {
  45         // Allocate the multitrack object
  46         mlt_multitrack self = calloc( 1, sizeof( struct mlt_multitrack_s ) );
  47
  48         if ( self != NULL )
  49         {
  50                 mlt_producer producer = &self->parent;
  51                 if ( mlt_producer_init( producer, self ) == 0 )
  52                 {
  53                         mlt_properties properties = MLT_MULTITRACK_PROPERTIES( self );
  54                         producer->get_frame = producer_get_frame;
  55                         mlt_properties_set_data( properties, "multitrack", self, 0, NULL, NULL );
  56                         mlt_properties_set( properties, "log_id", "multitrack" );
  57                         mlt_properties_set( properties, "resource", "<multitrack>" );
  58                         mlt_properties_set_int( properties, "in", 0 );
  59                         mlt_properties_set_int( properties, "out", -1 );
  60                         mlt_properties_set_int( properties, "length", 0 );
  61                         producer->close = ( mlt_destructor )mlt_multitrack_close;
  62                 }
  63                 else
  64                 {
  65                         free( self );
  66                         self = NULL;
  67                 }
  68         }
  69
  70         return self;
  71 }
  72
  73 /** Get the producer associated to this multitrack.
  74  *
  75  * \public \memberof mlt_multitrack_s
  76  * \param self a multitrack
  77  * \return the producer object
  78  * \see MLT_MULTITRACK_PRODUCER
  79  */
  80
  81 mlt_producer mlt_multitrack_producer( mlt_multitrack self )
  82 {
  83         return self != NULL ? &self->parent : NULL;
  84 }
  85
  86 /** Get the service associated this multitrack.
  87  *
  88  * \public \memberof mlt_multitrack_s
  89  * \param self a multitrack
  90  * \return the service object
  91  * \see MLT_MULTITRACK_SERVICE
  92  */
  93
  94 mlt_service mlt_multitrack_service( mlt_multitrack self )
  95 {
  96         return MLT_MULTITRACK_SERVICE( self );
  97 }
  98
  99 /** Get the properties associated this multitrack.
 100  *
 101  * \public \memberof mlt_multitrack_s
 102  * \param self a multitrack
 103  * \return the multitrack's property list
 104  * \see MLT_MULTITRACK_PROPERTIES
 105  */
 106
 107 mlt_properties mlt_multitrack_properties( mlt_multitrack self )
 108 {
 109         return MLT_MULTITRACK_PROPERTIES( self );
 110 }
 111
 112 /** Initialize position related information.
 113  *
 114  * \public \memberof mlt_multitrack_s
 115  * \param self a multitrack
 116  */
 117
 118 void mlt_multitrack_refresh( mlt_multitrack self )
 119 {
 120         int i = 0;
 121
 122         // Obtain the properties of this multitrack
 123         mlt_properties properties = MLT_MULTITRACK_PROPERTIES( self );
 124
 125         // We need to ensure that the multitrack reports the longest track as its length
 126         mlt_position length = 0;
 127
 128         // Obtain stats on all connected services
 129         for ( i = 0; i < self->count; i ++ )
 130         {
 131                 // Get the producer from this index
 132                 mlt_track track = self->list[ i ];
 133                 mlt_producer producer = track->producer;
 134
 135                 // If it's allocated then, update our stats
 136                 if ( producer != NULL )
 137                 {
 138                         // If we have more than 1 track, we must be in continue mode
 139                         if ( self->count > 1 )
 140                                 mlt_properties_set( MLT_PRODUCER_PROPERTIES( producer ), "eof", "continue" );
 141
 142                         // Determine the longest length
 143                         //if ( !mlt_properties_get_int( MLT_PRODUCER_PROPERTIES( producer ), "hide" ) )
 144                                 length = mlt_producer_get_playtime( producer ) > length ? mlt_producer_get_playtime( producer ) : length;
 145                 }
 146         }
 147
 148         // Update multitrack properties now - we'll not destroy the in point here
 149         mlt_events_block( properties, properties );
 150         mlt_properties_set_position( properties, "length", length );
 151         mlt_events_unblock( properties, properties );
 152         mlt_properties_set_position( properties, "out", length - 1 );
 153 }
 154
 155 /** Listener for producers on the playlist.
 156  *
 157  * \private \memberof mlt_multitrack_s
 158  * \param producer a producer
 159  * \param self a multitrack
 160  */
 161
 162 static void mlt_multitrack_listener( mlt_producer producer, mlt_multitrack self )
 163 {
 164         mlt_multitrack_refresh( self );
 165 }
 166
 167 /** Connect a producer to a given track.
 168  *
 169  * Note that any producer can be connected here, but see special case treatment
 170  * of playlist in clip point determination below.
 171  *
 172  * \public \memberof mlt_multitrack_s
 173  * \param self a multitrack
 174  * \param producer the producer to connect to the multitrack producer
 175  * \param track the 0-based index of the track on which to connect the multitrack
 176  * \return true on error
 177  */
 178
 179 int mlt_multitrack_connect( mlt_multitrack self, mlt_producer producer, int track )
 180 {
 181         // Connect to the producer to ourselves at the specified track
 182         int result = mlt_service_connect_producer( MLT_MULTITRACK_SERVICE( self ), MLT_PRODUCER_SERVICE( producer ), track );
 183
 184         if ( result == 0 )
 185         {
 186                 // Resize the producer list if need be
 187                 if ( track >= self->size )
 188                 {
 189                         int i;
 190                         self->list = realloc( self->list, ( track + 10 ) * sizeof( mlt_track ) );
 191                         for ( i = self->size; i < track + 10; i ++ )
 192                                 self->list[ i ] = NULL;
 193                         self->size = track + 10;
 194                 }
 195
 196                 if ( self->list[ track ] != NULL )
 197                 {
 198                         mlt_event_close( self->list[ track ]->event );
 199                         mlt_producer_close( self->list[ track ]->producer );
 200                 }
 201                 else
 202                 {
 203                         self->list[ track ] = malloc( sizeof( struct mlt_track_s ) );
 204                 }
 205
 206                 // Assign the track in our list here
 207                 self->list[ track ]->producer = producer;
 208                 self->list[ track ]->event = mlt_events_listen( MLT_PRODUCER_PROPERTIES( producer ), self,
 209                                                                          "producer-changed", ( mlt_listener )mlt_multitrack_listener );
 210                 mlt_properties_inc_ref( MLT_PRODUCER_PROPERTIES( producer ) );
 211                 mlt_event_inc_ref( self->list[ track ]->event );
 212
 213                 // Increment the track count if need be
 214                 if ( track >= self->count )
 215                 {
 216                         self->count = track + 1;
 217
 218                         // TODO: Move this into producer_avformat.c when mlt_events broadcasting is available.
 219                         if ( self->count > mlt_service_cache_get_size( MLT_MULTITRACK_SERVICE( self ), "producer_avformat" ) )
 220                                 mlt_service_cache_set_size( MLT_MULTITRACK_SERVICE( self ), "producer_avformat", self->count + 1 );
 221                 }
 222
 223                 // Refresh our stats
 224                 mlt_multitrack_refresh( self );
 225         }
 226
 227         return result;
 228 }
 229
 230 /** Get the number of tracks.
 231  *
 232  * \public \memberof mlt_multitrack_s
 233  * \param self a multitrack
 234  * \return the number of tracks
 235  */
 236
 237 int mlt_multitrack_count( mlt_multitrack self )
 238 {
 239         return self->count;
 240 }
 241
 242 /** Get an individual track as a producer.
 243  *
 244  * \public \memberof mlt_multitrack_s
 245  * \param self a multitrack
 246  * \param track the 0-based index of the producer to get
 247  * \return the producer or NULL if not valid
 248  */
 249
 250 mlt_producer mlt_multitrack_track( mlt_multitrack self, int track )
 251 {
 252         mlt_producer producer = NULL;
 253
 254         if ( self->list != NULL && track < self->count )
 255                 producer = self->list[ track ]->producer;
 256
 257         return producer;
 258 }
 259
 260 /** Position comparison function for sorting.
 261  *
 262  * \private \memberof mlt_multitrack_s
 263  * \param p1 a position
 264  * \param p2 another position
 265  * \return <0 if \p p1 is less than \p p2, 0 if equal, >0 if greater
 266  */
 267
 268 static int position_compare( const void *p1, const void *p2 )
 269 {
 270         return *( const mlt_position * )p1 - *( const mlt_position * )p2;
 271 }
 272
 273 /** Add a position to a set.
 274  *
 275  * \private \memberof mlt_multitrack_s
 276  * \param array an array of positions (the set)
 277  * \param size the current number of positions in the array (not the capacity of the array)
 278  * \param position the position to add
 279  * \return the new size of the array
 280  */
 281
 282 static int add_unique( mlt_position *array, int size, mlt_position position )
 283 {
 284         int i = 0;
 285         for ( i = 0; i < size; i ++ )
 286                 if ( array[ i ] == position )
 287                         break;
 288         if ( i == size )
 289                 array[ size ++ ] = position;
 290         return size;
 291 }
 292
 293 /** Determine the clip point.
 294  *
 295  * <pre>
 296  * Special case here: a 'producer' has no concept of multiple clips - only the
 297  * playlist and multitrack producers have clip functionality. Further to that a
 298  * multitrack determines clip information from any connected tracks that happen
 299  * to be playlists.
 300  *
 301  * Additionally, it must locate clips in the correct order, for example, consider
 302  * the following track arrangement:
 303  *
 304  * playlist1 |0.0     |b0.0      |0.1          |0.1         |0.2           |
 305  * playlist2 |b1.0  |1.0           |b1.1     |1.1             |
 306  *
 307  * Note - b clips represent blanks. They are also reported as clip positions.
 308  *
 309  * When extracting clip positions from these playlists, we should get a sequence of:
 310  *
 311  * 0.0, 1.0, b0.0, 0.1, b1.1, 1.1, 0.1, 0.2, [out of playlist2], [out of playlist1]
 312  * </pre>
 313  *
 314  * \public \memberof mlt_multitrack_s
 315  * \param self a multitrack
 316  * \param whence from where to extract
 317  * \param index the 0-based index of which clip to extract
 318  * \return the position of clip \p index relative to \p whence
 319  */
 320
 321 mlt_position mlt_multitrack_clip( mlt_multitrack self, mlt_whence whence, int index )
 322 {
 323         mlt_position position = 0;
 324         int i = 0;
 325         int j = 0;
 326         mlt_position *map = calloc( 1000, sizeof( mlt_position ) );
 327         int count = 0;
 328
 329         for ( i = 0; i < self->count; i ++ )
 330         {
 331                 // Get the producer for this track
 332                 mlt_producer producer = self->list[ i ]->producer;
 333
 334                 // If it's assigned and not a hidden track
 335                 if ( producer != NULL )
 336                 {
 337                         // Get the properties of this producer
 338                         mlt_properties properties = MLT_PRODUCER_PROPERTIES( producer );
 339
 340                         // Determine if it's a playlist
 341                         mlt_playlist playlist = mlt_properties_get_data( properties, "playlist", NULL );
 342
 343                         // Special case consideration of playlists
 344                         if ( playlist != NULL )
 345                         {
 346                                 for ( j = 0; j < mlt_playlist_count( playlist ); j ++ )
 347                                         count = add_unique( map, count, mlt_playlist_clip( playlist, mlt_whence_relative_start, j ) );
 348                                 count = add_unique( map, count, mlt_producer_get_out( producer ) + 1 );
 349                         }
 350                         else
 351                         {
 352                                 count = add_unique( map, count, 0 );
 353                                 count = add_unique( map, count, mlt_producer_get_out( producer ) + 1 );
 354                         }
 355                 }
 356         }
 357
 358         // Now sort the map
 359         qsort( map, count, sizeof( mlt_position ), position_compare );
 360
 361         // Now locate the requested index
 362         switch( whence )
 363         {
 364                 case mlt_whence_relative_start:
 365                         if ( index < count )
 366                                 position = map[ index ];
 367                         else
 368                                 position = map[ count - 1 ];
 369                         break;
 370
 371                 case mlt_whence_relative_current:
 372                         position = mlt_producer_position( MLT_MULTITRACK_PRODUCER( self ) );
 373                         for ( i = 0; i < count - 2; i ++ )
 374                                 if ( position >= map[ i ] && position < map[ i + 1 ] )
 375                                         break;
 376                         index += i;
 377                         if ( index >= 0 && index < count )
 378                                 position = map[ index ];
 379                         else if ( index < 0 )
 380                                 position = map[ 0 ];
 381                         else
 382                                 position = map[ count - 1 ];
 383                         break;
 384
 385                 case mlt_whence_relative_end:
 386                         if ( index < count )
 387                                 position = map[ count - index - 1 ];
 388                         else
 389                                 position = map[ 0 ];
 390                         break;
 391         }
 392
 393         // Free the map
 394         free( map );
 395
 396         return position;
 397 }
 398
 399 /** Get frame method.
 400  *
 401  * <pre>
 402  * Special case here: The multitrack must be used in a conjunction with a downstream
 403  * tractor-type service, ie:
 404  *
 405  * Producer1 \
 406  * Producer2 - multitrack - { filters/transitions } - tractor - consumer
 407  * Producer3 /
 408  *
 409  * The get_frame of a tractor pulls frames from it's connected service on all tracks and
 410  * will terminate as soon as it receives a test card with a last_track property. The
 411  * important case here is that the mulitrack does not move to the next frame until all
 412  * tracks have been pulled.
 413  *
 414  * Reasoning: In order to seek on a network such as above, the multitrack needs to ensure
 415  * that all producers are positioned on the same frame. It uses the 'last track' logic
 416  * to determine when to move to the next frame.
 417  *
 418  * Flaw: if a transition is configured to read from a b-track which happens to trigger
 419  * the last frame logic (ie: it's configured incorrectly), then things are going to go
 420  * out of sync.
 421  *
 422  * See playlist logic too.
 423  * </pre>
 424  *
 425  * \private \memberof mlt_multitrack_s
 426  * \param parent the producer interface to a mulitrack
 427  * \param[out] frame a frame by reference
 428  * \param index the 0-based track index
 429  * \return true if there was an error
 430  */
 431
 432 static int producer_get_frame( mlt_producer parent, mlt_frame_ptr frame, int index )
 433 {
 434         // Get the mutiltrack object
 435         mlt_multitrack self = parent->child;
 436
 437         // Check if we have a track for this index
 438         if ( index < self->count && self->list[ index ] != NULL )
 439         {
 440                 // Get the producer for this track
 441                 mlt_producer producer = self->list[ index ]->producer;
 442
 443                 // Get the track hide property
 444                 int hide = mlt_properties_get_int( MLT_PRODUCER_PROPERTIES( mlt_producer_cut_parent( producer ) ), "hide" );
 445
 446                 // Obtain the current position
 447                 mlt_position position = mlt_producer_frame( parent );
 448
 449                 // Get the parent properties
 450                 mlt_properties producer_properties = MLT_PRODUCER_PROPERTIES( parent );
 451
 452                 // Get the speed
 453                 double speed = mlt_properties_get_double( producer_properties, "_speed" );
 454
 455                 // Make sure we're at the same point
 456                 mlt_producer_seek( producer, position );
 457
 458                 // Get the frame from the producer
 459                 mlt_service_get_frame( MLT_PRODUCER_SERVICE( producer ), frame, 0 );
 460
 461                 // Indicate speed of this producer
 462                 mlt_properties properties = MLT_FRAME_PROPERTIES( *frame );
 463                 mlt_properties_set_double( properties, "_speed", speed );
 464                 mlt_frame_set_position( *frame, position );
 465                 mlt_properties_set_int( properties, "hide", hide );
 466         }
 467         else
 468         {
 469                 // Generate a test frame
 470                 *frame = mlt_frame_init( MLT_PRODUCER_SERVICE( parent ) );
 471
 472                 // Update position on the frame we're creating
 473                 mlt_frame_set_position( *frame, mlt_producer_position( parent ) );
 474
 475                 // Move on to the next frame
 476                 if ( index >= self->count )
 477                 {
 478                         // Let tractor know if we've reached the end
 479                         mlt_properties_set_int( MLT_FRAME_PROPERTIES( *frame ), "last_track", 1 );
 480
 481                         // Move to the next frame
 482                         mlt_producer_prepare_next( parent );
 483                 }
 484         }
 485
 486         return 0;
 487 }
 488
 489 /** Close this instance and free its resources.
 490  *
 491  * \public \memberof mlt_multitrack_s
 492  * \param self a multitrack
 493  */
 494
 495 void mlt_multitrack_close( mlt_multitrack self )
 496 {
 497         if ( self != NULL && mlt_properties_dec_ref( MLT_MULTITRACK_PROPERTIES( self ) ) <= 0 )
 498         {
 499                 int i = 0;
 500                 for ( i = 0; i < self->count; i ++ )
 501                 {
 502                         if ( self->list[ i ] != NULL )
 503                         {
 504                                 mlt_event_close( self->list[ i ]->event );
 505                                 mlt_producer_close( self->list[ i ]->producer );
 506                                 free( self->list[ i ] );
 507                         }
 508                 }
 509
 510                 // Close the producer
 511                 self->parent.close = NULL;
 512                 mlt_producer_close( &self->parent );
 513
 514                 // Free the list
 515                 free( self->list );
 516
 517                 // Free the object
 518                 free( self );
 519         }
 520 }