git.sesse.net Git - vlc/blob - src/input/clock.c

   1 /*****************************************************************************
   2  * clock.c: Clock/System date convertions, stream management
   3  *****************************************************************************
   4  * Copyright (C) 1999-2008 the VideoLAN team
   5  * Copyright (C) 2008 Laurent Aimar
   6  * $Id$
   7  *
   8  * Authors: Christophe Massiot <massiot@via.ecp.fr>
   9  *          Laurent Aimar < fenrir _AT_ videolan _DOT_ org >
  10  *
  11  * This program is free software; you can redistribute it and/or modify
  12  * it under the terms of the GNU General Public License as published by
  13  * the Free Software Foundation; either version 2 of the License, or
  14  * (at your option) any later version.
  15  *
  16  * This program is distributed in the hope that it will be useful,
  17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19  * GNU General Public License for more details.
  20  *
  21  * You should have received a copy of the GNU General Public License
  22  * along with this program; if not, write to the Free Software
  23  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  24  *****************************************************************************/
  25
  26 /*****************************************************************************
  27  * Preamble
  28  *****************************************************************************/
  29 #ifdef HAVE_CONFIG_H
  30 # include "config.h"
  31 #endif
  32
  33 #include <vlc_common.h>
  34 #include <vlc_input.h>
  35 #include "clock.h"
  36 #include <assert.h>
  37
  38 /* TODO:
  39  * - clean up locking once clock code is stable
  40  *
  41  */
  42
  43 /*
  44  * DISCUSSION : SYNCHRONIZATION METHOD
  45  *
  46  * In some cases we can impose the pace of reading (when reading from a
  47  * file or a pipe), and for the synchronization we simply sleep() until
  48  * it is time to deliver the packet to the decoders. When reading from
  49  * the network, we must be read at the same pace as the server writes,
  50  * otherwise the kernel's buffer will trash packets. The risk is now to
  51  * overflow the input buffers in case the server goes too fast, that is
  52  * why we do these calculations :
  53  *
  54  * We compute a mean for the pcr because we want to eliminate the
  55  * network jitter and keep the low frequency variations. The mean is
  56  * in fact a low pass filter and the jitter is a high frequency signal
  57  * that is why it is eliminated by the filter/average.
  58  *
  59  * The low frequency variations enable us to synchronize the client clock
  60  * with the server clock because they represent the time variation between
  61  * the 2 clocks. Those variations (ie the filtered pcr) are used to compute
  62  * the presentation dates for the audio and video frames. With those dates
  63  * we can decode (or trash) the MPEG2 stream at "exactly" the same rate
  64  * as it is sent by the server and so we keep the synchronization between
  65  * the server and the client.
  66  *
  67  * It is a very important matter if you want to avoid underflow or overflow
  68  * in all the FIFOs, but it may be not enough.
  69  */
  70
  71 /* i_cr_average : Maximum number of samples used to compute the
  72  * dynamic average value.
  73  * We use the following formula :
  74  * new_average = (old_average * c_average + new_sample_value) / (c_average +1)
  75  */
  76
  77
  78 /*****************************************************************************
  79  * Constants
  80  *****************************************************************************/
  81
  82 /* Maximum gap allowed between two CRs. */
  83 #define CR_MAX_GAP (INT64_C(2000000)*100/9)
  84
  85 /* Latency introduced on DVDs with CR == 0 on chapter change - this is from
  86  * my dice --Meuuh */
  87 #define CR_MEAN_PTS_GAP (300000)
  88
  89 /*****************************************************************************
  90  * Structures
  91  *****************************************************************************/
  92
  93 /**
  94  * This structure holds long term average
  95  */
  96 typedef struct
  97 {
  98     mtime_t i_value;
  99     int     i_residue;
 100
 101     int     i_count;
 102     int     i_divider;
 103 } average_t;
 104 static void    AvgInit( average_t *, int i_divider );
 105 static void    AvgClean( average_t * );
 106
 107 static void    AvgReset( average_t * );
 108 static void    AvgUpdate( average_t *, mtime_t i_value );
 109 static mtime_t AvgGet( average_t * );
 110 static void    AvgRescale( average_t *, int i_divider );
 111
 112 /* */
 113 typedef struct
 114 {
 115     mtime_t i_stream;
 116     mtime_t i_system;
 117 } clock_point_t;
 118
 119 static inline clock_point_t clock_point_Create( mtime_t i_stream, mtime_t i_system )
 120 {
 121     clock_point_t p = { .i_stream = i_stream, .i_system = i_system };
 122     return p;
 123 }
 124
 125 /* */
 126 #define INPUT_CLOCK_LATE_COUNT (3)
 127
 128 /* */
 129 struct input_clock_t
 130 {
 131     /* */
 132     vlc_mutex_t lock;
 133
 134     /* Reference point */
 135     bool          b_has_reference;
 136     clock_point_t ref;
 137
 138     /* Last point
 139      * It is used to detect unexpected stream discontinuities */
 140     clock_point_t last;
 141
 142     /* Maximal timestamp returned by input_clock_ConvertTS (in system unit) */
 143     mtime_t i_ts_max;
 144
 145     /* Clock drift */
 146     mtime_t i_next_drift_update;
 147     average_t drift;
 148
 149     /* Late statistics */
 150     struct
 151     {
 152         mtime_t  pi_value[INPUT_CLOCK_LATE_COUNT];
 153         unsigned i_index;
 154     } late;
 155
 156     /* Current modifiers */
 157     int     i_rate;
 158     mtime_t i_pts_delay;
 159     bool    b_paused;
 160     mtime_t i_pause_date;
 161 };
 162
 163 static mtime_t ClockStreamToSystem( input_clock_t *, mtime_t i_stream );
 164 static mtime_t ClockSystemToStream( input_clock_t *, mtime_t i_system );
 165
 166 static mtime_t ClockGetTsOffset( input_clock_t * );
 167
 168 /*****************************************************************************
 169  * input_clock_New: create a new clock
 170  *****************************************************************************/
 171 input_clock_t *input_clock_New( int i_rate )
 172 {
 173     input_clock_t *cl = malloc( sizeof(*cl) );
 174     if( !cl )
 175         return NULL;
 176
 177     vlc_mutex_init( &cl->lock );
 178     cl->b_has_reference = false;
 179     cl->ref = clock_point_Create( VLC_TS_INVALID, VLC_TS_INVALID );
 180
 181     cl->last = clock_point_Create( VLC_TS_INVALID, VLC_TS_INVALID );
 182
 183     cl->i_ts_max = VLC_TS_INVALID;
 184
 185     cl->i_next_drift_update = VLC_TS_INVALID;
 186     AvgInit( &cl->drift, 10 );
 187
 188     cl->late.i_index = 0;
 189     for( int i = 0; i < INPUT_CLOCK_LATE_COUNT; i++ )
 190         cl->late.pi_value[i] = 0;
 191
 192     cl->i_rate = i_rate;
 193     cl->i_pts_delay = 0;
 194     cl->b_paused = false;
 195     cl->i_pause_date = VLC_TS_INVALID;
 196
 197     return cl;
 198 }
 199
 200 /*****************************************************************************
 201  * input_clock_Delete: destroy a new clock
 202  *****************************************************************************/
 203 void input_clock_Delete( input_clock_t *cl )
 204 {
 205     AvgClean( &cl->drift );
 206     vlc_mutex_destroy( &cl->lock );
 207     free( cl );
 208 }
 209
 210 /*****************************************************************************
 211  * input_clock_Update: manages a clock reference
 212  *
 213  *  i_ck_stream: date in stream clock
 214  *  i_ck_system: date in system clock
 215  *****************************************************************************/
 216 void input_clock_Update( input_clock_t *cl, vlc_object_t *p_log,
 217                          bool *pb_late,
 218                          bool b_can_pace_control,
 219                          mtime_t i_ck_stream, mtime_t i_ck_system )
 220 {
 221     bool b_reset_reference = false;
 222
 223     assert( i_ck_stream > VLC_TS_INVALID && i_ck_system > VLC_TS_INVALID );
 224
 225     vlc_mutex_lock( &cl->lock );
 226
 227     if( !cl->b_has_reference )
 228     {
 229         /* */
 230         b_reset_reference= true;
 231     }
 232     else if( cl->last.i_stream > VLC_TS_INVALID &&
 233              ( (cl->last.i_stream - i_ck_stream) > CR_MAX_GAP ||
 234                (cl->last.i_stream - i_ck_stream) < -CR_MAX_GAP ) )
 235     {
 236         /* Stream discontinuity, for which we haven't received a
 237          * warning from the stream control facilities (dd-edited
 238          * stream ?). */
 239         msg_Warn( p_log, "clock gap, unexpected stream discontinuity" );
 240         cl->i_ts_max = VLC_TS_INVALID;
 241
 242         /* */
 243         msg_Warn( p_log, "feeding synchro with a new reference point trying to recover from clock gap" );
 244         b_reset_reference= true;
 245     }
 246     if( b_reset_reference )
 247     {
 248         cl->i_next_drift_update = VLC_TS_INVALID;
 249         AvgReset( &cl->drift );
 250
 251         /* Feed synchro with a new reference point. */
 252         cl->b_has_reference = true;
 253         cl->ref = clock_point_Create( i_ck_stream,
 254                                       __MAX( cl->i_ts_max + CR_MEAN_PTS_GAP, i_ck_system ) );
 255     }
 256
 257     if( !b_can_pace_control && cl->i_next_drift_update < i_ck_system )
 258     {
 259         const mtime_t i_converted = ClockSystemToStream( cl, i_ck_system );
 260
 261         AvgUpdate( &cl->drift, i_converted - i_ck_stream );
 262
 263         cl->i_next_drift_update = i_ck_system + CLOCK_FREQ/5; /* FIXME why that */
 264     }
 265     cl->last = clock_point_Create( i_ck_stream, i_ck_system );
 266
 267     /* It does not take the decoder latency into account but it is not really
 268      * the goal of the clock here */
 269     const mtime_t i_system_expected = ClockStreamToSystem( cl, i_ck_stream + AvgGet( &cl->drift ) );
 270     const mtime_t i_late = ( i_ck_system - cl->i_pts_delay ) - i_system_expected;
 271     *pb_late = i_late > 0;
 272     if( i_late > 0 )
 273     {
 274         cl->late.pi_value[cl->late.i_index] = i_late;
 275         cl->late.i_index = ( cl->late.i_index + 1 ) % INPUT_CLOCK_LATE_COUNT;
 276     }
 277
 278     vlc_mutex_unlock( &cl->lock );
 279 }
 280
 281 /*****************************************************************************
 282  * input_clock_Reset:
 283  *****************************************************************************/
 284 void input_clock_Reset( input_clock_t *cl )
 285 {
 286     vlc_mutex_lock( &cl->lock );
 287
 288     cl->b_has_reference = false;
 289     cl->ref = clock_point_Create( VLC_TS_INVALID, VLC_TS_INVALID );
 290     cl->i_ts_max = VLC_TS_INVALID;
 291
 292     vlc_mutex_unlock( &cl->lock );
 293 }
 294
 295 /*****************************************************************************
 296  * input_clock_ChangeRate:
 297  *****************************************************************************/
 298 void input_clock_ChangeRate( input_clock_t *cl, int i_rate )
 299 {
 300     vlc_mutex_lock( &cl->lock );
 301
 302     if( cl->b_has_reference )
 303     {
 304         /* Move the reference point (as if we were playing at the new rate
 305          * from the start */
 306         cl->ref.i_system = cl->last.i_system - (cl->last.i_system - cl->ref.i_system) * i_rate / cl->i_rate;
 307     }
 308     cl->i_rate = i_rate;
 309
 310     vlc_mutex_unlock( &cl->lock );
 311 }
 312
 313 /*****************************************************************************
 314  * input_clock_ChangePause:
 315  *****************************************************************************/
 316 void input_clock_ChangePause( input_clock_t *cl, bool b_paused, mtime_t i_date )
 317 {
 318     vlc_mutex_lock( &cl->lock );
 319     assert( (!cl->b_paused) != (!b_paused) );
 320
 321     if( cl->b_paused )
 322     {
 323         const mtime_t i_duration = i_date - cl->i_pause_date;
 324
 325         if( cl->b_has_reference && i_duration > 0 )
 326         {
 327             cl->ref.i_system += i_duration;
 328             cl->last.i_system += i_duration;
 329         }
 330     }
 331     cl->i_pause_date = i_date;
 332     cl->b_paused = b_paused;
 333
 334     vlc_mutex_unlock( &cl->lock );
 335 }
 336
 337 /*****************************************************************************
 338  * input_clock_GetWakeup
 339  *****************************************************************************/
 340 mtime_t input_clock_GetWakeup( input_clock_t *cl )
 341 {
 342     mtime_t i_wakeup = 0;
 343
 344     vlc_mutex_lock( &cl->lock );
 345
 346     /* Synchronized, we can wait */
 347     if( cl->b_has_reference )
 348         i_wakeup = ClockStreamToSystem( cl, cl->last.i_stream + AvgGet( &cl->drift ) );
 349
 350     vlc_mutex_unlock( &cl->lock );
 351
 352     return i_wakeup;
 353 }
 354
 355 /*****************************************************************************
 356  * input_clock_ConvertTS
 357  *****************************************************************************/
 358 int input_clock_ConvertTS( input_clock_t *cl,
 359                            int *pi_rate, mtime_t *pi_ts0, mtime_t *pi_ts1,
 360                            mtime_t i_ts_bound )
 361 {
 362     assert( pi_ts0 );
 363     vlc_mutex_lock( &cl->lock );
 364
 365     if( pi_rate )
 366         *pi_rate = cl->i_rate;
 367
 368     if( !cl->b_has_reference )
 369     {
 370         vlc_mutex_unlock( &cl->lock );
 371         *pi_ts0 = VLC_TS_INVALID;
 372         if( pi_ts1 )
 373             *pi_ts1 = VLC_TS_INVALID;
 374         return VLC_EGENERIC;
 375     }
 376
 377     /* */
 378     const mtime_t i_ts_delay = cl->i_pts_delay + ClockGetTsOffset( cl );
 379
 380     /* */
 381     if( *pi_ts0 > VLC_TS_INVALID )
 382     {
 383         *pi_ts0 = ClockStreamToSystem( cl, *pi_ts0 + AvgGet( &cl->drift ) );
 384         if( *pi_ts0 > cl->i_ts_max )
 385             cl->i_ts_max = *pi_ts0;
 386         *pi_ts0 += i_ts_delay;
 387     }
 388
 389     /* XXX we do not ipdate i_ts_max on purpose */
 390     if( pi_ts1 && *pi_ts1 > VLC_TS_INVALID )
 391     {
 392         *pi_ts1 = ClockStreamToSystem( cl, *pi_ts1 + AvgGet( &cl->drift ) ) +
 393                   i_ts_delay;
 394     }
 395
 396     vlc_mutex_unlock( &cl->lock );
 397
 398     /* Check ts validity */
 399     if( i_ts_bound != INT64_MAX &&
 400         *pi_ts0 > VLC_TS_INVALID && *pi_ts0 >= mdate() + i_ts_delay + i_ts_bound )
 401         return VLC_EGENERIC;
 402
 403     return VLC_SUCCESS;
 404 }
 405 /*****************************************************************************
 406  * input_clock_GetRate: Return current rate
 407  *****************************************************************************/
 408 int input_clock_GetRate( input_clock_t *cl )
 409 {
 410     int i_rate;
 411
 412     vlc_mutex_lock( &cl->lock );
 413     i_rate = cl->i_rate;
 414     vlc_mutex_unlock( &cl->lock );
 415
 416     return i_rate;
 417 }
 418
 419 int input_clock_GetState( input_clock_t *cl,
 420                           mtime_t *pi_stream_start, mtime_t *pi_system_start,
 421                           mtime_t *pi_stream_duration, mtime_t *pi_system_duration )
 422 {
 423     vlc_mutex_lock( &cl->lock );
 424
 425     if( !cl->b_has_reference )
 426     {
 427         vlc_mutex_unlock( &cl->lock );
 428         return VLC_EGENERIC;
 429     }
 430
 431     *pi_stream_start = cl->ref.i_stream;
 432     *pi_system_start = cl->ref.i_system;
 433
 434     *pi_stream_duration = cl->last.i_stream - cl->ref.i_stream;
 435     *pi_system_duration = cl->last.i_system - cl->ref.i_system;
 436
 437     vlc_mutex_unlock( &cl->lock );
 438
 439     return VLC_SUCCESS;
 440 }
 441
 442 void input_clock_ChangeSystemOrigin( input_clock_t *cl, mtime_t i_system )
 443 {
 444     vlc_mutex_lock( &cl->lock );
 445
 446     assert( cl->b_has_reference );
 447     const mtime_t i_offset = i_system - cl->ref.i_system - ClockGetTsOffset( cl );
 448
 449     cl->ref.i_system += i_offset;
 450     cl->last.i_system += i_offset;
 451
 452     vlc_mutex_unlock( &cl->lock );
 453 }
 454
 455 #warning "input_clock_SetJitter needs more work"
 456 void input_clock_SetJitter( input_clock_t *cl,
 457                             mtime_t i_pts_delay, int i_cr_average )
 458 {
 459     vlc_mutex_lock( &cl->lock );
 460
 461     /* Update late observations */
 462     const mtime_t i_delay_delta = i_pts_delay - cl->i_pts_delay;
 463     for( int i = 0; i < INPUT_CLOCK_LATE_COUNT; i++ )
 464     {
 465         if( cl->late.pi_value[i] > 0 )
 466             cl->late.pi_value[i] = __MAX( cl->late.pi_value[i] - i_delay_delta, 0 );
 467     }
 468
 469     /* TODO always save the value, and when rebuffering use the new one if smaller
 470      * TODO when increasing -> force rebuffering
 471      */
 472     if( cl->i_pts_delay < i_pts_delay )
 473         cl->i_pts_delay = i_pts_delay;
 474
 475     /* */
 476     if( i_cr_average < 10 )
 477         i_cr_average = 10;
 478
 479     if( cl->drift.i_divider != i_cr_average )
 480         AvgRescale( &cl->drift, i_cr_average );
 481
 482     vlc_mutex_unlock( &cl->lock );
 483 }
 484
 485 mtime_t input_clock_GetJitter( input_clock_t *cl )
 486 {
 487     vlc_mutex_lock( &cl->lock );
 488
 489 #if INPUT_CLOCK_LATE_COUNT != 3
 490 #   error "unsupported INPUT_CLOCK_LATE_COUNT"
 491 #endif
 492     /* Find the median of the last late values
 493      * It works pretty well at rejecting bad values
 494      *
 495      * XXX we only increase pts_delay over time, decreasing it is
 496      * not that easy if we want to be robust.
 497      */
 498     const mtime_t *p = cl->late.pi_value;
 499     mtime_t i_late_median = p[0] + p[1] + p[2] - __MIN(__MIN(p[0],p[1]),p[2]) - __MAX(__MAX(p[0],p[1]),p[2]);
 500     mtime_t i_pts_delay = cl->i_pts_delay ;
 501
 502     vlc_mutex_unlock( &cl->lock );
 503
 504     return i_pts_delay + i_late_median;
 505 }
 506
 507 /*****************************************************************************
 508  * ClockStreamToSystem: converts a movie clock to system date
 509  *****************************************************************************/
 510 static mtime_t ClockStreamToSystem( input_clock_t *cl, mtime_t i_stream )
 511 {
 512     if( !cl->b_has_reference )
 513         return VLC_TS_INVALID;
 514
 515     return ( i_stream - cl->ref.i_stream ) * cl->i_rate / INPUT_RATE_DEFAULT +
 516            cl->ref.i_system;
 517 }
 518
 519 /*****************************************************************************
 520  * ClockSystemToStream: converts a system date to movie clock
 521  *****************************************************************************
 522  * Caution : a valid reference point is needed for this to operate.
 523  *****************************************************************************/
 524 static mtime_t ClockSystemToStream( input_clock_t *cl, mtime_t i_system )
 525 {
 526     assert( cl->b_has_reference );
 527     return ( i_system - cl->ref.i_system ) * INPUT_RATE_DEFAULT / cl->i_rate +
 528             cl->ref.i_stream;
 529 }
 530
 531 /**
 532  * It returns timestamp display offset due to ref/last modfied on rate changes
 533  * It ensures that currently converted dates are not changed.
 534  */
 535 static mtime_t ClockGetTsOffset( input_clock_t *cl )
 536 {
 537     return cl->i_pts_delay * ( cl->i_rate - INPUT_RATE_DEFAULT ) / INPUT_RATE_DEFAULT;
 538 }
 539
 540 /*****************************************************************************
 541  * Long term average helpers
 542  *****************************************************************************/
 543 static void AvgInit( average_t *p_avg, int i_divider )
 544 {
 545     p_avg->i_divider = i_divider;
 546     AvgReset( p_avg );
 547 }
 548 static void AvgClean( average_t *p_avg )
 549 {
 550     VLC_UNUSED(p_avg);
 551 }
 552 static void AvgReset( average_t *p_avg )
 553 {
 554     p_avg->i_value = 0;
 555     p_avg->i_residue = 0;
 556     p_avg->i_count = 0;
 557 }
 558 static void AvgUpdate( average_t *p_avg, mtime_t i_value )
 559 {
 560     const int i_f0 = __MIN( p_avg->i_divider - 1, p_avg->i_count );
 561     const int i_f1 = p_avg->i_divider - i_f0;
 562
 563     const mtime_t i_tmp = i_f0 * p_avg->i_value + i_f1 * i_value + p_avg->i_residue;
 564
 565     p_avg->i_value   = i_tmp / p_avg->i_divider;
 566     p_avg->i_residue = i_tmp % p_avg->i_divider;
 567
 568     p_avg->i_count++;
 569 }
 570 static mtime_t AvgGet( average_t *p_avg )
 571 {
 572     return p_avg->i_value;
 573 }
 574 static void AvgRescale( average_t *p_avg, int i_divider )
 575 {
 576     const mtime_t i_tmp = p_avg->i_value * p_avg->i_divider + p_avg->i_residue;
 577
 578     p_avg->i_divider = i_divider;
 579     p_avg->i_value   = i_tmp / p_avg->i_divider;
 580     p_avg->i_residue = i_tmp % p_avg->i_divider;
 581 }