git.sesse.net Git - vlc/blob - src/input/clock.c

   1 /*****************************************************************************
   2  * clock.c: Clock/System date convertions, stream management
   3  *****************************************************************************
   4  * Copyright (C) 1999-2008 the VideoLAN team
   5  * Copyright (C) 2008 Laurent Aimar
   6  * $Id$
   7  *
   8  * Authors: Christophe Massiot <massiot@via.ecp.fr>
   9  *          Laurent Aimar < fenrir _AT_ videolan _DOT_ org >
  10  *
  11  * This program is free software; you can redistribute it and/or modify
  12  * it under the terms of the GNU General Public License as published by
  13  * the Free Software Foundation; either version 2 of the License, or
  14  * (at your option) any later version.
  15  *
  16  * This program is distributed in the hope that it will be useful,
  17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19  * GNU General Public License for more details.
  20  *
  21  * You should have received a copy of the GNU General Public License
  22  * along with this program; if not, write to the Free Software
  23  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  24  *****************************************************************************/
  25
  26 /*****************************************************************************
  27  * Preamble
  28  *****************************************************************************/
  29 #ifdef HAVE_CONFIG_H
  30 # include "config.h"
  31 #endif
  32
  33 #include <vlc_common.h>
  34 #include <vlc_input.h>
  35 #include "clock.h"
  36 #include <assert.h>
  37
  38 /* TODO:
  39  * - clean up locking once clock code is stable
  40  *
  41  */
  42
  43 /*
  44  * DISCUSSION : SYNCHRONIZATION METHOD
  45  *
  46  * In some cases we can impose the pace of reading (when reading from a
  47  * file or a pipe), and for the synchronization we simply sleep() until
  48  * it is time to deliver the packet to the decoders. When reading from
  49  * the network, we must be read at the same pace as the server writes,
  50  * otherwise the kernel's buffer will trash packets. The risk is now to
  51  * overflow the input buffers in case the server goes too fast, that is
  52  * why we do these calculations :
  53  *
  54  * We compute a mean for the pcr because we want to eliminate the
  55  * network jitter and keep the low frequency variations. The mean is
  56  * in fact a low pass filter and the jitter is a high frequency signal
  57  * that is why it is eliminated by the filter/average.
  58  *
  59  * The low frequency variations enable us to synchronize the client clock
  60  * with the server clock because they represent the time variation between
  61  * the 2 clocks. Those variations (ie the filtered pcr) are used to compute
  62  * the presentation dates for the audio and video frames. With those dates
  63  * we can decode (or trash) the MPEG2 stream at "exactly" the same rate
  64  * as it is sent by the server and so we keep the synchronization between
  65  * the server and the client.
  66  *
  67  * It is a very important matter if you want to avoid underflow or overflow
  68  * in all the FIFOs, but it may be not enough.
  69  */
  70
  71 /* i_cr_average : Maximum number of samples used to compute the
  72  * dynamic average value.
  73  * We use the following formula :
  74  * new_average = (old_average * c_average + new_sample_value) / (c_average +1)
  75  */
  76
  77
  78 /*****************************************************************************
  79  * Constants
  80  *****************************************************************************/
  81
  82 /* Maximum gap allowed between two CRs. */
  83 #define CR_MAX_GAP (INT64_C(2000000)*100/9)
  84
  85 /* Latency introduced on DVDs with CR == 0 on chapter change - this is from
  86  * my dice --Meuuh */
  87 #define CR_MEAN_PTS_GAP (300000)
  88
  89 /* Rate (in 1/256) at which we will read faster to try to increase our
  90  * internal buffer (if we control the pace of the source).
  91  */
  92 #define CR_BUFFERING_RATE (48)
  93
  94 /* Extra internal buffer value (in CLOCK_FREQ)
  95  * It is 60s max, remember as it is limited by the size it takes by es_out.c
  96  * it can be really large.
  97  */
  98 #define CR_BUFFERING_TARGET (60000000)
  99
 100 /*****************************************************************************
 101  * Structures
 102  *****************************************************************************/
 103
 104 /**
 105  * This structure holds long term average
 106  */
 107 typedef struct
 108 {
 109     mtime_t i_value;
 110     int     i_residue;
 111
 112     int     i_count;
 113     int     i_divider;
 114 } average_t;
 115 static void    AvgInit( average_t *, int i_divider );
 116 static void    AvgClean( average_t * );
 117
 118 static void    AvgReset( average_t * );
 119 static void    AvgUpdate( average_t *, mtime_t i_value );
 120 static mtime_t AvgGet( average_t * );
 121 static void    AvgRescale( average_t *, int i_divider );
 122
 123 /* */
 124 typedef struct
 125 {
 126     mtime_t i_stream;
 127     mtime_t i_system;
 128 } clock_point_t;
 129
 130 static inline clock_point_t clock_point_Create( mtime_t i_stream, mtime_t i_system )
 131 {
 132     clock_point_t p = { .i_stream = i_stream, .i_system = i_system };
 133     return p;
 134 }
 135
 136 /* */
 137 #define INPUT_CLOCK_LATE_COUNT (3)
 138
 139 /* */
 140 struct input_clock_t
 141 {
 142     /* */
 143     vlc_mutex_t lock;
 144
 145     /* Reference point */
 146     bool          b_has_reference;
 147     clock_point_t ref;
 148
 149     /* Last point
 150      * It is used to detect unexpected stream discontinuities */
 151     clock_point_t last;
 152
 153     /* Maximal timestamp returned by input_clock_ConvertTS (in system unit) */
 154     mtime_t i_ts_max;
 155
 156     /* Amount of extra buffering expressed in stream clock */
 157     mtime_t i_buffering_duration;
 158
 159     /* Clock drift */
 160     mtime_t i_next_drift_update;
 161     average_t drift;
 162
 163     /* Late statistics */
 164     struct
 165     {
 166         mtime_t  pi_value[INPUT_CLOCK_LATE_COUNT];
 167         unsigned i_index;
 168     } late;
 169
 170     /* Current modifiers */
 171     int     i_rate;
 172     mtime_t i_pts_delay;
 173     bool    b_paused;
 174     mtime_t i_pause_date;
 175 };
 176
 177 static mtime_t ClockStreamToSystem( input_clock_t *, mtime_t i_stream );
 178 static mtime_t ClockSystemToStream( input_clock_t *, mtime_t i_system );
 179
 180 static mtime_t ClockGetTsOffset( input_clock_t * );
 181
 182 /*****************************************************************************
 183  * input_clock_New: create a new clock
 184  *****************************************************************************/
 185 input_clock_t *input_clock_New( int i_rate )
 186 {
 187     input_clock_t *cl = malloc( sizeof(*cl) );
 188     if( !cl )
 189         return NULL;
 190
 191     vlc_mutex_init( &cl->lock );
 192     cl->b_has_reference = false;
 193     cl->ref = clock_point_Create( VLC_TS_INVALID, VLC_TS_INVALID );
 194
 195     cl->last = clock_point_Create( VLC_TS_INVALID, VLC_TS_INVALID );
 196
 197     cl->i_ts_max = VLC_TS_INVALID;
 198
 199     cl->i_buffering_duration = 0;
 200
 201     cl->i_next_drift_update = VLC_TS_INVALID;
 202     AvgInit( &cl->drift, 10 );
 203
 204     cl->late.i_index = 0;
 205     for( int i = 0; i < INPUT_CLOCK_LATE_COUNT; i++ )
 206         cl->late.pi_value[i] = 0;
 207
 208     cl->i_rate = i_rate;
 209     cl->i_pts_delay = 0;
 210     cl->b_paused = false;
 211     cl->i_pause_date = VLC_TS_INVALID;
 212
 213     return cl;
 214 }
 215
 216 /*****************************************************************************
 217  * input_clock_Delete: destroy a new clock
 218  *****************************************************************************/
 219 void input_clock_Delete( input_clock_t *cl )
 220 {
 221     AvgClean( &cl->drift );
 222     vlc_mutex_destroy( &cl->lock );
 223     free( cl );
 224 }
 225
 226 /*****************************************************************************
 227  * input_clock_Update: manages a clock reference
 228  *
 229  *  i_ck_stream: date in stream clock
 230  *  i_ck_system: date in system clock
 231  *****************************************************************************/
 232 void input_clock_Update( input_clock_t *cl, vlc_object_t *p_log,
 233                          bool *pb_late,
 234                          bool b_can_pace_control, bool b_buffering_allowed,
 235                          mtime_t i_ck_stream, mtime_t i_ck_system )
 236 {
 237     bool b_reset_reference = false;
 238
 239     assert( i_ck_stream > VLC_TS_INVALID && i_ck_system > VLC_TS_INVALID );
 240
 241     vlc_mutex_lock( &cl->lock );
 242
 243     if( !cl->b_has_reference )
 244     {
 245         /* */
 246         b_reset_reference= true;
 247     }
 248     else if( cl->last.i_stream > VLC_TS_INVALID &&
 249              ( (cl->last.i_stream - i_ck_stream) > CR_MAX_GAP ||
 250                (cl->last.i_stream - i_ck_stream) < -CR_MAX_GAP ) )
 251     {
 252         /* Stream discontinuity, for which we haven't received a
 253          * warning from the stream control facilities (dd-edited
 254          * stream ?). */
 255         msg_Warn( p_log, "clock gap, unexpected stream discontinuity" );
 256         cl->i_ts_max = VLC_TS_INVALID;
 257
 258         /* */
 259         msg_Warn( p_log, "feeding synchro with a new reference point trying to recover from clock gap" );
 260         b_reset_reference= true;
 261     }
 262
 263     /* */
 264     if( b_reset_reference )
 265     {
 266         cl->i_next_drift_update = VLC_TS_INVALID;
 267         AvgReset( &cl->drift );
 268
 269         /* Feed synchro with a new reference point. */
 270         cl->b_has_reference = true;
 271         cl->ref = clock_point_Create( i_ck_stream,
 272                                       __MAX( cl->i_ts_max + CR_MEAN_PTS_GAP, i_ck_system ) );
 273     }
 274
 275     /* Compute the drift between the stream clock and the system clock
 276      * when we don't control the source pace */
 277     if( !b_can_pace_control && cl->i_next_drift_update < i_ck_system )
 278     {
 279         const mtime_t i_converted = ClockSystemToStream( cl, i_ck_system );
 280
 281         AvgUpdate( &cl->drift, i_converted - i_ck_stream );
 282
 283         cl->i_next_drift_update = i_ck_system + CLOCK_FREQ/5; /* FIXME why that */
 284     }
 285
 286     /* Update the extra buffering value */
 287     if( !b_can_pace_control || b_reset_reference )
 288     {
 289         cl->i_buffering_duration = 0;
 290     }
 291     else if( b_buffering_allowed )
 292     {
 293         /* Try to bufferize more than necessary by reading
 294          * CR_BUFFERING_RATE/256 faster until we have CR_BUFFERING_TARGET.
 295          */
 296         const mtime_t i_duration = __MAX( i_ck_stream - cl->last.i_stream, 0 );
 297
 298         cl->i_buffering_duration += ( i_duration * CR_BUFFERING_RATE + 255 ) / 256;
 299         if( cl->i_buffering_duration > CR_BUFFERING_TARGET )
 300             cl->i_buffering_duration = CR_BUFFERING_TARGET;
 301     }
 302     //fprintf( stderr, "input_clock_Update: %d :: %lld\n", b_buffering_allowed, cl->i_buffering_duration/1000 );
 303
 304     /* */
 305     cl->last = clock_point_Create( i_ck_stream, i_ck_system );
 306
 307     /* It does not take the decoder latency into account but it is not really
 308      * the goal of the clock here */
 309     const mtime_t i_system_expected = ClockStreamToSystem( cl, i_ck_stream + AvgGet( &cl->drift ) );
 310     const mtime_t i_late = ( i_ck_system - cl->i_pts_delay ) - i_system_expected;
 311     *pb_late = i_late > 0;
 312     if( i_late > 0 )
 313     {
 314         cl->late.pi_value[cl->late.i_index] = i_late;
 315         cl->late.i_index = ( cl->late.i_index + 1 ) % INPUT_CLOCK_LATE_COUNT;
 316     }
 317
 318     vlc_mutex_unlock( &cl->lock );
 319 }
 320
 321 /*****************************************************************************
 322  * input_clock_Reset:
 323  *****************************************************************************/
 324 void input_clock_Reset( input_clock_t *cl )
 325 {
 326     vlc_mutex_lock( &cl->lock );
 327
 328     cl->b_has_reference = false;
 329     cl->ref = clock_point_Create( VLC_TS_INVALID, VLC_TS_INVALID );
 330     cl->i_ts_max = VLC_TS_INVALID;
 331
 332     vlc_mutex_unlock( &cl->lock );
 333 }
 334
 335 /*****************************************************************************
 336  * input_clock_ChangeRate:
 337  *****************************************************************************/
 338 void input_clock_ChangeRate( input_clock_t *cl, int i_rate )
 339 {
 340     vlc_mutex_lock( &cl->lock );
 341
 342     if( cl->b_has_reference )
 343     {
 344         /* Move the reference point (as if we were playing at the new rate
 345          * from the start */
 346         cl->ref.i_system = cl->last.i_system - (cl->last.i_system - cl->ref.i_system) * i_rate / cl->i_rate;
 347     }
 348     cl->i_rate = i_rate;
 349
 350     vlc_mutex_unlock( &cl->lock );
 351 }
 352
 353 /*****************************************************************************
 354  * input_clock_ChangePause:
 355  *****************************************************************************/
 356 void input_clock_ChangePause( input_clock_t *cl, bool b_paused, mtime_t i_date )
 357 {
 358     vlc_mutex_lock( &cl->lock );
 359     assert( (!cl->b_paused) != (!b_paused) );
 360
 361     if( cl->b_paused )
 362     {
 363         const mtime_t i_duration = i_date - cl->i_pause_date;
 364
 365         if( cl->b_has_reference && i_duration > 0 )
 366         {
 367             cl->ref.i_system += i_duration;
 368             cl->last.i_system += i_duration;
 369         }
 370     }
 371     cl->i_pause_date = i_date;
 372     cl->b_paused = b_paused;
 373
 374     vlc_mutex_unlock( &cl->lock );
 375 }
 376
 377 /*****************************************************************************
 378  * input_clock_GetWakeup
 379  *****************************************************************************/
 380 mtime_t input_clock_GetWakeup( input_clock_t *cl )
 381 {
 382     mtime_t i_wakeup = 0;
 383
 384     vlc_mutex_lock( &cl->lock );
 385
 386     /* Synchronized, we can wait */
 387     if( cl->b_has_reference )
 388         i_wakeup = ClockStreamToSystem( cl, cl->last.i_stream + AvgGet( &cl->drift ) - cl->i_buffering_duration );
 389
 390     vlc_mutex_unlock( &cl->lock );
 391
 392     return i_wakeup;
 393 }
 394
 395 /*****************************************************************************
 396  * input_clock_ConvertTS
 397  *****************************************************************************/
 398 int input_clock_ConvertTS( input_clock_t *cl,
 399                            int *pi_rate, mtime_t *pi_ts0, mtime_t *pi_ts1,
 400                            mtime_t i_ts_bound )
 401 {
 402     assert( pi_ts0 );
 403     vlc_mutex_lock( &cl->lock );
 404
 405     if( pi_rate )
 406         *pi_rate = cl->i_rate;
 407
 408     if( !cl->b_has_reference )
 409     {
 410         vlc_mutex_unlock( &cl->lock );
 411         *pi_ts0 = VLC_TS_INVALID;
 412         if( pi_ts1 )
 413             *pi_ts1 = VLC_TS_INVALID;
 414         return VLC_EGENERIC;
 415     }
 416
 417     /* */
 418     const mtime_t i_ts_buffering = cl->i_buffering_duration * cl->i_rate / INPUT_RATE_DEFAULT;
 419     const mtime_t i_ts_delay = cl->i_pts_delay + ClockGetTsOffset( cl );
 420
 421     /* */
 422     if( *pi_ts0 > VLC_TS_INVALID )
 423     {
 424         *pi_ts0 = ClockStreamToSystem( cl, *pi_ts0 + AvgGet( &cl->drift ) );
 425         if( *pi_ts0 > cl->i_ts_max )
 426             cl->i_ts_max = *pi_ts0;
 427         *pi_ts0 += i_ts_delay;
 428     }
 429
 430     /* XXX we do not ipdate i_ts_max on purpose */
 431     if( pi_ts1 && *pi_ts1 > VLC_TS_INVALID )
 432     {
 433         *pi_ts1 = ClockStreamToSystem( cl, *pi_ts1 + AvgGet( &cl->drift ) ) +
 434                   i_ts_delay;
 435     }
 436
 437     vlc_mutex_unlock( &cl->lock );
 438
 439     /* Check ts validity */
 440     if( i_ts_bound != INT64_MAX &&
 441         *pi_ts0 > VLC_TS_INVALID && *pi_ts0 >= mdate() + i_ts_delay + i_ts_buffering + i_ts_bound )
 442         return VLC_EGENERIC;
 443
 444     return VLC_SUCCESS;
 445 }
 446 /*****************************************************************************
 447  * input_clock_GetRate: Return current rate
 448  *****************************************************************************/
 449 int input_clock_GetRate( input_clock_t *cl )
 450 {
 451     int i_rate;
 452
 453     vlc_mutex_lock( &cl->lock );
 454     i_rate = cl->i_rate;
 455     vlc_mutex_unlock( &cl->lock );
 456
 457     return i_rate;
 458 }
 459
 460 int input_clock_GetState( input_clock_t *cl,
 461                           mtime_t *pi_stream_start, mtime_t *pi_system_start,
 462                           mtime_t *pi_stream_duration, mtime_t *pi_system_duration )
 463 {
 464     vlc_mutex_lock( &cl->lock );
 465
 466     if( !cl->b_has_reference )
 467     {
 468         vlc_mutex_unlock( &cl->lock );
 469         return VLC_EGENERIC;
 470     }
 471
 472     *pi_stream_start = cl->ref.i_stream;
 473     *pi_system_start = cl->ref.i_system;
 474
 475     *pi_stream_duration = cl->last.i_stream - cl->ref.i_stream;
 476     *pi_system_duration = cl->last.i_system - cl->ref.i_system;
 477
 478     vlc_mutex_unlock( &cl->lock );
 479
 480     return VLC_SUCCESS;
 481 }
 482
 483 void input_clock_ChangeSystemOrigin( input_clock_t *cl, mtime_t i_system )
 484 {
 485     vlc_mutex_lock( &cl->lock );
 486
 487     assert( cl->b_has_reference );
 488     const mtime_t i_offset = i_system - cl->ref.i_system - ClockGetTsOffset( cl );
 489
 490     cl->ref.i_system += i_offset;
 491     cl->last.i_system += i_offset;
 492
 493     vlc_mutex_unlock( &cl->lock );
 494 }
 495
 496 #warning "input_clock_SetJitter needs more work"
 497 void input_clock_SetJitter( input_clock_t *cl,
 498                             mtime_t i_pts_delay, int i_cr_average )
 499 {
 500     vlc_mutex_lock( &cl->lock );
 501
 502     /* Update late observations */
 503     const mtime_t i_delay_delta = i_pts_delay - cl->i_pts_delay;
 504     for( int i = 0; i < INPUT_CLOCK_LATE_COUNT; i++ )
 505     {
 506         if( cl->late.pi_value[i] > 0 )
 507             cl->late.pi_value[i] = __MAX( cl->late.pi_value[i] - i_delay_delta, 0 );
 508     }
 509
 510     /* TODO always save the value, and when rebuffering use the new one if smaller
 511      * TODO when increasing -> force rebuffering
 512      */
 513     if( cl->i_pts_delay < i_pts_delay )
 514         cl->i_pts_delay = i_pts_delay;
 515
 516     /* */
 517     if( i_cr_average < 10 )
 518         i_cr_average = 10;
 519
 520     if( cl->drift.i_divider != i_cr_average )
 521         AvgRescale( &cl->drift, i_cr_average );
 522
 523     vlc_mutex_unlock( &cl->lock );
 524 }
 525
 526 mtime_t input_clock_GetJitter( input_clock_t *cl )
 527 {
 528     vlc_mutex_lock( &cl->lock );
 529
 530 #if INPUT_CLOCK_LATE_COUNT != 3
 531 #   error "unsupported INPUT_CLOCK_LATE_COUNT"
 532 #endif
 533     /* Find the median of the last late values
 534      * It works pretty well at rejecting bad values
 535      *
 536      * XXX we only increase pts_delay over time, decreasing it is
 537      * not that easy if we want to be robust.
 538      */
 539     const mtime_t *p = cl->late.pi_value;
 540     mtime_t i_late_median = p[0] + p[1] + p[2] - __MIN(__MIN(p[0],p[1]),p[2]) - __MAX(__MAX(p[0],p[1]),p[2]);
 541     mtime_t i_pts_delay = cl->i_pts_delay ;
 542
 543     vlc_mutex_unlock( &cl->lock );
 544
 545     return i_pts_delay + i_late_median;
 546 }
 547
 548 /*****************************************************************************
 549  * ClockStreamToSystem: converts a movie clock to system date
 550  *****************************************************************************/
 551 static mtime_t ClockStreamToSystem( input_clock_t *cl, mtime_t i_stream )
 552 {
 553     if( !cl->b_has_reference )
 554         return VLC_TS_INVALID;
 555
 556     return ( i_stream - cl->ref.i_stream ) * cl->i_rate / INPUT_RATE_DEFAULT +
 557            cl->ref.i_system;
 558 }
 559
 560 /*****************************************************************************
 561  * ClockSystemToStream: converts a system date to movie clock
 562  *****************************************************************************
 563  * Caution : a valid reference point is needed for this to operate.
 564  *****************************************************************************/
 565 static mtime_t ClockSystemToStream( input_clock_t *cl, mtime_t i_system )
 566 {
 567     assert( cl->b_has_reference );
 568     return ( i_system - cl->ref.i_system ) * INPUT_RATE_DEFAULT / cl->i_rate +
 569             cl->ref.i_stream;
 570 }
 571
 572 /**
 573  * It returns timestamp display offset due to ref/last modfied on rate changes
 574  * It ensures that currently converted dates are not changed.
 575  */
 576 static mtime_t ClockGetTsOffset( input_clock_t *cl )
 577 {
 578     return cl->i_pts_delay * ( cl->i_rate - INPUT_RATE_DEFAULT ) / INPUT_RATE_DEFAULT;
 579 }
 580
 581 /*****************************************************************************
 582  * Long term average helpers
 583  *****************************************************************************/
 584 static void AvgInit( average_t *p_avg, int i_divider )
 585 {
 586     p_avg->i_divider = i_divider;
 587     AvgReset( p_avg );
 588 }
 589 static void AvgClean( average_t *p_avg )
 590 {
 591     VLC_UNUSED(p_avg);
 592 }
 593 static void AvgReset( average_t *p_avg )
 594 {
 595     p_avg->i_value = 0;
 596     p_avg->i_residue = 0;
 597     p_avg->i_count = 0;
 598 }
 599 static void AvgUpdate( average_t *p_avg, mtime_t i_value )
 600 {
 601     const int i_f0 = __MIN( p_avg->i_divider - 1, p_avg->i_count );
 602     const int i_f1 = p_avg->i_divider - i_f0;
 603
 604     const mtime_t i_tmp = i_f0 * p_avg->i_value + i_f1 * i_value + p_avg->i_residue;
 605
 606     p_avg->i_value   = i_tmp / p_avg->i_divider;
 607     p_avg->i_residue = i_tmp % p_avg->i_divider;
 608
 609     p_avg->i_count++;
 610 }
 611 static mtime_t AvgGet( average_t *p_avg )
 612 {
 613     return p_avg->i_value;
 614 }
 615 static void AvgRescale( average_t *p_avg, int i_divider )
 616 {
 617     const mtime_t i_tmp = p_avg->i_value * p_avg->i_divider + p_avg->i_residue;
 618
 619     p_avg->i_divider = i_divider;
 620     p_avg->i_value   = i_tmp / p_avg->i_divider;
 621     p_avg->i_residue = i_tmp % p_avg->i_divider;
 622 }