git.sesse.net Git - nageru/blob - resampling_queue.h

   1 #ifndef _RESAMPLING_QUEUE_H
   2 #define _RESAMPLING_QUEUE_H 1
   3
   4 // Takes in samples from an input source, possibly with jitter, and outputs a fixed number
   5 // of samples every iteration. Used to a) change sample rates if needed, and b) deal with
   6 // input sources that don't have audio locked to video. For every input video
   7 // frame, you call add_input_samples() with the pts (measured in seconds) of the video frame,
   8 // taken to be the start point of the frame's audio. When you want to _output_ a finished
   9 // frame with audio, you get_output_samples() with the number of samples you want, and will
  10 // get exactly that number of samples back. If the input and output clocks are not in sync,
  11 // the audio will be stretched for you. (If they are _very_ out of sync, this will come through
  12 // as a pitch shift.) Of course, the process introduces some delay; you specify a target delay
  13 // (typically measured in milliseconds, although more is fine) and the algorithm works to
  14 // provide exactly that.
  15 //
  16 // A/V sync is a much harder problem than one would intuitively assume. This implementation
  17 // is based on a 2012 paper by Fons Adriaensen, “Controlling adaptive resampling”
  18 // (http://kokkinizita.linuxaudio.org/papers/adapt-resamp.pdf). The paper gives an algorithm
  19 // that converges to jitter of <100 ns; the basic idea is to measure the _rate_ the input
  20 // queue fills and is drained (as opposed to the length of the queue itself), and smoothly
  21 // adjust the resampling rate so that it reaches steady state at the desired delay.
  22 //
  23 // Parts of the code is adapted from Adriaensen's project Zita-ajbridge (based on the same
  24 // algorithm), although it has been heavily reworked for this use case. Original copyright follows:
  25 //
  26 //  Copyright (C) 2012-2015 Fons Adriaensen <fons@linuxaudio.org>
  27 //
  28 //  This program is free software; you can redistribute it and/or modify
  29 //  it under the terms of the GNU General Public License as published by
  30 //  the Free Software Foundation; either version 3 of the License, or
  31 //  (at your option) any later version.
  32 //
  33 //  This program is distributed in the hope that it will be useful,
  34 //  but WITHOUT ANY WARRANTY; without even the implied warranty of
  35 //  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  36 //  GNU General Public License for more details.
  37 //
  38 //  You should have received a copy of the GNU General Public License
  39 //  along with this program.  If not, see <http://www.gnu.org/licenses/>.
  40
  41 #include <stdint.h>
  42 #include <stdlib.h>
  43 #include <sys/types.h>
  44 #include <zita-resampler/vresampler.h>
  45 #include <deque>
  46 #include <memory>
  47
  48 #include "defs.h"
  49
  50 class ResamplingQueue {
  51 public:
  52         // card_num is for debugging outputs only.
  53         ResamplingQueue(unsigned card_num, unsigned freq_in, unsigned freq_out, unsigned num_channels = 2);
  54
  55         // If policy is DO_NOT_ADJUST_RATE, the resampling rate will not be changed.
  56         // This is primarily useful if you have an extraordinary situation, such as
  57         // dropped frames.
  58         enum RateAdjustmentPolicy {
  59                 DO_NOT_ADJUST_RATE,
  60                 ADJUST_RATE
  61         };
  62
  63         // Note: pts is always in seconds.
  64         void add_input_samples(double pts, const float *samples, ssize_t num_samples);
  65         // Returns false if underrun.
  66         bool get_output_samples(double pts, float *samples, ssize_t num_samples, RateAdjustmentPolicy rate_adjustment_policy);
  67
  68 private:
  69         void init_loop_filter(double bandwidth_hz);
  70
  71         VResampler vresampler;
  72
  73         unsigned card_num;
  74         unsigned freq_in, freq_out, num_channels;
  75
  76         bool first_input = true, first_output = true;
  77         double last_input_pts;   // Start of last input block, in seconds.
  78         double last_output_pts;
  79
  80         ssize_t k_a0 = 0;  // Total amount of samples inserted _before_ the last call to add_input_samples().
  81         ssize_t k_a1 = 0;  // Total amount of samples inserted _after_ the last call to add_input_samples().
  82
  83         ssize_t total_consumed_samples = 0;
  84
  85         // Duration of last input block, in seconds.
  86         double last_input_len;
  87
  88         // Filter state for the loop filter.
  89         double z1 = 0.0, z2 = 0.0, z3 = 0.0;
  90
  91         // Ratio between the two frequencies.
  92         double ratio;
  93
  94         // How much delay we are expected to have, in input samples.
  95         // If actual delay drifts too much away from this, we will start
  96         // changing the resampling ratio to compensate.
  97         double expected_delay = OUTPUT_FREQUENCY * 0.1;  // 100 ms.
  98
  99         // Input samples not yet fed into the resampler.
 100         // TODO: Use a circular buffer instead, for efficiency.
 101         std::deque<float> buffer;
 102 };
 103
 104 #endif  // !defined(_RESAMPLING_QUEUE_H)