git.sesse.net Git - ffmpeg/blob - libswresample/swresample_internal.h

   1 /*
   2  * Copyright (C) 2011-2013 Michael Niedermayer (michaelni@gmx.at)
   3  *
   4  * This file is part of libswresample
   5  *
   6  * libswresample is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * libswresample is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with libswresample; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 #ifndef SWRESAMPLE_SWRESAMPLE_INTERNAL_H
  22 #define SWRESAMPLE_SWRESAMPLE_INTERNAL_H
  23
  24 #include "swresample.h"
  25 #include "libavutil/channel_layout.h"
  26 #include "config.h"
  27
  28 #define SWR_CH_MAX 64
  29
  30 #define SQRT3_2      1.22474487139158904909  /* sqrt(3/2) */
  31
  32 #define NS_TAPS 20
  33
  34 #if ARCH_X86_64
  35 typedef int64_t integer;
  36 #else
  37 typedef int integer;
  38 #endif
  39
  40 typedef void (mix_1_1_func_type)(void *out, const void *in, void *coeffp, integer index, integer len);
  41 typedef void (mix_2_1_func_type)(void *out, const void *in1, const void *in2, void *coeffp, integer index1, integer index2, integer len);
  42
  43 typedef void (mix_any_func_type)(uint8_t **out, const uint8_t **in1, void *coeffp, integer len);
  44
  45 typedef struct AudioData{
  46     uint8_t *ch[SWR_CH_MAX];    ///< samples buffer per channel
  47     uint8_t *data;              ///< samples buffer
  48     int ch_count;               ///< number of channels
  49     int bps;                    ///< bytes per sample
  50     int count;                  ///< number of samples
  51     int planar;                 ///< 1 if planar audio, 0 otherwise
  52     enum AVSampleFormat fmt;    ///< sample format
  53 } AudioData;
  54
  55 struct DitherContext {
  56     int method;
  57     int noise_pos;
  58     float scale;
  59     float noise_scale;                              ///< Noise scale
  60     int ns_taps;                                    ///< Noise shaping dither taps
  61     float ns_scale;                                 ///< Noise shaping dither scale
  62     float ns_scale_1;                               ///< Noise shaping dither scale^-1
  63     int ns_pos;                                     ///< Noise shaping dither position
  64     float ns_coeffs[NS_TAPS];                       ///< Noise shaping filter coefficients
  65     float ns_errors[SWR_CH_MAX][2*NS_TAPS];
  66     AudioData noise;                                ///< noise used for dithering
  67     AudioData temp;                                 ///< temporary storage when writing into the input buffer isn't possible
  68     int output_sample_bits;                         ///< the number of used output bits, needed to scale dither correctly
  69 };
  70
  71 typedef struct ResampleContext * (* resample_init_func)(struct ResampleContext *c, int out_rate, int in_rate, int filter_size, int phase_shift, int linear,
  72                                     double cutoff, enum AVSampleFormat format, enum SwrFilterType filter_type, double kaiser_beta, double precision, int cheby);
  73 typedef void    (* resample_free_func)(struct ResampleContext **c);
  74 typedef int     (* multiple_resample_func)(struct ResampleContext *c, AudioData *dst, int dst_size, AudioData *src, int src_size, int *consumed);
  75 typedef int     (* resample_flush_func)(struct SwrContext *c);
  76 typedef int     (* set_compensation_func)(struct ResampleContext *c, int sample_delta, int compensation_distance);
  77 typedef int64_t (* get_delay_func)(struct SwrContext *s, int64_t base);
  78 typedef int     (* invert_initial_buffer_func)(struct ResampleContext *c, AudioData *dst, const AudioData *src, int src_size, int *dst_idx, int *dst_count);
  79 typedef int64_t (* get_out_samples_func)(struct SwrContext *s, int in_samples);
  80
  81 struct Resampler {
  82   resample_init_func            init;
  83   resample_free_func            free;
  84   multiple_resample_func        multiple_resample;
  85   resample_flush_func           flush;
  86   set_compensation_func         set_compensation;
  87   get_delay_func                get_delay;
  88   invert_initial_buffer_func    invert_initial_buffer;
  89   get_out_samples_func          get_out_samples;
  90 };
  91
  92 extern struct Resampler const swri_resampler;
  93 extern struct Resampler const swri_soxr_resampler;
  94
  95 struct SwrContext {
  96     const AVClass *av_class;                        ///< AVClass used for AVOption and av_log()
  97     int log_level_offset;                           ///< logging level offset
  98     void *log_ctx;                                  ///< parent logging context
  99     enum AVSampleFormat  in_sample_fmt;             ///< input sample format
 100     enum AVSampleFormat int_sample_fmt;             ///< internal sample format (AV_SAMPLE_FMT_FLTP or AV_SAMPLE_FMT_S16P)
 101     enum AVSampleFormat out_sample_fmt;             ///< output sample format
 102     int64_t  in_ch_layout;                          ///< input channel layout
 103     int64_t out_ch_layout;                          ///< output channel layout
 104     int      in_sample_rate;                        ///< input sample rate
 105     int     out_sample_rate;                        ///< output sample rate
 106     int flags;                                      ///< miscellaneous flags such as SWR_FLAG_RESAMPLE
 107     float slev;                                     ///< surround mixing level
 108     float clev;                                     ///< center mixing level
 109     float lfe_mix_level;                            ///< LFE mixing level
 110     float rematrix_volume;                          ///< rematrixing volume coefficient
 111     float rematrix_maxval;                          ///< maximum value for rematrixing output
 112     int matrix_encoding;                            /**< matrixed stereo encoding */
 113     const int *channel_map;                         ///< channel index (or -1 if muted channel) map
 114     int used_ch_count;                              ///< number of used input channels (mapped channel count if channel_map, otherwise in.ch_count)
 115     int engine;
 116
 117     int user_in_ch_count;                           ///< User set input channel count
 118     int user_out_ch_count;                          ///< User set output channel count
 119     int user_used_ch_count;                         ///< User set used channel count
 120     int64_t user_in_ch_layout;                      ///< User set input channel layout
 121     int64_t user_out_ch_layout;                     ///< User set output channel layout
 122     enum AVSampleFormat user_int_sample_fmt;        ///< User set internal sample format
 123
 124     struct DitherContext dither;
 125
 126     int filter_size;                                /**< length of each FIR filter in the resampling filterbank relative to the cutoff frequency */
 127     int phase_shift;                                /**< log2 of the number of entries in the resampling polyphase filterbank */
 128     int linear_interp;                              /**< if 1 then the resampling FIR filter will be linearly interpolated */
 129     double cutoff;                                  /**< resampling cutoff frequency (swr: 6dB point; soxr: 0dB point). 1.0 corresponds to half the output sample rate */
 130     int filter_type;                                /**< swr resampling filter type */
 131     double kaiser_beta;                                /**< swr beta value for Kaiser window (only applicable if filter_type == AV_FILTER_TYPE_KAISER) */
 132     double precision;                               /**< soxr resampling precision (in bits) */
 133     int cheby;                                      /**< soxr: if 1 then passband rolloff will be none (Chebyshev) & irrational ratio approximation precision will be higher */
 134
 135     float min_compensation;                         ///< swr minimum below which no compensation will happen
 136     float min_hard_compensation;                    ///< swr minimum below which no silence inject / sample drop will happen
 137     float soft_compensation_duration;               ///< swr duration over which soft compensation is applied
 138     float max_soft_compensation;                    ///< swr maximum soft compensation in seconds over soft_compensation_duration
 139     float async;                                    ///< swr simple 1 parameter async, similar to ffmpegs -async
 140     int64_t firstpts_in_samples;                    ///< swr first pts in samples
 141
 142     int resample_first;                             ///< 1 if resampling must come first, 0 if rematrixing
 143     int rematrix;                                   ///< flag to indicate if rematrixing is needed (basically if input and output layouts mismatch)
 144     int rematrix_custom;                            ///< flag to indicate that a custom matrix has been defined
 145
 146     AudioData in;                                   ///< input audio data
 147     AudioData postin;                               ///< post-input audio data: used for rematrix/resample
 148     AudioData midbuf;                               ///< intermediate audio data (postin/preout)
 149     AudioData preout;                               ///< pre-output audio data: used for rematrix/resample
 150     AudioData out;                                  ///< converted output audio data
 151     AudioData in_buffer;                            ///< cached audio data (convert and resample purpose)
 152     AudioData silence;                              ///< temporary with silence
 153     AudioData drop_temp;                            ///< temporary used to discard output
 154     int in_buffer_index;                            ///< cached buffer position
 155     int in_buffer_count;                            ///< cached buffer length
 156     int resample_in_constraint;                     ///< 1 if the input end was reach before the output end, 0 otherwise
 157     int flushed;                                    ///< 1 if data is to be flushed and no further input is expected
 158     int64_t outpts;                                 ///< output PTS
 159     int64_t firstpts;                               ///< first PTS
 160     int drop_output;                                ///< number of output samples to drop
 161     double delayed_samples_fixup;                   ///< soxr 0.1.1: needed to fixup delayed_samples after flush has been called.
 162
 163     struct AudioConvert *in_convert;                ///< input conversion context
 164     struct AudioConvert *out_convert;               ///< output conversion context
 165     struct AudioConvert *full_convert;              ///< full conversion context (single conversion for input and output)
 166     struct ResampleContext *resample;               ///< resampling context
 167     struct Resampler const *resampler;              ///< resampler virtual function table
 168
 169     float matrix[SWR_CH_MAX][SWR_CH_MAX];           ///< floating point rematrixing coefficients
 170     uint8_t *native_matrix;
 171     uint8_t *native_one;
 172     uint8_t *native_simd_one;
 173     uint8_t *native_simd_matrix;
 174     int32_t matrix32[SWR_CH_MAX][SWR_CH_MAX];       ///< 17.15 fixed point rematrixing coefficients
 175     uint8_t matrix_ch[SWR_CH_MAX][SWR_CH_MAX+1];    ///< Lists of input channels per output channel that have non zero rematrixing coefficients
 176     mix_1_1_func_type *mix_1_1_f;
 177     mix_1_1_func_type *mix_1_1_simd;
 178
 179     mix_2_1_func_type *mix_2_1_f;
 180     mix_2_1_func_type *mix_2_1_simd;
 181
 182     mix_any_func_type *mix_any_f;
 183
 184     /* TODO: callbacks for ASM optimizations */
 185 };
 186
 187 av_warn_unused_result
 188 int swri_realloc_audio(AudioData *a, int count);
 189
 190 void swri_noise_shaping_int16 (SwrContext *s, AudioData *dsts, const AudioData *srcs, const AudioData *noises, int count);
 191 void swri_noise_shaping_int32 (SwrContext *s, AudioData *dsts, const AudioData *srcs, const AudioData *noises, int count);
 192 void swri_noise_shaping_float (SwrContext *s, AudioData *dsts, const AudioData *srcs, const AudioData *noises, int count);
 193 void swri_noise_shaping_double(SwrContext *s, AudioData *dsts, const AudioData *srcs, const AudioData *noises, int count);
 194
 195 av_warn_unused_result
 196 int swri_rematrix_init(SwrContext *s);
 197 void swri_rematrix_free(SwrContext *s);
 198 int swri_rematrix(SwrContext *s, AudioData *out, AudioData *in, int len, int mustcopy);
 199 int swri_rematrix_init_x86(struct SwrContext *s);
 200
 201 av_warn_unused_result
 202 int swri_get_dither(SwrContext *s, void *dst, int len, unsigned seed, enum AVSampleFormat noise_fmt);
 203 av_warn_unused_result
 204 int swri_dither_init(SwrContext *s, enum AVSampleFormat out_fmt, enum AVSampleFormat in_fmt);
 205
 206 void swri_audio_convert_init_aarch64(struct AudioConvert *ac,
 207                                  enum AVSampleFormat out_fmt,
 208                                  enum AVSampleFormat in_fmt,
 209                                  int channels);
 210 void swri_audio_convert_init_arm(struct AudioConvert *ac,
 211                                  enum AVSampleFormat out_fmt,
 212                                  enum AVSampleFormat in_fmt,
 213                                  int channels);
 214 void swri_audio_convert_init_x86(struct AudioConvert *ac,
 215                                  enum AVSampleFormat out_fmt,
 216                                  enum AVSampleFormat in_fmt,
 217                                  int channels);
 218
 219 #endif