git.sesse.net Git - ffmpeg/blob - libavcodec/resample.c

   1 /*
   2  * samplerate conversion for both audio and video
   3  * Copyright (c) 2000 Fabrice Bellard
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file
  24  * samplerate conversion for both audio and video
  25  */
  26
  27 #include "avcodec.h"
  28 #include "audioconvert.h"
  29 #include "libavutil/opt.h"
  30 #include "libavutil/samplefmt.h"
  31
  32 #define MAX_CHANNELS 8
  33
  34 struct AVResampleContext;
  35
  36 static const char *context_to_name(void *ptr)
  37 {
  38     return "audioresample";
  39 }
  40
  41 static const AVOption options[] = {{NULL}};
  42 static const AVClass audioresample_context_class = {
  43     "ReSampleContext", context_to_name, options, LIBAVUTIL_VERSION_INT
  44 };
  45
  46 struct ReSampleContext {
  47     struct AVResampleContext *resample_context;
  48     short *temp[MAX_CHANNELS];
  49     int temp_len;
  50     float ratio;
  51     /* channel convert */
  52     int input_channels, output_channels, filter_channels;
  53     AVAudioConvert *convert_ctx[2];
  54     enum AVSampleFormat sample_fmt[2]; ///< input and output sample format
  55     unsigned sample_size[2];           ///< size of one sample in sample_fmt
  56     short *buffer[2];                  ///< buffers used for conversion to S16
  57     unsigned buffer_size[2];           ///< sizes of allocated buffers
  58 };
  59
  60 /* n1: number of samples */
  61 static void stereo_to_mono(short *output, short *input, int n1)
  62 {
  63     short *p, *q;
  64     int n = n1;
  65
  66     p = input;
  67     q = output;
  68     while (n >= 4) {
  69         q[0] = (p[0] + p[1]) >> 1;
  70         q[1] = (p[2] + p[3]) >> 1;
  71         q[2] = (p[4] + p[5]) >> 1;
  72         q[3] = (p[6] + p[7]) >> 1;
  73         q += 4;
  74         p += 8;
  75         n -= 4;
  76     }
  77     while (n > 0) {
  78         q[0] = (p[0] + p[1]) >> 1;
  79         q++;
  80         p += 2;
  81         n--;
  82     }
  83 }
  84
  85 /* n1: number of samples */
  86 static void mono_to_stereo(short *output, short *input, int n1)
  87 {
  88     short *p, *q;
  89     int n = n1;
  90     int v;
  91
  92     p = input;
  93     q = output;
  94     while (n >= 4) {
  95         v = p[0]; q[0] = v; q[1] = v;
  96         v = p[1]; q[2] = v; q[3] = v;
  97         v = p[2]; q[4] = v; q[5] = v;
  98         v = p[3]; q[6] = v; q[7] = v;
  99         q += 8;
 100         p += 4;
 101         n -= 4;
 102     }
 103     while (n > 0) {
 104         v = p[0]; q[0] = v; q[1] = v;
 105         q += 2;
 106         p += 1;
 107         n--;
 108     }
 109 }
 110
 111 /*
 112 5.1 to stereo input: [fl, fr, c, lfe, rl, rr]
 113 - Left = front_left + rear_gain * rear_left + center_gain * center
 114 - Right = front_right + rear_gain * rear_right + center_gain * center
 115 Where rear_gain is usually around 0.5-1.0 and
 116       center_gain is almost always 0.7 (-3 dB)
 117 */
 118 static void surround_to_stereo(short **output, short *input, int channels, int samples)
 119 {
 120     int i;
 121     short l, r;
 122
 123     for (i = 0; i < samples; i++) {
 124         int fl,fr,c,rl,rr,lfe;
 125         fl = input[0];
 126         fr = input[1];
 127         c = input[2];
 128         lfe = input[3];
 129         rl = input[4];
 130         rr = input[5];
 131
 132         l = av_clip_int16(fl + (0.5 * rl) + (0.7 * c));
 133         r = av_clip_int16(fr + (0.5 * rr) + (0.7 * c));
 134
 135         /* output l & r. */
 136         *output[0]++ = l;
 137         *output[1]++ = r;
 138
 139         /* increment input. */
 140         input += channels;
 141     }
 142 }
 143
 144 static void deinterleave(short **output, short *input, int channels, int samples)
 145 {
 146     int i, j;
 147
 148     for (i = 0; i < samples; i++) {
 149         for (j = 0; j < channels; j++) {
 150             *output[j]++ = *input++;
 151         }
 152     }
 153 }
 154
 155 static void interleave(short *output, short **input, int channels, int samples)
 156 {
 157     int i, j;
 158
 159     for (i = 0; i < samples; i++) {
 160         for (j = 0; j < channels; j++) {
 161             *output++ = *input[j]++;
 162         }
 163     }
 164 }
 165
 166 static void ac3_5p1_mux(short *output, short *input1, short *input2, int n)
 167 {
 168     int i;
 169     short l, r;
 170
 171     for (i = 0; i < n; i++) {
 172         l = *input1++;
 173         r = *input2++;
 174         *output++ = l;                  /* left */
 175         *output++ = (l / 2) + (r / 2);  /* center */
 176         *output++ = r;                  /* right */
 177         *output++ = 0;                  /* left surround */
 178         *output++ = 0;                  /* right surroud */
 179         *output++ = 0;                  /* low freq */
 180     }
 181 }
 182
 183 ReSampleContext *av_audio_resample_init(int output_channels, int input_channels,
 184                                         int output_rate, int input_rate,
 185                                         enum AVSampleFormat sample_fmt_out,
 186                                         enum AVSampleFormat sample_fmt_in,
 187                                         int filter_length, int log2_phase_count,
 188                                         int linear, double cutoff)
 189 {
 190     ReSampleContext *s;
 191
 192     if (input_channels > MAX_CHANNELS) {
 193         av_log(NULL, AV_LOG_ERROR,
 194                "Resampling with input channels greater than %d is unsupported.\n",
 195                MAX_CHANNELS);
 196         return NULL;
 197     }
 198     if (output_channels > 2 &&
 199         !(output_channels == 6 && input_channels == 2) &&
 200         output_channels != input_channels) {
 201         av_log(NULL, AV_LOG_ERROR,
 202                "Resampling output channel count must be 1 or 2 for mono input; 1, 2 or 6 for stereo input; or N for N channel input.\n");
 203         return NULL;
 204     }
 205
 206     s = av_mallocz(sizeof(ReSampleContext));
 207     if (!s) {
 208         av_log(NULL, AV_LOG_ERROR, "Can't allocate memory for resample context.\n");
 209         return NULL;
 210     }
 211
 212     s->ratio = (float)output_rate / (float)input_rate;
 213
 214     s->input_channels = input_channels;
 215     s->output_channels = output_channels;
 216
 217     s->filter_channels = s->input_channels;
 218     if (s->output_channels < s->filter_channels)
 219         s->filter_channels = s->output_channels;
 220
 221     s->sample_fmt[0]  = sample_fmt_in;
 222     s->sample_fmt[1]  = sample_fmt_out;
 223     s->sample_size[0] = av_get_bits_per_sample_fmt(s->sample_fmt[0]) >> 3;
 224     s->sample_size[1] = av_get_bits_per_sample_fmt(s->sample_fmt[1]) >> 3;
 225
 226     if (s->sample_fmt[0] != AV_SAMPLE_FMT_S16) {
 227         if (!(s->convert_ctx[0] = av_audio_convert_alloc(AV_SAMPLE_FMT_S16, 1,
 228                                                          s->sample_fmt[0], 1, NULL, 0))) {
 229             av_log(s, AV_LOG_ERROR,
 230                    "Cannot convert %s sample format to s16 sample format\n",
 231                    av_get_sample_fmt_name(s->sample_fmt[0]));
 232             av_free(s);
 233             return NULL;
 234         }
 235     }
 236
 237     if (s->sample_fmt[1] != AV_SAMPLE_FMT_S16) {
 238         if (!(s->convert_ctx[1] = av_audio_convert_alloc(s->sample_fmt[1], 1,
 239                                                          AV_SAMPLE_FMT_S16, 1, NULL, 0))) {
 240             av_log(s, AV_LOG_ERROR,
 241                    "Cannot convert s16 sample format to %s sample format\n",
 242                    av_get_sample_fmt_name(s->sample_fmt[1]));
 243             av_audio_convert_free(s->convert_ctx[0]);
 244             av_free(s);
 245             return NULL;
 246         }
 247     }
 248
 249 #define TAPS 16
 250     s->resample_context = av_resample_init(output_rate, input_rate,
 251                                            filter_length, log2_phase_count,
 252                                            linear, cutoff);
 253
 254     *(const AVClass**)s->resample_context = &audioresample_context_class;
 255
 256     return s;
 257 }
 258
 259 /* resample audio. 'nb_samples' is the number of input samples */
 260 /* XXX: optimize it ! */
 261 int audio_resample(ReSampleContext *s, short *output, short *input, int nb_samples)
 262 {
 263     int i, nb_samples1;
 264     short *bufin[MAX_CHANNELS];
 265     short *bufout[MAX_CHANNELS];
 266     short *buftmp2[MAX_CHANNELS], *buftmp3[MAX_CHANNELS];
 267     short *output_bak = NULL;
 268     int lenout;
 269
 270     if (s->input_channels == s->output_channels && s->ratio == 1.0 && 0) {
 271         /* nothing to do */
 272         memcpy(output, input, nb_samples * s->input_channels * sizeof(short));
 273         return nb_samples;
 274     }
 275
 276     if (s->sample_fmt[0] != AV_SAMPLE_FMT_S16) {
 277         int istride[1] = { s->sample_size[0] };
 278         int ostride[1] = { 2 };
 279         const void *ibuf[1] = { input };
 280         void       *obuf[1];
 281         unsigned input_size = nb_samples * s->input_channels * 2;
 282
 283         if (!s->buffer_size[0] || s->buffer_size[0] < input_size) {
 284             av_free(s->buffer[0]);
 285             s->buffer_size[0] = input_size;
 286             s->buffer[0] = av_malloc(s->buffer_size[0]);
 287             if (!s->buffer[0]) {
 288                 av_log(s->resample_context, AV_LOG_ERROR, "Could not allocate buffer\n");
 289                 return 0;
 290             }
 291         }
 292
 293         obuf[0] = s->buffer[0];
 294
 295         if (av_audio_convert(s->convert_ctx[0], obuf, ostride,
 296                              ibuf, istride, nb_samples * s->input_channels) < 0) {
 297             av_log(s->resample_context, AV_LOG_ERROR,
 298                    "Audio sample format conversion failed\n");
 299             return 0;
 300         }
 301
 302         input = s->buffer[0];
 303     }
 304
 305     lenout= 2*s->output_channels*nb_samples * s->ratio + 16;
 306
 307     if (s->sample_fmt[1] != AV_SAMPLE_FMT_S16) {
 308         output_bak = output;
 309
 310         if (!s->buffer_size[1] || s->buffer_size[1] < lenout) {
 311             av_free(s->buffer[1]);
 312             s->buffer_size[1] = lenout;
 313             s->buffer[1] = av_malloc(s->buffer_size[1]);
 314             if (!s->buffer[1]) {
 315                 av_log(s->resample_context, AV_LOG_ERROR, "Could not allocate buffer\n");
 316                 return 0;
 317             }
 318         }
 319
 320         output = s->buffer[1];
 321     }
 322
 323     /* XXX: move those malloc to resample init code */
 324     for (i = 0; i < s->filter_channels; i++) {
 325         bufin[i] = av_malloc((nb_samples + s->temp_len) * sizeof(short));
 326         memcpy(bufin[i], s->temp[i], s->temp_len * sizeof(short));
 327         buftmp2[i] = bufin[i] + s->temp_len;
 328         bufout[i] = av_malloc(lenout * sizeof(short));
 329     }
 330
 331     if (s->input_channels == 2 && s->output_channels == 1) {
 332         buftmp3[0] = output;
 333         stereo_to_mono(buftmp2[0], input, nb_samples);
 334     } else if (s->output_channels >= 2 && s->input_channels == 1) {
 335         buftmp3[0] = bufout[0];
 336         memcpy(buftmp2[0], input, nb_samples * sizeof(short));
 337     } else if (s->input_channels == 6 && s->output_channels ==2) {
 338         buftmp3[0] = bufout[0];
 339         buftmp3[1] = bufout[1];
 340         surround_to_stereo(buftmp2, input, s->input_channels, nb_samples);
 341     } else if (s->output_channels >= s->input_channels && s->input_channels >= 2) {
 342         for (i = 0; i < s->input_channels; i++) {
 343             buftmp3[i] = bufout[i];
 344         }
 345         deinterleave(buftmp2, input, s->input_channels, nb_samples);
 346     } else {
 347         buftmp3[0] = output;
 348         memcpy(buftmp2[0], input, nb_samples * sizeof(short));
 349     }
 350
 351     nb_samples += s->temp_len;
 352
 353     /* resample each channel */
 354     nb_samples1 = 0; /* avoid warning */
 355     for (i = 0; i < s->filter_channels; i++) {
 356         int consumed;
 357         int is_last = i + 1 == s->filter_channels;
 358
 359         nb_samples1 = av_resample(s->resample_context, buftmp3[i], bufin[i],
 360                                   &consumed, nb_samples, lenout, is_last);
 361         s->temp_len = nb_samples - consumed;
 362         s->temp[i] = av_realloc(s->temp[i], s->temp_len * sizeof(short));
 363         memcpy(s->temp[i], bufin[i] + consumed, s->temp_len * sizeof(short));
 364     }
 365
 366     if (s->output_channels == 2 && s->input_channels == 1) {
 367         mono_to_stereo(output, buftmp3[0], nb_samples1);
 368     } else if (s->output_channels == 6 && s->input_channels == 2) {
 369         ac3_5p1_mux(output, buftmp3[0], buftmp3[1], nb_samples1);
 370     } else if ((s->output_channels == s->input_channels && s->input_channels >= 2) ||
 371                (s->output_channels == 2 && s->input_channels == 6)) {
 372         interleave(output, buftmp3, s->output_channels, nb_samples1);
 373     }
 374
 375     if (s->sample_fmt[1] != AV_SAMPLE_FMT_S16) {
 376         int istride[1] = { 2 };
 377         int ostride[1] = { s->sample_size[1] };
 378         const void *ibuf[1] = { output };
 379         void       *obuf[1] = { output_bak };
 380
 381         if (av_audio_convert(s->convert_ctx[1], obuf, ostride,
 382                              ibuf, istride, nb_samples1 * s->output_channels) < 0) {
 383             av_log(s->resample_context, AV_LOG_ERROR,
 384                    "Audio sample format convertion failed\n");
 385             return 0;
 386         }
 387     }
 388
 389     for (i = 0; i < s->filter_channels; i++) {
 390         av_free(bufin[i]);
 391         av_free(bufout[i]);
 392     }
 393
 394     return nb_samples1;
 395 }
 396
 397 void audio_resample_close(ReSampleContext *s)
 398 {
 399     int i;
 400     av_resample_close(s->resample_context);
 401     for (i = 0; i < s->filter_channels; i++)
 402         av_freep(&s->temp[i]);
 403     av_freep(&s->buffer[0]);
 404     av_freep(&s->buffer[1]);
 405     av_audio_convert_free(s->convert_ctx[0]);
 406     av_audio_convert_free(s->convert_ctx[1]);
 407     av_free(s);
 408 }