git.sesse.net Git - ffmpeg/blob - libavresample/audio_mix_matrix.c

   1 /*
   2  * Copyright (C) 2011 Michael Niedermayer (michaelni@gmx.at)
   3  * Copyright (c) 2012 Justin Ruggles <justin.ruggles@gmail.com>
   4  *
   5  * This file is part of Libav.
   6  *
   7  * Libav is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * Libav is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with Libav; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include <stdint.h>
  23
  24 #include "libavutil/libm.h"
  25 #include "libavutil/samplefmt.h"
  26 #include "avresample.h"
  27 #include "internal.h"
  28 #include "audio_data.h"
  29 #include "audio_mix.h"
  30
  31 /* channel positions */
  32 #define FRONT_LEFT              0
  33 #define FRONT_RIGHT             1
  34 #define FRONT_CENTER            2
  35 #define LOW_FREQUENCY           3
  36 #define BACK_LEFT               4
  37 #define BACK_RIGHT              5
  38 #define FRONT_LEFT_OF_CENTER    6
  39 #define FRONT_RIGHT_OF_CENTER   7
  40 #define BACK_CENTER             8
  41 #define SIDE_LEFT               9
  42 #define SIDE_RIGHT             10
  43 #define TOP_CENTER             11
  44 #define TOP_FRONT_LEFT         12
  45 #define TOP_FRONT_CENTER       13
  46 #define TOP_FRONT_RIGHT        14
  47 #define TOP_BACK_LEFT          15
  48 #define TOP_BACK_CENTER        16
  49 #define TOP_BACK_RIGHT         17
  50 #define STEREO_LEFT            29
  51 #define STEREO_RIGHT           30
  52 #define WIDE_LEFT              31
  53 #define WIDE_RIGHT             32
  54 #define SURROUND_DIRECT_LEFT   33
  55 #define SURROUND_DIRECT_RIGHT  34
  56
  57 static av_always_inline int even(uint64_t layout)
  58 {
  59     return (!layout || (layout & (layout - 1)));
  60 }
  61
  62 static int sane_layout(uint64_t layout)
  63 {
  64     /* check that there is at least 1 front speaker */
  65     if (!(layout & AV_CH_LAYOUT_SURROUND))
  66         return 0;
  67
  68     /* check for left/right symmetry */
  69     if (!even(layout & (AV_CH_FRONT_LEFT           | AV_CH_FRONT_RIGHT))           ||
  70         !even(layout & (AV_CH_SIDE_LEFT            | AV_CH_SIDE_RIGHT))            ||
  71         !even(layout & (AV_CH_BACK_LEFT            | AV_CH_BACK_RIGHT))            ||
  72         !even(layout & (AV_CH_FRONT_LEFT_OF_CENTER | AV_CH_FRONT_RIGHT_OF_CENTER)) ||
  73         !even(layout & (AV_CH_TOP_FRONT_LEFT       | AV_CH_TOP_FRONT_RIGHT))       ||
  74         !even(layout & (AV_CH_TOP_BACK_LEFT        | AV_CH_TOP_BACK_RIGHT))        ||
  75         !even(layout & (AV_CH_STEREO_LEFT          | AV_CH_STEREO_RIGHT))          ||
  76         !even(layout & (AV_CH_WIDE_LEFT            | AV_CH_WIDE_RIGHT))            ||
  77         !even(layout & (AV_CH_SURROUND_DIRECT_LEFT | AV_CH_SURROUND_DIRECT_RIGHT)))
  78         return 0;
  79
  80     return 1;
  81 }
  82
  83 int avresample_build_matrix(uint64_t in_layout, uint64_t out_layout,
  84                             double center_mix_level, double surround_mix_level,
  85                             double lfe_mix_level, int normalize,
  86                             double *matrix_out, int stride)
  87 {
  88     int i, j, out_i, out_j;
  89     double matrix[64][64] = {{0}};
  90     int64_t unaccounted = in_layout & ~out_layout;
  91     double maxcoef = 0;
  92     int in_channels, out_channels;
  93
  94     in_channels  = av_get_channel_layout_nb_channels( in_layout);
  95     out_channels = av_get_channel_layout_nb_channels(out_layout);
  96
  97     memset(matrix_out, 0, out_channels * stride * sizeof(*matrix_out));
  98
  99     /* check if layouts are supported */
 100     if (!in_layout || in_channels > AVRESAMPLE_MAX_CHANNELS)
 101         return AVERROR(EINVAL);
 102     if (!out_layout || out_channels > AVRESAMPLE_MAX_CHANNELS)
 103         return AVERROR(EINVAL);
 104
 105     /* check if layouts are unbalanced or abnormal */
 106     if (!sane_layout(in_layout) || !sane_layout(out_layout))
 107         return AVERROR_PATCHWELCOME;
 108
 109     /* route matching input/output channels */
 110     for (i = 0; i < 64; i++) {
 111         if (in_layout & out_layout & (1ULL << i))
 112             matrix[i][i] = 1.0;
 113     }
 114
 115     /* mix front center to front left/right */
 116     if (unaccounted & AV_CH_FRONT_CENTER) {
 117         if ((out_layout & AV_CH_LAYOUT_STEREO) == AV_CH_LAYOUT_STEREO) {
 118             matrix[FRONT_LEFT ][FRONT_CENTER] += M_SQRT1_2;
 119             matrix[FRONT_RIGHT][FRONT_CENTER] += M_SQRT1_2;
 120         } else
 121             return AVERROR_PATCHWELCOME;
 122     }
 123     /* mix front left/right to center */
 124     if (unaccounted & AV_CH_LAYOUT_STEREO) {
 125         if (out_layout & AV_CH_FRONT_CENTER) {
 126             matrix[FRONT_CENTER][FRONT_LEFT ] += M_SQRT1_2;
 127             matrix[FRONT_CENTER][FRONT_RIGHT] += M_SQRT1_2;
 128             /* mix left/right/center to center */
 129             if (in_layout & AV_CH_FRONT_CENTER)
 130                 matrix[FRONT_CENTER][FRONT_CENTER] = center_mix_level * M_SQRT2;
 131         } else
 132             return AVERROR_PATCHWELCOME;
 133     }
 134     /* mix back center to back, side, or front */
 135     if (unaccounted & AV_CH_BACK_CENTER) {
 136         if (out_layout & AV_CH_BACK_LEFT) {
 137             matrix[BACK_LEFT ][BACK_CENTER] += M_SQRT1_2;
 138             matrix[BACK_RIGHT][BACK_CENTER] += M_SQRT1_2;
 139         } else if (out_layout & AV_CH_SIDE_LEFT) {
 140             matrix[SIDE_LEFT ][BACK_CENTER] += M_SQRT1_2;
 141             matrix[SIDE_RIGHT][BACK_CENTER] += M_SQRT1_2;
 142         } else if (out_layout & AV_CH_FRONT_LEFT) {
 143             matrix[FRONT_LEFT ][BACK_CENTER] += surround_mix_level * M_SQRT1_2;
 144             matrix[FRONT_RIGHT][BACK_CENTER] += surround_mix_level * M_SQRT1_2;
 145         } else if (out_layout & AV_CH_FRONT_CENTER) {
 146             matrix[FRONT_CENTER][BACK_CENTER] += surround_mix_level * M_SQRT1_2;
 147         } else
 148             return AVERROR_PATCHWELCOME;
 149     }
 150     /* mix back left/right to back center, side, or front */
 151     if (unaccounted & AV_CH_BACK_LEFT) {
 152         if (out_layout & AV_CH_BACK_CENTER) {
 153             matrix[BACK_CENTER][BACK_LEFT ] += M_SQRT1_2;
 154             matrix[BACK_CENTER][BACK_RIGHT] += M_SQRT1_2;
 155         } else if (out_layout & AV_CH_SIDE_LEFT) {
 156             /* if side channels do not exist in the input, just copy back
 157                channels to side channels, otherwise mix back into side */
 158             if (in_layout & AV_CH_SIDE_LEFT) {
 159                 matrix[SIDE_LEFT ][BACK_LEFT ] += M_SQRT1_2;
 160                 matrix[SIDE_RIGHT][BACK_RIGHT] += M_SQRT1_2;
 161             } else {
 162                 matrix[SIDE_LEFT ][BACK_LEFT ] += 1.0;
 163                 matrix[SIDE_RIGHT][BACK_RIGHT] += 1.0;
 164             }
 165         } else if (out_layout & AV_CH_FRONT_LEFT) {
 166             matrix[FRONT_LEFT ][BACK_LEFT ] += surround_mix_level;
 167             matrix[FRONT_RIGHT][BACK_RIGHT] += surround_mix_level;
 168         } else if (out_layout & AV_CH_FRONT_CENTER) {
 169             matrix[FRONT_CENTER][BACK_LEFT ] += surround_mix_level * M_SQRT1_2;
 170             matrix[FRONT_CENTER][BACK_RIGHT] += surround_mix_level * M_SQRT1_2;
 171         } else
 172             return AVERROR_PATCHWELCOME;
 173     }
 174     /* mix side left/right into back or front */
 175     if (unaccounted & AV_CH_SIDE_LEFT) {
 176         if (out_layout & AV_CH_BACK_LEFT) {
 177             /* if back channels do not exist in the input, just copy side
 178                channels to back channels, otherwise mix side into back */
 179             if (in_layout & AV_CH_BACK_LEFT) {
 180                 matrix[BACK_LEFT ][SIDE_LEFT ] += M_SQRT1_2;
 181                 matrix[BACK_RIGHT][SIDE_RIGHT] += M_SQRT1_2;
 182             } else {
 183                 matrix[BACK_LEFT ][SIDE_LEFT ] += 1.0;
 184                 matrix[BACK_RIGHT][SIDE_RIGHT] += 1.0;
 185             }
 186         } else if (out_layout & AV_CH_BACK_CENTER) {
 187             matrix[BACK_CENTER][SIDE_LEFT ] += M_SQRT1_2;
 188             matrix[BACK_CENTER][SIDE_RIGHT] += M_SQRT1_2;
 189         } else if (out_layout & AV_CH_FRONT_LEFT) {
 190             matrix[FRONT_LEFT ][SIDE_LEFT ] += surround_mix_level;
 191             matrix[FRONT_RIGHT][SIDE_RIGHT] += surround_mix_level;
 192         } else if (out_layout & AV_CH_FRONT_CENTER) {
 193             matrix[FRONT_CENTER][SIDE_LEFT ] += surround_mix_level * M_SQRT1_2;
 194             matrix[FRONT_CENTER][SIDE_RIGHT] += surround_mix_level * M_SQRT1_2;
 195         } else
 196             return AVERROR_PATCHWELCOME;
 197     }
 198     /* mix left-of-center/right-of-center into front left/right or center */
 199     if (unaccounted & AV_CH_FRONT_LEFT_OF_CENTER) {
 200         if (out_layout & AV_CH_FRONT_LEFT) {
 201             matrix[FRONT_LEFT ][FRONT_LEFT_OF_CENTER ] += 1.0;
 202             matrix[FRONT_RIGHT][FRONT_RIGHT_OF_CENTER] += 1.0;
 203         } else if (out_layout & AV_CH_FRONT_CENTER) {
 204             matrix[FRONT_CENTER][FRONT_LEFT_OF_CENTER ] += M_SQRT1_2;
 205             matrix[FRONT_CENTER][FRONT_RIGHT_OF_CENTER] += M_SQRT1_2;
 206         } else
 207             return AVERROR_PATCHWELCOME;
 208     }
 209     /* mix LFE into front left/right or center */
 210     if (unaccounted & AV_CH_LOW_FREQUENCY) {
 211         if (out_layout & AV_CH_FRONT_CENTER) {
 212             matrix[FRONT_CENTER][LOW_FREQUENCY] += lfe_mix_level;
 213         } else if (out_layout & AV_CH_FRONT_LEFT) {
 214             matrix[FRONT_LEFT ][LOW_FREQUENCY] += lfe_mix_level * M_SQRT1_2;
 215             matrix[FRONT_RIGHT][LOW_FREQUENCY] += lfe_mix_level * M_SQRT1_2;
 216         } else
 217             return AVERROR_PATCHWELCOME;
 218     }
 219
 220     /* transfer internal matrix to output matrix and calculate maximum
 221        per-channel coefficient sum */
 222     for (out_i = i = 0; out_i < out_channels && i < 64; i++) {
 223         double sum = 0;
 224         for (out_j = j = 0; out_j < in_channels && j < 64; j++) {
 225             matrix_out[out_i * stride + out_j] = matrix[i][j];
 226             sum += fabs(matrix[i][j]);
 227             if (in_layout & (1ULL << j))
 228                 out_j++;
 229         }
 230         maxcoef = FFMAX(maxcoef, sum);
 231         if (out_layout & (1ULL << i))
 232             out_i++;
 233     }
 234
 235     /* normalize */
 236     if (normalize && maxcoef > 1.0) {
 237         for (i = 0; i < out_channels; i++)
 238             for (j = 0; j < in_channels; j++)
 239                 matrix_out[i * stride + j] /= maxcoef;
 240     }
 241
 242     return 0;
 243 }
 244
 245 int avresample_get_matrix(AVAudioResampleContext *avr, double *matrix,
 246                           int stride)
 247 {
 248     int in_channels, out_channels, i, o;
 249
 250     in_channels  = av_get_channel_layout_nb_channels(avr->in_channel_layout);
 251     out_channels = av_get_channel_layout_nb_channels(avr->out_channel_layout);
 252
 253     if ( in_channels < 0 ||  in_channels > AVRESAMPLE_MAX_CHANNELS ||
 254         out_channels < 0 || out_channels > AVRESAMPLE_MAX_CHANNELS) {
 255         av_log(avr, AV_LOG_ERROR, "Invalid channel layouts\n");
 256         return AVERROR(EINVAL);
 257     }
 258
 259     switch (avr->mix_coeff_type) {
 260     case AV_MIX_COEFF_TYPE_Q8:
 261         if (!avr->am->matrix_q8[0]) {
 262             av_log(avr, AV_LOG_ERROR, "matrix is not set\n");
 263             return AVERROR(EINVAL);
 264         }
 265         for (o = 0; o < out_channels; o++)
 266             for (i = 0; i < in_channels; i++)
 267                 matrix[o * stride + i] = avr->am->matrix_q8[o][i] / 256.0;
 268         break;
 269     case AV_MIX_COEFF_TYPE_Q15:
 270         if (!avr->am->matrix_q15[0]) {
 271             av_log(avr, AV_LOG_ERROR, "matrix is not set\n");
 272             return AVERROR(EINVAL);
 273         }
 274         for (o = 0; o < out_channels; o++)
 275             for (i = 0; i < in_channels; i++)
 276                 matrix[o * stride + i] = avr->am->matrix_q15[o][i] / 32768.0;
 277         break;
 278     case AV_MIX_COEFF_TYPE_FLT:
 279         if (!avr->am->matrix_flt[0]) {
 280             av_log(avr, AV_LOG_ERROR, "matrix is not set\n");
 281             return AVERROR(EINVAL);
 282         }
 283         for (o = 0; o < out_channels; o++)
 284             for (i = 0; i < in_channels; i++)
 285                 matrix[o * stride + i] = avr->am->matrix_flt[o][i];
 286         break;
 287     default:
 288         av_log(avr, AV_LOG_ERROR, "Invalid mix coeff type\n");
 289         return AVERROR(EINVAL);
 290     }
 291     return 0;
 292 }
 293
 294 int avresample_set_matrix(AVAudioResampleContext *avr, const double *matrix,
 295                           int stride)
 296 {
 297     int in_channels, out_channels, i, o;
 298
 299     in_channels  = av_get_channel_layout_nb_channels(avr->in_channel_layout);
 300     out_channels = av_get_channel_layout_nb_channels(avr->out_channel_layout);
 301
 302     if ( in_channels < 0 ||  in_channels > AVRESAMPLE_MAX_CHANNELS ||
 303         out_channels < 0 || out_channels > AVRESAMPLE_MAX_CHANNELS) {
 304         av_log(avr, AV_LOG_ERROR, "Invalid channel layouts\n");
 305         return AVERROR(EINVAL);
 306     }
 307
 308     if (avr->am->matrix)
 309         av_freep(avr->am->matrix);
 310
 311 #define CONVERT_MATRIX(type, expr)                                          \
 312     avr->am->matrix_## type[0] = av_mallocz(out_channels * in_channels *    \
 313                                             sizeof(*avr->am->matrix_## type[0])); \
 314     if (!avr->am->matrix_## type[0])                                        \
 315         return AVERROR(ENOMEM);                                             \
 316     for (o = 0; o < out_channels; o++) {                                    \
 317         if (o > 0)                                                          \
 318             avr->am->matrix_## type[o] = avr->am->matrix_## type[o - 1] +   \
 319                                          in_channels;                       \
 320         for (i = 0; i < in_channels; i++) {                                 \
 321             double v = matrix[o * stride + i];                              \
 322             avr->am->matrix_## type[o][i] = expr;                           \
 323         }                                                                   \
 324     }                                                                       \
 325     avr->am->matrix = (void **)avr->am->matrix_## type;
 326
 327     switch (avr->mix_coeff_type) {
 328     case AV_MIX_COEFF_TYPE_Q8:
 329         CONVERT_MATRIX(q8, av_clip_int16(lrint(256.0 * v)))
 330         break;
 331     case AV_MIX_COEFF_TYPE_Q15:
 332         CONVERT_MATRIX(q15, av_clipl_int32(llrint(32768.0 * v)))
 333         break;
 334     case AV_MIX_COEFF_TYPE_FLT:
 335         CONVERT_MATRIX(flt, v)
 336         break;
 337     default:
 338         av_log(avr, AV_LOG_ERROR, "Invalid mix coeff type\n");
 339         return AVERROR(EINVAL);
 340     }
 341
 342     /* TODO: detect situations where we can just swap around pointers
 343              instead of doing matrix multiplications with 0.0 and 1.0 */
 344
 345     return 0;
 346 }