git.sesse.net Git - ffmpeg/blob - libavfilter/vf_colorspace.c

   1 /*
   2  * Copyright (c) 2016 Ronald S. Bultje <rsbultje@gmail.com>
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 /*
  22  * @file
  23  * Convert between colorspaces.
  24  */
  25
  26 #include "libavutil/avassert.h"
  27 #include "libavutil/opt.h"
  28 #include "libavutil/pixdesc.h"
  29 #include "libavutil/pixfmt.h"
  30
  31 #include "avfilter.h"
  32 #include "colorspacedsp.h"
  33 #include "formats.h"
  34 #include "internal.h"
  35 #include "video.h"
  36
  37 enum DitherMode {
  38     DITHER_NONE,
  39     DITHER_FSB,
  40     DITHER_NB,
  41 };
  42
  43 enum Colorspace {
  44     CS_UNSPECIFIED,
  45     CS_BT470M,
  46     CS_BT470BG,
  47     CS_BT601_6_525,
  48     CS_BT601_6_625,
  49     CS_BT709,
  50     CS_SMPTE170M,
  51     CS_SMPTE240M,
  52     CS_BT2020,
  53     CS_NB,
  54 };
  55
  56 enum Whitepoint {
  57     WP_D65,
  58     WP_C,
  59     WP_DCI,
  60     WP_E,
  61     WP_NB,
  62 };
  63
  64 enum WhitepointAdaptation {
  65     WP_ADAPT_BRADFORD,
  66     WP_ADAPT_VON_KRIES,
  67     NB_WP_ADAPT_NON_IDENTITY,
  68     WP_ADAPT_IDENTITY = NB_WP_ADAPT_NON_IDENTITY,
  69     NB_WP_ADAPT,
  70 };
  71
  72 static const enum AVColorTransferCharacteristic default_trc[CS_NB + 1] = {
  73     [CS_UNSPECIFIED] = AVCOL_TRC_UNSPECIFIED,
  74     [CS_BT470M]      = AVCOL_TRC_GAMMA22,
  75     [CS_BT470BG]     = AVCOL_TRC_GAMMA28,
  76     [CS_BT601_6_525] = AVCOL_TRC_SMPTE170M,
  77     [CS_BT601_6_625] = AVCOL_TRC_SMPTE170M,
  78     [CS_BT709]       = AVCOL_TRC_BT709,
  79     [CS_SMPTE170M]   = AVCOL_TRC_SMPTE170M,
  80     [CS_SMPTE240M]   = AVCOL_TRC_SMPTE240M,
  81     [CS_BT2020]      = AVCOL_TRC_BT2020_10,
  82     [CS_NB]          = AVCOL_TRC_UNSPECIFIED,
  83 };
  84
  85 static const enum AVColorPrimaries default_prm[CS_NB + 1] = {
  86     [CS_UNSPECIFIED] = AVCOL_PRI_UNSPECIFIED,
  87     [CS_BT470M]      = AVCOL_PRI_BT470M,
  88     [CS_BT470BG]     = AVCOL_PRI_BT470BG,
  89     [CS_BT601_6_525] = AVCOL_PRI_SMPTE170M,
  90     [CS_BT601_6_625] = AVCOL_PRI_BT470BG,
  91     [CS_BT709]       = AVCOL_PRI_BT709,
  92     [CS_SMPTE170M]   = AVCOL_PRI_SMPTE170M,
  93     [CS_SMPTE240M]   = AVCOL_PRI_SMPTE240M,
  94     [CS_BT2020]      = AVCOL_PRI_BT2020,
  95     [CS_NB]          = AVCOL_PRI_UNSPECIFIED,
  96 };
  97
  98 static const enum AVColorSpace default_csp[CS_NB + 1] = {
  99     [CS_UNSPECIFIED] = AVCOL_SPC_UNSPECIFIED,
 100     [CS_BT470M]      = AVCOL_SPC_SMPTE170M,
 101     [CS_BT470BG]     = AVCOL_SPC_BT470BG,
 102     [CS_BT601_6_525] = AVCOL_SPC_SMPTE170M,
 103     [CS_BT601_6_625] = AVCOL_SPC_BT470BG,
 104     [CS_BT709]       = AVCOL_SPC_BT709,
 105     [CS_SMPTE170M]   = AVCOL_SPC_SMPTE170M,
 106     [CS_SMPTE240M]   = AVCOL_SPC_SMPTE240M,
 107     [CS_BT2020]      = AVCOL_SPC_BT2020_NCL,
 108     [CS_NB]          = AVCOL_SPC_UNSPECIFIED,
 109 };
 110
 111 struct ColorPrimaries {
 112     enum Whitepoint wp;
 113     double xr, yr, xg, yg, xb, yb;
 114 };
 115
 116 struct TransferCharacteristics {
 117     double alpha, beta, gamma, delta;
 118 };
 119
 120 struct LumaCoefficients {
 121     double cr, cg, cb;
 122 };
 123
 124 struct WhitepointCoefficients {
 125     double xw, yw;
 126 };
 127
 128 typedef struct ColorSpaceContext {
 129     const AVClass *class;
 130
 131     ColorSpaceDSPContext dsp;
 132
 133     enum Colorspace user_all, user_iall;
 134     enum AVColorSpace in_csp, out_csp, user_csp, user_icsp;
 135     enum AVColorRange in_rng, out_rng, user_rng, user_irng;
 136     enum AVColorTransferCharacteristic in_trc, out_trc, user_trc, user_itrc;
 137     enum AVColorPrimaries in_prm, out_prm, user_prm, user_iprm;
 138     enum AVPixelFormat in_format, user_format;
 139     int fast_mode;
 140     enum DitherMode dither;
 141     enum WhitepointAdaptation wp_adapt;
 142
 143     int16_t *rgb[3];
 144     ptrdiff_t rgb_stride;
 145     unsigned rgb_sz;
 146     int *dither_scratch[3][2], *dither_scratch_base[3][2];
 147
 148     const struct ColorPrimaries *in_primaries, *out_primaries;
 149     int lrgb2lrgb_passthrough;
 150     DECLARE_ALIGNED(16, int16_t, lrgb2lrgb_coeffs)[3][3][8];
 151
 152     const struct TransferCharacteristics *in_txchr, *out_txchr;
 153     int rgb2rgb_passthrough;
 154     int16_t *lin_lut, *delin_lut;
 155
 156     const struct LumaCoefficients *in_lumacoef, *out_lumacoef;
 157     int yuv2yuv_passthrough, yuv2yuv_fastmode;
 158     DECLARE_ALIGNED(16, int16_t, yuv2rgb_coeffs)[3][3][8];
 159     DECLARE_ALIGNED(16, int16_t, rgb2yuv_coeffs)[3][3][8];
 160     DECLARE_ALIGNED(16, int16_t, yuv2yuv_coeffs)[3][3][8];
 161     DECLARE_ALIGNED(16, int16_t, yuv_offset)[2 /* in, out */][8];
 162     yuv2rgb_fn yuv2rgb;
 163     rgb2yuv_fn rgb2yuv;
 164     rgb2yuv_fsb_fn rgb2yuv_fsb;
 165     yuv2yuv_fn yuv2yuv;
 166     double yuv2rgb_dbl_coeffs[3][3], rgb2yuv_dbl_coeffs[3][3];
 167     int in_y_rng, in_uv_rng, out_y_rng, out_uv_rng;
 168
 169     int did_warn_range;
 170 } ColorSpaceContext;
 171
 172 // FIXME deal with odd width/heights
 173 // FIXME faster linearize/delinearize implementation (integer pow)
 174 // FIXME bt2020cl support (linearization between yuv/rgb step instead of between rgb/xyz)
 175 // FIXME test that the values in (de)lin_lut don't exceed their container storage
 176 // type size (only useful if we keep the LUT and don't move to fast integer pow)
 177 // FIXME dithering if bitdepth goes down?
 178 // FIXME bitexact for fate integration?
 179
 180 static const double ycgco_matrix[3][3] =
 181 {
 182     {  0.25, 0.5,  0.25 },
 183     { -0.25, 0.5, -0.25 },
 184     {  0.5,  0,   -0.5  },
 185 };
 186
 187 static const double gbr_matrix[3][3] =
 188 {
 189     { 0,    1,   0   },
 190     { 0,   -0.5, 0.5 },
 191     { 0.5, -0.5, 0   },
 192 };
 193
 194 /*
 195  * All constants explained in e.g. https://linuxtv.org/downloads/v4l-dvb-apis/ch02s06.html
 196  * The older ones (bt470bg/m) are also explained in their respective ITU docs
 197  * (e.g. https://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.470-5-199802-S!!PDF-E.pdf)
 198  * whereas the newer ones can typically be copied directly from wikipedia :)
 199  */
 200 static const struct LumaCoefficients luma_coefficients[AVCOL_SPC_NB] = {
 201     [AVCOL_SPC_FCC]        = { 0.30,   0.59,   0.11   },
 202     [AVCOL_SPC_BT470BG]    = { 0.299,  0.587,  0.114  },
 203     [AVCOL_SPC_SMPTE170M]  = { 0.299,  0.587,  0.114  },
 204     [AVCOL_SPC_BT709]      = { 0.2126, 0.7152, 0.0722 },
 205     [AVCOL_SPC_SMPTE240M]  = { 0.212,  0.701,  0.087  },
 206     [AVCOL_SPC_YCOCG]      = { 0.25,   0.5,    0.25   },
 207     [AVCOL_SPC_RGB]        = { 1,      1,      1      },
 208     [AVCOL_SPC_BT2020_NCL] = { 0.2627, 0.6780, 0.0593 },
 209     [AVCOL_SPC_BT2020_CL]  = { 0.2627, 0.6780, 0.0593 },
 210 };
 211
 212 static const struct LumaCoefficients *get_luma_coefficients(enum AVColorSpace csp)
 213 {
 214     const struct LumaCoefficients *coeffs;
 215
 216     if (csp >= AVCOL_SPC_NB)
 217         return NULL;
 218     coeffs = &luma_coefficients[csp];
 219     if (!coeffs->cr)
 220         return NULL;
 221
 222     return coeffs;
 223 }
 224
 225 static void fill_rgb2yuv_table(const struct LumaCoefficients *coeffs,
 226                                double rgb2yuv[3][3])
 227 {
 228     double bscale, rscale;
 229
 230     // special ycgco matrix
 231     if (coeffs->cr == 0.25 && coeffs->cg == 0.5 && coeffs->cb == 0.25) {
 232         memcpy(rgb2yuv, ycgco_matrix, sizeof(double) * 9);
 233         return;
 234     } else if (coeffs->cr == 1 && coeffs->cg == 1 && coeffs->cb == 1) {
 235         memcpy(rgb2yuv, gbr_matrix, sizeof(double) * 9);
 236         return;
 237     }
 238
 239     rgb2yuv[0][0] = coeffs->cr;
 240     rgb2yuv[0][1] = coeffs->cg;
 241     rgb2yuv[0][2] = coeffs->cb;
 242     bscale = 0.5 / (coeffs->cb - 1.0);
 243     rscale = 0.5 / (coeffs->cr - 1.0);
 244     rgb2yuv[1][0] = bscale * coeffs->cr;
 245     rgb2yuv[1][1] = bscale * coeffs->cg;
 246     rgb2yuv[1][2] = 0.5;
 247     rgb2yuv[2][0] = 0.5;
 248     rgb2yuv[2][1] = rscale * coeffs->cg;
 249     rgb2yuv[2][2] = rscale * coeffs->cb;
 250 }
 251
 252 // FIXME I'm pretty sure gamma22/28 also have a linear toe slope, but I can't
 253 // find any actual tables that document their real values...
 254 // See http://www.13thmonkey.org/~boris/gammacorrection/ first graph why it matters
 255 static const struct TransferCharacteristics transfer_characteristics[AVCOL_TRC_NB] = {
 256     [AVCOL_TRC_BT709]     = { 1.099,  0.018,  0.45, 4.5 },
 257     [AVCOL_TRC_GAMMA22]   = { 1.0,    0.0,    1.0 / 2.2, 0.0 },
 258     [AVCOL_TRC_GAMMA28]   = { 1.0,    0.0,    1.0 / 2.8, 0.0 },
 259     [AVCOL_TRC_SMPTE170M] = { 1.099,  0.018,  0.45, 4.5 },
 260     [AVCOL_TRC_SMPTE240M] = { 1.1115, 0.0228, 0.45, 4.0 },
 261     [AVCOL_TRC_IEC61966_2_1] = { 1.055, 0.0031308, 1.0 / 2.4, 12.92 },
 262     [AVCOL_TRC_IEC61966_2_4] = { 1.099, 0.018, 0.45, 4.5 },
 263     [AVCOL_TRC_BT2020_10] = { 1.099,  0.018,  0.45, 4.5 },
 264     [AVCOL_TRC_BT2020_12] = { 1.0993, 0.0181, 0.45, 4.5 },
 265 };
 266
 267 static const struct TransferCharacteristics *
 268     get_transfer_characteristics(enum AVColorTransferCharacteristic trc)
 269 {
 270     const struct TransferCharacteristics *coeffs;
 271
 272     if (trc >= AVCOL_TRC_NB)
 273         return NULL;
 274     coeffs = &transfer_characteristics[trc];
 275     if (!coeffs->alpha)
 276         return NULL;
 277
 278     return coeffs;
 279 }
 280
 281 static const struct WhitepointCoefficients whitepoint_coefficients[WP_NB] = {
 282     [WP_D65] = { 0.3127, 0.3290 },
 283     [WP_C]   = { 0.3100, 0.3160 },
 284     [WP_DCI] = { 0.3140, 0.3510 },
 285     [WP_E]   = { 1/3.0f, 1/3.0f },
 286 };
 287
 288 static const struct ColorPrimaries color_primaries[AVCOL_PRI_NB] = {
 289     [AVCOL_PRI_BT709]     = { WP_D65, 0.640, 0.330, 0.300, 0.600, 0.150, 0.060 },
 290     [AVCOL_PRI_BT470M]    = { WP_C,   0.670, 0.330, 0.210, 0.710, 0.140, 0.080 },
 291     [AVCOL_PRI_BT470BG]   = { WP_D65, 0.640, 0.330, 0.290, 0.600, 0.150, 0.060,},
 292     [AVCOL_PRI_SMPTE170M] = { WP_D65, 0.630, 0.340, 0.310, 0.595, 0.155, 0.070 },
 293     [AVCOL_PRI_SMPTE240M] = { WP_D65, 0.630, 0.340, 0.310, 0.595, 0.155, 0.070 },
 294     [AVCOL_PRI_SMPTE428]  = { WP_E,   0.735, 0.265, 0.274, 0.718, 0.167, 0.009 },
 295     [AVCOL_PRI_SMPTE431]  = { WP_DCI, 0.680, 0.320, 0.265, 0.690, 0.150, 0.060 },
 296     [AVCOL_PRI_SMPTE432]  = { WP_D65, 0.680, 0.320, 0.265, 0.690, 0.150, 0.060 },
 297     [AVCOL_PRI_FILM]      = { WP_C,   0.681, 0.319, 0.243, 0.692, 0.145, 0.049 },
 298     [AVCOL_PRI_BT2020]    = { WP_D65, 0.708, 0.292, 0.170, 0.797, 0.131, 0.046 },
 299     [AVCOL_PRI_JEDEC_P22] = { WP_D65, 0.630, 0.340, 0.295, 0.605, 0.155, 0.077 },
 300 };
 301
 302 static const struct ColorPrimaries *get_color_primaries(enum AVColorPrimaries prm)
 303 {
 304     const struct ColorPrimaries *coeffs;
 305
 306     if (prm >= AVCOL_PRI_NB)
 307         return NULL;
 308     coeffs = &color_primaries[prm];
 309     if (!coeffs->xr)
 310         return NULL;
 311
 312     return coeffs;
 313 }
 314
 315 static void invert_matrix3x3(const double in[3][3], double out[3][3])
 316 {
 317     double m00 = in[0][0], m01 = in[0][1], m02 = in[0][2],
 318            m10 = in[1][0], m11 = in[1][1], m12 = in[1][2],
 319            m20 = in[2][0], m21 = in[2][1], m22 = in[2][2];
 320     int i, j;
 321     double det;
 322
 323     out[0][0] =  (m11 * m22 - m21 * m12);
 324     out[0][1] = -(m01 * m22 - m21 * m02);
 325     out[0][2] =  (m01 * m12 - m11 * m02);
 326     out[1][0] = -(m10 * m22 - m20 * m12);
 327     out[1][1] =  (m00 * m22 - m20 * m02);
 328     out[1][2] = -(m00 * m12 - m10 * m02);
 329     out[2][0] =  (m10 * m21 - m20 * m11);
 330     out[2][1] = -(m00 * m21 - m20 * m01);
 331     out[2][2] =  (m00 * m11 - m10 * m01);
 332
 333     det = m00 * out[0][0] + m10 * out[0][1] + m20 * out[0][2];
 334     det = 1.0 / det;
 335
 336     for (i = 0; i < 3; i++) {
 337         for (j = 0; j < 3; j++)
 338             out[i][j] *= det;
 339     }
 340 }
 341
 342 static int fill_gamma_table(ColorSpaceContext *s)
 343 {
 344     int n;
 345     double in_alpha = s->in_txchr->alpha, in_beta = s->in_txchr->beta;
 346     double in_gamma = s->in_txchr->gamma, in_delta = s->in_txchr->delta;
 347     double in_ialpha = 1.0 / in_alpha, in_igamma = 1.0 / in_gamma, in_idelta = 1.0 / in_delta;
 348     double out_alpha = s->out_txchr->alpha, out_beta = s->out_txchr->beta;
 349     double out_gamma = s->out_txchr->gamma, out_delta = s->out_txchr->delta;
 350
 351     s->lin_lut = av_malloc(sizeof(*s->lin_lut) * 32768 * 2);
 352     if (!s->lin_lut)
 353         return AVERROR(ENOMEM);
 354     s->delin_lut = &s->lin_lut[32768];
 355     for (n = 0; n < 32768; n++) {
 356         double v = (n - 2048.0) / 28672.0, d, l;
 357
 358         // delinearize
 359         if (v <= -out_beta) {
 360             d = -out_alpha * pow(-v, out_gamma) + (out_alpha - 1.0);
 361         } else if (v < out_beta) {
 362             d = out_delta * v;
 363         } else {
 364             d = out_alpha * pow(v, out_gamma) - (out_alpha - 1.0);
 365         }
 366         s->delin_lut[n] = av_clip_int16(lrint(d * 28672.0));
 367
 368         // linearize
 369         if (v <= -in_beta) {
 370             l = -pow((1.0 - in_alpha - v) * in_ialpha, in_igamma);
 371         } else if (v < in_beta) {
 372             l = v * in_idelta;
 373         } else {
 374             l = pow((v + in_alpha - 1.0) * in_ialpha, in_igamma);
 375         }
 376         s->lin_lut[n] = av_clip_int16(lrint(l * 28672.0));
 377     }
 378
 379     return 0;
 380 }
 381
 382 /*
 383  * see e.g. http://www.brucelindbloom.com/index.html?Eqn_RGB_XYZ_Matrix.html
 384  */
 385 static void fill_rgb2xyz_table(const struct ColorPrimaries *coeffs,
 386                                double rgb2xyz[3][3])
 387 {
 388     const struct WhitepointCoefficients *wp = &whitepoint_coefficients[coeffs->wp];
 389     double i[3][3], sr, sg, sb, zw;
 390
 391     rgb2xyz[0][0] = coeffs->xr / coeffs->yr;
 392     rgb2xyz[0][1] = coeffs->xg / coeffs->yg;
 393     rgb2xyz[0][2] = coeffs->xb / coeffs->yb;
 394     rgb2xyz[1][0] = rgb2xyz[1][1] = rgb2xyz[1][2] = 1.0;
 395     rgb2xyz[2][0] = (1.0 - coeffs->xr - coeffs->yr) / coeffs->yr;
 396     rgb2xyz[2][1] = (1.0 - coeffs->xg - coeffs->yg) / coeffs->yg;
 397     rgb2xyz[2][2] = (1.0 - coeffs->xb - coeffs->yb) / coeffs->yb;
 398     invert_matrix3x3(rgb2xyz, i);
 399     zw = 1.0 - wp->xw - wp->yw;
 400     sr = i[0][0] * wp->xw + i[0][1] * wp->yw + i[0][2] * zw;
 401     sg = i[1][0] * wp->xw + i[1][1] * wp->yw + i[1][2] * zw;
 402     sb = i[2][0] * wp->xw + i[2][1] * wp->yw + i[2][2] * zw;
 403     rgb2xyz[0][0] *= sr;
 404     rgb2xyz[0][1] *= sg;
 405     rgb2xyz[0][2] *= sb;
 406     rgb2xyz[1][0] *= sr;
 407     rgb2xyz[1][1] *= sg;
 408     rgb2xyz[1][2] *= sb;
 409     rgb2xyz[2][0] *= sr;
 410     rgb2xyz[2][1] *= sg;
 411     rgb2xyz[2][2] *= sb;
 412 }
 413
 414 static void mul3x3(double dst[3][3], const double src1[3][3], const double src2[3][3])
 415 {
 416     int m, n;
 417
 418     for (m = 0; m < 3; m++)
 419         for (n = 0; n < 3; n++)
 420             dst[m][n] = src2[m][0] * src1[0][n] +
 421                         src2[m][1] * src1[1][n] +
 422                         src2[m][2] * src1[2][n];
 423 }
 424
 425 /*
 426  * See http://www.brucelindbloom.com/index.html?Eqn_ChromAdapt.html
 427  * This function uses the Bradford mechanism.
 428  */
 429 static void fill_whitepoint_conv_table(double out[3][3], enum WhitepointAdaptation wp_adapt,
 430                                        enum Whitepoint src, enum Whitepoint dst)
 431 {
 432     static const double ma_tbl[NB_WP_ADAPT_NON_IDENTITY][3][3] = {
 433         [WP_ADAPT_BRADFORD] = {
 434             {  0.8951,  0.2664, -0.1614 },
 435             { -0.7502,  1.7135,  0.0367 },
 436             {  0.0389, -0.0685,  1.0296 },
 437         }, [WP_ADAPT_VON_KRIES] = {
 438             {  0.40024,  0.70760, -0.08081 },
 439             { -0.22630,  1.16532,  0.04570 },
 440             {  0.00000,  0.00000,  0.91822 },
 441         },
 442     };
 443     const double (*ma)[3] = ma_tbl[wp_adapt];
 444     const struct WhitepointCoefficients *wp_src = &whitepoint_coefficients[src];
 445     double zw_src = 1.0 - wp_src->xw - wp_src->yw;
 446     const struct WhitepointCoefficients *wp_dst = &whitepoint_coefficients[dst];
 447     double zw_dst = 1.0 - wp_dst->xw - wp_dst->yw;
 448     double mai[3][3], fac[3][3], tmp[3][3];
 449     double rs, gs, bs, rd, gd, bd;
 450
 451     invert_matrix3x3(ma, mai);
 452     rs = ma[0][0] * wp_src->xw + ma[0][1] * wp_src->yw + ma[0][2] * zw_src;
 453     gs = ma[1][0] * wp_src->xw + ma[1][1] * wp_src->yw + ma[1][2] * zw_src;
 454     bs = ma[2][0] * wp_src->xw + ma[2][1] * wp_src->yw + ma[2][2] * zw_src;
 455     rd = ma[0][0] * wp_dst->xw + ma[0][1] * wp_dst->yw + ma[0][2] * zw_dst;
 456     gd = ma[1][0] * wp_dst->xw + ma[1][1] * wp_dst->yw + ma[1][2] * zw_dst;
 457     bd = ma[2][0] * wp_dst->xw + ma[2][1] * wp_dst->yw + ma[2][2] * zw_dst;
 458     fac[0][0] = rd / rs;
 459     fac[1][1] = gd / gs;
 460     fac[2][2] = bd / bs;
 461     fac[0][1] = fac[0][2] = fac[1][0] = fac[1][2] = fac[2][0] = fac[2][1] = 0.0;
 462     mul3x3(tmp, ma, fac);
 463     mul3x3(out, tmp, mai);
 464 }
 465
 466 static void apply_lut(int16_t *buf[3], ptrdiff_t stride,
 467                       int w, int h, const int16_t *lut)
 468 {
 469     int y, x, n;
 470
 471     for (n = 0; n < 3; n++) {
 472         int16_t *data = buf[n];
 473
 474         for (y = 0; y < h; y++) {
 475             for (x = 0; x < w; x++)
 476                 data[x] = lut[av_clip_uintp2(2048 + data[x], 15)];
 477
 478             data += stride;
 479         }
 480     }
 481 }
 482
 483 struct ThreadData {
 484     AVFrame *in, *out;
 485     ptrdiff_t in_linesize[3], out_linesize[3];
 486     int in_ss_h, out_ss_h;
 487 };
 488
 489 static int convert(AVFilterContext *ctx, void *data, int job_nr, int n_jobs)
 490 {
 491     struct ThreadData *td = data;
 492     ColorSpaceContext *s = ctx->priv;
 493     uint8_t *in_data[3], *out_data[3];
 494     int16_t *rgb[3];
 495     int h_in = (td->in->height + 1) >> 1;
 496     int h1 = 2 * (job_nr * h_in / n_jobs), h2 = 2 * ((job_nr + 1) * h_in / n_jobs);
 497     int w = td->in->width, h = h2 - h1;
 498
 499     in_data[0]  = td->in->data[0]  + td->in_linesize[0]  *  h1;
 500     in_data[1]  = td->in->data[1]  + td->in_linesize[1]  * (h1 >> td->in_ss_h);
 501     in_data[2]  = td->in->data[2]  + td->in_linesize[2]  * (h1 >> td->in_ss_h);
 502     out_data[0] = td->out->data[0] + td->out_linesize[0] *  h1;
 503     out_data[1] = td->out->data[1] + td->out_linesize[1] * (h1 >> td->out_ss_h);
 504     out_data[2] = td->out->data[2] + td->out_linesize[2] * (h1 >> td->out_ss_h);
 505     rgb[0]      = s->rgb[0]        + s->rgb_stride       *  h1;
 506     rgb[1]      = s->rgb[1]        + s->rgb_stride       *  h1;
 507     rgb[2]      = s->rgb[2]        + s->rgb_stride       *  h1;
 508
 509     // FIXME for simd, also make sure we do pictures with negative stride
 510     // top-down so we don't overwrite lines with padding of data before it
 511     // in the same buffer (same as swscale)
 512
 513     if (s->yuv2yuv_fastmode) {
 514         // FIXME possibly use a fast mode in case only the y range changes?
 515         // since in that case, only the diagonal entries in yuv2yuv_coeffs[]
 516         // are non-zero
 517         s->yuv2yuv(out_data, td->out_linesize, in_data, td->in_linesize, w, h,
 518                    s->yuv2yuv_coeffs, s->yuv_offset);
 519     } else {
 520         // FIXME maybe (for caching effciency) do pipeline per-line instead of
 521         // full buffer per function? (Or, since yuv2rgb requires 2 lines: per
 522         // 2 lines, for yuv420.)
 523         /*
 524          * General design:
 525          * - yuv2rgb converts from whatever range the input was ([16-235/240] or
 526          *   [0,255] or the 10/12bpp equivalents thereof) to an integer version
 527          *   of RGB in psuedo-restricted 15+sign bits. That means that the float
 528          *   range [0.0,1.0] is in [0,28762], and the remainder of the int16_t
 529          *   range is used for overflow/underflow outside the representable
 530          *   range of this RGB type. rgb2yuv is the exact opposite.
 531          * - gamma correction is done using a LUT since that appears to work
 532          *   fairly fast.
 533          * - If the input is chroma-subsampled (420/422), the yuv2rgb conversion
 534          *   (or rgb2yuv conversion) uses nearest-neighbour sampling to read
 535          *   read chroma pixels at luma resolution. If you want some more fancy
 536          *   filter, you can use swscale to convert to yuv444p.
 537          * - all coefficients are 14bit (so in the [-2.0,2.0] range).
 538          */
 539         s->yuv2rgb(rgb, s->rgb_stride, in_data, td->in_linesize, w, h,
 540                    s->yuv2rgb_coeffs, s->yuv_offset[0]);
 541         if (!s->rgb2rgb_passthrough) {
 542             apply_lut(rgb, s->rgb_stride, w, h, s->lin_lut);
 543             if (!s->lrgb2lrgb_passthrough)
 544                 s->dsp.multiply3x3(rgb, s->rgb_stride, w, h, s->lrgb2lrgb_coeffs);
 545             apply_lut(rgb, s->rgb_stride, w, h, s->delin_lut);
 546         }
 547         if (s->dither == DITHER_FSB) {
 548             s->rgb2yuv_fsb(out_data, td->out_linesize, rgb, s->rgb_stride, w, h,
 549                            s->rgb2yuv_coeffs, s->yuv_offset[1], s->dither_scratch);
 550         } else {
 551             s->rgb2yuv(out_data, td->out_linesize, rgb, s->rgb_stride, w, h,
 552                        s->rgb2yuv_coeffs, s->yuv_offset[1]);
 553         }
 554     }
 555
 556     return 0;
 557 }
 558
 559 static int get_range_off(AVFilterContext *ctx, int *off,
 560                          int *y_rng, int *uv_rng,
 561                          enum AVColorRange rng, int depth)
 562 {
 563     switch (rng) {
 564     case AVCOL_RANGE_UNSPECIFIED: {
 565         ColorSpaceContext *s = ctx->priv;
 566
 567         if (!s->did_warn_range) {
 568             av_log(ctx, AV_LOG_WARNING, "Input range not set, assuming tv/mpeg\n");
 569             s->did_warn_range = 1;
 570         }
 571     }
 572         // fall-through
 573     case AVCOL_RANGE_MPEG:
 574         *off = 16 << (depth - 8);
 575         *y_rng = 219 << (depth - 8);
 576         *uv_rng = 224 << (depth - 8);
 577         break;
 578     case AVCOL_RANGE_JPEG:
 579         *off = 0;
 580         *y_rng = *uv_rng = (256 << (depth - 8)) - 1;
 581         break;
 582     default:
 583         return AVERROR(EINVAL);
 584     }
 585
 586     return 0;
 587 }
 588
 589 static int create_filtergraph(AVFilterContext *ctx,
 590                               const AVFrame *in, const AVFrame *out)
 591 {
 592     ColorSpaceContext *s = ctx->priv;
 593     const AVPixFmtDescriptor *in_desc  = av_pix_fmt_desc_get(in->format);
 594     const AVPixFmtDescriptor *out_desc = av_pix_fmt_desc_get(out->format);
 595     int emms = 0, m, n, o, res, fmt_identical, redo_yuv2rgb = 0, redo_rgb2yuv = 0;
 596
 597 #define supported_depth(d) ((d) == 8 || (d) == 10 || (d) == 12)
 598 #define supported_subsampling(lcw, lch) \
 599     (((lcw) == 0 && (lch) == 0) || ((lcw) == 1 && (lch) == 0) || ((lcw) == 1 && (lch) == 1))
 600 #define supported_format(d) \
 601     ((d) != NULL && (d)->nb_components == 3 && \
 602      !((d)->flags & AV_PIX_FMT_FLAG_RGB) && \
 603      supported_depth((d)->comp[0].depth) && \
 604      supported_subsampling((d)->log2_chroma_w, (d)->log2_chroma_h))
 605
 606     if (!supported_format(in_desc)) {
 607         av_log(ctx, AV_LOG_ERROR,
 608                "Unsupported input format %d (%s) or bitdepth (%d)\n",
 609                in->format, av_get_pix_fmt_name(in->format),
 610                in_desc ? in_desc->comp[0].depth : -1);
 611         return AVERROR(EINVAL);
 612     }
 613     if (!supported_format(out_desc)) {
 614         av_log(ctx, AV_LOG_ERROR,
 615                "Unsupported output format %d (%s) or bitdepth (%d)\n",
 616                out->format, av_get_pix_fmt_name(out->format),
 617                out_desc ? out_desc->comp[0].depth : -1);
 618         return AVERROR(EINVAL);
 619     }
 620
 621     if (in->color_primaries  != s->in_prm)  s->in_primaries  = NULL;
 622     if (out->color_primaries != s->out_prm) s->out_primaries = NULL;
 623     if (in->color_trc        != s->in_trc)  s->in_txchr      = NULL;
 624     if (out->color_trc       != s->out_trc) s->out_txchr     = NULL;
 625     if (in->colorspace       != s->in_csp ||
 626         in->color_range      != s->in_rng)  s->in_lumacoef   = NULL;
 627     if (out->colorspace      != s->out_csp ||
 628         out->color_range     != s->out_rng) s->out_lumacoef  = NULL;
 629
 630     if (!s->out_primaries || !s->in_primaries) {
 631         s->in_prm = in->color_primaries;
 632         if (s->user_iall != CS_UNSPECIFIED)
 633             s->in_prm = default_prm[FFMIN(s->user_iall, CS_NB)];
 634         if (s->user_iprm != AVCOL_PRI_UNSPECIFIED)
 635             s->in_prm = s->user_iprm;
 636         s->in_primaries = get_color_primaries(s->in_prm);
 637         if (!s->in_primaries) {
 638             av_log(ctx, AV_LOG_ERROR,
 639                    "Unsupported input primaries %d (%s)\n",
 640                    s->in_prm, av_color_primaries_name(s->in_prm));
 641             return AVERROR(EINVAL);
 642         }
 643         s->out_prm = out->color_primaries;
 644         s->out_primaries = get_color_primaries(s->out_prm);
 645         if (!s->out_primaries) {
 646             if (s->out_prm == AVCOL_PRI_UNSPECIFIED) {
 647                 if (s->user_all == CS_UNSPECIFIED) {
 648                     av_log(ctx, AV_LOG_ERROR, "Please specify output primaries\n");
 649                 } else {
 650                     av_log(ctx, AV_LOG_ERROR,
 651                            "Unsupported output color property %d\n", s->user_all);
 652                 }
 653             } else {
 654                 av_log(ctx, AV_LOG_ERROR,
 655                        "Unsupported output primaries %d (%s)\n",
 656                        s->out_prm, av_color_primaries_name(s->out_prm));
 657             }
 658             return AVERROR(EINVAL);
 659         }
 660         s->lrgb2lrgb_passthrough = !memcmp(s->in_primaries, s->out_primaries,
 661                                            sizeof(*s->in_primaries));
 662         if (!s->lrgb2lrgb_passthrough) {
 663             double rgb2xyz[3][3], xyz2rgb[3][3], rgb2rgb[3][3];
 664
 665             fill_rgb2xyz_table(s->out_primaries, rgb2xyz);
 666             invert_matrix3x3(rgb2xyz, xyz2rgb);
 667             fill_rgb2xyz_table(s->in_primaries, rgb2xyz);
 668             if (s->out_primaries->wp != s->in_primaries->wp &&
 669                 s->wp_adapt != WP_ADAPT_IDENTITY) {
 670                 double wpconv[3][3], tmp[3][3];
 671
 672                 fill_whitepoint_conv_table(wpconv, s->wp_adapt, s->in_primaries->wp,
 673                                            s->out_primaries->wp);
 674                 mul3x3(tmp, rgb2xyz, wpconv);
 675                 mul3x3(rgb2rgb, tmp, xyz2rgb);
 676             } else {
 677                 mul3x3(rgb2rgb, rgb2xyz, xyz2rgb);
 678             }
 679             for (m = 0; m < 3; m++)
 680                 for (n = 0; n < 3; n++) {
 681                     s->lrgb2lrgb_coeffs[m][n][0] = lrint(16384.0 * rgb2rgb[m][n]);
 682                     for (o = 1; o < 8; o++)
 683                         s->lrgb2lrgb_coeffs[m][n][o] = s->lrgb2lrgb_coeffs[m][n][0];
 684                 }
 685
 686             emms = 1;
 687         }
 688     }
 689
 690     if (!s->in_txchr) {
 691         av_freep(&s->lin_lut);
 692         s->in_trc = in->color_trc;
 693         if (s->user_iall != CS_UNSPECIFIED)
 694             s->in_trc = default_trc[FFMIN(s->user_iall, CS_NB)];
 695         if (s->user_itrc != AVCOL_TRC_UNSPECIFIED)
 696             s->in_trc = s->user_itrc;
 697         s->in_txchr = get_transfer_characteristics(s->in_trc);
 698         if (!s->in_txchr) {
 699             av_log(ctx, AV_LOG_ERROR,
 700                    "Unsupported input transfer characteristics %d (%s)\n",
 701                    s->in_trc, av_color_transfer_name(s->in_trc));
 702             return AVERROR(EINVAL);
 703         }
 704     }
 705
 706     if (!s->out_txchr) {
 707         av_freep(&s->lin_lut);
 708         s->out_trc = out->color_trc;
 709         s->out_txchr = get_transfer_characteristics(s->out_trc);
 710         if (!s->out_txchr) {
 711             if (s->out_trc == AVCOL_TRC_UNSPECIFIED) {
 712                 if (s->user_all == CS_UNSPECIFIED) {
 713                     av_log(ctx, AV_LOG_ERROR,
 714                            "Please specify output transfer characteristics\n");
 715                 } else {
 716                     av_log(ctx, AV_LOG_ERROR,
 717                            "Unsupported output color property %d\n", s->user_all);
 718                 }
 719             } else {
 720                 av_log(ctx, AV_LOG_ERROR,
 721                        "Unsupported output transfer characteristics %d (%s)\n",
 722                        s->out_trc, av_color_transfer_name(s->out_trc));
 723             }
 724             return AVERROR(EINVAL);
 725         }
 726     }
 727
 728     s->rgb2rgb_passthrough = s->fast_mode || (s->lrgb2lrgb_passthrough &&
 729                              !memcmp(s->in_txchr, s->out_txchr, sizeof(*s->in_txchr)));
 730     if (!s->rgb2rgb_passthrough && !s->lin_lut) {
 731         res = fill_gamma_table(s);
 732         if (res < 0)
 733             return res;
 734         emms = 1;
 735     }
 736
 737     if (!s->in_lumacoef) {
 738         s->in_csp = in->colorspace;
 739         if (s->user_iall != CS_UNSPECIFIED)
 740             s->in_csp = default_csp[FFMIN(s->user_iall, CS_NB)];
 741         if (s->user_icsp != AVCOL_SPC_UNSPECIFIED)
 742             s->in_csp = s->user_icsp;
 743         s->in_rng = in->color_range;
 744         if (s->user_irng != AVCOL_RANGE_UNSPECIFIED)
 745             s->in_rng = s->user_irng;
 746         s->in_lumacoef = get_luma_coefficients(s->in_csp);
 747         if (!s->in_lumacoef) {
 748             av_log(ctx, AV_LOG_ERROR,
 749                    "Unsupported input colorspace %d (%s)\n",
 750                    s->in_csp, av_color_space_name(s->in_csp));
 751             return AVERROR(EINVAL);
 752         }
 753         redo_yuv2rgb = 1;
 754     }
 755
 756     if (!s->out_lumacoef) {
 757         s->out_csp = out->colorspace;
 758         s->out_rng = out->color_range;
 759         s->out_lumacoef = get_luma_coefficients(s->out_csp);
 760         if (!s->out_lumacoef) {
 761             if (s->out_csp == AVCOL_SPC_UNSPECIFIED) {
 762                 if (s->user_all == CS_UNSPECIFIED) {
 763                     av_log(ctx, AV_LOG_ERROR,
 764                            "Please specify output transfer characteristics\n");
 765                 } else {
 766                     av_log(ctx, AV_LOG_ERROR,
 767                            "Unsupported output color property %d\n", s->user_all);
 768                 }
 769             } else {
 770                 av_log(ctx, AV_LOG_ERROR,
 771                        "Unsupported output transfer characteristics %d (%s)\n",
 772                        s->out_csp, av_color_space_name(s->out_csp));
 773             }
 774             return AVERROR(EINVAL);
 775         }
 776         redo_rgb2yuv = 1;
 777     }
 778
 779     fmt_identical = in_desc->log2_chroma_h == out_desc->log2_chroma_h &&
 780                     in_desc->log2_chroma_w == out_desc->log2_chroma_w;
 781     s->yuv2yuv_fastmode = s->rgb2rgb_passthrough && fmt_identical;
 782     s->yuv2yuv_passthrough = s->yuv2yuv_fastmode && s->in_rng == s->out_rng &&
 783                              !memcmp(s->in_lumacoef, s->out_lumacoef,
 784                                      sizeof(*s->in_lumacoef)) &&
 785                              in_desc->comp[0].depth == out_desc->comp[0].depth;
 786     if (!s->yuv2yuv_passthrough) {
 787         if (redo_yuv2rgb) {
 788             double rgb2yuv[3][3], (*yuv2rgb)[3] = s->yuv2rgb_dbl_coeffs;
 789             int off, bits, in_rng;
 790
 791             res = get_range_off(ctx, &off, &s->in_y_rng, &s->in_uv_rng,
 792                                 s->in_rng, in_desc->comp[0].depth);
 793             if (res < 0) {
 794                 av_log(ctx, AV_LOG_ERROR,
 795                        "Unsupported input color range %d (%s)\n",
 796                        s->in_rng, av_color_range_name(s->in_rng));
 797                 return res;
 798             }
 799             for (n = 0; n < 8; n++)
 800                 s->yuv_offset[0][n] = off;
 801             fill_rgb2yuv_table(s->in_lumacoef, rgb2yuv);
 802             invert_matrix3x3(rgb2yuv, yuv2rgb);
 803             bits = 1 << (in_desc->comp[0].depth - 1);
 804             for (n = 0; n < 3; n++) {
 805                 for (in_rng = s->in_y_rng, m = 0; m < 3; m++, in_rng = s->in_uv_rng) {
 806                     s->yuv2rgb_coeffs[n][m][0] = lrint(28672 * bits * yuv2rgb[n][m] / in_rng);
 807                     for (o = 1; o < 8; o++)
 808                         s->yuv2rgb_coeffs[n][m][o] = s->yuv2rgb_coeffs[n][m][0];
 809                 }
 810             }
 811             av_assert2(s->yuv2rgb_coeffs[0][1][0] == 0);
 812             av_assert2(s->yuv2rgb_coeffs[2][2][0] == 0);
 813             av_assert2(s->yuv2rgb_coeffs[0][0][0] == s->yuv2rgb_coeffs[1][0][0]);
 814             av_assert2(s->yuv2rgb_coeffs[0][0][0] == s->yuv2rgb_coeffs[2][0][0]);
 815             s->yuv2rgb = s->dsp.yuv2rgb[(in_desc->comp[0].depth - 8) >> 1]
 816                                        [in_desc->log2_chroma_h + in_desc->log2_chroma_w];
 817             emms = 1;
 818         }
 819
 820         if (redo_rgb2yuv) {
 821             double (*rgb2yuv)[3] = s->rgb2yuv_dbl_coeffs;
 822             int off, out_rng, bits;
 823
 824             res = get_range_off(ctx, &off, &s->out_y_rng, &s->out_uv_rng,
 825                                 s->out_rng, out_desc->comp[0].depth);
 826             if (res < 0) {
 827                 av_log(ctx, AV_LOG_ERROR,
 828                        "Unsupported output color range %d (%s)\n",
 829                        s->out_rng, av_color_range_name(s->out_rng));
 830                 return res;
 831             }
 832             for (n = 0; n < 8; n++)
 833                 s->yuv_offset[1][n] = off;
 834             fill_rgb2yuv_table(s->out_lumacoef, rgb2yuv);
 835             bits = 1 << (29 - out_desc->comp[0].depth);
 836             for (out_rng = s->out_y_rng, n = 0; n < 3; n++, out_rng = s->out_uv_rng) {
 837                 for (m = 0; m < 3; m++) {
 838                     s->rgb2yuv_coeffs[n][m][0] = lrint(bits * out_rng * rgb2yuv[n][m] / 28672);
 839                     for (o = 1; o < 8; o++)
 840                         s->rgb2yuv_coeffs[n][m][o] = s->rgb2yuv_coeffs[n][m][0];
 841                 }
 842             }
 843             av_assert2(s->rgb2yuv_coeffs[1][2][0] == s->rgb2yuv_coeffs[2][0][0]);
 844             s->rgb2yuv = s->dsp.rgb2yuv[(out_desc->comp[0].depth - 8) >> 1]
 845                                        [out_desc->log2_chroma_h + out_desc->log2_chroma_w];
 846             s->rgb2yuv_fsb = s->dsp.rgb2yuv_fsb[(out_desc->comp[0].depth - 8) >> 1]
 847                                        [out_desc->log2_chroma_h + out_desc->log2_chroma_w];
 848             emms = 1;
 849         }
 850
 851         if (s->yuv2yuv_fastmode && (redo_yuv2rgb || redo_rgb2yuv)) {
 852             int idepth = in_desc->comp[0].depth, odepth = out_desc->comp[0].depth;
 853             double (*rgb2yuv)[3] = s->rgb2yuv_dbl_coeffs;
 854             double (*yuv2rgb)[3] = s->yuv2rgb_dbl_coeffs;
 855             double yuv2yuv[3][3];
 856             int in_rng, out_rng;
 857
 858             mul3x3(yuv2yuv, yuv2rgb, rgb2yuv);
 859             for (out_rng = s->out_y_rng, m = 0; m < 3; m++, out_rng = s->out_uv_rng) {
 860                 for (in_rng = s->in_y_rng, n = 0; n < 3; n++, in_rng = s->in_uv_rng) {
 861                     s->yuv2yuv_coeffs[m][n][0] =
 862                         lrint(16384 * yuv2yuv[m][n] * out_rng * (1 << idepth) /
 863                               (in_rng * (1 << odepth)));
 864                     for (o = 1; o < 8; o++)
 865                         s->yuv2yuv_coeffs[m][n][o] = s->yuv2yuv_coeffs[m][n][0];
 866                 }
 867             }
 868             av_assert2(s->yuv2yuv_coeffs[1][0][0] == 0);
 869             av_assert2(s->yuv2yuv_coeffs[2][0][0] == 0);
 870             s->yuv2yuv = s->dsp.yuv2yuv[(idepth - 8) >> 1][(odepth - 8) >> 1]
 871                                        [in_desc->log2_chroma_h + in_desc->log2_chroma_w];
 872         }
 873     }
 874
 875     if (emms)
 876         emms_c();
 877
 878     return 0;
 879 }
 880
 881 static int init(AVFilterContext *ctx)
 882 {
 883     ColorSpaceContext *s = ctx->priv;
 884
 885     ff_colorspacedsp_init(&s->dsp);
 886
 887     return 0;
 888 }
 889
 890 static void uninit(AVFilterContext *ctx)
 891 {
 892     ColorSpaceContext *s = ctx->priv;
 893
 894     av_freep(&s->rgb[0]);
 895     av_freep(&s->rgb[1]);
 896     av_freep(&s->rgb[2]);
 897     s->rgb_sz = 0;
 898     av_freep(&s->dither_scratch_base[0][0]);
 899     av_freep(&s->dither_scratch_base[0][1]);
 900     av_freep(&s->dither_scratch_base[1][0]);
 901     av_freep(&s->dither_scratch_base[1][1]);
 902     av_freep(&s->dither_scratch_base[2][0]);
 903     av_freep(&s->dither_scratch_base[2][1]);
 904
 905     av_freep(&s->lin_lut);
 906 }
 907
 908 static int filter_frame(AVFilterLink *link, AVFrame *in)
 909 {
 910     AVFilterContext *ctx = link->dst;
 911     AVFilterLink *outlink = ctx->outputs[0];
 912     ColorSpaceContext *s = ctx->priv;
 913     // FIXME if yuv2yuv_passthrough, don't get a new buffer but use the
 914     // input one if it is writable *OR* the actual literal values of in_*
 915     // and out_* are identical (not just their respective properties)
 916     AVFrame *out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
 917     int res;
 918     ptrdiff_t rgb_stride = FFALIGN(in->width * sizeof(int16_t), 32);
 919     unsigned rgb_sz = rgb_stride * in->height;
 920     struct ThreadData td;
 921
 922     if (!out) {
 923         av_frame_free(&in);
 924         return AVERROR(ENOMEM);
 925     }
 926     res = av_frame_copy_props(out, in);
 927     if (res < 0) {
 928         av_frame_free(&in);
 929         return res;
 930     }
 931
 932     out->color_primaries = s->user_prm == AVCOL_PRI_UNSPECIFIED ?
 933                            default_prm[FFMIN(s->user_all, CS_NB)] : s->user_prm;
 934     if (s->user_trc == AVCOL_TRC_UNSPECIFIED) {
 935         const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(out->format);
 936
 937         out->color_trc   = default_trc[FFMIN(s->user_all, CS_NB)];
 938         if (out->color_trc == AVCOL_TRC_BT2020_10 && desc && desc->comp[0].depth >= 12)
 939             out->color_trc = AVCOL_TRC_BT2020_12;
 940     } else {
 941         out->color_trc   = s->user_trc;
 942     }
 943     out->colorspace      = s->user_csp == AVCOL_SPC_UNSPECIFIED ?
 944                            default_csp[FFMIN(s->user_all, CS_NB)] : s->user_csp;
 945     out->color_range     = s->user_rng == AVCOL_RANGE_UNSPECIFIED ?
 946                            in->color_range : s->user_rng;
 947     if (rgb_sz != s->rgb_sz) {
 948         const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(out->format);
 949         int uvw = in->width >> desc->log2_chroma_w;
 950
 951         av_freep(&s->rgb[0]);
 952         av_freep(&s->rgb[1]);
 953         av_freep(&s->rgb[2]);
 954         s->rgb_sz = 0;
 955         av_freep(&s->dither_scratch_base[0][0]);
 956         av_freep(&s->dither_scratch_base[0][1]);
 957         av_freep(&s->dither_scratch_base[1][0]);
 958         av_freep(&s->dither_scratch_base[1][1]);
 959         av_freep(&s->dither_scratch_base[2][0]);
 960         av_freep(&s->dither_scratch_base[2][1]);
 961
 962         s->rgb[0] = av_malloc(rgb_sz);
 963         s->rgb[1] = av_malloc(rgb_sz);
 964         s->rgb[2] = av_malloc(rgb_sz);
 965         s->dither_scratch_base[0][0] =
 966             av_malloc(sizeof(*s->dither_scratch_base[0][0]) * (in->width + 4));
 967         s->dither_scratch_base[0][1] =
 968             av_malloc(sizeof(*s->dither_scratch_base[0][1]) * (in->width + 4));
 969         s->dither_scratch_base[1][0] =
 970             av_malloc(sizeof(*s->dither_scratch_base[1][0]) * (uvw + 4));
 971         s->dither_scratch_base[1][1] =
 972             av_malloc(sizeof(*s->dither_scratch_base[1][1]) * (uvw + 4));
 973         s->dither_scratch_base[2][0] =
 974             av_malloc(sizeof(*s->dither_scratch_base[2][0]) * (uvw + 4));
 975         s->dither_scratch_base[2][1] =
 976             av_malloc(sizeof(*s->dither_scratch_base[2][1]) * (uvw + 4));
 977         s->dither_scratch[0][0] = &s->dither_scratch_base[0][0][1];
 978         s->dither_scratch[0][1] = &s->dither_scratch_base[0][1][1];
 979         s->dither_scratch[1][0] = &s->dither_scratch_base[1][0][1];
 980         s->dither_scratch[1][1] = &s->dither_scratch_base[1][1][1];
 981         s->dither_scratch[2][0] = &s->dither_scratch_base[2][0][1];
 982         s->dither_scratch[2][1] = &s->dither_scratch_base[2][1][1];
 983         if (!s->rgb[0] || !s->rgb[1] || !s->rgb[2] ||
 984             !s->dither_scratch_base[0][0] || !s->dither_scratch_base[0][1] ||
 985             !s->dither_scratch_base[1][0] || !s->dither_scratch_base[1][1] ||
 986             !s->dither_scratch_base[2][0] || !s->dither_scratch_base[2][1]) {
 987             uninit(ctx);
 988             return AVERROR(ENOMEM);
 989         }
 990         s->rgb_sz = rgb_sz;
 991     }
 992     res = create_filtergraph(ctx, in, out);
 993     if (res < 0)
 994         return res;
 995     s->rgb_stride = rgb_stride / sizeof(int16_t);
 996     td.in = in;
 997     td.out = out;
 998     td.in_linesize[0] = in->linesize[0];
 999     td.in_linesize[1] = in->linesize[1];
1000     td.in_linesize[2] = in->linesize[2];
1001     td.out_linesize[0] = out->linesize[0];
1002     td.out_linesize[1] = out->linesize[1];
1003     td.out_linesize[2] = out->linesize[2];
1004     td.in_ss_h = av_pix_fmt_desc_get(in->format)->log2_chroma_h;
1005     td.out_ss_h = av_pix_fmt_desc_get(out->format)->log2_chroma_h;
1006     if (s->yuv2yuv_passthrough) {
1007         res = av_frame_copy(out, in);
1008         if (res < 0)
1009             return res;
1010     } else {
1011         ctx->internal->execute(ctx, convert, &td, NULL,
1012                                FFMIN((in->height + 1) >> 1, ff_filter_get_nb_threads(ctx)));
1013     }
1014     av_frame_free(&in);
1015
1016     return ff_filter_frame(outlink, out);
1017 }
1018
1019 static int query_formats(AVFilterContext *ctx)
1020 {
1021     static const enum AVPixelFormat pix_fmts[] = {
1022         AV_PIX_FMT_YUV420P,   AV_PIX_FMT_YUV422P,   AV_PIX_FMT_YUV444P,
1023         AV_PIX_FMT_YUV420P10, AV_PIX_FMT_YUV422P10, AV_PIX_FMT_YUV444P10,
1024         AV_PIX_FMT_YUV420P12, AV_PIX_FMT_YUV422P12, AV_PIX_FMT_YUV444P12,
1025         AV_PIX_FMT_YUVJ420P,  AV_PIX_FMT_YUVJ422P,  AV_PIX_FMT_YUVJ444P,
1026         AV_PIX_FMT_NONE
1027     };
1028     int res;
1029     ColorSpaceContext *s = ctx->priv;
1030     AVFilterFormats *formats = ff_make_format_list(pix_fmts);
1031
1032     if (!formats)
1033         return AVERROR(ENOMEM);
1034     if (s->user_format == AV_PIX_FMT_NONE)
1035         return ff_set_common_formats(ctx, formats);
1036     res = ff_formats_ref(formats, &ctx->inputs[0]->out_formats);
1037     if (res < 0)
1038         return res;
1039     formats = NULL;
1040     res = ff_add_format(&formats, s->user_format);
1041     if (res < 0)
1042         return res;
1043
1044     return ff_formats_ref(formats, &ctx->outputs[0]->in_formats);
1045 }
1046
1047 static int config_props(AVFilterLink *outlink)
1048 {
1049     AVFilterContext *ctx = outlink->dst;
1050     AVFilterLink *inlink = outlink->src->inputs[0];
1051
1052     if (inlink->w % 2 || inlink->h % 2) {
1053         av_log(ctx, AV_LOG_ERROR, "Invalid odd size (%dx%d)\n",
1054                inlink->w, inlink->h);
1055         return AVERROR_PATCHWELCOME;
1056     }
1057
1058     outlink->w = inlink->w;
1059     outlink->h = inlink->h;
1060     outlink->sample_aspect_ratio = inlink->sample_aspect_ratio;
1061     outlink->time_base = inlink->time_base;
1062
1063     return 0;
1064 }
1065
1066 #define OFFSET(x) offsetof(ColorSpaceContext, x)
1067 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM | AV_OPT_FLAG_VIDEO_PARAM
1068 #define ENUM(x, y, z) { x, "", 0, AV_OPT_TYPE_CONST, { .i64 = y }, INT_MIN, INT_MAX, FLAGS, z }
1069
1070 static const AVOption colorspace_options[] = {
1071     { "all",        "Set all color properties together",
1072       OFFSET(user_all),   AV_OPT_TYPE_INT, { .i64 = CS_UNSPECIFIED },
1073       CS_UNSPECIFIED, CS_NB - 1, FLAGS, "all" },
1074     ENUM("bt470m",      CS_BT470M,             "all"),
1075     ENUM("bt470bg",     CS_BT470BG,            "all"),
1076     ENUM("bt601-6-525", CS_BT601_6_525,        "all"),
1077     ENUM("bt601-6-625", CS_BT601_6_625,        "all"),
1078     ENUM("bt709",       CS_BT709,              "all"),
1079     ENUM("smpte170m",   CS_SMPTE170M,          "all"),
1080     ENUM("smpte240m",   CS_SMPTE240M,          "all"),
1081     ENUM("bt2020",      CS_BT2020,             "all"),
1082
1083     { "space",      "Output colorspace",
1084       OFFSET(user_csp),   AV_OPT_TYPE_INT, { .i64 = AVCOL_SPC_UNSPECIFIED },
1085       AVCOL_SPC_RGB, AVCOL_SPC_NB - 1, FLAGS,  "csp"},
1086     ENUM("bt709",       AVCOL_SPC_BT709,       "csp"),
1087     ENUM("fcc",         AVCOL_SPC_FCC,         "csp"),
1088     ENUM("bt470bg",     AVCOL_SPC_BT470BG,     "csp"),
1089     ENUM("smpte170m",   AVCOL_SPC_SMPTE170M,   "csp"),
1090     ENUM("smpte240m",   AVCOL_SPC_SMPTE240M,   "csp"),
1091     ENUM("ycgco",       AVCOL_SPC_YCGCO,       "csp"),
1092     ENUM("gbr",         AVCOL_SPC_RGB,         "csp"),
1093     ENUM("bt2020nc",    AVCOL_SPC_BT2020_NCL,  "csp"),
1094     ENUM("bt2020ncl",   AVCOL_SPC_BT2020_NCL,  "csp"),
1095
1096     { "range",      "Output color range",
1097       OFFSET(user_rng),   AV_OPT_TYPE_INT, { .i64 = AVCOL_RANGE_UNSPECIFIED },
1098       AVCOL_RANGE_UNSPECIFIED, AVCOL_RANGE_NB - 1, FLAGS, "rng" },
1099     ENUM("tv",          AVCOL_RANGE_MPEG,      "rng"),
1100     ENUM("mpeg",        AVCOL_RANGE_MPEG,      "rng"),
1101     ENUM("pc",          AVCOL_RANGE_JPEG,      "rng"),
1102     ENUM("jpeg",        AVCOL_RANGE_JPEG,      "rng"),
1103
1104     { "primaries",  "Output color primaries",
1105       OFFSET(user_prm),   AV_OPT_TYPE_INT, { .i64 = AVCOL_PRI_UNSPECIFIED },
1106       AVCOL_PRI_RESERVED0, AVCOL_PRI_NB - 1, FLAGS, "prm" },
1107     ENUM("bt709",        AVCOL_PRI_BT709,      "prm"),
1108     ENUM("bt470m",       AVCOL_PRI_BT470M,     "prm"),
1109     ENUM("bt470bg",      AVCOL_PRI_BT470BG,    "prm"),
1110     ENUM("smpte170m",    AVCOL_PRI_SMPTE170M,  "prm"),
1111     ENUM("smpte240m",    AVCOL_PRI_SMPTE240M,  "prm"),
1112     ENUM("smpte428",     AVCOL_PRI_SMPTE428,   "prm"),
1113     ENUM("film",         AVCOL_PRI_FILM,       "prm"),
1114     ENUM("smpte431",     AVCOL_PRI_SMPTE431,   "prm"),
1115     ENUM("smpte432",     AVCOL_PRI_SMPTE432,   "prm"),
1116     ENUM("bt2020",       AVCOL_PRI_BT2020,     "prm"),
1117     ENUM("jedec-p22",    AVCOL_PRI_JEDEC_P22,  "prm"),
1118
1119     { "trc",        "Output transfer characteristics",
1120       OFFSET(user_trc),   AV_OPT_TYPE_INT, { .i64 = AVCOL_TRC_UNSPECIFIED },
1121       AVCOL_TRC_RESERVED0, AVCOL_TRC_NB - 1, FLAGS, "trc" },
1122     ENUM("bt709",        AVCOL_TRC_BT709,        "trc"),
1123     ENUM("bt470m",       AVCOL_TRC_GAMMA22,      "trc"),
1124     ENUM("gamma22",      AVCOL_TRC_GAMMA22,      "trc"),
1125     ENUM("bt470bg",      AVCOL_TRC_GAMMA28,      "trc"),
1126     ENUM("gamma28",      AVCOL_TRC_GAMMA28,      "trc"),
1127     ENUM("smpte170m",    AVCOL_TRC_SMPTE170M,    "trc"),
1128     ENUM("smpte240m",    AVCOL_TRC_SMPTE240M,    "trc"),
1129     ENUM("srgb",         AVCOL_TRC_IEC61966_2_1, "trc"),
1130     ENUM("iec61966-2-1", AVCOL_TRC_IEC61966_2_1, "trc"),
1131     ENUM("xvycc",        AVCOL_TRC_IEC61966_2_4, "trc"),
1132     ENUM("iec61966-2-4", AVCOL_TRC_IEC61966_2_4, "trc"),
1133     ENUM("bt2020-10",    AVCOL_TRC_BT2020_10,    "trc"),
1134     ENUM("bt2020-12",    AVCOL_TRC_BT2020_12,    "trc"),
1135
1136     { "format",   "Output pixel format",
1137       OFFSET(user_format), AV_OPT_TYPE_INT,  { .i64 = AV_PIX_FMT_NONE },
1138       AV_PIX_FMT_NONE, AV_PIX_FMT_GBRAP12LE, FLAGS, "fmt" },
1139     ENUM("yuv420p",   AV_PIX_FMT_YUV420P,   "fmt"),
1140     ENUM("yuv420p10", AV_PIX_FMT_YUV420P10, "fmt"),
1141     ENUM("yuv420p12", AV_PIX_FMT_YUV420P12, "fmt"),
1142     ENUM("yuv422p",   AV_PIX_FMT_YUV422P,   "fmt"),
1143     ENUM("yuv422p10", AV_PIX_FMT_YUV422P10, "fmt"),
1144     ENUM("yuv422p12", AV_PIX_FMT_YUV422P12, "fmt"),
1145     ENUM("yuv444p",   AV_PIX_FMT_YUV444P,   "fmt"),
1146     ENUM("yuv444p10", AV_PIX_FMT_YUV444P10, "fmt"),
1147     ENUM("yuv444p12", AV_PIX_FMT_YUV444P12, "fmt"),
1148
1149     { "fast",     "Ignore primary chromaticity and gamma correction",
1150       OFFSET(fast_mode), AV_OPT_TYPE_BOOL,  { .i64 = 0    },
1151       0, 1, FLAGS },
1152
1153     { "dither",   "Dithering mode",
1154       OFFSET(dither), AV_OPT_TYPE_INT, { .i64 = DITHER_NONE },
1155       DITHER_NONE, DITHER_NB - 1, FLAGS, "dither" },
1156     ENUM("none", DITHER_NONE, "dither"),
1157     ENUM("fsb",  DITHER_FSB,  "dither"),
1158
1159     { "wpadapt", "Whitepoint adaptation method",
1160       OFFSET(wp_adapt), AV_OPT_TYPE_INT, { .i64 = WP_ADAPT_BRADFORD },
1161       WP_ADAPT_BRADFORD, NB_WP_ADAPT - 1, FLAGS, "wpadapt" },
1162     ENUM("bradford", WP_ADAPT_BRADFORD, "wpadapt"),
1163     ENUM("vonkries", WP_ADAPT_VON_KRIES, "wpadapt"),
1164     ENUM("identity", WP_ADAPT_IDENTITY, "wpadapt"),
1165
1166     { "iall",       "Set all input color properties together",
1167       OFFSET(user_iall),   AV_OPT_TYPE_INT, { .i64 = CS_UNSPECIFIED },
1168       CS_UNSPECIFIED, CS_NB - 1, FLAGS, "all" },
1169     { "ispace",     "Input colorspace",
1170       OFFSET(user_icsp),  AV_OPT_TYPE_INT, { .i64 = AVCOL_SPC_UNSPECIFIED },
1171       AVCOL_PRI_RESERVED0, AVCOL_PRI_NB - 1, FLAGS, "csp" },
1172     { "irange",     "Input color range",
1173       OFFSET(user_irng),  AV_OPT_TYPE_INT, { .i64 = AVCOL_RANGE_UNSPECIFIED },
1174       AVCOL_RANGE_UNSPECIFIED, AVCOL_RANGE_NB - 1, FLAGS, "rng" },
1175     { "iprimaries", "Input color primaries",
1176       OFFSET(user_iprm),  AV_OPT_TYPE_INT, { .i64 = AVCOL_PRI_UNSPECIFIED },
1177       AVCOL_PRI_RESERVED0, AVCOL_PRI_NB - 1, FLAGS, "prm" },
1178     { "itrc",       "Input transfer characteristics",
1179       OFFSET(user_itrc),  AV_OPT_TYPE_INT, { .i64 = AVCOL_TRC_UNSPECIFIED },
1180       AVCOL_TRC_RESERVED0, AVCOL_TRC_NB - 1, FLAGS, "trc" },
1181
1182     { NULL }
1183 };
1184
1185 AVFILTER_DEFINE_CLASS(colorspace);
1186
1187 static const AVFilterPad inputs[] = {
1188     {
1189         .name         = "default",
1190         .type         = AVMEDIA_TYPE_VIDEO,
1191         .filter_frame = filter_frame,
1192     },
1193     { NULL }
1194 };
1195
1196 static const AVFilterPad outputs[] = {
1197     {
1198         .name         = "default",
1199         .type         = AVMEDIA_TYPE_VIDEO,
1200         .config_props = config_props,
1201     },
1202     { NULL }
1203 };
1204
1205 AVFilter ff_vf_colorspace = {
1206     .name            = "colorspace",
1207     .description     = NULL_IF_CONFIG_SMALL("Convert between colorspaces."),
1208     .init            = init,
1209     .uninit          = uninit,
1210     .query_formats   = query_formats,
1211     .priv_size       = sizeof(ColorSpaceContext),
1212     .priv_class      = &colorspace_class,
1213     .inputs          = inputs,
1214     .outputs         = outputs,
1215     .flags           = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC | AVFILTER_FLAG_SLICE_THREADS,
1216 };