git.sesse.net Git - ffmpeg/blob - libswscale/output.c

   1 /*
   2  * Copyright (C) 2001-2012 Michael Niedermayer <michaelni@gmx.at>
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 #include <assert.h>
  22 #include <math.h>
  23 #include <stdint.h>
  24 #include <stdio.h>
  25 #include <string.h>
  26
  27 #include "libavutil/attributes.h"
  28 #include "libavutil/avutil.h"
  29 #include "libavutil/avassert.h"
  30 #include "libavutil/bswap.h"
  31 #include "libavutil/cpu.h"
  32 #include "libavutil/intreadwrite.h"
  33 #include "libavutil/mathematics.h"
  34 #include "libavutil/pixdesc.h"
  35 #include "config.h"
  36 #include "rgb2rgb.h"
  37 #include "swscale.h"
  38 #include "swscale_internal.h"
  39
  40 DECLARE_ALIGNED(8, const uint8_t, dither_2x2_4)[][8]={
  41 {  1,   3,   1,   3,   1,   3,   1,   3, },
  42 {  2,   0,   2,   0,   2,   0,   2,   0, },
  43 {  1,   3,   1,   3,   1,   3,   1,   3, },
  44 };
  45
  46 DECLARE_ALIGNED(8, const uint8_t, dither_2x2_8)[][8]={
  47 {  6,   2,   6,   2,   6,   2,   6,   2, },
  48 {  0,   4,   0,   4,   0,   4,   0,   4, },
  49 {  6,   2,   6,   2,   6,   2,   6,   2, },
  50 };
  51
  52 DECLARE_ALIGNED(8, const uint8_t, dither_4x4_16)[][8]={
  53 {  8,   4,  11,   7,   8,   4,  11,   7, },
  54 {  2,  14,   1,  13,   2,  14,   1,  13, },
  55 { 10,   6,   9,   5,  10,   6,   9,   5, },
  56 {  0,  12,   3,  15,   0,  12,   3,  15, },
  57 {  8,   4,  11,   7,   8,   4,  11,   7, },
  58 };
  59
  60 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_32)[][8]={
  61 { 17,   9,  23,  15,  16,   8,  22,  14, },
  62 {  5,  29,   3,  27,   4,  28,   2,  26, },
  63 { 21,  13,  19,  11,  20,  12,  18,  10, },
  64 {  0,  24,   6,  30,   1,  25,   7,  31, },
  65 { 16,   8,  22,  14,  17,   9,  23,  15, },
  66 {  4,  28,   2,  26,   5,  29,   3,  27, },
  67 { 20,  12,  18,  10,  21,  13,  19,  11, },
  68 {  1,  25,   7,  31,   0,  24,   6,  30, },
  69 { 17,   9,  23,  15,  16,   8,  22,  14, },
  70 };
  71
  72 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_73)[][8]={
  73 {  0,  55,  14,  68,   3,  58,  17,  72, },
  74 { 37,  18,  50,  32,  40,  22,  54,  35, },
  75 {  9,  64,   5,  59,  13,  67,   8,  63, },
  76 { 46,  27,  41,  23,  49,  31,  44,  26, },
  77 {  2,  57,  16,  71,   1,  56,  15,  70, },
  78 { 39,  21,  52,  34,  38,  19,  51,  33, },
  79 { 11,  66,   7,  62,  10,  65,   6,  60, },
  80 { 48,  30,  43,  25,  47,  29,  42,  24, },
  81 {  0,  55,  14,  68,   3,  58,  17,  72, },
  82 };
  83
  84 #if 1
  85 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_220)[][8]={
  86 {117,  62, 158, 103, 113,  58, 155, 100, },
  87 { 34, 199,  21, 186,  31, 196,  17, 182, },
  88 {144,  89, 131,  76, 141,  86, 127,  72, },
  89 {  0, 165,  41, 206,  10, 175,  52, 217, },
  90 {110,  55, 151,  96, 120,  65, 162, 107, },
  91 { 28, 193,  14, 179,  38, 203,  24, 189, },
  92 {138,  83, 124,  69, 148,  93, 134,  79, },
  93 {  7, 172,  48, 213,   3, 168,  45, 210, },
  94 {117,  62, 158, 103, 113,  58, 155, 100, },
  95 };
  96 #elif 1
  97 // tries to correct a gamma of 1.5
  98 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_220)[][8]={
  99 {  0, 143,  18, 200,   2, 156,  25, 215, },
 100 { 78,  28, 125,  64,  89,  36, 138,  74, },
 101 { 10, 180,   3, 161,  16, 195,   8, 175, },
 102 {109,  51,  93,  38, 121,  60, 105,  47, },
 103 {  1, 152,  23, 210,   0, 147,  20, 205, },
 104 { 85,  33, 134,  71,  81,  30, 130,  67, },
 105 { 14, 190,   6, 171,  12, 185,   5, 166, },
 106 {117,  57, 101,  44, 113,  54,  97,  41, },
 107 {  0, 143,  18, 200,   2, 156,  25, 215, },
 108 };
 109 #elif 1
 110 // tries to correct a gamma of 2.0
 111 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_220)[][8]={
 112 {  0, 124,   8, 193,   0, 140,  12, 213, },
 113 { 55,  14, 104,  42,  66,  19, 119,  52, },
 114 {  3, 168,   1, 145,   6, 187,   3, 162, },
 115 { 86,  31,  70,  21,  99,  39,  82,  28, },
 116 {  0, 134,  11, 206,   0, 129,   9, 200, },
 117 { 62,  17, 114,  48,  58,  16, 109,  45, },
 118 {  5, 181,   2, 157,   4, 175,   1, 151, },
 119 { 95,  36,  78,  26,  90,  34,  74,  24, },
 120 {  0, 124,   8, 193,   0, 140,  12, 213, },
 121 };
 122 #else
 123 // tries to correct a gamma of 2.5
 124 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_220)[][8]={
 125 {  0, 107,   3, 187,   0, 125,   6, 212, },
 126 { 39,   7,  86,  28,  49,  11, 102,  36, },
 127 {  1, 158,   0, 131,   3, 180,   1, 151, },
 128 { 68,  19,  52,  12,  81,  25,  64,  17, },
 129 {  0, 119,   5, 203,   0, 113,   4, 195, },
 130 { 45,   9,  96,  33,  42,   8,  91,  30, },
 131 {  2, 172,   1, 144,   2, 165,   0, 137, },
 132 { 77,  23,  60,  15,  72,  21,  56,  14, },
 133 {  0, 107,   3, 187,   0, 125,   6, 212, },
 134 };
 135 #endif
 136
 137 #define output_pixel(pos, val, bias, signedness) \
 138     if (big_endian) { \
 139         AV_WB16(pos, bias + av_clip_ ## signedness ## 16(val >> shift)); \
 140     } else { \
 141         AV_WL16(pos, bias + av_clip_ ## signedness ## 16(val >> shift)); \
 142     }
 143
 144 static av_always_inline void
 145 yuv2plane1_16_c_template(const int32_t *src, uint16_t *dest, int dstW,
 146                          int big_endian, int output_bits)
 147 {
 148     int i;
 149     int shift = 3;
 150     av_assert0(output_bits == 16);
 151
 152     for (i = 0; i < dstW; i++) {
 153         int val = src[i] + (1 << (shift - 1));
 154         output_pixel(&dest[i], val, 0, uint);
 155     }
 156 }
 157
 158 static av_always_inline void
 159 yuv2planeX_16_c_template(const int16_t *filter, int filterSize,
 160                          const int32_t **src, uint16_t *dest, int dstW,
 161                          int big_endian, int output_bits)
 162 {
 163     int i;
 164     int shift = 15;
 165     av_assert0(output_bits == 16);
 166
 167     for (i = 0; i < dstW; i++) {
 168         int val = 1 << (shift - 1);
 169         int j;
 170
 171         /* range of val is [0,0x7FFFFFFF], so 31 bits, but with lanczos/spline
 172          * filters (or anything with negative coeffs, the range can be slightly
 173          * wider in both directions. To account for this overflow, we subtract
 174          * a constant so it always fits in the signed range (assuming a
 175          * reasonable filterSize), and re-add that at the end. */
 176         val -= 0x40000000;
 177         for (j = 0; j < filterSize; j++)
 178             val += src[j][i] * (unsigned)filter[j];
 179
 180         output_pixel(&dest[i], val, 0x8000, int);
 181     }
 182 }
 183
 184 #undef output_pixel
 185
 186 #define output_pixel(pos, val) \
 187     if (big_endian) { \
 188         AV_WB16(pos, av_clip_uintp2(val >> shift, output_bits)); \
 189     } else { \
 190         AV_WL16(pos, av_clip_uintp2(val >> shift, output_bits)); \
 191     }
 192
 193 static av_always_inline void
 194 yuv2plane1_10_c_template(const int16_t *src, uint16_t *dest, int dstW,
 195                          int big_endian, int output_bits)
 196 {
 197     int i;
 198     int shift = 15 - output_bits;
 199
 200     for (i = 0; i < dstW; i++) {
 201         int val = src[i] + (1 << (shift - 1));
 202         output_pixel(&dest[i], val);
 203     }
 204 }
 205
 206 static av_always_inline void
 207 yuv2planeX_10_c_template(const int16_t *filter, int filterSize,
 208                          const int16_t **src, uint16_t *dest, int dstW,
 209                          int big_endian, int output_bits)
 210 {
 211     int i;
 212     int shift = 11 + 16 - output_bits;
 213
 214     for (i = 0; i < dstW; i++) {
 215         int val = 1 << (shift - 1);
 216         int j;
 217
 218         for (j = 0; j < filterSize; j++)
 219             val += src[j][i] * filter[j];
 220
 221         output_pixel(&dest[i], val);
 222     }
 223 }
 224
 225 #undef output_pixel
 226
 227 #define yuv2NBPS(bits, BE_LE, is_be, template_size, typeX_t) \
 228 static void yuv2plane1_ ## bits ## BE_LE ## _c(const int16_t *src, \
 229                               uint8_t *dest, int dstW, \
 230                               const uint8_t *dither, int offset)\
 231 { \
 232     yuv2plane1_ ## template_size ## _c_template((const typeX_t *) src, \
 233                          (uint16_t *) dest, dstW, is_be, bits); \
 234 }\
 235 static void yuv2planeX_ ## bits ## BE_LE ## _c(const int16_t *filter, int filterSize, \
 236                               const int16_t **src, uint8_t *dest, int dstW, \
 237                               const uint8_t *dither, int offset)\
 238 { \
 239     yuv2planeX_## template_size ## _c_template(filter, \
 240                          filterSize, (const typeX_t **) src, \
 241                          (uint16_t *) dest, dstW, is_be, bits); \
 242 }
 243 yuv2NBPS( 9, BE, 1, 10, int16_t)
 244 yuv2NBPS( 9, LE, 0, 10, int16_t)
 245 yuv2NBPS(10, BE, 1, 10, int16_t)
 246 yuv2NBPS(10, LE, 0, 10, int16_t)
 247 yuv2NBPS(12, BE, 1, 10, int16_t)
 248 yuv2NBPS(12, LE, 0, 10, int16_t)
 249 yuv2NBPS(14, BE, 1, 10, int16_t)
 250 yuv2NBPS(14, LE, 0, 10, int16_t)
 251 yuv2NBPS(16, BE, 1, 16, int32_t)
 252 yuv2NBPS(16, LE, 0, 16, int32_t)
 253
 254 static void yuv2planeX_8_c(const int16_t *filter, int filterSize,
 255                            const int16_t **src, uint8_t *dest, int dstW,
 256                            const uint8_t *dither, int offset)
 257 {
 258     int i;
 259     for (i=0; i<dstW; i++) {
 260         int val = dither[(i + offset) & 7] << 12;
 261         int j;
 262         for (j=0; j<filterSize; j++)
 263             val += src[j][i] * filter[j];
 264
 265         dest[i]= av_clip_uint8(val>>19);
 266     }
 267 }
 268
 269 static void yuv2plane1_8_c(const int16_t *src, uint8_t *dest, int dstW,
 270                            const uint8_t *dither, int offset)
 271 {
 272     int i;
 273     for (i=0; i<dstW; i++) {
 274         int val = (src[i] + dither[(i + offset) & 7]) >> 7;
 275         dest[i]= av_clip_uint8(val);
 276     }
 277 }
 278
 279 static void yuv2nv12cX_c(SwsContext *c, const int16_t *chrFilter, int chrFilterSize,
 280                         const int16_t **chrUSrc, const int16_t **chrVSrc,
 281                         uint8_t *dest, int chrDstW)
 282 {
 283     enum AVPixelFormat dstFormat = c->dstFormat;
 284     const uint8_t *chrDither = c->chrDither8;
 285     int i;
 286
 287     if (dstFormat == AV_PIX_FMT_NV12)
 288         for (i=0; i<chrDstW; i++) {
 289             int u = chrDither[i & 7] << 12;
 290             int v = chrDither[(i + 3) & 7] << 12;
 291             int j;
 292             for (j=0; j<chrFilterSize; j++) {
 293                 u += chrUSrc[j][i] * chrFilter[j];
 294                 v += chrVSrc[j][i] * chrFilter[j];
 295             }
 296
 297             dest[2*i]= av_clip_uint8(u>>19);
 298             dest[2*i+1]= av_clip_uint8(v>>19);
 299         }
 300     else
 301         for (i=0; i<chrDstW; i++) {
 302             int u = chrDither[i & 7] << 12;
 303             int v = chrDither[(i + 3) & 7] << 12;
 304             int j;
 305             for (j=0; j<chrFilterSize; j++) {
 306                 u += chrUSrc[j][i] * chrFilter[j];
 307                 v += chrVSrc[j][i] * chrFilter[j];
 308             }
 309
 310             dest[2*i]= av_clip_uint8(v>>19);
 311             dest[2*i+1]= av_clip_uint8(u>>19);
 312         }
 313 }
 314
 315 #define accumulate_bit(acc, val) \
 316     acc <<= 1; \
 317     acc |= (val) >= (128 + 110)
 318 #define output_pixel(pos, acc) \
 319     if (target == AV_PIX_FMT_MONOBLACK) { \
 320         pos = acc; \
 321     } else { \
 322         pos = ~acc; \
 323     }
 324
 325 static av_always_inline void
 326 yuv2mono_X_c_template(SwsContext *c, const int16_t *lumFilter,
 327                       const int16_t **lumSrc, int lumFilterSize,
 328                       const int16_t *chrFilter, const int16_t **chrUSrc,
 329                       const int16_t **chrVSrc, int chrFilterSize,
 330                       const int16_t **alpSrc, uint8_t *dest, int dstW,
 331                       int y, enum AVPixelFormat target)
 332 {
 333     const uint8_t * const d128=dither_8x8_220[y&7];
 334     int i;
 335     unsigned acc = 0;
 336     int err = 0;
 337
 338     for (i = 0; i < dstW; i += 2) {
 339         int j;
 340         int Y1 = 1 << 18;
 341         int Y2 = 1 << 18;
 342
 343         for (j = 0; j < lumFilterSize; j++) {
 344             Y1 += lumSrc[j][i]   * lumFilter[j];
 345             Y2 += lumSrc[j][i+1] * lumFilter[j];
 346         }
 347         Y1 >>= 19;
 348         Y2 >>= 19;
 349         if ((Y1 | Y2) & 0x100) {
 350             Y1 = av_clip_uint8(Y1);
 351             Y2 = av_clip_uint8(Y2);
 352         }
 353         if (c->flags & SWS_ERROR_DIFFUSION) {
 354             Y1 += (7*err + 1*c->dither_error[0][i] + 5*c->dither_error[0][i+1] + 3*c->dither_error[0][i+2] + 8 - 256)>>4;
 355             c->dither_error[0][i] = err;
 356             acc = 2*acc + (Y1 >= 128);
 357             Y1 -= 220*(acc&1);
 358
 359             err = Y2 + ((7*Y1 + 1*c->dither_error[0][i+1] + 5*c->dither_error[0][i+2] + 3*c->dither_error[0][i+3] + 8 - 256)>>4);
 360             c->dither_error[0][i+1] = Y1;
 361             acc = 2*acc + (err >= 128);
 362             err -= 220*(acc&1);
 363         } else {
 364             accumulate_bit(acc, Y1 + d128[(i + 0) & 7]);
 365             accumulate_bit(acc, Y2 + d128[(i + 1) & 7]);
 366         }
 367         if ((i & 7) == 6) {
 368             output_pixel(*dest++, acc);
 369         }
 370     }
 371     c->dither_error[0][i] = err;
 372
 373     if (i & 6) {
 374         output_pixel(*dest, acc);
 375     }
 376 }
 377
 378 static av_always_inline void
 379 yuv2mono_2_c_template(SwsContext *c, const int16_t *buf[2],
 380                       const int16_t *ubuf[2], const int16_t *vbuf[2],
 381                       const int16_t *abuf[2], uint8_t *dest, int dstW,
 382                       int yalpha, int uvalpha, int y,
 383                       enum AVPixelFormat target)
 384 {
 385     const int16_t *buf0  = buf[0],  *buf1  = buf[1];
 386     const uint8_t * const d128 = dither_8x8_220[y & 7];
 387     int  yalpha1 = 4096 - yalpha;
 388     int i;
 389
 390     if (c->flags & SWS_ERROR_DIFFUSION) {
 391         int err = 0;
 392         int acc = 0;
 393         for (i = 0; i < dstW; i +=2) {
 394             int Y;
 395
 396             Y = (buf0[i + 0] * yalpha1 + buf1[i + 0] * yalpha) >> 19;
 397             Y += (7*err + 1*c->dither_error[0][i] + 5*c->dither_error[0][i+1] + 3*c->dither_error[0][i+2] + 8 - 256)>>4;
 398             c->dither_error[0][i] = err;
 399             acc = 2*acc + (Y >= 128);
 400             Y -= 220*(acc&1);
 401
 402             err = (buf0[i + 1] * yalpha1 + buf1[i + 1] * yalpha) >> 19;
 403             err += (7*Y + 1*c->dither_error[0][i+1] + 5*c->dither_error[0][i+2] + 3*c->dither_error[0][i+3] + 8 - 256)>>4;
 404             c->dither_error[0][i+1] = Y;
 405             acc = 2*acc + (err >= 128);
 406             err -= 220*(acc&1);
 407
 408             if ((i & 7) == 6)
 409                 output_pixel(*dest++, acc);
 410         }
 411         c->dither_error[0][i] = err;
 412     } else {
 413     for (i = 0; i < dstW; i += 8) {
 414         int Y, acc = 0;
 415
 416         Y = (buf0[i + 0] * yalpha1 + buf1[i + 0] * yalpha) >> 19;
 417         accumulate_bit(acc, Y + d128[0]);
 418         Y = (buf0[i + 1] * yalpha1 + buf1[i + 1] * yalpha) >> 19;
 419         accumulate_bit(acc, Y + d128[1]);
 420         Y = (buf0[i + 2] * yalpha1 + buf1[i + 2] * yalpha) >> 19;
 421         accumulate_bit(acc, Y + d128[2]);
 422         Y = (buf0[i + 3] * yalpha1 + buf1[i + 3] * yalpha) >> 19;
 423         accumulate_bit(acc, Y + d128[3]);
 424         Y = (buf0[i + 4] * yalpha1 + buf1[i + 4] * yalpha) >> 19;
 425         accumulate_bit(acc, Y + d128[4]);
 426         Y = (buf0[i + 5] * yalpha1 + buf1[i + 5] * yalpha) >> 19;
 427         accumulate_bit(acc, Y + d128[5]);
 428         Y = (buf0[i + 6] * yalpha1 + buf1[i + 6] * yalpha) >> 19;
 429         accumulate_bit(acc, Y + d128[6]);
 430         Y = (buf0[i + 7] * yalpha1 + buf1[i + 7] * yalpha) >> 19;
 431         accumulate_bit(acc, Y + d128[7]);
 432
 433         output_pixel(*dest++, acc);
 434     }
 435     }
 436 }
 437
 438 static av_always_inline void
 439 yuv2mono_1_c_template(SwsContext *c, const int16_t *buf0,
 440                       const int16_t *ubuf[2], const int16_t *vbuf[2],
 441                       const int16_t *abuf0, uint8_t *dest, int dstW,
 442                       int uvalpha, int y, enum AVPixelFormat target)
 443 {
 444     const uint8_t * const d128 = dither_8x8_220[y & 7];
 445     int i;
 446
 447     if (c->flags & SWS_ERROR_DIFFUSION) {
 448         int err = 0;
 449         int acc = 0;
 450         for (i = 0; i < dstW; i +=2) {
 451             int Y;
 452
 453             Y = ((buf0[i + 0] + 64) >> 7);
 454             Y += (7*err + 1*c->dither_error[0][i] + 5*c->dither_error[0][i+1] + 3*c->dither_error[0][i+2] + 8 - 256)>>4;
 455             c->dither_error[0][i] = err;
 456             acc = 2*acc + (Y >= 128);
 457             Y -= 220*(acc&1);
 458
 459             err = ((buf0[i + 1] + 64) >> 7);
 460             err += (7*Y + 1*c->dither_error[0][i+1] + 5*c->dither_error[0][i+2] + 3*c->dither_error[0][i+3] + 8 - 256)>>4;
 461             c->dither_error[0][i+1] = Y;
 462             acc = 2*acc + (err >= 128);
 463             err -= 220*(acc&1);
 464
 465             if ((i & 7) == 6)
 466                 output_pixel(*dest++, acc);
 467         }
 468         c->dither_error[0][i] = err;
 469     } else {
 470     for (i = 0; i < dstW; i += 8) {
 471         int acc = 0;
 472         accumulate_bit(acc, ((buf0[i + 0] + 64) >> 7) + d128[0]);
 473         accumulate_bit(acc, ((buf0[i + 1] + 64) >> 7) + d128[1]);
 474         accumulate_bit(acc, ((buf0[i + 2] + 64) >> 7) + d128[2]);
 475         accumulate_bit(acc, ((buf0[i + 3] + 64) >> 7) + d128[3]);
 476         accumulate_bit(acc, ((buf0[i + 4] + 64) >> 7) + d128[4]);
 477         accumulate_bit(acc, ((buf0[i + 5] + 64) >> 7) + d128[5]);
 478         accumulate_bit(acc, ((buf0[i + 6] + 64) >> 7) + d128[6]);
 479         accumulate_bit(acc, ((buf0[i + 7] + 64) >> 7) + d128[7]);
 480
 481         output_pixel(*dest++, acc);
 482     }
 483     }
 484 }
 485
 486 #undef output_pixel
 487 #undef accumulate_bit
 488
 489 #define YUV2PACKEDWRAPPER(name, base, ext, fmt) \
 490 static void name ## ext ## _X_c(SwsContext *c, const int16_t *lumFilter, \
 491                                 const int16_t **lumSrc, int lumFilterSize, \
 492                                 const int16_t *chrFilter, const int16_t **chrUSrc, \
 493                                 const int16_t **chrVSrc, int chrFilterSize, \
 494                                 const int16_t **alpSrc, uint8_t *dest, int dstW, \
 495                                 int y) \
 496 { \
 497     name ## base ## _X_c_template(c, lumFilter, lumSrc, lumFilterSize, \
 498                                   chrFilter, chrUSrc, chrVSrc, chrFilterSize, \
 499                                   alpSrc, dest, dstW, y, fmt); \
 500 } \
 501  \
 502 static void name ## ext ## _2_c(SwsContext *c, const int16_t *buf[2], \
 503                                 const int16_t *ubuf[2], const int16_t *vbuf[2], \
 504                                 const int16_t *abuf[2], uint8_t *dest, int dstW, \
 505                                 int yalpha, int uvalpha, int y) \
 506 { \
 507     name ## base ## _2_c_template(c, buf, ubuf, vbuf, abuf, \
 508                                   dest, dstW, yalpha, uvalpha, y, fmt); \
 509 } \
 510  \
 511 static void name ## ext ## _1_c(SwsContext *c, const int16_t *buf0, \
 512                                 const int16_t *ubuf[2], const int16_t *vbuf[2], \
 513                                 const int16_t *abuf0, uint8_t *dest, int dstW, \
 514                                 int uvalpha, int y) \
 515 { \
 516     name ## base ## _1_c_template(c, buf0, ubuf, vbuf, \
 517                                   abuf0, dest, dstW, uvalpha, \
 518                                   y, fmt); \
 519 }
 520
 521 YUV2PACKEDWRAPPER(yuv2mono,, white, AV_PIX_FMT_MONOWHITE)
 522 YUV2PACKEDWRAPPER(yuv2mono,, black, AV_PIX_FMT_MONOBLACK)
 523
 524 #define output_pixels(pos, Y1, U, Y2, V) \
 525     if (target == AV_PIX_FMT_YUYV422) { \
 526         dest[pos + 0] = Y1; \
 527         dest[pos + 1] = U;  \
 528         dest[pos + 2] = Y2; \
 529         dest[pos + 3] = V;  \
 530     } else { \
 531         dest[pos + 0] = U;  \
 532         dest[pos + 1] = Y1; \
 533         dest[pos + 2] = V;  \
 534         dest[pos + 3] = Y2; \
 535     }
 536
 537 static av_always_inline void
 538 yuv2422_X_c_template(SwsContext *c, const int16_t *lumFilter,
 539                      const int16_t **lumSrc, int lumFilterSize,
 540                      const int16_t *chrFilter, const int16_t **chrUSrc,
 541                      const int16_t **chrVSrc, int chrFilterSize,
 542                      const int16_t **alpSrc, uint8_t *dest, int dstW,
 543                      int y, enum AVPixelFormat target)
 544 {
 545     int i;
 546
 547     for (i = 0; i < ((dstW + 1) >> 1); i++) {
 548         int j;
 549         int Y1 = 1 << 18;
 550         int Y2 = 1 << 18;
 551         int U  = 1 << 18;
 552         int V  = 1 << 18;
 553
 554         for (j = 0; j < lumFilterSize; j++) {
 555             Y1 += lumSrc[j][i * 2]     * lumFilter[j];
 556             Y2 += lumSrc[j][i * 2 + 1] * lumFilter[j];
 557         }
 558         for (j = 0; j < chrFilterSize; j++) {
 559             U += chrUSrc[j][i] * chrFilter[j];
 560             V += chrVSrc[j][i] * chrFilter[j];
 561         }
 562         Y1 >>= 19;
 563         Y2 >>= 19;
 564         U  >>= 19;
 565         V  >>= 19;
 566         if ((Y1 | Y2 | U | V) & 0x100) {
 567             Y1 = av_clip_uint8(Y1);
 568             Y2 = av_clip_uint8(Y2);
 569             U  = av_clip_uint8(U);
 570             V  = av_clip_uint8(V);
 571         }
 572         output_pixels(4*i, Y1, U, Y2, V);
 573     }
 574 }
 575
 576 static av_always_inline void
 577 yuv2422_2_c_template(SwsContext *c, const int16_t *buf[2],
 578                      const int16_t *ubuf[2], const int16_t *vbuf[2],
 579                      const int16_t *abuf[2], uint8_t *dest, int dstW,
 580                      int yalpha, int uvalpha, int y,
 581                      enum AVPixelFormat target)
 582 {
 583     const int16_t *buf0  = buf[0],  *buf1  = buf[1],
 584                   *ubuf0 = ubuf[0], *ubuf1 = ubuf[1],
 585                   *vbuf0 = vbuf[0], *vbuf1 = vbuf[1];
 586     int  yalpha1 = 4096 - yalpha;
 587     int uvalpha1 = 4096 - uvalpha;
 588     int i;
 589
 590     for (i = 0; i < ((dstW + 1) >> 1); i++) {
 591         int Y1 = (buf0[i * 2]     * yalpha1  + buf1[i * 2]     * yalpha)  >> 19;
 592         int Y2 = (buf0[i * 2 + 1] * yalpha1  + buf1[i * 2 + 1] * yalpha)  >> 19;
 593         int U  = (ubuf0[i]        * uvalpha1 + ubuf1[i]        * uvalpha) >> 19;
 594         int V  = (vbuf0[i]        * uvalpha1 + vbuf1[i]        * uvalpha) >> 19;
 595
 596         if ((Y1 | Y2 | U | V) & 0x100) {
 597             Y1 = av_clip_uint8(Y1);
 598             Y2 = av_clip_uint8(Y2);
 599             U  = av_clip_uint8(U);
 600             V  = av_clip_uint8(V);
 601         }
 602
 603         output_pixels(i * 4, Y1, U, Y2, V);
 604     }
 605 }
 606
 607 static av_always_inline void
 608 yuv2422_1_c_template(SwsContext *c, const int16_t *buf0,
 609                      const int16_t *ubuf[2], const int16_t *vbuf[2],
 610                      const int16_t *abuf0, uint8_t *dest, int dstW,
 611                      int uvalpha, int y, enum AVPixelFormat target)
 612 {
 613     const int16_t *ubuf0 = ubuf[0], *vbuf0 = vbuf[0];
 614     int i;
 615
 616     if (uvalpha < 2048) {
 617         for (i = 0; i < ((dstW + 1) >> 1); i++) {
 618             int Y1 = (buf0[i * 2    ]+64) >> 7;
 619             int Y2 = (buf0[i * 2 + 1]+64) >> 7;
 620             int U  = (ubuf0[i]       +64) >> 7;
 621             int V  = (vbuf0[i]       +64) >> 7;
 622
 623             if ((Y1 | Y2 | U | V) & 0x100) {
 624                 Y1 = av_clip_uint8(Y1);
 625                 Y2 = av_clip_uint8(Y2);
 626                 U  = av_clip_uint8(U);
 627                 V  = av_clip_uint8(V);
 628             }
 629
 630             Y1 = av_clip_uint8(Y1);
 631             Y2 = av_clip_uint8(Y2);
 632             U  = av_clip_uint8(U);
 633             V  = av_clip_uint8(V);
 634
 635             output_pixels(i * 4, Y1, U, Y2, V);
 636         }
 637     } else {
 638         const int16_t *ubuf1 = ubuf[1], *vbuf1 = vbuf[1];
 639         for (i = 0; i < ((dstW + 1) >> 1); i++) {
 640             int Y1 = (buf0[i * 2    ]    + 64) >> 7;
 641             int Y2 = (buf0[i * 2 + 1]    + 64) >> 7;
 642             int U  = (ubuf0[i] + ubuf1[i]+128) >> 8;
 643             int V  = (vbuf0[i] + vbuf1[i]+128) >> 8;
 644
 645             if ((Y1 | Y2 | U | V) & 0x100) {
 646                 Y1 = av_clip_uint8(Y1);
 647                 Y2 = av_clip_uint8(Y2);
 648                 U  = av_clip_uint8(U);
 649                 V  = av_clip_uint8(V);
 650             }
 651
 652             Y1 = av_clip_uint8(Y1);
 653             Y2 = av_clip_uint8(Y2);
 654             U  = av_clip_uint8(U);
 655             V  = av_clip_uint8(V);
 656
 657             output_pixels(i * 4, Y1, U, Y2, V);
 658         }
 659     }
 660 }
 661
 662 #undef output_pixels
 663
 664 YUV2PACKEDWRAPPER(yuv2, 422, yuyv422, AV_PIX_FMT_YUYV422)
 665 YUV2PACKEDWRAPPER(yuv2, 422, uyvy422, AV_PIX_FMT_UYVY422)
 666
 667 #define R_B ((target == AV_PIX_FMT_RGB48LE || target == AV_PIX_FMT_RGB48BE) ? R : B)
 668 #define B_R ((target == AV_PIX_FMT_RGB48LE || target == AV_PIX_FMT_RGB48BE) ? B : R)
 669 #define output_pixel(pos, val) \
 670     if (isBE(target)) { \
 671         AV_WB16(pos, val); \
 672     } else { \
 673         AV_WL16(pos, val); \
 674     }
 675
 676 static av_always_inline void
 677 yuv2rgb48_X_c_template(SwsContext *c, const int16_t *lumFilter,
 678                        const int32_t **lumSrc, int lumFilterSize,
 679                        const int16_t *chrFilter, const int32_t **chrUSrc,
 680                        const int32_t **chrVSrc, int chrFilterSize,
 681                        const int32_t **alpSrc, uint16_t *dest, int dstW,
 682                        int y, enum AVPixelFormat target)
 683 {
 684     int i;
 685
 686     for (i = 0; i < ((dstW + 1) >> 1); i++) {
 687         int j;
 688         int Y1 = -0x40000000;
 689         int Y2 = -0x40000000;
 690         int U  = -128 << 23; // 19
 691         int V  = -128 << 23;
 692         int R, G, B;
 693
 694         for (j = 0; j < lumFilterSize; j++) {
 695             Y1 += lumSrc[j][i * 2]     * (unsigned)lumFilter[j];
 696             Y2 += lumSrc[j][i * 2 + 1] * (unsigned)lumFilter[j];
 697         }
 698         for (j = 0; j < chrFilterSize; j++) {;
 699             U += chrUSrc[j][i] * (unsigned)chrFilter[j];
 700             V += chrVSrc[j][i] * (unsigned)chrFilter[j];
 701         }
 702
 703         // 8bit: 12+15=27; 16-bit: 12+19=31
 704         Y1 >>= 14; // 10
 705         Y1 += 0x10000;
 706         Y2 >>= 14;
 707         Y2 += 0x10000;
 708         U  >>= 14;
 709         V  >>= 14;
 710
 711         // 8bit: 27 -> 17bit, 16bit: 31 - 14 = 17bit
 712         Y1 -= c->yuv2rgb_y_offset;
 713         Y2 -= c->yuv2rgb_y_offset;
 714         Y1 *= c->yuv2rgb_y_coeff;
 715         Y2 *= c->yuv2rgb_y_coeff;
 716         Y1 += 1 << 13; // 21
 717         Y2 += 1 << 13;
 718         // 8bit: 17 + 13bit = 30bit, 16bit: 17 + 13bit = 30bit
 719
 720         R = V * c->yuv2rgb_v2r_coeff;
 721         G = V * c->yuv2rgb_v2g_coeff + U * c->yuv2rgb_u2g_coeff;
 722         B =                            U * c->yuv2rgb_u2b_coeff;
 723
 724         // 8bit: 30 - 22 = 8bit, 16bit: 30bit - 14 = 16bit
 725         output_pixel(&dest[0], av_clip_uintp2(R_B + Y1, 30) >> 14);
 726         output_pixel(&dest[1], av_clip_uintp2(  G + Y1, 30) >> 14);
 727         output_pixel(&dest[2], av_clip_uintp2(B_R + Y1, 30) >> 14);
 728         output_pixel(&dest[3], av_clip_uintp2(R_B + Y2, 30) >> 14);
 729         output_pixel(&dest[4], av_clip_uintp2(  G + Y2, 30) >> 14);
 730         output_pixel(&dest[5], av_clip_uintp2(B_R + Y2, 30) >> 14);
 731         dest += 6;
 732     }
 733 }
 734
 735 static av_always_inline void
 736 yuv2rgb48_2_c_template(SwsContext *c, const int32_t *buf[2],
 737                        const int32_t *ubuf[2], const int32_t *vbuf[2],
 738                        const int32_t *abuf[2], uint16_t *dest, int dstW,
 739                        int yalpha, int uvalpha, int y,
 740                        enum AVPixelFormat target)
 741 {
 742     const int32_t *buf0  = buf[0],  *buf1  = buf[1],
 743                   *ubuf0 = ubuf[0], *ubuf1 = ubuf[1],
 744                   *vbuf0 = vbuf[0], *vbuf1 = vbuf[1];
 745     int  yalpha1 = 4096 - yalpha;
 746     int uvalpha1 = 4096 - uvalpha;
 747     int i;
 748
 749     for (i = 0; i < ((dstW + 1) >> 1); i++) {
 750         int Y1 = (buf0[i * 2]     * yalpha1  + buf1[i * 2]     * yalpha) >> 14;
 751         int Y2 = (buf0[i * 2 + 1] * yalpha1  + buf1[i * 2 + 1] * yalpha) >> 14;
 752         int U  = (ubuf0[i]        * uvalpha1 + ubuf1[i]        * uvalpha + (-128 << 23)) >> 14;
 753         int V  = (vbuf0[i]        * uvalpha1 + vbuf1[i]        * uvalpha + (-128 << 23)) >> 14;
 754         int R, G, B;
 755
 756         Y1 -= c->yuv2rgb_y_offset;
 757         Y2 -= c->yuv2rgb_y_offset;
 758         Y1 *= c->yuv2rgb_y_coeff;
 759         Y2 *= c->yuv2rgb_y_coeff;
 760         Y1 += 1 << 13;
 761         Y2 += 1 << 13;
 762
 763         R = V * c->yuv2rgb_v2r_coeff;
 764         G = V * c->yuv2rgb_v2g_coeff + U * c->yuv2rgb_u2g_coeff;
 765         B =                            U * c->yuv2rgb_u2b_coeff;
 766
 767         output_pixel(&dest[0], av_clip_uintp2(R_B + Y1, 30) >> 14);
 768         output_pixel(&dest[1], av_clip_uintp2(  G + Y1, 30) >> 14);
 769         output_pixel(&dest[2], av_clip_uintp2(B_R + Y1, 30) >> 14);
 770         output_pixel(&dest[3], av_clip_uintp2(R_B + Y2, 30) >> 14);
 771         output_pixel(&dest[4], av_clip_uintp2(  G + Y2, 30) >> 14);
 772         output_pixel(&dest[5], av_clip_uintp2(B_R + Y2, 30) >> 14);
 773         dest += 6;
 774     }
 775 }
 776
 777 static av_always_inline void
 778 yuv2rgb48_1_c_template(SwsContext *c, const int32_t *buf0,
 779                        const int32_t *ubuf[2], const int32_t *vbuf[2],
 780                        const int32_t *abuf0, uint16_t *dest, int dstW,
 781                        int uvalpha, int y, enum AVPixelFormat target)
 782 {
 783     const int32_t *ubuf0 = ubuf[0], *vbuf0 = vbuf[0];
 784     int i;
 785
 786     if (uvalpha < 2048) {
 787         for (i = 0; i < ((dstW + 1) >> 1); i++) {
 788             int Y1 = (buf0[i * 2]    ) >> 2;
 789             int Y2 = (buf0[i * 2 + 1]) >> 2;
 790             int U  = (ubuf0[i] + (-128 << 11)) >> 2;
 791             int V  = (vbuf0[i] + (-128 << 11)) >> 2;
 792             int R, G, B;
 793
 794             Y1 -= c->yuv2rgb_y_offset;
 795             Y2 -= c->yuv2rgb_y_offset;
 796             Y1 *= c->yuv2rgb_y_coeff;
 797             Y2 *= c->yuv2rgb_y_coeff;
 798             Y1 += 1 << 13;
 799             Y2 += 1 << 13;
 800
 801             R = V * c->yuv2rgb_v2r_coeff;
 802             G = V * c->yuv2rgb_v2g_coeff + U * c->yuv2rgb_u2g_coeff;
 803             B =                            U * c->yuv2rgb_u2b_coeff;
 804
 805             output_pixel(&dest[0], av_clip_uintp2(R_B + Y1, 30) >> 14);
 806             output_pixel(&dest[1], av_clip_uintp2(  G + Y1, 30) >> 14);
 807             output_pixel(&dest[2], av_clip_uintp2(B_R + Y1, 30) >> 14);
 808             output_pixel(&dest[3], av_clip_uintp2(R_B + Y2, 30) >> 14);
 809             output_pixel(&dest[4], av_clip_uintp2(  G + Y2, 30) >> 14);
 810             output_pixel(&dest[5], av_clip_uintp2(B_R + Y2, 30) >> 14);
 811             dest += 6;
 812         }
 813     } else {
 814         const int32_t *ubuf1 = ubuf[1], *vbuf1 = vbuf[1];
 815         for (i = 0; i < ((dstW + 1) >> 1); i++) {
 816             int Y1 = (buf0[i * 2]    ) >> 2;
 817             int Y2 = (buf0[i * 2 + 1]) >> 2;
 818             int U  = (ubuf0[i] + ubuf1[i] + (-128 << 12)) >> 3;
 819             int V  = (vbuf0[i] + vbuf1[i] + (-128 << 12)) >> 3;
 820             int R, G, B;
 821
 822             Y1 -= c->yuv2rgb_y_offset;
 823             Y2 -= c->yuv2rgb_y_offset;
 824             Y1 *= c->yuv2rgb_y_coeff;
 825             Y2 *= c->yuv2rgb_y_coeff;
 826             Y1 += 1 << 13;
 827             Y2 += 1 << 13;
 828
 829             R = V * c->yuv2rgb_v2r_coeff;
 830             G = V * c->yuv2rgb_v2g_coeff + U * c->yuv2rgb_u2g_coeff;
 831             B =                            U * c->yuv2rgb_u2b_coeff;
 832
 833             output_pixel(&dest[0], av_clip_uintp2(R_B + Y1, 30) >> 14);
 834             output_pixel(&dest[1], av_clip_uintp2(  G + Y1, 30) >> 14);
 835             output_pixel(&dest[2], av_clip_uintp2(B_R + Y1, 30) >> 14);
 836             output_pixel(&dest[3], av_clip_uintp2(R_B + Y2, 30) >> 14);
 837             output_pixel(&dest[4], av_clip_uintp2(  G + Y2, 30) >> 14);
 838             output_pixel(&dest[5], av_clip_uintp2(B_R + Y2, 30) >> 14);
 839             dest += 6;
 840         }
 841     }
 842 }
 843
 844 #undef output_pixel
 845 #undef r_b
 846 #undef b_r
 847
 848 #define YUV2PACKED16WRAPPER(name, base, ext, fmt) \
 849 static void name ## ext ## _X_c(SwsContext *c, const int16_t *lumFilter, \
 850                         const int16_t **_lumSrc, int lumFilterSize, \
 851                         const int16_t *chrFilter, const int16_t **_chrUSrc, \
 852                         const int16_t **_chrVSrc, int chrFilterSize, \
 853                         const int16_t **_alpSrc, uint8_t *_dest, int dstW, \
 854                         int y) \
 855 { \
 856     const int32_t **lumSrc  = (const int32_t **) _lumSrc, \
 857                   **chrUSrc = (const int32_t **) _chrUSrc, \
 858                   **chrVSrc = (const int32_t **) _chrVSrc, \
 859                   **alpSrc  = (const int32_t **) _alpSrc; \
 860     uint16_t *dest = (uint16_t *) _dest; \
 861     name ## base ## _X_c_template(c, lumFilter, lumSrc, lumFilterSize, \
 862                           chrFilter, chrUSrc, chrVSrc, chrFilterSize, \
 863                           alpSrc, dest, dstW, y, fmt); \
 864 } \
 865  \
 866 static void name ## ext ## _2_c(SwsContext *c, const int16_t *_buf[2], \
 867                         const int16_t *_ubuf[2], const int16_t *_vbuf[2], \
 868                         const int16_t *_abuf[2], uint8_t *_dest, int dstW, \
 869                         int yalpha, int uvalpha, int y) \
 870 { \
 871     const int32_t **buf  = (const int32_t **) _buf, \
 872                   **ubuf = (const int32_t **) _ubuf, \
 873                   **vbuf = (const int32_t **) _vbuf, \
 874                   **abuf = (const int32_t **) _abuf; \
 875     uint16_t *dest = (uint16_t *) _dest; \
 876     name ## base ## _2_c_template(c, buf, ubuf, vbuf, abuf, \
 877                           dest, dstW, yalpha, uvalpha, y, fmt); \
 878 } \
 879  \
 880 static void name ## ext ## _1_c(SwsContext *c, const int16_t *_buf0, \
 881                         const int16_t *_ubuf[2], const int16_t *_vbuf[2], \
 882                         const int16_t *_abuf0, uint8_t *_dest, int dstW, \
 883                         int uvalpha, int y) \
 884 { \
 885     const int32_t *buf0  = (const int32_t *)  _buf0, \
 886                  **ubuf  = (const int32_t **) _ubuf, \
 887                  **vbuf  = (const int32_t **) _vbuf, \
 888                   *abuf0 = (const int32_t *)  _abuf0; \
 889     uint16_t *dest = (uint16_t *) _dest; \
 890     name ## base ## _1_c_template(c, buf0, ubuf, vbuf, abuf0, dest, \
 891                                   dstW, uvalpha, y, fmt); \
 892 }
 893
 894 YUV2PACKED16WRAPPER(yuv2, rgb48, rgb48be, AV_PIX_FMT_RGB48BE)
 895 YUV2PACKED16WRAPPER(yuv2, rgb48, rgb48le, AV_PIX_FMT_RGB48LE)
 896 YUV2PACKED16WRAPPER(yuv2, rgb48, bgr48be, AV_PIX_FMT_BGR48BE)
 897 YUV2PACKED16WRAPPER(yuv2, rgb48, bgr48le, AV_PIX_FMT_BGR48LE)
 898
 899 /*
 900  * Write out 2 RGB pixels in the target pixel format. This function takes a
 901  * R/G/B LUT as generated by ff_yuv2rgb_c_init_tables(), which takes care of
 902  * things like endianness conversion and shifting. The caller takes care of
 903  * setting the correct offset in these tables from the chroma (U/V) values.
 904  * This function then uses the luminance (Y1/Y2) values to write out the
 905  * correct RGB values into the destination buffer.
 906  */
 907 static av_always_inline void
 908 yuv2rgb_write(uint8_t *_dest, int i, int Y1, int Y2,
 909               unsigned A1, unsigned A2,
 910               const void *_r, const void *_g, const void *_b, int y,
 911               enum AVPixelFormat target, int hasAlpha)
 912 {
 913     if (target == AV_PIX_FMT_ARGB || target == AV_PIX_FMT_RGBA ||
 914         target == AV_PIX_FMT_ABGR || target == AV_PIX_FMT_BGRA) {
 915         uint32_t *dest = (uint32_t *) _dest;
 916         const uint32_t *r = (const uint32_t *) _r;
 917         const uint32_t *g = (const uint32_t *) _g;
 918         const uint32_t *b = (const uint32_t *) _b;
 919
 920 #if CONFIG_SMALL
 921         int sh = hasAlpha ? ((target == AV_PIX_FMT_RGB32_1 || target == AV_PIX_FMT_BGR32_1) ? 0 : 24) : 0;
 922
 923         dest[i * 2 + 0] = r[Y1] + g[Y1] + b[Y1] + (hasAlpha ? A1 << sh : 0);
 924         dest[i * 2 + 1] = r[Y2] + g[Y2] + b[Y2] + (hasAlpha ? A2 << sh : 0);
 925 #else
 926         if (hasAlpha) {
 927             int sh = (target == AV_PIX_FMT_RGB32_1 || target == AV_PIX_FMT_BGR32_1) ? 0 : 24;
 928
 929             dest[i * 2 + 0] = r[Y1] + g[Y1] + b[Y1] + (A1 << sh);
 930             dest[i * 2 + 1] = r[Y2] + g[Y2] + b[Y2] + (A2 << sh);
 931         } else {
 932             dest[i * 2 + 0] = r[Y1] + g[Y1] + b[Y1];
 933             dest[i * 2 + 1] = r[Y2] + g[Y2] + b[Y2];
 934         }
 935 #endif
 936     } else if (target == AV_PIX_FMT_RGB24 || target == AV_PIX_FMT_BGR24) {
 937         uint8_t *dest = (uint8_t *) _dest;
 938         const uint8_t *r = (const uint8_t *) _r;
 939         const uint8_t *g = (const uint8_t *) _g;
 940         const uint8_t *b = (const uint8_t *) _b;
 941
 942 #define r_b ((target == AV_PIX_FMT_RGB24) ? r : b)
 943 #define b_r ((target == AV_PIX_FMT_RGB24) ? b : r)
 944
 945         dest[i * 6 + 0] = r_b[Y1];
 946         dest[i * 6 + 1] =   g[Y1];
 947         dest[i * 6 + 2] = b_r[Y1];
 948         dest[i * 6 + 3] = r_b[Y2];
 949         dest[i * 6 + 4] =   g[Y2];
 950         dest[i * 6 + 5] = b_r[Y2];
 951 #undef r_b
 952 #undef b_r
 953     } else if (target == AV_PIX_FMT_RGB565 || target == AV_PIX_FMT_BGR565 ||
 954                target == AV_PIX_FMT_RGB555 || target == AV_PIX_FMT_BGR555 ||
 955                target == AV_PIX_FMT_RGB444 || target == AV_PIX_FMT_BGR444) {
 956         uint16_t *dest = (uint16_t *) _dest;
 957         const uint16_t *r = (const uint16_t *) _r;
 958         const uint16_t *g = (const uint16_t *) _g;
 959         const uint16_t *b = (const uint16_t *) _b;
 960         int dr1, dg1, db1, dr2, dg2, db2;
 961
 962         if (target == AV_PIX_FMT_RGB565 || target == AV_PIX_FMT_BGR565) {
 963             dr1 = dither_2x2_8[ y & 1     ][0];
 964             dg1 = dither_2x2_4[ y & 1     ][0];
 965             db1 = dither_2x2_8[(y & 1) ^ 1][0];
 966             dr2 = dither_2x2_8[ y & 1     ][1];
 967             dg2 = dither_2x2_4[ y & 1     ][1];
 968             db2 = dither_2x2_8[(y & 1) ^ 1][1];
 969         } else if (target == AV_PIX_FMT_RGB555 || target == AV_PIX_FMT_BGR555) {
 970             dr1 = dither_2x2_8[ y & 1     ][0];
 971             dg1 = dither_2x2_8[ y & 1     ][1];
 972             db1 = dither_2x2_8[(y & 1) ^ 1][0];
 973             dr2 = dither_2x2_8[ y & 1     ][1];
 974             dg2 = dither_2x2_8[ y & 1     ][0];
 975             db2 = dither_2x2_8[(y & 1) ^ 1][1];
 976         } else {
 977             dr1 = dither_4x4_16[ y & 3     ][0];
 978             dg1 = dither_4x4_16[ y & 3     ][1];
 979             db1 = dither_4x4_16[(y & 3) ^ 3][0];
 980             dr2 = dither_4x4_16[ y & 3     ][1];
 981             dg2 = dither_4x4_16[ y & 3     ][0];
 982             db2 = dither_4x4_16[(y & 3) ^ 3][1];
 983         }
 984
 985         dest[i * 2 + 0] = r[Y1 + dr1] + g[Y1 + dg1] + b[Y1 + db1];
 986         dest[i * 2 + 1] = r[Y2 + dr2] + g[Y2 + dg2] + b[Y2 + db2];
 987     } else /* 8/4-bit */ {
 988         uint8_t *dest = (uint8_t *) _dest;
 989         const uint8_t *r = (const uint8_t *) _r;
 990         const uint8_t *g = (const uint8_t *) _g;
 991         const uint8_t *b = (const uint8_t *) _b;
 992         int dr1, dg1, db1, dr2, dg2, db2;
 993
 994         if (target == AV_PIX_FMT_RGB8 || target == AV_PIX_FMT_BGR8) {
 995             const uint8_t * const d64 = dither_8x8_73[y & 7];
 996             const uint8_t * const d32 = dither_8x8_32[y & 7];
 997             dr1 = dg1 = d32[(i * 2 + 0) & 7];
 998             db1 =       d64[(i * 2 + 0) & 7];
 999             dr2 = dg2 = d32[(i * 2 + 1) & 7];
1000             db2 =       d64[(i * 2 + 1) & 7];
1001         } else {
1002             const uint8_t * const d64  = dither_8x8_73 [y & 7];
1003             const uint8_t * const d128 = dither_8x8_220[y & 7];
1004             dr1 = db1 = d128[(i * 2 + 0) & 7];
1005             dg1 =        d64[(i * 2 + 0) & 7];
1006             dr2 = db2 = d128[(i * 2 + 1) & 7];
1007             dg2 =        d64[(i * 2 + 1) & 7];
1008         }
1009
1010         if (target == AV_PIX_FMT_RGB4 || target == AV_PIX_FMT_BGR4) {
1011             dest[i] = r[Y1 + dr1] + g[Y1 + dg1] + b[Y1 + db1] +
1012                     ((r[Y2 + dr2] + g[Y2 + dg2] + b[Y2 + db2]) << 4);
1013         } else {
1014             dest[i * 2 + 0] = r[Y1 + dr1] + g[Y1 + dg1] + b[Y1 + db1];
1015             dest[i * 2 + 1] = r[Y2 + dr2] + g[Y2 + dg2] + b[Y2 + db2];
1016         }
1017     }
1018 }
1019
1020 static av_always_inline void
1021 yuv2rgb_X_c_template(SwsContext *c, const int16_t *lumFilter,
1022                      const int16_t **lumSrc, int lumFilterSize,
1023                      const int16_t *chrFilter, const int16_t **chrUSrc,
1024                      const int16_t **chrVSrc, int chrFilterSize,
1025                      const int16_t **alpSrc, uint8_t *dest, int dstW,
1026                      int y, enum AVPixelFormat target, int hasAlpha)
1027 {
1028     int i;
1029
1030     for (i = 0; i < ((dstW + 1) >> 1); i++) {
1031         int j, A1, A2;
1032         int Y1 = 1 << 18;
1033         int Y2 = 1 << 18;
1034         int U  = 1 << 18;
1035         int V  = 1 << 18;
1036         const void *r, *g, *b;
1037
1038         for (j = 0; j < lumFilterSize; j++) {
1039             Y1 += lumSrc[j][i * 2]     * lumFilter[j];
1040             Y2 += lumSrc[j][i * 2 + 1] * lumFilter[j];
1041         }
1042         for (j = 0; j < chrFilterSize; j++) {
1043             U += chrUSrc[j][i] * chrFilter[j];
1044             V += chrVSrc[j][i] * chrFilter[j];
1045         }
1046         Y1 >>= 19;
1047         Y2 >>= 19;
1048         U  >>= 19;
1049         V  >>= 19;
1050         if (hasAlpha) {
1051             A1 = 1 << 18;
1052             A2 = 1 << 18;
1053             for (j = 0; j < lumFilterSize; j++) {
1054                 A1 += alpSrc[j][i * 2    ] * lumFilter[j];
1055                 A2 += alpSrc[j][i * 2 + 1] * lumFilter[j];
1056             }
1057             A1 >>= 19;
1058             A2 >>= 19;
1059             if ((A1 | A2) & 0x100) {
1060                 A1 = av_clip_uint8(A1);
1061                 A2 = av_clip_uint8(A2);
1062             }
1063         }
1064
1065         r =  c->table_rV[V + YUVRGB_TABLE_HEADROOM];
1066         g = (c->table_gU[U + YUVRGB_TABLE_HEADROOM] + c->table_gV[V + YUVRGB_TABLE_HEADROOM]);
1067         b =  c->table_bU[U + YUVRGB_TABLE_HEADROOM];
1068
1069         yuv2rgb_write(dest, i, Y1, Y2, hasAlpha ? A1 : 0, hasAlpha ? A2 : 0,
1070                       r, g, b, y, target, hasAlpha);
1071     }
1072 }
1073
1074 static av_always_inline void
1075 yuv2rgb_2_c_template(SwsContext *c, const int16_t *buf[2],
1076                      const int16_t *ubuf[2], const int16_t *vbuf[2],
1077                      const int16_t *abuf[2], uint8_t *dest, int dstW,
1078                      int yalpha, int uvalpha, int y,
1079                      enum AVPixelFormat target, int hasAlpha)
1080 {
1081     const int16_t *buf0  = buf[0],  *buf1  = buf[1],
1082                   *ubuf0 = ubuf[0], *ubuf1 = ubuf[1],
1083                   *vbuf0 = vbuf[0], *vbuf1 = vbuf[1],
1084                   *abuf0 = hasAlpha ? abuf[0] : NULL,
1085                   *abuf1 = hasAlpha ? abuf[1] : NULL;
1086     int  yalpha1 = 4096 - yalpha;
1087     int uvalpha1 = 4096 - uvalpha;
1088     int i;
1089
1090     for (i = 0; i < ((dstW + 1) >> 1); i++) {
1091         int Y1 = (buf0[i * 2]     * yalpha1  + buf1[i * 2]     * yalpha)  >> 19;
1092         int Y2 = (buf0[i * 2 + 1] * yalpha1  + buf1[i * 2 + 1] * yalpha)  >> 19;
1093         int U  = (ubuf0[i]        * uvalpha1 + ubuf1[i]        * uvalpha) >> 19;
1094         int V  = (vbuf0[i]        * uvalpha1 + vbuf1[i]        * uvalpha) >> 19;
1095         int A1, A2;
1096         const void *r =  c->table_rV[V + YUVRGB_TABLE_HEADROOM],
1097                    *g = (c->table_gU[U + YUVRGB_TABLE_HEADROOM] + c->table_gV[V + YUVRGB_TABLE_HEADROOM]),
1098                    *b =  c->table_bU[U + YUVRGB_TABLE_HEADROOM];
1099
1100         if (hasAlpha) {
1101             A1 = (abuf0[i * 2    ] * yalpha1 + abuf1[i * 2    ] * yalpha) >> 19;
1102             A2 = (abuf0[i * 2 + 1] * yalpha1 + abuf1[i * 2 + 1] * yalpha) >> 19;
1103             A1 = av_clip_uint8(A1);
1104             A2 = av_clip_uint8(A2);
1105         }
1106
1107         yuv2rgb_write(dest, i, Y1, Y2, hasAlpha ? A1 : 0, hasAlpha ? A2 : 0,
1108                       r, g, b, y, target, hasAlpha);
1109     }
1110 }
1111
1112 static av_always_inline void
1113 yuv2rgb_1_c_template(SwsContext *c, const int16_t *buf0,
1114                      const int16_t *ubuf[2], const int16_t *vbuf[2],
1115                      const int16_t *abuf0, uint8_t *dest, int dstW,
1116                      int uvalpha, int y, enum AVPixelFormat target,
1117                      int hasAlpha)
1118 {
1119     const int16_t *ubuf0 = ubuf[0], *vbuf0 = vbuf[0];
1120     int i;
1121
1122     if (uvalpha < 2048) {
1123         for (i = 0; i < ((dstW + 1) >> 1); i++) {
1124             int Y1 = (buf0[i * 2    ] + 64) >> 7;
1125             int Y2 = (buf0[i * 2 + 1] + 64) >> 7;
1126             int U  = (ubuf0[i]        + 64) >> 7;
1127             int V  = (vbuf0[i]        + 64) >> 7;
1128             int A1, A2;
1129             const void *r =  c->table_rV[V + YUVRGB_TABLE_HEADROOM],
1130                        *g = (c->table_gU[U + YUVRGB_TABLE_HEADROOM] + c->table_gV[V + YUVRGB_TABLE_HEADROOM]),
1131                        *b =  c->table_bU[U + YUVRGB_TABLE_HEADROOM];
1132
1133             if (hasAlpha) {
1134                 A1 = abuf0[i * 2    ] * 255 + 16384 >> 15;
1135                 A2 = abuf0[i * 2 + 1] * 255 + 16384 >> 15;
1136                 A1 = av_clip_uint8(A1);
1137                 A2 = av_clip_uint8(A2);
1138             }
1139
1140             yuv2rgb_write(dest, i, Y1, Y2, hasAlpha ? A1 : 0, hasAlpha ? A2 : 0,
1141                           r, g, b, y, target, hasAlpha);
1142         }
1143     } else {
1144         const int16_t *ubuf1 = ubuf[1], *vbuf1 = vbuf[1];
1145         for (i = 0; i < ((dstW + 1) >> 1); i++) {
1146             int Y1 = (buf0[i * 2    ]     +  64) >> 7;
1147             int Y2 = (buf0[i * 2 + 1]     +  64) >> 7;
1148             int U  = (ubuf0[i] + ubuf1[i] + 128) >> 8;
1149             int V  = (vbuf0[i] + vbuf1[i] + 128) >> 8;
1150             int A1, A2;
1151             const void *r =  c->table_rV[V + YUVRGB_TABLE_HEADROOM],
1152                        *g = (c->table_gU[U + YUVRGB_TABLE_HEADROOM] + c->table_gV[V + YUVRGB_TABLE_HEADROOM]),
1153                        *b =  c->table_bU[U + YUVRGB_TABLE_HEADROOM];
1154
1155             if (hasAlpha) {
1156                 A1 = (abuf0[i * 2    ] + 64) >> 7;
1157                 A2 = (abuf0[i * 2 + 1] + 64) >> 7;
1158                 A1 = av_clip_uint8(A1);
1159                 A2 = av_clip_uint8(A2);
1160             }
1161
1162             yuv2rgb_write(dest, i, Y1, Y2, hasAlpha ? A1 : 0, hasAlpha ? A2 : 0,
1163                           r, g, b, y, target, hasAlpha);
1164         }
1165     }
1166 }
1167
1168 #define YUV2RGBWRAPPERX(name, base, ext, fmt, hasAlpha) \
1169 static void name ## ext ## _X_c(SwsContext *c, const int16_t *lumFilter, \
1170                                 const int16_t **lumSrc, int lumFilterSize, \
1171                                 const int16_t *chrFilter, const int16_t **chrUSrc, \
1172                                 const int16_t **chrVSrc, int chrFilterSize, \
1173                                 const int16_t **alpSrc, uint8_t *dest, int dstW, \
1174                                 int y) \
1175 { \
1176     name ## base ## _X_c_template(c, lumFilter, lumSrc, lumFilterSize, \
1177                                   chrFilter, chrUSrc, chrVSrc, chrFilterSize, \
1178                                   alpSrc, dest, dstW, y, fmt, hasAlpha); \
1179 }
1180 #define YUV2RGBWRAPPER(name, base, ext, fmt, hasAlpha) \
1181 YUV2RGBWRAPPERX(name, base, ext, fmt, hasAlpha) \
1182 static void name ## ext ## _2_c(SwsContext *c, const int16_t *buf[2], \
1183                                 const int16_t *ubuf[2], const int16_t *vbuf[2], \
1184                                 const int16_t *abuf[2], uint8_t *dest, int dstW, \
1185                                 int yalpha, int uvalpha, int y) \
1186 { \
1187     name ## base ## _2_c_template(c, buf, ubuf, vbuf, abuf, \
1188                                   dest, dstW, yalpha, uvalpha, y, fmt, hasAlpha); \
1189 } \
1190  \
1191 static void name ## ext ## _1_c(SwsContext *c, const int16_t *buf0, \
1192                                 const int16_t *ubuf[2], const int16_t *vbuf[2], \
1193                                 const int16_t *abuf0, uint8_t *dest, int dstW, \
1194                                 int uvalpha, int y) \
1195 { \
1196     name ## base ## _1_c_template(c, buf0, ubuf, vbuf, abuf0, dest, \
1197                                   dstW, uvalpha, y, fmt, hasAlpha); \
1198 }
1199
1200 #if CONFIG_SMALL
1201 YUV2RGBWRAPPER(yuv2rgb,,  32_1,  AV_PIX_FMT_RGB32_1,   CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1202 YUV2RGBWRAPPER(yuv2rgb,,  32,    AV_PIX_FMT_RGB32,     CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1203 #else
1204 #if CONFIG_SWSCALE_ALPHA
1205 YUV2RGBWRAPPER(yuv2rgb,, a32_1,  AV_PIX_FMT_RGB32_1,   1)
1206 YUV2RGBWRAPPER(yuv2rgb,, a32,    AV_PIX_FMT_RGB32,     1)
1207 #endif
1208 YUV2RGBWRAPPER(yuv2rgb,, x32_1,  AV_PIX_FMT_RGB32_1,   0)
1209 YUV2RGBWRAPPER(yuv2rgb,, x32,    AV_PIX_FMT_RGB32,     0)
1210 #endif
1211 YUV2RGBWRAPPER(yuv2, rgb, rgb24, AV_PIX_FMT_RGB24,   0)
1212 YUV2RGBWRAPPER(yuv2, rgb, bgr24, AV_PIX_FMT_BGR24,   0)
1213 YUV2RGBWRAPPER(yuv2rgb,,  16,    AV_PIX_FMT_RGB565,    0)
1214 YUV2RGBWRAPPER(yuv2rgb,,  15,    AV_PIX_FMT_RGB555,    0)
1215 YUV2RGBWRAPPER(yuv2rgb,,  12,    AV_PIX_FMT_RGB444,    0)
1216 YUV2RGBWRAPPER(yuv2rgb,,   8,    AV_PIX_FMT_RGB8,      0)
1217 YUV2RGBWRAPPER(yuv2rgb,,   4,    AV_PIX_FMT_RGB4,      0)
1218 YUV2RGBWRAPPER(yuv2rgb,,   4b,   AV_PIX_FMT_RGB4_BYTE, 0)
1219
1220 static av_always_inline void
1221 yuv2rgb_full_X_c_template(SwsContext *c, const int16_t *lumFilter,
1222                           const int16_t **lumSrc, int lumFilterSize,
1223                           const int16_t *chrFilter, const int16_t **chrUSrc,
1224                           const int16_t **chrVSrc, int chrFilterSize,
1225                           const int16_t **alpSrc, uint8_t *dest,
1226                           int dstW, int y, enum AVPixelFormat target, int hasAlpha)
1227 {
1228     int i;
1229     int step = (target == AV_PIX_FMT_RGB24 || target == AV_PIX_FMT_BGR24) ? 3 : 4;
1230     int err[4] = {0};
1231     int isrgb8 = target == AV_PIX_FMT_BGR8 || target == AV_PIX_FMT_RGB8;
1232
1233     for (i = 0; i < dstW; i++) {
1234         int j;
1235         int Y = 1<<9;
1236         int U = (1<<9)-(128 << 19);
1237         int V = (1<<9)-(128 << 19);
1238         int R, G, B, A;
1239
1240         for (j = 0; j < lumFilterSize; j++) {
1241             Y += lumSrc[j][i] * lumFilter[j];
1242         }
1243         for (j = 0; j < chrFilterSize; j++) {
1244             U += chrUSrc[j][i] * chrFilter[j];
1245             V += chrVSrc[j][i] * chrFilter[j];
1246         }
1247         Y >>= 10;
1248         U >>= 10;
1249         V >>= 10;
1250         if (hasAlpha) {
1251             A = 1 << 18;
1252             for (j = 0; j < lumFilterSize; j++) {
1253                 A += alpSrc[j][i] * lumFilter[j];
1254             }
1255             A >>= 19;
1256             if (A & 0x100)
1257                 A = av_clip_uint8(A);
1258         }
1259         Y -= c->yuv2rgb_y_offset;
1260         Y *= c->yuv2rgb_y_coeff;
1261         Y += 1 << 21;
1262         R = Y + V*c->yuv2rgb_v2r_coeff;
1263         G = Y + V*c->yuv2rgb_v2g_coeff + U*c->yuv2rgb_u2g_coeff;
1264         B = Y +                          U*c->yuv2rgb_u2b_coeff;
1265         if ((R | G | B) & 0xC0000000) {
1266             R = av_clip_uintp2(R, 30);
1267             G = av_clip_uintp2(G, 30);
1268             B = av_clip_uintp2(B, 30);
1269         }
1270
1271         switch(target) {
1272         case AV_PIX_FMT_ARGB:
1273             dest[0] = hasAlpha ? A : 255;
1274             dest[1] = R >> 22;
1275             dest[2] = G >> 22;
1276             dest[3] = B >> 22;
1277             break;
1278         case AV_PIX_FMT_RGB24:
1279             dest[0] = R >> 22;
1280             dest[1] = G >> 22;
1281             dest[2] = B >> 22;
1282             break;
1283         case AV_PIX_FMT_RGBA:
1284             dest[0] = R >> 22;
1285             dest[1] = G >> 22;
1286             dest[2] = B >> 22;
1287             dest[3] = hasAlpha ? A : 255;
1288             break;
1289         case AV_PIX_FMT_ABGR:
1290             dest[0] = hasAlpha ? A : 255;
1291             dest[1] = B >> 22;
1292             dest[2] = G >> 22;
1293             dest[3] = R >> 22;
1294             break;
1295         case AV_PIX_FMT_BGR24:
1296             dest[0] = B >> 22;
1297             dest[1] = G >> 22;
1298             dest[2] = R >> 22;
1299             break;
1300         case AV_PIX_FMT_BGRA:
1301             dest[0] = B >> 22;
1302             dest[1] = G >> 22;
1303             dest[2] = R >> 22;
1304             dest[3] = hasAlpha ? A : 255;
1305             break;
1306         case AV_PIX_FMT_BGR4_BYTE:
1307         case AV_PIX_FMT_RGB4_BYTE:
1308         case AV_PIX_FMT_BGR8:
1309         case AV_PIX_FMT_RGB8:
1310         {
1311             int r,g,b;
1312             R >>= 22;
1313             G >>= 22;
1314             B >>= 22;
1315             R += (7*err[0] + 1*c->dither_error[0][i] + 5*c->dither_error[0][i+1] + 3*c->dither_error[0][i+2])>>4;
1316             G += (7*err[1] + 1*c->dither_error[1][i] + 5*c->dither_error[1][i+1] + 3*c->dither_error[1][i+2])>>4;
1317             B += (7*err[2] + 1*c->dither_error[2][i] + 5*c->dither_error[2][i+1] + 3*c->dither_error[2][i+2])>>4;
1318             c->dither_error[0][i] = err[0];
1319             c->dither_error[1][i] = err[1];
1320             c->dither_error[2][i] = err[2];
1321             r = R >> (isrgb8 ? 5 : 7);
1322             g = G >> (isrgb8 ? 5 : 6);
1323             b = B >> (isrgb8 ? 6 : 7);
1324             r = av_clip(r, 0, isrgb8 ? 7 : 1);
1325             g = av_clip(g, 0, isrgb8 ? 7 : 3);
1326             b = av_clip(b, 0, isrgb8 ? 3 : 1);
1327             err[0] = R - r*(isrgb8 ? 36 : 255);
1328             err[1] = G - g*(isrgb8 ? 36 : 85);
1329             err[2] = B - b*(isrgb8 ? 85 : 255);
1330             if(target == AV_PIX_FMT_BGR4_BYTE) {
1331                 dest[0] = r + 2*g + 8*b;
1332             } else if(target == AV_PIX_FMT_RGB4_BYTE) {
1333                 dest[0] = b + 2*g + 8*r;
1334             } else if(target == AV_PIX_FMT_BGR8) {
1335                 dest[0] = r + 8*g + 64*b;
1336             } else if(target == AV_PIX_FMT_RGB8) {
1337                 dest[0] = b + 4*g + 32*r;
1338             } else
1339                 av_assert2(0);
1340             step = 1;
1341             break;}
1342         }
1343         dest += step;
1344     }
1345     c->dither_error[0][i] = err[0];
1346     c->dither_error[1][i] = err[1];
1347     c->dither_error[2][i] = err[2];
1348 }
1349
1350 #if CONFIG_SMALL
1351 YUV2RGBWRAPPERX(yuv2, rgb_full, bgra32_full, AV_PIX_FMT_BGRA,  CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1352 YUV2RGBWRAPPERX(yuv2, rgb_full, abgr32_full, AV_PIX_FMT_ABGR,  CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1353 YUV2RGBWRAPPERX(yuv2, rgb_full, rgba32_full, AV_PIX_FMT_RGBA,  CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1354 YUV2RGBWRAPPERX(yuv2, rgb_full, argb32_full, AV_PIX_FMT_ARGB,  CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1355 #else
1356 #if CONFIG_SWSCALE_ALPHA
1357 YUV2RGBWRAPPERX(yuv2, rgb_full, bgra32_full, AV_PIX_FMT_BGRA,  1)
1358 YUV2RGBWRAPPERX(yuv2, rgb_full, abgr32_full, AV_PIX_FMT_ABGR,  1)
1359 YUV2RGBWRAPPERX(yuv2, rgb_full, rgba32_full, AV_PIX_FMT_RGBA,  1)
1360 YUV2RGBWRAPPERX(yuv2, rgb_full, argb32_full, AV_PIX_FMT_ARGB,  1)
1361 #endif
1362 YUV2RGBWRAPPERX(yuv2, rgb_full, bgrx32_full, AV_PIX_FMT_BGRA,  0)
1363 YUV2RGBWRAPPERX(yuv2, rgb_full, xbgr32_full, AV_PIX_FMT_ABGR,  0)
1364 YUV2RGBWRAPPERX(yuv2, rgb_full, rgbx32_full, AV_PIX_FMT_RGBA,  0)
1365 YUV2RGBWRAPPERX(yuv2, rgb_full, xrgb32_full, AV_PIX_FMT_ARGB,  0)
1366 #endif
1367 YUV2RGBWRAPPERX(yuv2, rgb_full, bgr24_full,  AV_PIX_FMT_BGR24, 0)
1368 YUV2RGBWRAPPERX(yuv2, rgb_full, rgb24_full,  AV_PIX_FMT_RGB24, 0)
1369
1370 YUV2RGBWRAPPERX(yuv2, rgb_full, bgr4_byte_full,  AV_PIX_FMT_BGR4_BYTE, 0)
1371 YUV2RGBWRAPPERX(yuv2, rgb_full, rgb4_byte_full,  AV_PIX_FMT_RGB4_BYTE, 0)
1372 YUV2RGBWRAPPERX(yuv2, rgb_full, bgr8_full,   AV_PIX_FMT_BGR8,  0)
1373 YUV2RGBWRAPPERX(yuv2, rgb_full, rgb8_full,   AV_PIX_FMT_RGB8,  0)
1374
1375 static void
1376 yuv2gbrp_full_X_c(SwsContext *c, const int16_t *lumFilter,
1377                   const int16_t **lumSrc, int lumFilterSize,
1378                   const int16_t *chrFilter, const int16_t **chrUSrc,
1379                   const int16_t **chrVSrc, int chrFilterSize,
1380                   const int16_t **alpSrc, uint8_t **dest,
1381                   int dstW, int y)
1382 {
1383     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(c->dstFormat);
1384     int i;
1385     int hasAlpha = 0;
1386     uint16_t **dest16 = (uint16_t**)dest;
1387     int SH = 22 + 7 - desc->comp[0].depth_minus1;
1388
1389     for (i = 0; i < dstW; i++) {
1390         int j;
1391         int Y = 1 << 9;
1392         int U = (1 << 9) - (128 << 19);
1393         int V = (1 << 9) - (128 << 19);
1394         int R, G, B, A;
1395
1396         for (j = 0; j < lumFilterSize; j++)
1397             Y += lumSrc[j][i] * lumFilter[j];
1398
1399         for (j = 0; j < chrFilterSize; j++) {
1400             U += chrUSrc[j][i] * chrFilter[j];
1401             V += chrVSrc[j][i] * chrFilter[j];
1402         }
1403
1404         Y >>= 10;
1405         U >>= 10;
1406         V >>= 10;
1407
1408         if (hasAlpha) {
1409             A = 1 << 18;
1410
1411             for (j = 0; j < lumFilterSize; j++)
1412                 A += alpSrc[j][i] * lumFilter[j];
1413
1414             A >>= 19;
1415
1416             if (A & 0x100)
1417                 A = av_clip_uint8(A);
1418         }
1419
1420         Y -= c->yuv2rgb_y_offset;
1421         Y *= c->yuv2rgb_y_coeff;
1422         Y += 1 << 21;
1423         R = Y + V * c->yuv2rgb_v2r_coeff;
1424         G = Y + V * c->yuv2rgb_v2g_coeff + U * c->yuv2rgb_u2g_coeff;
1425         B = Y +                            U * c->yuv2rgb_u2b_coeff;
1426
1427         if ((R | G | B) & 0xC0000000) {
1428             R = av_clip_uintp2(R, 30);
1429             G = av_clip_uintp2(G, 30);
1430             B = av_clip_uintp2(B, 30);
1431         }
1432
1433         if (SH != 22) {
1434             dest16[0][i] = G >> SH;
1435             dest16[1][i] = B >> SH;
1436             dest16[2][i] = R >> SH;
1437         } else {
1438             dest[0][i] = G >> 22;
1439             dest[1][i] = B >> 22;
1440             dest[2][i] = R >> 22;
1441         }
1442     }
1443     if (SH != 22 && (!isBE(c->dstFormat)) != (!HAVE_BIGENDIAN)) {
1444         for (i = 0; i < dstW; i++) {
1445             dest16[0][i] = av_bswap16(dest16[0][i]);
1446             dest16[1][i] = av_bswap16(dest16[1][i]);
1447             dest16[2][i] = av_bswap16(dest16[2][i]);
1448         }
1449     }
1450 }
1451
1452 av_cold void ff_sws_init_output_funcs(SwsContext *c,
1453                                       yuv2planar1_fn *yuv2plane1,
1454                                       yuv2planarX_fn *yuv2planeX,
1455                                       yuv2interleavedX_fn *yuv2nv12cX,
1456                                       yuv2packed1_fn *yuv2packed1,
1457                                       yuv2packed2_fn *yuv2packed2,
1458                                       yuv2packedX_fn *yuv2packedX,
1459                                       yuv2anyX_fn *yuv2anyX)
1460 {
1461     enum AVPixelFormat dstFormat = c->dstFormat;
1462     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(dstFormat);
1463
1464     if (is16BPS(dstFormat)) {
1465         *yuv2planeX = isBE(dstFormat) ? yuv2planeX_16BE_c  : yuv2planeX_16LE_c;
1466         *yuv2plane1 = isBE(dstFormat) ? yuv2plane1_16BE_c  : yuv2plane1_16LE_c;
1467     } else if (is9_OR_10BPS(dstFormat)) {
1468         if (desc->comp[0].depth_minus1 == 8) {
1469             *yuv2planeX = isBE(dstFormat) ? yuv2planeX_9BE_c  : yuv2planeX_9LE_c;
1470             *yuv2plane1 = isBE(dstFormat) ? yuv2plane1_9BE_c  : yuv2plane1_9LE_c;
1471         } else if (desc->comp[0].depth_minus1 == 9) {
1472             *yuv2planeX = isBE(dstFormat) ? yuv2planeX_10BE_c  : yuv2planeX_10LE_c;
1473             *yuv2plane1 = isBE(dstFormat) ? yuv2plane1_10BE_c  : yuv2plane1_10LE_c;
1474         } else if (desc->comp[0].depth_minus1 == 11) {
1475             *yuv2planeX = isBE(dstFormat) ? yuv2planeX_12BE_c  : yuv2planeX_12LE_c;
1476             *yuv2plane1 = isBE(dstFormat) ? yuv2plane1_12BE_c  : yuv2plane1_12LE_c;
1477         } else if (desc->comp[0].depth_minus1 == 13) {
1478             *yuv2planeX = isBE(dstFormat) ? yuv2planeX_14BE_c  : yuv2planeX_14LE_c;
1479             *yuv2plane1 = isBE(dstFormat) ? yuv2plane1_14BE_c  : yuv2plane1_14LE_c;
1480         } else
1481             av_assert0(0);
1482     } else {
1483         *yuv2plane1 = yuv2plane1_8_c;
1484         *yuv2planeX = yuv2planeX_8_c;
1485         if (dstFormat == AV_PIX_FMT_NV12 || dstFormat == AV_PIX_FMT_NV21)
1486             *yuv2nv12cX = yuv2nv12cX_c;
1487     }
1488
1489     if(c->flags & SWS_FULL_CHR_H_INT) {
1490         switch (dstFormat) {
1491             case AV_PIX_FMT_RGBA:
1492 #if CONFIG_SMALL
1493                 *yuv2packedX = yuv2rgba32_full_X_c;
1494 #else
1495 #if CONFIG_SWSCALE_ALPHA
1496                 if (c->alpPixBuf) {
1497                     *yuv2packedX = yuv2rgba32_full_X_c;
1498                 } else
1499 #endif /* CONFIG_SWSCALE_ALPHA */
1500                 {
1501                     *yuv2packedX = yuv2rgbx32_full_X_c;
1502                 }
1503 #endif /* !CONFIG_SMALL */
1504                 break;
1505             case AV_PIX_FMT_ARGB:
1506 #if CONFIG_SMALL
1507                 *yuv2packedX = yuv2argb32_full_X_c;
1508 #else
1509 #if CONFIG_SWSCALE_ALPHA
1510                 if (c->alpPixBuf) {
1511                     *yuv2packedX = yuv2argb32_full_X_c;
1512                 } else
1513 #endif /* CONFIG_SWSCALE_ALPHA */
1514                 {
1515                     *yuv2packedX = yuv2xrgb32_full_X_c;
1516                 }
1517 #endif /* !CONFIG_SMALL */
1518                 break;
1519             case AV_PIX_FMT_BGRA:
1520 #if CONFIG_SMALL
1521                 *yuv2packedX = yuv2bgra32_full_X_c;
1522 #else
1523 #if CONFIG_SWSCALE_ALPHA
1524                 if (c->alpPixBuf) {
1525                     *yuv2packedX = yuv2bgra32_full_X_c;
1526                 } else
1527 #endif /* CONFIG_SWSCALE_ALPHA */
1528                 {
1529                     *yuv2packedX = yuv2bgrx32_full_X_c;
1530                 }
1531 #endif /* !CONFIG_SMALL */
1532                 break;
1533             case AV_PIX_FMT_ABGR:
1534 #if CONFIG_SMALL
1535                 *yuv2packedX = yuv2abgr32_full_X_c;
1536 #else
1537 #if CONFIG_SWSCALE_ALPHA
1538                 if (c->alpPixBuf) {
1539                     *yuv2packedX = yuv2abgr32_full_X_c;
1540                 } else
1541 #endif /* CONFIG_SWSCALE_ALPHA */
1542                 {
1543                     *yuv2packedX = yuv2xbgr32_full_X_c;
1544                 }
1545 #endif /* !CONFIG_SMALL */
1546                 break;
1547             case AV_PIX_FMT_RGB24:
1548             *yuv2packedX = yuv2rgb24_full_X_c;
1549             break;
1550         case AV_PIX_FMT_BGR24:
1551             *yuv2packedX = yuv2bgr24_full_X_c;
1552             break;
1553         case AV_PIX_FMT_BGR4_BYTE:
1554             *yuv2packedX = yuv2bgr4_byte_full_X_c;
1555             break;
1556         case AV_PIX_FMT_RGB4_BYTE:
1557             *yuv2packedX = yuv2rgb4_byte_full_X_c;
1558             break;
1559         case AV_PIX_FMT_BGR8:
1560             *yuv2packedX = yuv2bgr8_full_X_c;
1561             break;
1562         case AV_PIX_FMT_RGB8:
1563             *yuv2packedX = yuv2rgb8_full_X_c;
1564             break;
1565         case AV_PIX_FMT_GBRP:
1566         case AV_PIX_FMT_GBRP9BE:
1567         case AV_PIX_FMT_GBRP9LE:
1568         case AV_PIX_FMT_GBRP10BE:
1569         case AV_PIX_FMT_GBRP10LE:
1570         case AV_PIX_FMT_GBRP12BE:
1571         case AV_PIX_FMT_GBRP12LE:
1572         case AV_PIX_FMT_GBRP14BE:
1573         case AV_PIX_FMT_GBRP14LE:
1574             *yuv2anyX = yuv2gbrp_full_X_c;
1575             break;
1576         }
1577         if (!*yuv2packedX && !*yuv2anyX)
1578             goto YUV_PACKED;
1579     } else {
1580         YUV_PACKED:
1581         switch (dstFormat) {
1582         case AV_PIX_FMT_RGB48LE:
1583             *yuv2packed1 = yuv2rgb48le_1_c;
1584             *yuv2packed2 = yuv2rgb48le_2_c;
1585             *yuv2packedX = yuv2rgb48le_X_c;
1586             break;
1587         case AV_PIX_FMT_RGB48BE:
1588             *yuv2packed1 = yuv2rgb48be_1_c;
1589             *yuv2packed2 = yuv2rgb48be_2_c;
1590             *yuv2packedX = yuv2rgb48be_X_c;
1591             break;
1592         case AV_PIX_FMT_BGR48LE:
1593             *yuv2packed1 = yuv2bgr48le_1_c;
1594             *yuv2packed2 = yuv2bgr48le_2_c;
1595             *yuv2packedX = yuv2bgr48le_X_c;
1596             break;
1597         case AV_PIX_FMT_BGR48BE:
1598             *yuv2packed1 = yuv2bgr48be_1_c;
1599             *yuv2packed2 = yuv2bgr48be_2_c;
1600             *yuv2packedX = yuv2bgr48be_X_c;
1601             break;
1602         case AV_PIX_FMT_RGB32:
1603         case AV_PIX_FMT_BGR32:
1604 #if CONFIG_SMALL
1605             *yuv2packed1 = yuv2rgb32_1_c;
1606             *yuv2packed2 = yuv2rgb32_2_c;
1607             *yuv2packedX = yuv2rgb32_X_c;
1608 #else
1609 #if CONFIG_SWSCALE_ALPHA
1610                 if (c->alpPixBuf) {
1611                     *yuv2packed1 = yuv2rgba32_1_c;
1612                     *yuv2packed2 = yuv2rgba32_2_c;
1613                     *yuv2packedX = yuv2rgba32_X_c;
1614                 } else
1615 #endif /* CONFIG_SWSCALE_ALPHA */
1616                 {
1617                     *yuv2packed1 = yuv2rgbx32_1_c;
1618                     *yuv2packed2 = yuv2rgbx32_2_c;
1619                     *yuv2packedX = yuv2rgbx32_X_c;
1620                 }
1621 #endif /* !CONFIG_SMALL */
1622             break;
1623         case AV_PIX_FMT_RGB32_1:
1624         case AV_PIX_FMT_BGR32_1:
1625 #if CONFIG_SMALL
1626                 *yuv2packed1 = yuv2rgb32_1_1_c;
1627                 *yuv2packed2 = yuv2rgb32_1_2_c;
1628                 *yuv2packedX = yuv2rgb32_1_X_c;
1629 #else
1630 #if CONFIG_SWSCALE_ALPHA
1631                 if (c->alpPixBuf) {
1632                     *yuv2packed1 = yuv2rgba32_1_1_c;
1633                     *yuv2packed2 = yuv2rgba32_1_2_c;
1634                     *yuv2packedX = yuv2rgba32_1_X_c;
1635                 } else
1636 #endif /* CONFIG_SWSCALE_ALPHA */
1637                 {
1638                     *yuv2packed1 = yuv2rgbx32_1_1_c;
1639                     *yuv2packed2 = yuv2rgbx32_1_2_c;
1640                     *yuv2packedX = yuv2rgbx32_1_X_c;
1641                 }
1642 #endif /* !CONFIG_SMALL */
1643                 break;
1644         case AV_PIX_FMT_RGB24:
1645             *yuv2packed1 = yuv2rgb24_1_c;
1646             *yuv2packed2 = yuv2rgb24_2_c;
1647             *yuv2packedX = yuv2rgb24_X_c;
1648             break;
1649         case AV_PIX_FMT_BGR24:
1650             *yuv2packed1 = yuv2bgr24_1_c;
1651             *yuv2packed2 = yuv2bgr24_2_c;
1652             *yuv2packedX = yuv2bgr24_X_c;
1653             break;
1654         case AV_PIX_FMT_RGB565LE:
1655         case AV_PIX_FMT_RGB565BE:
1656         case AV_PIX_FMT_BGR565LE:
1657         case AV_PIX_FMT_BGR565BE:
1658             *yuv2packed1 = yuv2rgb16_1_c;
1659             *yuv2packed2 = yuv2rgb16_2_c;
1660             *yuv2packedX = yuv2rgb16_X_c;
1661             break;
1662         case AV_PIX_FMT_RGB555LE:
1663         case AV_PIX_FMT_RGB555BE:
1664         case AV_PIX_FMT_BGR555LE:
1665         case AV_PIX_FMT_BGR555BE:
1666             *yuv2packed1 = yuv2rgb15_1_c;
1667             *yuv2packed2 = yuv2rgb15_2_c;
1668             *yuv2packedX = yuv2rgb15_X_c;
1669             break;
1670         case AV_PIX_FMT_RGB444LE:
1671         case AV_PIX_FMT_RGB444BE:
1672         case AV_PIX_FMT_BGR444LE:
1673         case AV_PIX_FMT_BGR444BE:
1674             *yuv2packed1 = yuv2rgb12_1_c;
1675             *yuv2packed2 = yuv2rgb12_2_c;
1676             *yuv2packedX = yuv2rgb12_X_c;
1677             break;
1678         case AV_PIX_FMT_RGB8:
1679         case AV_PIX_FMT_BGR8:
1680             *yuv2packed1 = yuv2rgb8_1_c;
1681             *yuv2packed2 = yuv2rgb8_2_c;
1682             *yuv2packedX = yuv2rgb8_X_c;
1683             break;
1684         case AV_PIX_FMT_RGB4:
1685         case AV_PIX_FMT_BGR4:
1686             *yuv2packed1 = yuv2rgb4_1_c;
1687             *yuv2packed2 = yuv2rgb4_2_c;
1688             *yuv2packedX = yuv2rgb4_X_c;
1689             break;
1690         case AV_PIX_FMT_RGB4_BYTE:
1691         case AV_PIX_FMT_BGR4_BYTE:
1692             *yuv2packed1 = yuv2rgb4b_1_c;
1693             *yuv2packed2 = yuv2rgb4b_2_c;
1694             *yuv2packedX = yuv2rgb4b_X_c;
1695             break;
1696         }
1697     }
1698     switch (dstFormat) {
1699     case AV_PIX_FMT_MONOWHITE:
1700         *yuv2packed1 = yuv2monowhite_1_c;
1701         *yuv2packed2 = yuv2monowhite_2_c;
1702         *yuv2packedX = yuv2monowhite_X_c;
1703         break;
1704     case AV_PIX_FMT_MONOBLACK:
1705         *yuv2packed1 = yuv2monoblack_1_c;
1706         *yuv2packed2 = yuv2monoblack_2_c;
1707         *yuv2packedX = yuv2monoblack_X_c;
1708         break;
1709     case AV_PIX_FMT_YUYV422:
1710         *yuv2packed1 = yuv2yuyv422_1_c;
1711         *yuv2packed2 = yuv2yuyv422_2_c;
1712         *yuv2packedX = yuv2yuyv422_X_c;
1713         break;
1714     case AV_PIX_FMT_UYVY422:
1715         *yuv2packed1 = yuv2uyvy422_1_c;
1716         *yuv2packed2 = yuv2uyvy422_2_c;
1717         *yuv2packedX = yuv2uyvy422_X_c;
1718         break;
1719     }
1720 }