git.sesse.net Git - x264/blob - common/dct.c

   1 /*****************************************************************************
   2  * dct.c: h264 encoder library
   3  *****************************************************************************
   4  * Copyright (C) 2003 Laurent Aimar
   5  * $Id: dct.c,v 1.1 2004/06/03 19:27:06 fenrir Exp $
   6  *
   7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License as published by
  11  * the Free Software Foundation; either version 2 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU General Public License
  20  * along with this program; if not, write to the Free Software
  21  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
  22  *****************************************************************************/
  23
  24 #include "common.h"
  25 #ifdef HAVE_MMXEXT
  26 #   include "i386/dct.h"
  27 #endif
  28 #ifdef ARCH_PPC
  29 #   include "ppc/dct.h"
  30 #endif
  31
  32
  33 static inline int clip_uint8( int a )
  34 {
  35     if (a&(~255))
  36         return (-a)>>31;
  37     else
  38         return a;
  39 }
  40
  41 /*
  42  * XXX For all dct dc : input could be equal to output so ...
  43  */
  44
  45 static void dct2x2dc( int16_t d[2][2] )
  46 {
  47     int tmp[2][2];
  48
  49     tmp[0][0] = d[0][0] + d[0][1];
  50     tmp[1][0] = d[0][0] - d[0][1];
  51     tmp[0][1] = d[1][0] + d[1][1];
  52     tmp[1][1] = d[1][0] - d[1][1];
  53
  54     d[0][0] = tmp[0][0] + tmp[0][1];
  55     d[1][0] = tmp[1][0] + tmp[1][1];
  56     d[0][1] = tmp[0][0] - tmp[0][1];
  57     d[1][1] = tmp[1][0] - tmp[1][1];
  58 }
  59
  60 static void dct4x4dc( int16_t d[4][4] )
  61 {
  62     int16_t tmp[4][4];
  63     int s01, s23;
  64     int d01, d23;
  65     int i;
  66
  67     for( i = 0; i < 4; i++ )
  68     {
  69         s01 = d[i][0] + d[i][1];
  70         d01 = d[i][0] - d[i][1];
  71         s23 = d[i][2] + d[i][3];
  72         d23 = d[i][2] - d[i][3];
  73
  74         tmp[0][i] = s01 + s23;
  75         tmp[1][i] = s01 - s23;
  76         tmp[2][i] = d01 - d23;
  77         tmp[3][i] = d01 + d23;
  78     }
  79
  80     for( i = 0; i < 4; i++ )
  81     {
  82         s01 = tmp[i][0] + tmp[i][1];
  83         d01 = tmp[i][0] - tmp[i][1];
  84         s23 = tmp[i][2] + tmp[i][3];
  85         d23 = tmp[i][2] - tmp[i][3];
  86
  87         d[i][0] = ( s01 + s23 + 1 ) >> 1;
  88         d[i][1] = ( s01 - s23 + 1 ) >> 1;
  89         d[i][2] = ( d01 - d23 + 1 ) >> 1;
  90         d[i][3] = ( d01 + d23 + 1 ) >> 1;
  91     }
  92 }
  93
  94 static void idct4x4dc( int16_t d[4][4] )
  95 {
  96     int16_t tmp[4][4];
  97     int s01, s23;
  98     int d01, d23;
  99     int i;
 100
 101     for( i = 0; i < 4; i++ )
 102     {
 103         s01 = d[i][0] + d[i][1];
 104         d01 = d[i][0] - d[i][1];
 105         s23 = d[i][2] + d[i][3];
 106         d23 = d[i][2] - d[i][3];
 107
 108         tmp[0][i] = s01 + s23;
 109         tmp[1][i] = s01 - s23;
 110         tmp[2][i] = d01 - d23;
 111         tmp[3][i] = d01 + d23;
 112     }
 113
 114     for( i = 0; i < 4; i++ )
 115     {
 116         s01 = tmp[i][0] + tmp[i][1];
 117         d01 = tmp[i][0] - tmp[i][1];
 118         s23 = tmp[i][2] + tmp[i][3];
 119         d23 = tmp[i][2] - tmp[i][3];
 120
 121         d[i][0] = s01 + s23;
 122         d[i][1] = s01 - s23;
 123         d[i][2] = d01 - d23;
 124         d[i][3] = d01 + d23;
 125     }
 126 }
 127
 128 static inline void pixel_sub_wxh( int16_t *diff, int i_size,
 129                                   uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 130 {
 131     int y, x;
 132     for( y = 0; y < i_size; y++ )
 133     {
 134         for( x = 0; x < i_size; x++ )
 135         {
 136             diff[x + y*i_size] = pix1[x] - pix2[x];
 137         }
 138         pix1 += i_pix1;
 139         pix2 += i_pix2;
 140     }
 141 }
 142
 143 static void sub4x4_dct( int16_t dct[4][4], uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 144 {
 145     int16_t d[4][4];
 146     int16_t tmp[4][4];
 147     int i;
 148
 149     pixel_sub_wxh( (int16_t*)d, 4, pix1, i_pix1, pix2, i_pix2 );
 150
 151     for( i = 0; i < 4; i++ )
 152     {
 153         const int s03 = d[i][0] + d[i][3];
 154         const int s12 = d[i][1] + d[i][2];
 155         const int d03 = d[i][0] - d[i][3];
 156         const int d12 = d[i][1] - d[i][2];
 157
 158         tmp[0][i] =   s03 +   s12;
 159         tmp[1][i] = 2*d03 +   d12;
 160         tmp[2][i] =   s03 -   s12;
 161         tmp[3][i] =   d03 - 2*d12;
 162     }
 163
 164     for( i = 0; i < 4; i++ )
 165     {
 166         const int s03 = tmp[i][0] + tmp[i][3];
 167         const int s12 = tmp[i][1] + tmp[i][2];
 168         const int d03 = tmp[i][0] - tmp[i][3];
 169         const int d12 = tmp[i][1] - tmp[i][2];
 170
 171         dct[i][0] =   s03 +   s12;
 172         dct[i][1] = 2*d03 +   d12;
 173         dct[i][2] =   s03 -   s12;
 174         dct[i][3] =   d03 - 2*d12;
 175     }
 176 }
 177
 178 static void sub8x8_dct( int16_t dct[4][4][4], uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 179 {
 180     sub4x4_dct( dct[0], &pix1[0], i_pix1, &pix2[0], i_pix2 );
 181     sub4x4_dct( dct[1], &pix1[4], i_pix1, &pix2[4], i_pix2 );
 182     sub4x4_dct( dct[2], &pix1[4*i_pix1+0], i_pix1, &pix2[4*i_pix2+0], i_pix2 );
 183     sub4x4_dct( dct[3], &pix1[4*i_pix1+4], i_pix1, &pix2[4*i_pix2+4], i_pix2 );
 184 }
 185
 186 static void sub16x16_dct( int16_t dct[16][4][4], uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 187 {
 188     sub8x8_dct( &dct[ 0], pix1, i_pix1, pix2, i_pix2 );
 189     sub8x8_dct( &dct[ 4], &pix1[8], i_pix1, &pix2[8], i_pix2 );
 190     sub8x8_dct( &dct[ 8], &pix1[8*i_pix1], i_pix1, &pix2[8*i_pix2], i_pix2 );
 191     sub8x8_dct( &dct[12], &pix1[8*i_pix1+8], i_pix1, &pix2[8*i_pix2+8], i_pix2 );
 192 }
 193
 194
 195 static void add4x4_idct( uint8_t *p_dst, int i_dst, int16_t dct[4][4] )
 196 {
 197     int16_t d[4][4];
 198     int16_t tmp[4][4];
 199     int x, y;
 200     int i;
 201
 202     for( i = 0; i < 4; i++ )
 203     {
 204         const int s02 =  dct[0][i]     +  dct[2][i];
 205         const int d02 =  dct[0][i]     -  dct[2][i];
 206         const int s13 =  dct[1][i]     + (dct[3][i]>>1);
 207         const int d13 = (dct[1][i]>>1) -  dct[3][i];
 208
 209         tmp[i][0] = s02 + s13;
 210         tmp[i][1] = d02 + d13;
 211         tmp[i][2] = d02 - d13;
 212         tmp[i][3] = s02 - s13;
 213     }
 214
 215     for( i = 0; i < 4; i++ )
 216     {
 217         const int s02 =  tmp[0][i]     +  tmp[2][i];
 218         const int d02 =  tmp[0][i]     -  tmp[2][i];
 219         const int s13 =  tmp[1][i]     + (tmp[3][i]>>1);
 220         const int d13 = (tmp[1][i]>>1) -  tmp[3][i];
 221
 222         d[0][i] = ( s02 + s13 + 32 ) >> 6;
 223         d[1][i] = ( d02 + d13 + 32 ) >> 6;
 224         d[2][i] = ( d02 - d13 + 32 ) >> 6;
 225         d[3][i] = ( s02 - s13 + 32 ) >> 6;
 226     }
 227
 228
 229     for( y = 0; y < 4; y++ )
 230     {
 231         for( x = 0; x < 4; x++ )
 232         {
 233             p_dst[x] = clip_uint8( p_dst[x] + d[y][x] );
 234         }
 235         p_dst += i_dst;
 236     }
 237 }
 238
 239 static void add8x8_idct( uint8_t *p_dst, int i_dst, int16_t dct[4][4][4] )
 240 {
 241     add4x4_idct( p_dst, i_dst,             dct[0] );
 242     add4x4_idct( &p_dst[4], i_dst,         dct[1] );
 243     add4x4_idct( &p_dst[4*i_dst+0], i_dst, dct[2] );
 244     add4x4_idct( &p_dst[4*i_dst+4], i_dst, dct[3] );
 245 }
 246
 247 static void add16x16_idct( uint8_t *p_dst, int i_dst, int16_t dct[16][4][4] )
 248 {
 249     add8x8_idct( &p_dst[0], i_dst, &dct[0] );
 250     add8x8_idct( &p_dst[8], i_dst, &dct[4] );
 251     add8x8_idct( &p_dst[8*i_dst], i_dst, &dct[8] );
 252     add8x8_idct( &p_dst[8*i_dst+8], i_dst, &dct[12] );
 253 }
 254
 255 /****************************************************************************
 256  * 8x8 transform:
 257  ****************************************************************************/
 258
 259 #define DCT8_1D {\
 260     const int s07 = SRC(0) + SRC(7);\
 261     const int s16 = SRC(1) + SRC(6);\
 262     const int s25 = SRC(2) + SRC(5);\
 263     const int s34 = SRC(3) + SRC(4);\
 264     const int a0 = s07 + s34;\
 265     const int a1 = s16 + s25;\
 266     const int a2 = s07 - s34;\
 267     const int a3 = s16 - s25;\
 268     const int d07 = SRC(0) - SRC(7);\
 269     const int d16 = SRC(1) - SRC(6);\
 270     const int d25 = SRC(2) - SRC(5);\
 271     const int d34 = SRC(3) - SRC(4);\
 272     const int a4 = d16 + d25 + (d07 + (d07>>1));\
 273     const int a5 = d07 - d34 - (d25 + (d25>>1));\
 274     const int a6 = d07 + d34 - (d16 + (d16>>1));\
 275     const int a7 = d16 - d25 + (d34 + (d34>>1));\
 276     DST(0) =  a0 + a1     ;\
 277     DST(1) =  a4 + (a7>>2);\
 278     DST(2) =  a2 + (a3>>1);\
 279     DST(3) =  a5 + (a6>>2);\
 280     DST(4) =  a0 - a1     ;\
 281     DST(5) =  a6 - (a5>>2);\
 282     DST(6) = (a2>>1) - a3 ;\
 283     DST(7) = (a4>>2) - a7 ;\
 284 }
 285
 286 static void sub8x8_dct8( int16_t dct[8][8], uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 287 {
 288     int i;
 289     int16_t tmp[8][8];
 290
 291     pixel_sub_wxh( (int16_t*)tmp, 8, pix1, i_pix1, pix2, i_pix2 );
 292
 293 #define SRC(x) tmp[x][i]
 294 #define DST(x) tmp[x][i]
 295     for( i = 0; i < 8; i++ )
 296         DCT8_1D
 297 #undef SRC
 298 #undef DST
 299
 300 #define SRC(x) tmp[i][x]
 301 #define DST(x) dct[x][i]
 302     for( i = 0; i < 8; i++ )
 303         DCT8_1D
 304 #undef SRC
 305 #undef DST
 306 }
 307
 308 static void sub16x16_dct8( int16_t dct[4][8][8], uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 309 {
 310     sub8x8_dct8( dct[0],  pix1,             i_pix1,  pix2,             i_pix2 );
 311     sub8x8_dct8( dct[1], &pix1[8],          i_pix1, &pix2[8],          i_pix2 );
 312     sub8x8_dct8( dct[2], &pix1[8*i_pix1],   i_pix1, &pix2[8*i_pix2],   i_pix2 );
 313     sub8x8_dct8( dct[3], &pix1[8*i_pix1+8], i_pix1, &pix2[8*i_pix2+8], i_pix2 );
 314 }
 315
 316 #define IDCT8_1D {\
 317     const int a0 =  SRC(0) + SRC(4);\
 318     const int a2 =  SRC(0) - SRC(4);\
 319     const int a4 = (SRC(2)>>1) - SRC(6);\
 320     const int a6 = (SRC(6)>>1) + SRC(2);\
 321     const int b0 = a0 + a6;\
 322     const int b2 = a2 + a4;\
 323     const int b4 = a2 - a4;\
 324     const int b6 = a0 - a6;\
 325     const int a1 = -SRC(3) + SRC(5) - SRC(7) - (SRC(7)>>1);\
 326     const int a3 =  SRC(1) + SRC(7) - SRC(3) - (SRC(3)>>1);\
 327     const int a5 = -SRC(1) + SRC(7) + SRC(5) + (SRC(5)>>1);\
 328     const int a7 =  SRC(3) + SRC(5) + SRC(1) + (SRC(1)>>1);\
 329     const int b1 = (a7>>2) + a1;\
 330     const int b3 =  a3 + (a5>>2);\
 331     const int b5 = (a3>>2) - a5;\
 332     const int b7 =  a7 - (a1>>2);\
 333     DST(0, b0 + b7);\
 334     DST(1, b2 + b5);\
 335     DST(2, b4 + b3);\
 336     DST(3, b6 + b1);\
 337     DST(4, b6 - b1);\
 338     DST(5, b4 - b3);\
 339     DST(6, b2 - b5);\
 340     DST(7, b0 - b7);\
 341 }
 342
 343 static void add8x8_idct8( uint8_t *dst, int i_dst, int16_t dct[8][8] )
 344 {
 345     int i;
 346
 347     dct[0][0] += 32; // rounding for the >>6 at the end
 348
 349 #define SRC(x)     dct[x][i]
 350 #define DST(x,rhs) dct[x][i] = (rhs)
 351     for( i = 0; i < 8; i++ )
 352         IDCT8_1D
 353 #undef SRC
 354 #undef DST
 355
 356 #define SRC(x)     dct[i][x]
 357 #define DST(x,rhs) dst[i + x*i_dst] = clip_uint8( dst[i + x*i_dst] + ((rhs) >> 6) );
 358     for( i = 0; i < 8; i++ )
 359         IDCT8_1D
 360 #undef SRC
 361 #undef DST
 362 }
 363
 364 static void add16x16_idct8( uint8_t *dst, int i_dst, int16_t dct[4][8][8] )
 365 {
 366     add8x8_idct8( &dst[0],         i_dst, dct[0] );
 367     add8x8_idct8( &dst[8],         i_dst, dct[1] );
 368     add8x8_idct8( &dst[8*i_dst],   i_dst, dct[2] );
 369     add8x8_idct8( &dst[8*i_dst+8], i_dst, dct[3] );
 370 }
 371
 372
 373 /****************************************************************************
 374  * x264_dct_init:
 375  ****************************************************************************/
 376 void x264_dct_init( int cpu, x264_dct_function_t *dctf )
 377 {
 378     dctf->sub4x4_dct    = sub4x4_dct;
 379     dctf->add4x4_idct   = add4x4_idct;
 380
 381     dctf->sub8x8_dct    = sub8x8_dct;
 382     dctf->add8x8_idct   = add8x8_idct;
 383
 384     dctf->sub16x16_dct  = sub16x16_dct;
 385     dctf->add16x16_idct = add16x16_idct;
 386
 387     dctf->sub8x8_dct8   = sub8x8_dct8;
 388     dctf->add8x8_idct8  = add8x8_idct8;
 389
 390     dctf->sub16x16_dct8  = sub16x16_dct8;
 391     dctf->add16x16_idct8 = add16x16_idct8;
 392
 393     dctf->dct4x4dc  = dct4x4dc;
 394     dctf->idct4x4dc = idct4x4dc;
 395
 396     dctf->dct2x2dc  = dct2x2dc;
 397     dctf->idct2x2dc = dct2x2dc;
 398
 399 #ifdef HAVE_MMXEXT
 400     if( cpu&X264_CPU_MMX )
 401     {
 402         dctf->sub4x4_dct    = x264_sub4x4_dct_mmx;
 403         dctf->sub8x8_dct    = x264_sub8x8_dct_mmx;
 404         dctf->sub16x16_dct  = x264_sub16x16_dct_mmx;
 405
 406         dctf->add4x4_idct   = x264_add4x4_idct_mmx;
 407         dctf->add8x8_idct   = x264_add8x8_idct_mmx;
 408         dctf->add16x16_idct = x264_add16x16_idct_mmx;
 409
 410         dctf->dct4x4dc      = x264_dct4x4dc_mmx;
 411         dctf->idct4x4dc     = x264_idct4x4dc_mmx;
 412
 413 #ifndef ARCH_X86_64
 414         dctf->sub8x8_dct8   = x264_sub8x8_dct8_mmx;
 415         dctf->sub16x16_dct8 = x264_sub16x16_dct8_mmx;
 416
 417         dctf->add8x8_idct8  = x264_add8x8_idct8_mmx;
 418         dctf->add16x16_idct8= x264_add16x16_idct8_mmx;
 419 #endif
 420     }
 421 #endif
 422
 423 #if defined(HAVE_SSE2) && defined(ARCH_X86_64)
 424     if( cpu&X264_CPU_SSE2 )
 425     {
 426         dctf->sub8x8_dct8   = x264_sub8x8_dct8_sse2;
 427         dctf->sub16x16_dct8 = x264_sub16x16_dct8_sse2;
 428
 429         dctf->add8x8_idct8  = x264_add8x8_idct8_sse2;
 430         dctf->add16x16_idct8= x264_add16x16_idct8_sse2;
 431     }
 432 #endif
 433
 434 /* FIXME altivec dct is not transposed yet
 435 #ifdef ARCH_PPC
 436     if( cpu&X264_CPU_ALTIVEC )
 437     {
 438         dctf->sub4x4_dct    = x264_sub4x4_dct_altivec;
 439         dctf->sub8x8_dct    = x264_sub8x8_dct_altivec;
 440         dctf->sub16x16_dct  = x264_sub16x16_dct_altivec;
 441     }
 442 #endif
 443 */
 444 }
 445