git.sesse.net Git - x264/blob - common/dct.c

   1 /*****************************************************************************
   2  * dct.c: h264 encoder library
   3  *****************************************************************************
   4  * Copyright (C) 2003 Laurent Aimar
   5  * $Id: dct.c,v 1.1 2004/06/03 19:27:06 fenrir Exp $
   6  *
   7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License as published by
  11  * the Free Software Foundation; either version 2 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU General Public License
  20  * along with this program; if not, write to the Free Software
  21  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
  22  *****************************************************************************/
  23
  24 #ifdef HAVE_STDINT_H
  25 #include <stdint.h>
  26 #else
  27 #include <inttypes.h>
  28 #endif
  29 #include <stdlib.h>
  30 #include <stdarg.h>
  31
  32 #include "x264.h"
  33
  34 #include "dct.h"
  35 #ifdef HAVE_MMXEXT
  36 #   include "i386/dct.h"
  37 #endif
  38 #ifdef ARCH_PPC
  39 #   include "ppc/dct.h"
  40 #endif
  41
  42
  43 static inline int clip_uint8( int a )
  44 {
  45     if (a&(~255))
  46         return (-a)>>31;
  47     else
  48         return a;
  49 }
  50
  51 /*
  52  * XXX For all dct dc : input could be equal to output so ...
  53  */
  54
  55 static void dct2x2dc( int16_t d[2][2] )
  56 {
  57     int tmp[2][2];
  58
  59     tmp[0][0] = d[0][0] + d[0][1];
  60     tmp[1][0] = d[0][0] - d[0][1];
  61     tmp[0][1] = d[1][0] + d[1][1];
  62     tmp[1][1] = d[1][0] - d[1][1];
  63
  64     d[0][0] = tmp[0][0] + tmp[0][1];
  65     d[0][1] = tmp[1][0] + tmp[1][1];
  66     d[1][0] = tmp[0][0] - tmp[0][1];
  67     d[1][1] = tmp[1][0] - tmp[1][1];
  68 }
  69
  70 static void dct4x4dc( int16_t d[4][4] )
  71 {
  72     int16_t tmp[4][4];
  73     int s01, s23;
  74     int d01, d23;
  75     int i;
  76
  77     for( i = 0; i < 4; i++ )
  78     {
  79         s01 = d[i][0] + d[i][1];
  80         d01 = d[i][0] - d[i][1];
  81         s23 = d[i][2] + d[i][3];
  82         d23 = d[i][2] - d[i][3];
  83
  84         tmp[0][i] = s01 + s23;
  85         tmp[1][i] = s01 - s23;
  86         tmp[2][i] = d01 - d23;
  87         tmp[3][i] = d01 + d23;
  88     }
  89
  90     for( i = 0; i < 4; i++ )
  91     {
  92         s01 = tmp[i][0] + tmp[i][1];
  93         d01 = tmp[i][0] - tmp[i][1];
  94         s23 = tmp[i][2] + tmp[i][3];
  95         d23 = tmp[i][2] - tmp[i][3];
  96
  97         d[0][i] = ( s01 + s23 + 1 ) >> 1;
  98         d[1][i] = ( s01 - s23 + 1 ) >> 1;
  99         d[2][i] = ( d01 - d23 + 1 ) >> 1;
 100         d[3][i] = ( d01 + d23 + 1 ) >> 1;
 101     }
 102 }
 103
 104 static void idct4x4dc( int16_t d[4][4] )
 105 {
 106     int16_t tmp[4][4];
 107     int s01, s23;
 108     int d01, d23;
 109     int i;
 110
 111     for( i = 0; i < 4; i++ )
 112     {
 113         s01 = d[0][i] + d[1][i];
 114         d01 = d[0][i] - d[1][i];
 115         s23 = d[2][i] + d[3][i];
 116         d23 = d[2][i] - d[3][i];
 117
 118         tmp[0][i] = s01 + s23;
 119         tmp[1][i] = s01 - s23;
 120         tmp[2][i] = d01 - d23;
 121         tmp[3][i] = d01 + d23;
 122     }
 123
 124     for( i = 0; i < 4; i++ )
 125     {
 126         s01 = tmp[i][0] + tmp[i][1];
 127         d01 = tmp[i][0] - tmp[i][1];
 128         s23 = tmp[i][2] + tmp[i][3];
 129         d23 = tmp[i][2] - tmp[i][3];
 130
 131         d[i][0] = s01 + s23;
 132         d[i][1] = s01 - s23;
 133         d[i][2] = d01 - d23;
 134         d[i][3] = d01 + d23;
 135     }
 136 }
 137
 138 static inline void pixel_sub_wxh( int16_t *diff, int i_size,
 139                                   uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 140 {
 141     int y, x;
 142     for( y = 0; y < i_size; y++ )
 143     {
 144         for( x = 0; x < i_size; x++ )
 145         {
 146             diff[x + y*i_size] = pix1[x] - pix2[x];
 147         }
 148         pix1 += i_pix1;
 149         pix2 += i_pix2;
 150     }
 151 }
 152
 153 static void sub4x4_dct( int16_t dct[4][4], uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 154 {
 155     int16_t d[4][4];
 156     int16_t tmp[4][4];
 157     int i;
 158
 159     pixel_sub_wxh( (int16_t*)d, 4, pix1, i_pix1, pix2, i_pix2 );
 160
 161     for( i = 0; i < 4; i++ )
 162     {
 163         const int s03 = d[i][0] + d[i][3];
 164         const int s12 = d[i][1] + d[i][2];
 165         const int d03 = d[i][0] - d[i][3];
 166         const int d12 = d[i][1] - d[i][2];
 167
 168         tmp[0][i] =   s03 +   s12;
 169         tmp[1][i] = 2*d03 +   d12;
 170         tmp[2][i] =   s03 -   s12;
 171         tmp[3][i] =   d03 - 2*d12;
 172     }
 173
 174     for( i = 0; i < 4; i++ )
 175     {
 176         const int s03 = tmp[i][0] + tmp[i][3];
 177         const int s12 = tmp[i][1] + tmp[i][2];
 178         const int d03 = tmp[i][0] - tmp[i][3];
 179         const int d12 = tmp[i][1] - tmp[i][2];
 180
 181         dct[0][i] =   s03 +   s12;
 182         dct[1][i] = 2*d03 +   d12;
 183         dct[2][i] =   s03 -   s12;
 184         dct[3][i] =   d03 - 2*d12;
 185     }
 186 }
 187
 188 static void sub8x8_dct( int16_t dct[4][4][4], uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 189 {
 190     sub4x4_dct( dct[0], &pix1[0], i_pix1, &pix2[0], i_pix2 );
 191     sub4x4_dct( dct[1], &pix1[4], i_pix1, &pix2[4], i_pix2 );
 192     sub4x4_dct( dct[2], &pix1[4*i_pix1+0], i_pix1, &pix2[4*i_pix2+0], i_pix2 );
 193     sub4x4_dct( dct[3], &pix1[4*i_pix1+4], i_pix1, &pix2[4*i_pix2+4], i_pix2 );
 194 }
 195
 196 static void sub16x16_dct( int16_t dct[16][4][4], uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 197 {
 198     sub8x8_dct( &dct[ 0], pix1, i_pix1, pix2, i_pix2 );
 199     sub8x8_dct( &dct[ 4], &pix1[8], i_pix1, &pix2[8], i_pix2 );
 200     sub8x8_dct( &dct[ 8], &pix1[8*i_pix1], i_pix1, &pix2[8*i_pix2], i_pix2 );
 201     sub8x8_dct( &dct[12], &pix1[8*i_pix1+8], i_pix1, &pix2[8*i_pix2+8], i_pix2 );
 202 }
 203
 204
 205 static void add4x4_idct( uint8_t *p_dst, int i_dst, int16_t dct[4][4] )
 206 {
 207     int16_t d[4][4];
 208     int16_t tmp[4][4];
 209     int x, y;
 210     int i;
 211
 212     for( i = 0; i < 4; i++ )
 213     {
 214         const int s02 =  dct[i][0]     +  dct[i][2];
 215         const int d02 =  dct[i][0]     -  dct[i][2];
 216         const int s13 =  dct[i][1]     + (dct[i][3]>>1);
 217         const int d13 = (dct[i][1]>>1) -  dct[i][3];
 218
 219         tmp[i][0] = s02 + s13;
 220         tmp[i][1] = d02 + d13;
 221         tmp[i][2] = d02 - d13;
 222         tmp[i][3] = s02 - s13;
 223     }
 224
 225     for( i = 0; i < 4; i++ )
 226     {
 227         const int s02 =  tmp[0][i]     +  tmp[2][i];
 228         const int d02 =  tmp[0][i]     -  tmp[2][i];
 229         const int s13 =  tmp[1][i]     + (tmp[3][i]>>1);
 230         const int d13 = (tmp[1][i]>>1) -   tmp[3][i];
 231
 232         d[0][i] = ( s02 + s13 + 32 ) >> 6;
 233         d[1][i] = ( d02 + d13 + 32 ) >> 6;
 234         d[2][i] = ( d02 - d13 + 32 ) >> 6;
 235         d[3][i] = ( s02 - s13 + 32 ) >> 6;
 236     }
 237
 238
 239     for( y = 0; y < 4; y++ )
 240     {
 241         for( x = 0; x < 4; x++ )
 242         {
 243             p_dst[x] = clip_uint8( p_dst[x] + d[y][x] );
 244         }
 245         p_dst += i_dst;
 246     }
 247 }
 248
 249 static void add8x8_idct( uint8_t *p_dst, int i_dst, int16_t dct[4][4][4] )
 250 {
 251     add4x4_idct( p_dst, i_dst,             dct[0] );
 252     add4x4_idct( &p_dst[4], i_dst,         dct[1] );
 253     add4x4_idct( &p_dst[4*i_dst+0], i_dst, dct[2] );
 254     add4x4_idct( &p_dst[4*i_dst+4], i_dst, dct[3] );
 255 }
 256
 257 static void add16x16_idct( uint8_t *p_dst, int i_dst, int16_t dct[16][4][4] )
 258 {
 259     add8x8_idct( &p_dst[0], i_dst, &dct[0] );
 260     add8x8_idct( &p_dst[8], i_dst, &dct[4] );
 261     add8x8_idct( &p_dst[8*i_dst], i_dst, &dct[8] );
 262     add8x8_idct( &p_dst[8*i_dst+8], i_dst, &dct[12] );
 263 }
 264
 265 /****************************************************************************
 266  * 8x8 transform:
 267  ****************************************************************************/
 268
 269 #define DCT8_1D {\
 270     const int s07 = SRC(0) + SRC(7);\
 271     const int s16 = SRC(1) + SRC(6);\
 272     const int s25 = SRC(2) + SRC(5);\
 273     const int s34 = SRC(3) + SRC(4);\
 274     const int a0 = s07 + s34;\
 275     const int a1 = s16 + s25;\
 276     const int a2 = s07 - s34;\
 277     const int a3 = s16 - s25;\
 278     const int d07 = SRC(0) - SRC(7);\
 279     const int d16 = SRC(1) - SRC(6);\
 280     const int d25 = SRC(2) - SRC(5);\
 281     const int d34 = SRC(3) - SRC(4);\
 282     const int a4 = d16 + d25 + (d07 + (d07>>1));\
 283     const int a5 = d07 - d34 - (d25 + (d25>>1));\
 284     const int a6 = d07 + d34 - (d16 + (d16>>1));\
 285     const int a7 = d16 - d25 + (d34 + (d34>>1));\
 286     SRC(0) =  a0 + a1     ;\
 287     SRC(1) =  a4 + (a7>>2);\
 288     SRC(2) =  a2 + (a3>>1);\
 289     SRC(3) =  a5 + (a6>>2);\
 290     SRC(4) =  a0 - a1     ;\
 291     SRC(5) =  a6 - (a5>>2);\
 292     SRC(6) = (a2>>1) - a3 ;\
 293     SRC(7) = (a4>>2) - a7 ;\
 294 }
 295
 296 static void sub8x8_dct8( int16_t dct[8][8], uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 297 {
 298     int i;
 299
 300     pixel_sub_wxh( (int16_t*)dct, 8, pix1, i_pix1, pix2, i_pix2 );
 301
 302 #define SRC(x) dct[i][x]
 303     for( i = 0; i < 8; i++ )
 304         DCT8_1D
 305 #undef SRC
 306
 307 #define SRC(x) dct[x][i]
 308     for( i = 0; i < 8; i++ )
 309         DCT8_1D
 310 #undef SRC
 311 }
 312
 313 static void sub16x16_dct8( int16_t dct[4][8][8], uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
 314 {
 315     sub8x8_dct8( dct[0],  pix1,             i_pix1,  pix2,             i_pix2 );
 316     sub8x8_dct8( dct[1], &pix1[8],          i_pix1, &pix2[8],          i_pix2 );
 317     sub8x8_dct8( dct[2], &pix1[8*i_pix1],   i_pix1, &pix2[8*i_pix2],   i_pix2 );
 318     sub8x8_dct8( dct[3], &pix1[8*i_pix1+8], i_pix1, &pix2[8*i_pix2+8], i_pix2 );
 319 }
 320
 321 #define IDCT8_1D {\
 322     const int a0 =  SRC(0) + SRC(4);\
 323     const int a2 =  SRC(0) - SRC(4);\
 324     const int a4 = (SRC(2)>>1) - SRC(6);\
 325     const int a6 = (SRC(6)>>1) + SRC(2);\
 326     const int b0 = a0 + a6;\
 327     const int b2 = a2 + a4;\
 328     const int b4 = a2 - a4;\
 329     const int b6 = a0 - a6;\
 330     const int a1 = -SRC(3) + SRC(5) - SRC(7) - (SRC(7)>>1);\
 331     const int a3 =  SRC(1) + SRC(7) - SRC(3) - (SRC(3)>>1);\
 332     const int a5 = -SRC(1) + SRC(7) + SRC(5) + (SRC(5)>>1);\
 333     const int a7 =  SRC(3) + SRC(5) + SRC(1) + (SRC(1)>>1);\
 334     const int b1 = (a7>>2) + a1;\
 335     const int b3 =  a3 + (a5>>2);\
 336     const int b5 = (a3>>2) - a5;\
 337     const int b7 =  a7 - (a1>>2);\
 338     DST(0, b0 + b7);\
 339     DST(1, b2 + b5);\
 340     DST(2, b4 + b3);\
 341     DST(3, b6 + b1);\
 342     DST(4, b6 - b1);\
 343     DST(5, b4 - b3);\
 344     DST(6, b2 - b5);\
 345     DST(7, b0 - b7);\
 346 }
 347
 348 static void add8x8_idct8( uint8_t *dst, int i_dst, int16_t dct[8][8] )
 349 {
 350     int i;
 351
 352     dct[0][0] += 32; // rounding for the >>6 at the end
 353
 354 #define SRC(x)     dct[i][x]
 355 #define DST(x,rhs) dct[i][x] = (rhs)
 356     for( i = 0; i < 8; i++ )
 357         IDCT8_1D
 358 #undef SRC
 359 #undef DST
 360
 361 #define SRC(x)     dct[x][i]
 362 #define DST(x,rhs) dst[i + x*i_dst] = clip_uint8( dst[i + x*i_dst] + ((rhs) >> 6) );
 363     for( i = 0; i < 8; i++ )
 364         IDCT8_1D
 365 #undef SRC
 366 #undef DST
 367 }
 368
 369 static void add16x16_idct8( uint8_t *dst, int i_dst, int16_t dct[4][8][8] )
 370 {
 371     add8x8_idct8( &dst[0],         i_dst, dct[0] );
 372     add8x8_idct8( &dst[8],         i_dst, dct[1] );
 373     add8x8_idct8( &dst[8*i_dst],   i_dst, dct[2] );
 374     add8x8_idct8( &dst[8*i_dst+8], i_dst, dct[3] );
 375 }
 376
 377
 378 /****************************************************************************
 379  * x264_dct_init:
 380  ****************************************************************************/
 381 void x264_dct_init( int cpu, x264_dct_function_t *dctf )
 382 {
 383     dctf->sub4x4_dct    = sub4x4_dct;
 384     dctf->add4x4_idct   = add4x4_idct;
 385
 386     dctf->sub8x8_dct    = sub8x8_dct;
 387     dctf->add8x8_idct   = add8x8_idct;
 388
 389     dctf->sub16x16_dct  = sub16x16_dct;
 390     dctf->add16x16_idct = add16x16_idct;
 391
 392     dctf->sub8x8_dct8   = sub8x8_dct8;
 393     dctf->add8x8_idct8  = add8x8_idct8;
 394
 395     dctf->sub16x16_dct8  = sub16x16_dct8;
 396     dctf->add16x16_idct8 = add16x16_idct8;
 397
 398     dctf->dct4x4dc  = dct4x4dc;
 399     dctf->idct4x4dc = idct4x4dc;
 400
 401     dctf->dct2x2dc  = dct2x2dc;
 402     dctf->idct2x2dc = dct2x2dc;
 403
 404 #ifdef HAVE_MMXEXT
 405     if( cpu&X264_CPU_MMXEXT )
 406     {
 407         dctf->sub4x4_dct    = x264_sub4x4_dct_mmxext;
 408         dctf->sub8x8_dct    = x264_sub8x8_dct_mmxext;
 409         dctf->sub16x16_dct  = x264_sub16x16_dct_mmxext;
 410
 411         dctf->add4x4_idct   = x264_add4x4_idct_mmxext;
 412         dctf->add8x8_idct   = x264_add8x8_idct_mmxext;
 413         dctf->add16x16_idct = x264_add16x16_idct_mmxext;
 414
 415         dctf->sub8x8_dct8   = x264_sub8x8_dct8_mmxext;
 416         dctf->sub16x16_dct8 = x264_sub16x16_dct8_mmxext;
 417
 418         dctf->add8x8_idct8  = x264_add8x8_idct8_mmxext;
 419         dctf->add16x16_idct8= x264_add16x16_idct8_mmxext;
 420
 421         dctf->dct4x4dc  = x264_dct4x4dc_mmxext;
 422         dctf->idct4x4dc = x264_idct4x4dc_mmxext;
 423     }
 424 #endif
 425 #ifdef ARCH_PPC
 426     if( cpu&X264_CPU_ALTIVEC )
 427     {
 428         dctf->sub4x4_dct    = x264_sub4x4_dct_altivec;
 429         dctf->sub8x8_dct    = x264_sub8x8_dct_altivec;
 430         dctf->sub16x16_dct  = x264_sub16x16_dct_altivec;
 431     }
 432 #endif
 433 }
 434