git.sesse.net Git - x264/blob - common/deblock.c

   1 /*****************************************************************************
   2  * deblock.c: h264 encoder library
   3  *****************************************************************************
   4  * Copyright (C) 2003-2008 x264 project
   5  *
   6  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   7  *          Loren Merritt <lorenm@u.washington.edu>
   8  *          Fiona Glaser <fiona@x264.com>
   9  *
  10  * This program is free software; you can redistribute it and/or modify
  11  * it under the terms of the GNU General Public License as published by
  12  * the Free Software Foundation; either version 2 of the License, or
  13  * (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with this program; if not, write to the Free Software
  22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  23  *****************************************************************************/
  24
  25 #include "common.h"
  26
  27 /* Deblocking filter */
  28 static const uint8_t i_alpha_table[52+12*3] =
  29 {
  30      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  31      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  32      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  33      0,  0,  0,  0,  0,  0,  4,  4,  5,  6,
  34      7,  8,  9, 10, 12, 13, 15, 17, 20, 22,
  35     25, 28, 32, 36, 40, 45, 50, 56, 63, 71,
  36     80, 90,101,113,127,144,162,182,203,226,
  37    255,255,
  38    255,255,255,255,255,255,255,255,255,255,255,255,
  39 };
  40 static const uint8_t i_beta_table[52+12*3] =
  41 {
  42      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  43      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  44      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  45      0,  0,  0,  0,  0,  0,  2,  2,  2,  3,
  46      3,  3,  3,  4,  4,  4,  6,  6,  7,  7,
  47      8,  8,  9,  9, 10, 10, 11, 11, 12, 12,
  48     13, 13, 14, 14, 15, 15, 16, 16, 17, 17,
  49     18, 18,
  50     18, 18, 18, 18, 18, 18, 18, 18, 18, 18, 18, 18,
  51 };
  52 static const int8_t i_tc0_table[52+12*3][4] =
  53 {
  54     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 },
  55     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 },
  56     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 },
  57     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 },
  58     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 },
  59     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 },
  60     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 1 },
  61     {-1, 0, 0, 1 }, {-1, 0, 0, 1 }, {-1, 0, 0, 1 }, {-1, 0, 1, 1 }, {-1, 0, 1, 1 }, {-1, 1, 1, 1 },
  62     {-1, 1, 1, 1 }, {-1, 1, 1, 1 }, {-1, 1, 1, 1 }, {-1, 1, 1, 2 }, {-1, 1, 1, 2 }, {-1, 1, 1, 2 },
  63     {-1, 1, 1, 2 }, {-1, 1, 2, 3 }, {-1, 1, 2, 3 }, {-1, 2, 2, 3 }, {-1, 2, 2, 4 }, {-1, 2, 3, 4 },
  64     {-1, 2, 3, 4 }, {-1, 3, 3, 5 }, {-1, 3, 4, 6 }, {-1, 3, 4, 6 }, {-1, 4, 5, 7 }, {-1, 4, 5, 8 },
  65     {-1, 4, 6, 9 }, {-1, 5, 7,10 }, {-1, 6, 8,11 }, {-1, 6, 8,13 }, {-1, 7,10,14 }, {-1, 8,11,16 },
  66     {-1, 9,12,18 }, {-1,10,13,20 }, {-1,11,15,23 }, {-1,13,17,25 },
  67     {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 },
  68     {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 },
  69 };
  70 #define alpha_table(x) i_alpha_table[(x)+24]
  71 #define beta_table(x)  i_beta_table[(x)+24]
  72 #define tc0_table(x)   i_tc0_table[(x)+24]
  73
  74 /* From ffmpeg */
  75 static inline void deblock_luma_c( pixel *pix, int xstride, int ystride, int alpha, int beta, int8_t *tc0 )
  76 {
  77     for( int i = 0; i < 4; i++ )
  78     {
  79         if( tc0[i] < 0 )
  80         {
  81             pix += 4*ystride;
  82             continue;
  83         }
  84         for( int d = 0; d < 4; d++ )
  85         {
  86             int p2 = pix[-3*xstride];
  87             int p1 = pix[-2*xstride];
  88             int p0 = pix[-1*xstride];
  89             int q0 = pix[ 0*xstride];
  90             int q1 = pix[ 1*xstride];
  91             int q2 = pix[ 2*xstride];
  92
  93             if( abs( p0 - q0 ) < alpha && abs( p1 - p0 ) < beta && abs( q1 - q0 ) < beta )
  94             {
  95                 int tc = tc0[i];
  96                 int delta;
  97                 if( abs( p2 - p0 ) < beta )
  98                 {
  99                     if( tc0[i] )
 100                         pix[-2*xstride] = p1 + x264_clip3( (( p2 + ((p0 + q0 + 1) >> 1)) >> 1) - p1, -tc0[i], tc0[i] );
 101                     tc++;
 102                 }
 103                 if( abs( q2 - q0 ) < beta )
 104                 {
 105                     if( tc0[i] )
 106                         pix[ 1*xstride] = q1 + x264_clip3( (( q2 + ((p0 + q0 + 1) >> 1)) >> 1) - q1, -tc0[i], tc0[i] );
 107                     tc++;
 108                 }
 109
 110                 delta = x264_clip3( (((q0 - p0 ) << 2) + (p1 - q1) + 4) >> 3, -tc, tc );
 111                 pix[-1*xstride] = x264_clip_pixel( p0 + delta );    /* p0' */
 112                 pix[ 0*xstride] = x264_clip_pixel( q0 - delta );    /* q0' */
 113             }
 114             pix += ystride;
 115         }
 116     }
 117 }
 118 static void deblock_v_luma_c( pixel *pix, int stride, int alpha, int beta, int8_t *tc0 )
 119 {
 120     deblock_luma_c( pix, stride, 1, alpha, beta, tc0 );
 121 }
 122 static void deblock_h_luma_c( pixel *pix, int stride, int alpha, int beta, int8_t *tc0 )
 123 {
 124     deblock_luma_c( pix, 1, stride, alpha, beta, tc0 );
 125 }
 126
 127 static inline void deblock_chroma_c( pixel *pix, int xstride, int ystride, int alpha, int beta, int8_t *tc0 )
 128 {
 129     for( int i = 0; i < 4; i++ )
 130     {
 131         int tc = tc0[i];
 132         if( tc <= 0 )
 133         {
 134             pix += 2*ystride;
 135             continue;
 136         }
 137         for( int d = 0; d < 2; d++, pix += ystride-2 )
 138         for( int e = 0; e < 2; e++, pix++ )
 139         {
 140             int p1 = pix[-2*xstride];
 141             int p0 = pix[-1*xstride];
 142             int q0 = pix[ 0*xstride];
 143             int q1 = pix[ 1*xstride];
 144
 145             if( abs( p0 - q0 ) < alpha && abs( p1 - p0 ) < beta && abs( q1 - q0 ) < beta )
 146             {
 147                 int delta = x264_clip3( (((q0 - p0 ) << 2) + (p1 - q1) + 4) >> 3, -tc, tc );
 148                 pix[-1*xstride] = x264_clip_pixel( p0 + delta );    /* p0' */
 149                 pix[ 0*xstride] = x264_clip_pixel( q0 - delta );    /* q0' */
 150             }
 151         }
 152     }
 153 }
 154 static void deblock_v_chroma_c( pixel *pix, int stride, int alpha, int beta, int8_t *tc0 )
 155 {
 156     deblock_chroma_c( pix, stride, 2, alpha, beta, tc0 );
 157 }
 158 static void deblock_h_chroma_c( pixel *pix, int stride, int alpha, int beta, int8_t *tc0 )
 159 {
 160     deblock_chroma_c( pix, 2, stride, alpha, beta, tc0 );
 161 }
 162
 163 static inline void deblock_luma_intra_c( pixel *pix, int xstride, int ystride, int alpha, int beta )
 164 {
 165     for( int d = 0; d < 16; d++ )
 166     {
 167         int p2 = pix[-3*xstride];
 168         int p1 = pix[-2*xstride];
 169         int p0 = pix[-1*xstride];
 170         int q0 = pix[ 0*xstride];
 171         int q1 = pix[ 1*xstride];
 172         int q2 = pix[ 2*xstride];
 173
 174         if( abs( p0 - q0 ) < alpha && abs( p1 - p0 ) < beta && abs( q1 - q0 ) < beta )
 175         {
 176             if(abs( p0 - q0 ) < ((alpha >> 2) + 2) )
 177             {
 178                 if( abs( p2 - p0 ) < beta ) /* p0', p1', p2' */
 179                 {
 180                     const int p3 = pix[-4*xstride];
 181                     pix[-1*xstride] = ( p2 + 2*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3;
 182                     pix[-2*xstride] = ( p2 + p1 + p0 + q0 + 2 ) >> 2;
 183                     pix[-3*xstride] = ( 2*p3 + 3*p2 + p1 + p0 + q0 + 4 ) >> 3;
 184                 }
 185                 else /* p0' */
 186                     pix[-1*xstride] = ( 2*p1 + p0 + q1 + 2 ) >> 2;
 187                 if( abs( q2 - q0 ) < beta ) /* q0', q1', q2' */
 188                 {
 189                     const int q3 = pix[3*xstride];
 190                     pix[0*xstride] = ( p1 + 2*p0 + 2*q0 + 2*q1 + q2 + 4 ) >> 3;
 191                     pix[1*xstride] = ( p0 + q0 + q1 + q2 + 2 ) >> 2;
 192                     pix[2*xstride] = ( 2*q3 + 3*q2 + q1 + q0 + p0 + 4 ) >> 3;
 193                 }
 194                 else /* q0' */
 195                     pix[0*xstride] = ( 2*q1 + q0 + p1 + 2 ) >> 2;
 196             }
 197             else /* p0', q0' */
 198             {
 199                 pix[-1*xstride] = ( 2*p1 + p0 + q1 + 2 ) >> 2;
 200                 pix[ 0*xstride] = ( 2*q1 + q0 + p1 + 2 ) >> 2;
 201             }
 202         }
 203         pix += ystride;
 204     }
 205 }
 206 static void deblock_v_luma_intra_c( pixel *pix, int stride, int alpha, int beta )
 207 {
 208     deblock_luma_intra_c( pix, stride, 1, alpha, beta );
 209 }
 210 static void deblock_h_luma_intra_c( pixel *pix, int stride, int alpha, int beta )
 211 {
 212     deblock_luma_intra_c( pix, 1, stride, alpha, beta );
 213 }
 214
 215 static inline void deblock_chroma_intra_c( pixel *pix, int xstride, int ystride, int alpha, int beta, int dir )
 216 {
 217     for( int d = 0; d < (dir?16:8); d++, pix += ystride-2 )
 218     for( int e = 0; e < (dir?1:2); e++, pix++ )
 219     {
 220         int p1 = pix[-2*xstride];
 221         int p0 = pix[-1*xstride];
 222         int q0 = pix[ 0*xstride];
 223         int q1 = pix[ 1*xstride];
 224
 225         if( abs( p0 - q0 ) < alpha && abs( p1 - p0 ) < beta && abs( q1 - q0 ) < beta )
 226         {
 227             pix[-1*xstride] = (2*p1 + p0 + q1 + 2) >> 2;   /* p0' */
 228             pix[ 0*xstride] = (2*q1 + q0 + p1 + 2) >> 2;   /* q0' */
 229         }
 230     }
 231 }
 232 static void deblock_v_chroma_intra_c( pixel *pix, int stride, int alpha, int beta )
 233 {
 234     deblock_chroma_intra_c( pix, stride, 2, alpha, beta, 1 );
 235 }
 236 static void deblock_h_chroma_intra_c( pixel *pix, int stride, int alpha, int beta )
 237 {
 238     deblock_chroma_intra_c( pix, 2, stride, alpha, beta, 0 );
 239 }
 240
 241 static void deblock_strength_c( uint8_t nnz[X264_SCAN8_SIZE], int8_t ref[2][X264_SCAN8_LUMA_SIZE],
 242                                 int16_t mv[2][X264_SCAN8_LUMA_SIZE][2], uint8_t bs[2][4][4], int mvy_limit,
 243                                 int bframe )
 244 {
 245     for( int dir = 0; dir < 2; dir++ )
 246     {
 247         int s1 = dir ? 1 : 8;
 248         int s2 = dir ? 8 : 1;
 249         for( int edge = 0; edge < 4; edge++ )
 250             for( int i = 0, loc = X264_SCAN8_0+edge*s2; i < 4; i++, loc += s1 )
 251             {
 252                 int locn = loc - s2;
 253                 if( nnz[loc] || nnz[locn] )
 254                     bs[dir][edge][i] = 2;
 255                 else if( ref[0][loc] != ref[0][locn] ||
 256                          abs( mv[0][loc][0] - mv[0][locn][0] ) >= 4 ||
 257                          abs( mv[0][loc][1] - mv[0][locn][1] ) >= mvy_limit ||
 258                         (bframe && (ref[1][loc] != ref[1][locn] ||
 259                          abs( mv[1][loc][0] - mv[1][locn][0] ) >= 4 ||
 260                          abs( mv[1][loc][1] - mv[1][locn][1] ) >= mvy_limit )))
 261                 {
 262                     bs[dir][edge][i] = 1;
 263                 }
 264                 else
 265                     bs[dir][edge][i] = 0;
 266             }
 267     }
 268 }
 269
 270 static inline void deblock_edge( x264_t *h, pixel *pix, int i_stride, uint8_t bS[4], int i_qp, int b_chroma, x264_deblock_inter_t pf_inter )
 271 {
 272     int index_a = i_qp-QP_BD_OFFSET + h->sh.i_alpha_c0_offset;
 273     int index_b = i_qp-QP_BD_OFFSET + h->sh.i_beta_offset;
 274     int alpha = alpha_table(index_a) << (BIT_DEPTH-8);
 275     int beta  = beta_table(index_b) << (BIT_DEPTH-8);
 276     int8_t tc[4];
 277
 278     if( !M32(bS) || !alpha || !beta )
 279         return;
 280
 281     tc[0] = (tc0_table(index_a)[bS[0]] << (BIT_DEPTH-8)) + b_chroma;
 282     tc[1] = (tc0_table(index_a)[bS[1]] << (BIT_DEPTH-8)) + b_chroma;
 283     tc[2] = (tc0_table(index_a)[bS[2]] << (BIT_DEPTH-8)) + b_chroma;
 284     tc[3] = (tc0_table(index_a)[bS[3]] << (BIT_DEPTH-8)) + b_chroma;
 285
 286     pf_inter( pix, i_stride, alpha, beta, tc );
 287 }
 288
 289 static inline void deblock_edge_intra( x264_t *h, pixel *pix, int i_stride, uint8_t bS[4], int i_qp, int b_chroma, x264_deblock_intra_t pf_intra )
 290 {
 291     int index_a = i_qp-QP_BD_OFFSET + h->sh.i_alpha_c0_offset;
 292     int index_b = i_qp-QP_BD_OFFSET + h->sh.i_beta_offset;
 293     int alpha = alpha_table(index_a) << (BIT_DEPTH-8);
 294     int beta  = beta_table(index_b) << (BIT_DEPTH-8);
 295
 296     if( !alpha || !beta )
 297         return;
 298
 299     pf_intra( pix, i_stride, alpha, beta );
 300 }
 301
 302 void x264_frame_deblock_row( x264_t *h, int mb_y )
 303 {
 304     int b_interlaced = h->sh.b_mbaff;
 305     int qp_thresh = 15 - X264_MIN( h->sh.i_alpha_c0_offset, h->sh.i_beta_offset ) - X264_MAX( 0, h->param.analyse.i_chroma_qp_offset );
 306     int stridey   = h->fdec->i_stride[0];
 307     int stride2y  = stridey << b_interlaced;
 308     int strideuv  = h->fdec->i_stride[1];
 309     int stride2uv = strideuv << b_interlaced;
 310
 311     for( int mb_x = 0; mb_x < h->mb.i_mb_width; mb_x += (~b_interlaced | mb_y)&1, mb_y ^= b_interlaced )
 312     {
 313         x264_prefetch_fenc( h, h->fdec, mb_x, mb_y );
 314         x264_macroblock_cache_load_neighbours_deblock( h, mb_x, mb_y );
 315
 316         int mb_xy = h->mb.i_mb_xy;
 317         int transform_8x8 = h->mb.mb_transform_size[h->mb.i_mb_xy];
 318         int intra_cur = IS_INTRA( h->mb.type[mb_xy] );
 319         uint8_t (*bs)[4][4] = h->deblock_strength[mb_y&b_interlaced][mb_x];
 320
 321         pixel *pixy = h->fdec->plane[0] + 16*mb_y*stridey  + 16*mb_x;
 322         pixel *pixuv = h->fdec->plane[1] + 8*mb_y*strideuv + 16*mb_x;
 323         if( mb_y & b_interlaced )
 324         {
 325             pixy -= 15*stridey;
 326             pixuv -= 7*strideuv;
 327         }
 328
 329         int qp = h->mb.qp[mb_xy];
 330         int qpc = h->chroma_qp_table[qp];
 331         int first_edge_only = h->mb.type[mb_xy] == P_SKIP || qp <= qp_thresh;
 332
 333         #define FILTER( intra, dir, edge, qp, chroma_qp )\
 334         do\
 335         {\
 336             deblock_edge##intra( h, pixy + 4*edge*(dir?stride2y:1),\
 337                                  stride2y, bs[dir][edge], qp, 0,\
 338                                  h->loopf.deblock_luma##intra[dir] );\
 339             if( !(edge & 1) )\
 340                 deblock_edge##intra( h, pixuv + 2*edge*(dir?stride2uv:2),\
 341                                      stride2uv, bs[dir][edge], chroma_qp, 1,\
 342                                      h->loopf.deblock_chroma##intra[dir] );\
 343         } while(0)
 344
 345         if( h->mb.i_neighbour & MB_LEFT )
 346         {
 347             int qpl = h->mb.qp[h->mb.i_mb_left_xy];
 348             int qp_left = (qp + qpl + 1) >> 1;
 349             int qpc_left = (h->chroma_qp_table[qp] + h->chroma_qp_table[qpl] + 1) >> 1;
 350             int intra_left = IS_INTRA( h->mb.type[h->mb.i_mb_left_xy] );
 351             if( intra_cur || intra_left )
 352                 FILTER( _intra, 0, 0, qp_left, qpc_left );
 353             else
 354                 FILTER(       , 0, 0, qp_left, qpc_left );
 355         }
 356
 357         if( !first_edge_only )
 358         {
 359             if( !transform_8x8 ) FILTER( , 0, 1, qp, qpc );
 360                                  FILTER( , 0, 2, qp, qpc );
 361             if( !transform_8x8 ) FILTER( , 0, 3, qp, qpc );
 362         }
 363
 364         if( h->mb.i_neighbour & MB_TOP )
 365         {
 366             int qpt = h->mb.qp[h->mb.i_mb_top_xy];
 367             int qp_top = (qp + qpt + 1) >> 1;
 368             int qpc_top = (h->chroma_qp_table[qp] + h->chroma_qp_table[qpt] + 1) >> 1;
 369             int intra_top = IS_INTRA( h->mb.type[h->mb.i_mb_top_xy] );
 370             if( ~b_interlaced & (intra_cur | intra_top) )
 371                 FILTER( _intra, 1, 0, qp_top, qpc_top );
 372             else
 373             {
 374                 if( intra_top )
 375                     M32( bs[1][0] ) = 0x03030303;
 376                 FILTER(       , 1, 0, qp_top, qpc_top );
 377             }
 378         }
 379
 380         if( !first_edge_only )
 381         {
 382             if( !transform_8x8 ) FILTER( , 1, 1, qp, qpc );
 383                                  FILTER( , 1, 2, qp, qpc );
 384             if( !transform_8x8 ) FILTER( , 1, 3, qp, qpc );
 385         }
 386
 387         #undef FILTER
 388     }
 389 }
 390
 391 /* For deblock-aware RD.
 392  * TODO:
 393  *  deblock macroblock edges
 394  *  support analysis partitions smaller than 16x16
 395  *  deblock chroma
 396  *  handle duplicate refs correctly
 397  *  handle cavlc+8x8dct correctly
 398  */
 399 void x264_macroblock_deblock( x264_t *h )
 400 {
 401     int qp_thresh = 15 - X264_MIN( h->sh.i_alpha_c0_offset, h->sh.i_beta_offset ) - X264_MAX( 0, h->param.analyse.i_chroma_qp_offset );
 402     int qp = h->mb.i_qp;
 403     if( qp <= qp_thresh || h->mb.i_type == P_SKIP )
 404         return;
 405
 406     uint8_t (*bs)[4][4] = h->deblock_strength[h->mb.i_mb_y&h->sh.b_mbaff][h->mb.i_mb_x];
 407     if( IS_INTRA( h->mb.i_type ) )
 408         memset( bs, 3, 2*4*4*sizeof(uint8_t) );
 409     else
 410         h->loopf.deblock_strength( h->mb.cache.non_zero_count, h->mb.cache.ref, h->mb.cache.mv,
 411                                    bs, 4 >> h->sh.b_mbaff, h->sh.i_type == SLICE_TYPE_B );
 412
 413     int transform_8x8 = h->mb.b_transform_8x8;
 414     pixel *fdec = h->mb.pic.p_fdec[0];
 415
 416     #define FILTER( dir, edge )\
 417     do\
 418     {\
 419         deblock_edge( h, fdec + 4*edge*(dir?FDEC_STRIDE:1),\
 420                       FDEC_STRIDE, bs[dir][edge], qp, 0,\
 421                       h->loopf.deblock_luma[dir] );\
 422     } while(0)
 423
 424     if( !transform_8x8 ) FILTER( 0, 1 );
 425                          FILTER( 0, 2 );
 426     if( !transform_8x8 ) FILTER( 0, 3 );
 427
 428     if( !transform_8x8 ) FILTER( 1, 1 );
 429                          FILTER( 1, 2 );
 430     if( !transform_8x8 ) FILTER( 1, 3 );
 431
 432     #undef FILTER
 433 }
 434
 435 #if HAVE_MMX
 436 void x264_deblock_v_luma_sse2( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 437 void x264_deblock_h_luma_sse2( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 438 void x264_deblock_v_chroma_sse2( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 439 void x264_deblock_h_chroma_sse2( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 440 void x264_deblock_v_luma_intra_sse2( uint8_t *pix, int stride, int alpha, int beta );
 441 void x264_deblock_h_luma_intra_sse2( uint8_t *pix, int stride, int alpha, int beta );
 442 void x264_deblock_v_chroma_intra_sse2( uint8_t *pix, int stride, int alpha, int beta );
 443 void x264_deblock_h_chroma_intra_sse2( uint8_t *pix, int stride, int alpha, int beta );
 444 void x264_deblock_strength_mmxext( uint8_t nnz[X264_SCAN8_SIZE], int8_t ref[2][X264_SCAN8_LUMA_SIZE],
 445                                    int16_t mv[2][X264_SCAN8_LUMA_SIZE][2], uint8_t bs[2][4][4],
 446                                    int mvy_limit, int bframe );
 447 void x264_deblock_strength_sse2  ( uint8_t nnz[X264_SCAN8_SIZE], int8_t ref[2][X264_SCAN8_LUMA_SIZE],
 448                                    int16_t mv[2][X264_SCAN8_LUMA_SIZE][2], uint8_t bs[2][4][4],
 449                                    int mvy_limit, int bframe );
 450 void x264_deblock_strength_ssse3 ( uint8_t nnz[X264_SCAN8_SIZE], int8_t ref[2][X264_SCAN8_LUMA_SIZE],
 451                                    int16_t mv[2][X264_SCAN8_LUMA_SIZE][2], uint8_t bs[2][4][4],
 452                                    int mvy_limit, int bframe );
 453 #if ARCH_X86
 454 void x264_deblock_h_luma_mmxext( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 455 void x264_deblock_v8_luma_mmxext( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 456 void x264_deblock_v_chroma_mmxext( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 457 void x264_deblock_h_chroma_mmxext( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 458 void x264_deblock_h_luma_intra_mmxext( uint8_t *pix, int stride, int alpha, int beta );
 459 void x264_deblock_v8_luma_intra_mmxext( uint8_t *pix, int stride, int alpha, int beta );
 460 void x264_deblock_v_chroma_intra_mmxext( uint8_t *pix, int stride, int alpha, int beta );
 461 void x264_deblock_h_chroma_intra_mmxext( uint8_t *pix, int stride, int alpha, int beta );
 462
 463 // FIXME this wrapper has a significant cpu cost
 464 static void x264_deblock_v_luma_mmxext( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 )
 465 {
 466     x264_deblock_v8_luma_mmxext( pix,   stride, alpha, beta, tc0   );
 467     x264_deblock_v8_luma_mmxext( pix+8, stride, alpha, beta, tc0+2 );
 468 }
 469 static void x264_deblock_v_luma_intra_mmxext( uint8_t *pix, int stride, int alpha, int beta )
 470 {
 471     x264_deblock_v8_luma_intra_mmxext( pix,   stride, alpha, beta );
 472     x264_deblock_v8_luma_intra_mmxext( pix+8, stride, alpha, beta );
 473 }
 474 #endif
 475 #endif
 476
 477 #if ARCH_PPC
 478 void x264_deblock_v_luma_altivec( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 479 void x264_deblock_h_luma_altivec( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 480 #endif // ARCH_PPC
 481
 482 #if HAVE_ARMV6
 483 void x264_deblock_v_luma_neon( uint8_t *, int, int, int, int8_t * );
 484 void x264_deblock_h_luma_neon( uint8_t *, int, int, int, int8_t * );
 485 void x264_deblock_v_chroma_neon( uint8_t *, int, int, int, int8_t * );
 486 void x264_deblock_h_chroma_neon( uint8_t *, int, int, int, int8_t * );
 487 #endif
 488
 489 void x264_deblock_init( int cpu, x264_deblock_function_t *pf )
 490 {
 491     pf->deblock_luma[1] = deblock_v_luma_c;
 492     pf->deblock_luma[0] = deblock_h_luma_c;
 493     pf->deblock_chroma[1] = deblock_v_chroma_c;
 494     pf->deblock_chroma[0] = deblock_h_chroma_c;
 495     pf->deblock_luma_intra[1] = deblock_v_luma_intra_c;
 496     pf->deblock_luma_intra[0] = deblock_h_luma_intra_c;
 497     pf->deblock_chroma_intra[1] = deblock_v_chroma_intra_c;
 498     pf->deblock_chroma_intra[0] = deblock_h_chroma_intra_c;
 499     pf->deblock_strength = deblock_strength_c;
 500
 501 #if HAVE_MMX
 502     if( cpu&X264_CPU_MMXEXT )
 503     {
 504 #if !X264_HIGH_BIT_DEPTH
 505 #if ARCH_X86
 506         pf->deblock_luma[1] = x264_deblock_v_luma_mmxext;
 507         pf->deblock_luma[0] = x264_deblock_h_luma_mmxext;
 508         pf->deblock_chroma[1] = x264_deblock_v_chroma_mmxext;
 509         pf->deblock_chroma[0] = x264_deblock_h_chroma_mmxext;
 510         pf->deblock_luma_intra[1] = x264_deblock_v_luma_intra_mmxext;
 511         pf->deblock_luma_intra[0] = x264_deblock_h_luma_intra_mmxext;
 512         pf->deblock_chroma_intra[1] = x264_deblock_v_chroma_intra_mmxext;
 513         pf->deblock_chroma_intra[0] = x264_deblock_h_chroma_intra_mmxext;
 514 #endif
 515 #endif // !X264_HIGH_BIT_DEPTH
 516         pf->deblock_strength = x264_deblock_strength_mmxext;
 517         if( cpu&X264_CPU_SSE2 )
 518         {
 519             pf->deblock_strength = x264_deblock_strength_sse2;
 520 #if !X264_HIGH_BIT_DEPTH
 521             if( !(cpu&X264_CPU_STACK_MOD4) )
 522             {
 523                 pf->deblock_luma[1] = x264_deblock_v_luma_sse2;
 524                 pf->deblock_luma[0] = x264_deblock_h_luma_sse2;
 525                 pf->deblock_chroma[1] = x264_deblock_v_chroma_sse2;
 526                 pf->deblock_chroma[0] = x264_deblock_h_chroma_sse2;
 527                 pf->deblock_luma_intra[1] = x264_deblock_v_luma_intra_sse2;
 528                 pf->deblock_luma_intra[0] = x264_deblock_h_luma_intra_sse2;
 529                 pf->deblock_chroma_intra[1] = x264_deblock_v_chroma_intra_sse2;
 530                 pf->deblock_chroma_intra[0] = x264_deblock_h_chroma_intra_sse2;
 531             }
 532 #endif // !X264_HIGH_BIT_DEPTH
 533         }
 534         if( cpu&X264_CPU_SSSE3 )
 535             pf->deblock_strength = x264_deblock_strength_ssse3;
 536     }
 537 #endif
 538
 539 #if !X264_HIGH_BIT_DEPTH
 540 #if HAVE_ALTIVEC
 541     if( cpu&X264_CPU_ALTIVEC )
 542     {
 543         pf->deblock_luma[1] = x264_deblock_v_luma_altivec;
 544         pf->deblock_luma[0] = x264_deblock_h_luma_altivec;
 545    }
 546 #endif // HAVE_ALTIVEC
 547
 548 #if HAVE_ARMV6
 549    if( cpu&X264_CPU_NEON )
 550    {
 551         pf->deblock_luma[1] = x264_deblock_v_luma_neon;
 552         pf->deblock_luma[0] = x264_deblock_h_luma_neon;
 553 //      pf->deblock_chroma[1] = x264_deblock_v_chroma_neon;
 554 //      pf->deblock_chroma[0] = x264_deblock_h_chroma_neon;
 555    }
 556 #endif
 557 #endif // !X264_HIGH_BIT_DEPTH
 558 }