git.sesse.net Git - x264/blob - common/deblock.c

   1 /*****************************************************************************
   2  * deblock.c: h264 encoder library
   3  *****************************************************************************
   4  * Copyright (C) 2003-2008 x264 project
   5  *
   6  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   7  *          Loren Merritt <lorenm@u.washington.edu>
   8  *          Fiona Glaser <fiona@x264.com>
   9  *
  10  * This program is free software; you can redistribute it and/or modify
  11  * it under the terms of the GNU General Public License as published by
  12  * the Free Software Foundation; either version 2 of the License, or
  13  * (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with this program; if not, write to the Free Software
  22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  23  *****************************************************************************/
  24
  25 #include "common.h"
  26
  27 /* cavlc + 8x8 transform stores nnz per 16 coeffs for the purpose of
  28  * entropy coding, but per 64 coeffs for the purpose of deblocking */
  29 static void munge_cavlc_nnz_row( x264_t *h, int mb_y, uint8_t (*buf)[16] )
  30 {
  31     uint32_t (*src)[6] = (uint32_t(*)[6])h->mb.non_zero_count + mb_y * h->sps->i_mb_width;
  32     int8_t *transform = h->mb.mb_transform_size + mb_y * h->sps->i_mb_width;
  33     for( int x = 0; x<h->sps->i_mb_width; x++ )
  34     {
  35         memcpy( buf+x, src+x, 16 );
  36         if( transform[x] )
  37         {
  38             int nnz = src[x][0] | src[x][1];
  39             src[x][0] = src[x][1] = ((uint16_t)nnz ? 0x0101 : 0) + (nnz>>16 ? 0x01010000 : 0);
  40             nnz = src[x][2] | src[x][3];
  41             src[x][2] = src[x][3] = ((uint16_t)nnz ? 0x0101 : 0) + (nnz>>16 ? 0x01010000 : 0);
  42         }
  43     }
  44 }
  45
  46 static void restore_cavlc_nnz_row( x264_t *h, int mb_y, uint8_t (*buf)[16] )
  47 {
  48     uint8_t (*dst)[24] = h->mb.non_zero_count + mb_y * h->sps->i_mb_width;
  49     for( int x = 0; x < h->sps->i_mb_width; x++ )
  50         memcpy( dst+x, buf+x, 16 );
  51 }
  52
  53 static void munge_cavlc_nnz( x264_t *h, int mb_y, uint8_t (*buf)[16], void (*func)(x264_t*, int, uint8_t (*)[16]) )
  54 {
  55     func( h, mb_y, buf );
  56     if( mb_y > 0 )
  57         func( h, mb_y-1, buf + h->sps->i_mb_width );
  58     if( h->sh.b_mbaff )
  59     {
  60         func( h, mb_y+1, buf + h->sps->i_mb_width * 2 );
  61         if( mb_y > 0 )
  62             func( h, mb_y-2, buf + h->sps->i_mb_width * 3 );
  63     }
  64 }
  65
  66
  67 /* Deblocking filter */
  68 static const uint8_t i_alpha_table[52+12*2] =
  69 {
  70      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  71      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  72      0,  0,  0,  0,  0,  0,  4,  4,  5,  6,
  73      7,  8,  9, 10, 12, 13, 15, 17, 20, 22,
  74     25, 28, 32, 36, 40, 45, 50, 56, 63, 71,
  75     80, 90,101,113,127,144,162,182,203,226,
  76    255,255,
  77    255,255,255,255,255,255,255,255,255,255,255,255,
  78 };
  79 static const uint8_t i_beta_table[52+12*2] =
  80 {
  81      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  82      0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  83      0,  0,  0,  0,  0,  0,  2,  2,  2,  3,
  84      3,  3,  3,  4,  4,  4,  6,  6,  7,  7,
  85      8,  8,  9,  9, 10, 10, 11, 11, 12, 12,
  86     13, 13, 14, 14, 15, 15, 16, 16, 17, 17,
  87     18, 18,
  88     18, 18, 18, 18, 18, 18, 18, 18, 18, 18, 18, 18,
  89 };
  90 static const int8_t i_tc0_table[52+12*2][4] =
  91 {
  92     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 },
  93     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 },
  94     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 },
  95     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 },
  96     {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 0 }, {-1, 0, 0, 1 },
  97     {-1, 0, 0, 1 }, {-1, 0, 0, 1 }, {-1, 0, 0, 1 }, {-1, 0, 1, 1 }, {-1, 0, 1, 1 }, {-1, 1, 1, 1 },
  98     {-1, 1, 1, 1 }, {-1, 1, 1, 1 }, {-1, 1, 1, 1 }, {-1, 1, 1, 2 }, {-1, 1, 1, 2 }, {-1, 1, 1, 2 },
  99     {-1, 1, 1, 2 }, {-1, 1, 2, 3 }, {-1, 1, 2, 3 }, {-1, 2, 2, 3 }, {-1, 2, 2, 4 }, {-1, 2, 3, 4 },
 100     {-1, 2, 3, 4 }, {-1, 3, 3, 5 }, {-1, 3, 4, 6 }, {-1, 3, 4, 6 }, {-1, 4, 5, 7 }, {-1, 4, 5, 8 },
 101     {-1, 4, 6, 9 }, {-1, 5, 7,10 }, {-1, 6, 8,11 }, {-1, 6, 8,13 }, {-1, 7,10,14 }, {-1, 8,11,16 },
 102     {-1, 9,12,18 }, {-1,10,13,20 }, {-1,11,15,23 }, {-1,13,17,25 },
 103     {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 },
 104     {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 }, {-1,13,17,25 },
 105 };
 106 #define alpha_table(x) i_alpha_table[(x)+12]
 107 #define beta_table(x)  i_beta_table[(x)+12]
 108 #define tc0_table(x)   i_tc0_table[(x)+12]
 109
 110 /* From ffmpeg */
 111 static inline void deblock_luma_c( uint8_t *pix, int xstride, int ystride, int alpha, int beta, int8_t *tc0 )
 112 {
 113     for( int i = 0; i < 4; i++ )
 114     {
 115         if( tc0[i] < 0 )
 116         {
 117             pix += 4*ystride;
 118             continue;
 119         }
 120         for( int d = 0; d < 4; d++ )
 121         {
 122             int p2 = pix[-3*xstride];
 123             int p1 = pix[-2*xstride];
 124             int p0 = pix[-1*xstride];
 125             int q0 = pix[ 0*xstride];
 126             int q1 = pix[ 1*xstride];
 127             int q2 = pix[ 2*xstride];
 128
 129             if( abs( p0 - q0 ) < alpha && abs( p1 - p0 ) < beta && abs( q1 - q0 ) < beta )
 130             {
 131                 int tc = tc0[i];
 132                 int delta;
 133                 if( abs( p2 - p0 ) < beta )
 134                 {
 135                     if( tc0[i] )
 136                         pix[-2*xstride] = p1 + x264_clip3( (( p2 + ((p0 + q0 + 1) >> 1)) >> 1) - p1, -tc0[i], tc0[i] );
 137                     tc++;
 138                 }
 139                 if( abs( q2 - q0 ) < beta )
 140                 {
 141                     if( tc0[i] )
 142                         pix[ 1*xstride] = q1 + x264_clip3( (( q2 + ((p0 + q0 + 1) >> 1)) >> 1) - q1, -tc0[i], tc0[i] );
 143                     tc++;
 144                 }
 145
 146                 delta = x264_clip3( (((q0 - p0 ) << 2) + (p1 - q1) + 4) >> 3, -tc, tc );
 147                 pix[-1*xstride] = x264_clip_uint8( p0 + delta );    /* p0' */
 148                 pix[ 0*xstride] = x264_clip_uint8( q0 - delta );    /* q0' */
 149             }
 150             pix += ystride;
 151         }
 152     }
 153 }
 154 static void deblock_v_luma_c( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 )
 155 {
 156     deblock_luma_c( pix, stride, 1, alpha, beta, tc0 );
 157 }
 158 static void deblock_h_luma_c( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 )
 159 {
 160     deblock_luma_c( pix, 1, stride, alpha, beta, tc0 );
 161 }
 162
 163 static inline void deblock_chroma_c( uint8_t *pix, int xstride, int ystride, int alpha, int beta, int8_t *tc0 )
 164 {
 165     for( int i = 0; i < 4; i++ )
 166     {
 167         int tc = tc0[i];
 168         if( tc <= 0 )
 169         {
 170             pix += 2*ystride;
 171             continue;
 172         }
 173         for( int d = 0; d < 2; d++ )
 174         {
 175             int p1 = pix[-2*xstride];
 176             int p0 = pix[-1*xstride];
 177             int q0 = pix[ 0*xstride];
 178             int q1 = pix[ 1*xstride];
 179
 180             if( abs( p0 - q0 ) < alpha && abs( p1 - p0 ) < beta && abs( q1 - q0 ) < beta )
 181             {
 182                 int delta = x264_clip3( (((q0 - p0 ) << 2) + (p1 - q1) + 4) >> 3, -tc, tc );
 183                 pix[-1*xstride] = x264_clip_uint8( p0 + delta );    /* p0' */
 184                 pix[ 0*xstride] = x264_clip_uint8( q0 - delta );    /* q0' */
 185             }
 186             pix += ystride;
 187         }
 188     }
 189 }
 190 static void deblock_v_chroma_c( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 )
 191 {
 192     deblock_chroma_c( pix, stride, 1, alpha, beta, tc0 );
 193 }
 194 static void deblock_h_chroma_c( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 )
 195 {
 196     deblock_chroma_c( pix, 1, stride, alpha, beta, tc0 );
 197 }
 198
 199 static inline void deblock_luma_intra_c( uint8_t *pix, int xstride, int ystride, int alpha, int beta )
 200 {
 201     for( int d = 0; d < 16; d++ )
 202     {
 203         int p2 = pix[-3*xstride];
 204         int p1 = pix[-2*xstride];
 205         int p0 = pix[-1*xstride];
 206         int q0 = pix[ 0*xstride];
 207         int q1 = pix[ 1*xstride];
 208         int q2 = pix[ 2*xstride];
 209
 210         if( abs( p0 - q0 ) < alpha && abs( p1 - p0 ) < beta && abs( q1 - q0 ) < beta )
 211         {
 212             if(abs( p0 - q0 ) < ((alpha >> 2) + 2) )
 213             {
 214                 if( abs( p2 - p0 ) < beta ) /* p0', p1', p2' */
 215                 {
 216                     const int p3 = pix[-4*xstride];
 217                     pix[-1*xstride] = ( p2 + 2*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3;
 218                     pix[-2*xstride] = ( p2 + p1 + p0 + q0 + 2 ) >> 2;
 219                     pix[-3*xstride] = ( 2*p3 + 3*p2 + p1 + p0 + q0 + 4 ) >> 3;
 220                 }
 221                 else /* p0' */
 222                     pix[-1*xstride] = ( 2*p1 + p0 + q1 + 2 ) >> 2;
 223                 if( abs( q2 - q0 ) < beta ) /* q0', q1', q2' */
 224                 {
 225                     const int q3 = pix[3*xstride];
 226                     pix[0*xstride] = ( p1 + 2*p0 + 2*q0 + 2*q1 + q2 + 4 ) >> 3;
 227                     pix[1*xstride] = ( p0 + q0 + q1 + q2 + 2 ) >> 2;
 228                     pix[2*xstride] = ( 2*q3 + 3*q2 + q1 + q0 + p0 + 4 ) >> 3;
 229                 }
 230                 else /* q0' */
 231                     pix[0*xstride] = ( 2*q1 + q0 + p1 + 2 ) >> 2;
 232             }
 233             else /* p0', q0' */
 234             {
 235                 pix[-1*xstride] = ( 2*p1 + p0 + q1 + 2 ) >> 2;
 236                 pix[ 0*xstride] = ( 2*q1 + q0 + p1 + 2 ) >> 2;
 237             }
 238         }
 239         pix += ystride;
 240     }
 241 }
 242 static void deblock_v_luma_intra_c( uint8_t *pix, int stride, int alpha, int beta )
 243 {
 244     deblock_luma_intra_c( pix, stride, 1, alpha, beta );
 245 }
 246 static void deblock_h_luma_intra_c( uint8_t *pix, int stride, int alpha, int beta )
 247 {
 248     deblock_luma_intra_c( pix, 1, stride, alpha, beta );
 249 }
 250
 251 static inline void deblock_chroma_intra_c( uint8_t *pix, int xstride, int ystride, int alpha, int beta )
 252 {
 253     for( int d = 0; d < 8; d++ )
 254     {
 255         int p1 = pix[-2*xstride];
 256         int p0 = pix[-1*xstride];
 257         int q0 = pix[ 0*xstride];
 258         int q1 = pix[ 1*xstride];
 259
 260         if( abs( p0 - q0 ) < alpha && abs( p1 - p0 ) < beta && abs( q1 - q0 ) < beta )
 261         {
 262             pix[-1*xstride] = (2*p1 + p0 + q1 + 2) >> 2;   /* p0' */
 263             pix[ 0*xstride] = (2*q1 + q0 + p1 + 2) >> 2;   /* q0' */
 264         }
 265         pix += ystride;
 266     }
 267 }
 268 static void deblock_v_chroma_intra_c( uint8_t *pix, int stride, int alpha, int beta )
 269 {
 270     deblock_chroma_intra_c( pix, stride, 1, alpha, beta );
 271 }
 272 static void deblock_h_chroma_intra_c( uint8_t *pix, int stride, int alpha, int beta )
 273 {
 274     deblock_chroma_intra_c( pix, 1, stride, alpha, beta );
 275 }
 276
 277 static inline void deblock_edge( x264_t *h, uint8_t *pix1, uint8_t *pix2, int i_stride, uint8_t bS[4], int i_qp, int b_chroma, x264_deblock_inter_t pf_inter )
 278 {
 279     int index_a = i_qp + h->sh.i_alpha_c0_offset;
 280     int alpha = alpha_table(index_a);
 281     int beta  = beta_table(i_qp + h->sh.i_beta_offset);
 282     int8_t tc[4];
 283
 284     if( !alpha || !beta )
 285         return;
 286
 287     tc[0] = tc0_table(index_a)[bS[0]] + b_chroma;
 288     tc[1] = tc0_table(index_a)[bS[1]] + b_chroma;
 289     tc[2] = tc0_table(index_a)[bS[2]] + b_chroma;
 290     tc[3] = tc0_table(index_a)[bS[3]] + b_chroma;
 291
 292     pf_inter( pix1, i_stride, alpha, beta, tc );
 293     if( b_chroma )
 294         pf_inter( pix2, i_stride, alpha, beta, tc );
 295 }
 296
 297 static inline void deblock_edge_intra( x264_t *h, uint8_t *pix1, uint8_t *pix2, int i_stride, uint8_t bS[4], int i_qp, int b_chroma, x264_deblock_intra_t pf_intra )
 298 {
 299     int alpha = alpha_table(i_qp + h->sh.i_alpha_c0_offset);
 300     int beta  = beta_table(i_qp + h->sh.i_beta_offset);
 301
 302     if( !alpha || !beta )
 303         return;
 304
 305     pf_intra( pix1, i_stride, alpha, beta );
 306     if( b_chroma )
 307         pf_intra( pix2, i_stride, alpha, beta );
 308 }
 309
 310 void x264_frame_deblock_row( x264_t *h, int mb_y )
 311 {
 312     int s8x8 = 2 * h->mb.i_mb_stride;
 313     int s4x4 = 4 * h->mb.i_mb_stride;
 314     int b_interlaced = h->sh.b_mbaff;
 315     int mvy_limit = 4 >> b_interlaced;
 316     int qp_thresh = 15 - X264_MIN(h->sh.i_alpha_c0_offset, h->sh.i_beta_offset) - X264_MAX(0, h->param.analyse.i_chroma_qp_offset);
 317     int no_sub8x8 = !(h->param.analyse.inter & X264_ANALYSE_PSUB8x8);
 318     int mb_x;
 319     int stridey   = h->fdec->i_stride[0];
 320     int stride2y  = stridey << b_interlaced;
 321     int strideuv  = h->fdec->i_stride[1];
 322     int stride2uv = strideuv << b_interlaced;
 323     int deblock_on_slice_edges = h->sh.i_disable_deblocking_filter_idc != 2;
 324     int ref_table[32+2];
 325     #define ref_table(x) ref_table[x+2]
 326     uint8_t (*nnz_backup)[16] = h->scratch_buffer;
 327
 328     ref_table(-2) = -2;
 329     ref_table(-1) = -1;
 330     for( int i = 0; i < (h->i_ref0 << h->sh.b_mbaff); i++ )
 331     {
 332         if( !h->mb.b_interlaced )
 333             ref_table(i) = h->fref0[i]->i_poc;
 334         else
 335             ref_table(i) = h->fref0[i>>1]->i_poc + (i&1);
 336     }
 337
 338     if( !h->pps->b_cabac && h->pps->b_transform_8x8_mode )
 339         munge_cavlc_nnz( h, mb_y, nnz_backup, munge_cavlc_nnz_row );
 340
 341     for( mb_x = 0; mb_x < h->sps->i_mb_width; mb_x += (~b_interlaced | mb_y)&1, mb_y ^= b_interlaced )
 342     {
 343         int mb_xy  = mb_y * h->mb.i_mb_stride + mb_x;
 344         int mb_8x8 = 2 * s8x8 * mb_y + 2 * mb_x;
 345         int mb_4x4 = 4 * s4x4 * mb_y + 4 * mb_x;
 346         int b_8x8_transform = h->mb.mb_transform_size[mb_xy];
 347         int i_qp = h->mb.qp[mb_xy];
 348         int i_edge_end = (h->mb.type[mb_xy] == P_SKIP) ? 1 : 4;
 349         uint8_t *pixy = h->fdec->plane[0] + 16*mb_y*stridey  + 16*mb_x;
 350         uint8_t *pixu = h->fdec->plane[1] +  8*mb_y*strideuv +  8*mb_x;
 351         uint8_t *pixv = h->fdec->plane[2] +  8*mb_y*strideuv +  8*mb_x;
 352         if( b_interlaced && (mb_y&1) )
 353         {
 354             pixy -= 15*stridey;
 355             pixu -=  7*strideuv;
 356             pixv -=  7*strideuv;
 357         }
 358
 359         x264_prefetch_fenc( h, h->fdec, mb_x, mb_y );
 360
 361         if( i_qp <= qp_thresh )
 362             i_edge_end = 1;
 363
 364         #define FILTER_DIR(intra, i_dir)\
 365         {\
 366             /* Y plane */\
 367             i_qpn= h->mb.qp[mbn_xy];\
 368             if( i_dir == 0 )\
 369             {\
 370                 /* vertical edge */\
 371                 deblock_edge##intra( h, pixy + 4*i_edge, NULL,\
 372                               stride2y, bS, (i_qp+i_qpn+1) >> 1, 0,\
 373                               h->loopf.deblock_h_luma##intra );\
 374                 if( !(i_edge & 1) )\
 375                 {\
 376                     /* U/V planes */\
 377                     int i_qpc = (h->chroma_qp_table[i_qp] + h->chroma_qp_table[i_qpn] + 1) >> 1;\
 378                     deblock_edge##intra( h, pixu + 2*i_edge, pixv + 2*i_edge,\
 379                                   stride2uv, bS, i_qpc, 1,\
 380                                   h->loopf.deblock_h_chroma##intra );\
 381                 }\
 382             }\
 383             else\
 384             {\
 385                 /* horizontal edge */\
 386                 deblock_edge##intra( h, pixy + 4*i_edge*stride2y, NULL,\
 387                               stride2y, bS, (i_qp+i_qpn+1) >> 1, 0,\
 388                               h->loopf.deblock_v_luma##intra );\
 389                 /* U/V planes */\
 390                 if( !(i_edge & 1) )\
 391                 {\
 392                     int i_qpc = (h->chroma_qp_table[i_qp] + h->chroma_qp_table[i_qpn] + 1) >> 1;\
 393                     deblock_edge##intra( h, pixu + 2*i_edge*stride2uv, pixv + 2*i_edge*stride2uv,\
 394                                   stride2uv, bS, i_qpc, 1,\
 395                                   h->loopf.deblock_v_chroma##intra );\
 396                 }\
 397             }\
 398         }
 399
 400         #define DEBLOCK_STRENGTH(i_dir)\
 401         {\
 402             /* *** Get bS for each 4px for the current edge *** */\
 403             if( IS_INTRA( h->mb.type[mb_xy] ) || IS_INTRA( h->mb.type[mbn_xy]) )\
 404                 M32( bS ) = 0x03030303;\
 405             else\
 406             {\
 407                 M32( bS ) = 0x00000000;\
 408                 for( int i = 0; i < 4; i++ )\
 409                 {\
 410                     int x  = i_dir == 0 ? i_edge : i;\
 411                     int y  = i_dir == 0 ? i      : i_edge;\
 412                     int xn = i_dir == 0 ? (x - 1)&0x03 : x;\
 413                     int yn = i_dir == 0 ? y : (y - 1)&0x03;\
 414                     if( h->mb.non_zero_count[mb_xy][x+y*4] != 0 ||\
 415                         h->mb.non_zero_count[mbn_xy][xn+yn*4] != 0 )\
 416                         bS[i] = 2;\
 417                     else if(!(i_edge&no_sub8x8))\
 418                     {\
 419                         if((i&no_sub8x8) && bS[i-1] != 2)\
 420                             bS[i] = bS[i-1];\
 421                         else\
 422                         {\
 423                             int i8p= mb_8x8+(x>>1)+(y>>1)*s8x8;\
 424                             int i8q= mbn_8x8+(xn>>1)+(yn>>1)*s8x8;\
 425                             int i4p= mb_4x4+x+y*s4x4;\
 426                             int i4q= mbn_4x4+xn+yn*s4x4;\
 427                             if((!(ref_table(h->mb.ref[0][i8p]) == ref_table(h->mb.ref[0][i8q])) ||\
 428                                 abs( h->mb.mv[0][i4p][0] - h->mb.mv[0][i4q][0] ) >= 4 ||\
 429                                 abs( h->mb.mv[0][i4p][1] - h->mb.mv[0][i4q][1] ) >= mvy_limit ) ||\
 430                                (h->sh.i_type == SLICE_TYPE_B &&\
 431                                (h->mb.ref[1][i8p] != h->mb.ref[1][i8q] ||\
 432                                 abs( h->mb.mv[1][i4p][0] - h->mb.mv[1][i4q][0] ) >= 4 ||\
 433                                 abs( h->mb.mv[1][i4p][1] - h->mb.mv[1][i4q][1] ) >= mvy_limit )))\
 434                             {\
 435                                 bS[i] = 1;\
 436                             }\
 437                         }\
 438                     }\
 439                 }\
 440             }\
 441         }
 442
 443         /* i_dir == 0 -> vertical edge
 444          * i_dir == 1 -> horizontal edge */
 445         #define DEBLOCK_DIR(i_dir)\
 446         {\
 447             int i_edge = 0;\
 448             int i_qpn, mbn_xy, mbn_8x8, mbn_4x4;\
 449             ALIGNED_4( uint8_t bS[4] );  /* filtering strength */\
 450             /* We don't have to consider the MBAFF case of a slice breaking in the middle\
 451              * of a row because x264 doesn't support that case.  If we add support for that,\
 452              * this will have to become significantly more complex. */\
 453             if( i_dir == 0 && (mb_x == 0 || (!deblock_on_slice_edges &&\
 454                 h->mb.slice_table[mb_xy] != h->mb.slice_table[mb_xy-1])) )\
 455                 i_edge++;\
 456             if( i_dir == 1 && (mb_y <= b_interlaced || (!deblock_on_slice_edges &&\
 457                 h->mb.slice_table[mb_xy] != h->mb.slice_table[mb_xy-(h->mb.i_mb_stride<<b_interlaced)])) )\
 458                 i_edge++;\
 459             if( i_edge )\
 460                 i_edge+= b_8x8_transform;\
 461             else\
 462             {\
 463                 mbn_xy  = i_dir == 0 ? mb_xy  - 1 : mb_xy - h->mb.i_mb_stride;\
 464                 mbn_8x8 = i_dir == 0 ? mb_8x8 - 2 : mb_8x8 - 2 * s8x8;\
 465                 mbn_4x4 = i_dir == 0 ? mb_4x4 - 4 : mb_4x4 - 4 * s4x4;\
 466                 if( b_interlaced && i_dir == 1 )\
 467                 {\
 468                     mbn_xy -= h->mb.i_mb_stride;\
 469                     mbn_8x8 -= 2 * s8x8;\
 470                     mbn_4x4 -= 4 * s4x4;\
 471                 }\
 472                 else if( IS_INTRA( h->mb.type[mb_xy] ) || IS_INTRA( h->mb.type[mbn_xy]) )\
 473                 {\
 474                     FILTER_DIR( _intra, i_dir );\
 475                     goto end##i_dir;\
 476                 }\
 477                 DEBLOCK_STRENGTH(i_dir);\
 478                 if( M32( bS ) )\
 479                     FILTER_DIR( , i_dir);\
 480                 end##i_dir:\
 481                 i_edge += b_8x8_transform+1;\
 482             }\
 483             mbn_xy  = mb_xy;\
 484             mbn_8x8 = mb_8x8;\
 485             mbn_4x4 = mb_4x4;\
 486             for( ; i_edge < i_edge_end; i_edge+=b_8x8_transform+1 )\
 487             {\
 488                 DEBLOCK_STRENGTH(i_dir);\
 489                 if( M32( bS ) )\
 490                     FILTER_DIR( , i_dir);\
 491             }\
 492         }
 493
 494         DEBLOCK_DIR(0);
 495         DEBLOCK_DIR(1);
 496     }
 497
 498     if( !h->pps->b_cabac && h->pps->b_transform_8x8_mode )
 499         munge_cavlc_nnz( h, mb_y, nnz_backup, restore_cavlc_nnz_row );
 500 }
 501
 502 void x264_frame_deblock( x264_t *h )
 503 {
 504     for( int mb_y = 0; mb_y < h->sps->i_mb_height; mb_y += 1 + h->sh.b_mbaff )
 505         x264_frame_deblock_row( h, mb_y );
 506 }
 507
 508 #ifdef HAVE_MMX
 509 void x264_deblock_v_chroma_mmxext( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 510 void x264_deblock_h_chroma_mmxext( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 511 void x264_deblock_v_chroma_intra_mmxext( uint8_t *pix, int stride, int alpha, int beta );
 512 void x264_deblock_h_chroma_intra_mmxext( uint8_t *pix, int stride, int alpha, int beta );
 513
 514 void x264_deblock_v_luma_sse2( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 515 void x264_deblock_h_luma_sse2( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 516 void x264_deblock_v_luma_intra_sse2( uint8_t *pix, int stride, int alpha, int beta );
 517 void x264_deblock_h_luma_intra_sse2( uint8_t *pix, int stride, int alpha, int beta );
 518 #ifdef ARCH_X86
 519 void x264_deblock_h_luma_mmxext( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 520 void x264_deblock_v8_luma_mmxext( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 521 void x264_deblock_h_luma_intra_mmxext( uint8_t *pix, int stride, int alpha, int beta );
 522 void x264_deblock_v8_luma_intra_mmxext( uint8_t *pix, int stride, int alpha, int beta );
 523
 524 static void x264_deblock_v_luma_mmxext( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 )
 525 {
 526     x264_deblock_v8_luma_mmxext( pix,   stride, alpha, beta, tc0   );
 527     x264_deblock_v8_luma_mmxext( pix+8, stride, alpha, beta, tc0+2 );
 528 }
 529 static void x264_deblock_v_luma_intra_mmxext( uint8_t *pix, int stride, int alpha, int beta )
 530 {
 531     x264_deblock_v8_luma_intra_mmxext( pix,   stride, alpha, beta );
 532     x264_deblock_v8_luma_intra_mmxext( pix+8, stride, alpha, beta );
 533 }
 534 #endif
 535 #endif
 536
 537 #ifdef ARCH_PPC
 538 void x264_deblock_v_luma_altivec( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 539 void x264_deblock_h_luma_altivec( uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0 );
 540 #endif // ARCH_PPC
 541
 542 #ifdef HAVE_ARMV6
 543 void x264_deblock_v_luma_neon( uint8_t *, int, int, int, int8_t * );
 544 void x264_deblock_h_luma_neon( uint8_t *, int, int, int, int8_t * );
 545 void x264_deblock_v_chroma_neon( uint8_t *, int, int, int, int8_t * );
 546 void x264_deblock_h_chroma_neon( uint8_t *, int, int, int, int8_t * );
 547 #endif
 548
 549 void x264_deblock_init( int cpu, x264_deblock_function_t *pf )
 550 {
 551     pf->deblock_v_luma = deblock_v_luma_c;
 552     pf->deblock_h_luma = deblock_h_luma_c;
 553     pf->deblock_v_chroma = deblock_v_chroma_c;
 554     pf->deblock_h_chroma = deblock_h_chroma_c;
 555     pf->deblock_v_luma_intra = deblock_v_luma_intra_c;
 556     pf->deblock_h_luma_intra = deblock_h_luma_intra_c;
 557     pf->deblock_v_chroma_intra = deblock_v_chroma_intra_c;
 558     pf->deblock_h_chroma_intra = deblock_h_chroma_intra_c;
 559
 560 #ifdef HAVE_MMX
 561     if( cpu&X264_CPU_MMXEXT )
 562     {
 563         pf->deblock_v_chroma = x264_deblock_v_chroma_mmxext;
 564         pf->deblock_h_chroma = x264_deblock_h_chroma_mmxext;
 565         pf->deblock_v_chroma_intra = x264_deblock_v_chroma_intra_mmxext;
 566         pf->deblock_h_chroma_intra = x264_deblock_h_chroma_intra_mmxext;
 567 #ifdef ARCH_X86
 568         pf->deblock_v_luma = x264_deblock_v_luma_mmxext;
 569         pf->deblock_h_luma = x264_deblock_h_luma_mmxext;
 570         pf->deblock_v_luma_intra = x264_deblock_v_luma_intra_mmxext;
 571         pf->deblock_h_luma_intra = x264_deblock_h_luma_intra_mmxext;
 572 #endif
 573         if( (cpu&X264_CPU_SSE2) && !(cpu&X264_CPU_STACK_MOD4) )
 574         {
 575             pf->deblock_v_luma = x264_deblock_v_luma_sse2;
 576             pf->deblock_h_luma = x264_deblock_h_luma_sse2;
 577             pf->deblock_v_luma_intra = x264_deblock_v_luma_intra_sse2;
 578             pf->deblock_h_luma_intra = x264_deblock_h_luma_intra_sse2;
 579         }
 580     }
 581 #endif
 582
 583 #ifdef HAVE_ALTIVEC
 584     if( cpu&X264_CPU_ALTIVEC )
 585     {
 586         pf->deblock_v_luma = x264_deblock_v_luma_altivec;
 587         pf->deblock_h_luma = x264_deblock_h_luma_altivec;
 588    }
 589 #endif // HAVE_ALTIVEC
 590
 591 #ifdef HAVE_ARMV6
 592    if( cpu&X264_CPU_NEON )
 593    {
 594         pf->deblock_v_luma   = x264_deblock_v_luma_neon;
 595         pf->deblock_h_luma   = x264_deblock_h_luma_neon;
 596         pf->deblock_v_chroma = x264_deblock_v_chroma_neon;
 597         pf->deblock_h_chroma = x264_deblock_h_chroma_neon;
 598    }
 599 #endif
 600 }