git.sesse.net Git - ffmpeg/blob - libavcodec/rv40dsp.c

   1 /*
   2  * RV40 decoder motion compensation functions
   3  * Copyright (c) 2008 Konstantin Shishkov
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file
  24  * RV40 decoder motion compensation functions
  25  */
  26
  27 #include "avcodec.h"
  28 #include "h264qpel.h"
  29 #include "mathops.h"
  30 #include "rv34dsp.h"
  31 #include "libavutil/avassert.h"
  32 #include "libavutil/common.h"
  33
  34 #define RV40_LOWPASS(OPNAME, OP) \
  35 static av_unused void OPNAME ## rv40_qpel8_h_lowpass(uint8_t *dst, uint8_t *src, int dstStride, int srcStride,\
  36                                                      const int h, const int C1, const int C2, const int SHIFT){\
  37     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP;\
  38     int i;\
  39     for(i = 0; i < h; i++)\
  40     {\
  41         OP(dst[0], (src[-2] + src[ 3] - 5*(src[-1]+src[2]) + src[0]*C1 + src[1]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  42         OP(dst[1], (src[-1] + src[ 4] - 5*(src[ 0]+src[3]) + src[1]*C1 + src[2]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  43         OP(dst[2], (src[ 0] + src[ 5] - 5*(src[ 1]+src[4]) + src[2]*C1 + src[3]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  44         OP(dst[3], (src[ 1] + src[ 6] - 5*(src[ 2]+src[5]) + src[3]*C1 + src[4]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  45         OP(dst[4], (src[ 2] + src[ 7] - 5*(src[ 3]+src[6]) + src[4]*C1 + src[5]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  46         OP(dst[5], (src[ 3] + src[ 8] - 5*(src[ 4]+src[7]) + src[5]*C1 + src[6]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  47         OP(dst[6], (src[ 4] + src[ 9] - 5*(src[ 5]+src[8]) + src[6]*C1 + src[7]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  48         OP(dst[7], (src[ 5] + src[10] - 5*(src[ 6]+src[9]) + src[7]*C1 + src[8]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  49         dst += dstStride;\
  50         src += srcStride;\
  51     }\
  52 }\
  53 \
  54 static void OPNAME ## rv40_qpel8_v_lowpass(uint8_t *dst, uint8_t *src, int dstStride, int srcStride,\
  55                                            const int w, const int C1, const int C2, const int SHIFT){\
  56     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP;\
  57     int i;\
  58     for(i = 0; i < w; i++)\
  59     {\
  60         const int srcB  = src[-2*srcStride];\
  61         const int srcA  = src[-1*srcStride];\
  62         const int src0  = src[0 *srcStride];\
  63         const int src1  = src[1 *srcStride];\
  64         const int src2  = src[2 *srcStride];\
  65         const int src3  = src[3 *srcStride];\
  66         const int src4  = src[4 *srcStride];\
  67         const int src5  = src[5 *srcStride];\
  68         const int src6  = src[6 *srcStride];\
  69         const int src7  = src[7 *srcStride];\
  70         const int src8  = src[8 *srcStride];\
  71         const int src9  = src[9 *srcStride];\
  72         const int src10 = src[10*srcStride];\
  73         OP(dst[0*dstStride], (srcB + src3  - 5*(srcA+src2) + src0*C1 + src1*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  74         OP(dst[1*dstStride], (srcA + src4  - 5*(src0+src3) + src1*C1 + src2*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  75         OP(dst[2*dstStride], (src0 + src5  - 5*(src1+src4) + src2*C1 + src3*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  76         OP(dst[3*dstStride], (src1 + src6  - 5*(src2+src5) + src3*C1 + src4*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  77         OP(dst[4*dstStride], (src2 + src7  - 5*(src3+src6) + src4*C1 + src5*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  78         OP(dst[5*dstStride], (src3 + src8  - 5*(src4+src7) + src5*C1 + src6*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  79         OP(dst[6*dstStride], (src4 + src9  - 5*(src5+src8) + src6*C1 + src7*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  80         OP(dst[7*dstStride], (src5 + src10 - 5*(src6+src9) + src7*C1 + src8*C2 + (1<<(SHIFT-1))) >> SHIFT);\
  81         dst++;\
  82         src++;\
  83     }\
  84 }\
  85 \
  86 static void OPNAME ## rv40_qpel16_v_lowpass(uint8_t *dst, uint8_t *src, int dstStride, int srcStride,\
  87                                             const int w, const int C1, const int C2, const int SHIFT){\
  88     OPNAME ## rv40_qpel8_v_lowpass(dst  , src  , dstStride, srcStride, 8, C1, C2, SHIFT);\
  89     OPNAME ## rv40_qpel8_v_lowpass(dst+8, src+8, dstStride, srcStride, 8, C1, C2, SHIFT);\
  90     src += 8*srcStride;\
  91     dst += 8*dstStride;\
  92     OPNAME ## rv40_qpel8_v_lowpass(dst  , src  , dstStride, srcStride, w-8, C1, C2, SHIFT);\
  93     OPNAME ## rv40_qpel8_v_lowpass(dst+8, src+8, dstStride, srcStride, w-8, C1, C2, SHIFT);\
  94 }\
  95 \
  96 static void OPNAME ## rv40_qpel16_h_lowpass(uint8_t *dst, uint8_t *src, int dstStride, int srcStride,\
  97                                             const int h, const int C1, const int C2, const int SHIFT){\
  98     OPNAME ## rv40_qpel8_h_lowpass(dst  , src  , dstStride, srcStride, 8, C1, C2, SHIFT);\
  99     OPNAME ## rv40_qpel8_h_lowpass(dst+8, src+8, dstStride, srcStride, 8, C1, C2, SHIFT);\
 100     src += 8*srcStride;\
 101     dst += 8*dstStride;\
 102     OPNAME ## rv40_qpel8_h_lowpass(dst  , src  , dstStride, srcStride, h-8, C1, C2, SHIFT);\
 103     OPNAME ## rv40_qpel8_h_lowpass(dst+8, src+8, dstStride, srcStride, h-8, C1, C2, SHIFT);\
 104 }\
 105 \
 106
 107 #define RV40_MC(OPNAME, SIZE) \
 108 static void OPNAME ## rv40_qpel ## SIZE ## _mc10_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 109 {\
 110     OPNAME ## rv40_qpel ## SIZE ## _h_lowpass(dst, src, stride, stride, SIZE, 52, 20, 6);\
 111 }\
 112 \
 113 static void OPNAME ## rv40_qpel ## SIZE ## _mc30_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 114 {\
 115     OPNAME ## rv40_qpel ## SIZE ## _h_lowpass(dst, src, stride, stride, SIZE, 20, 52, 6);\
 116 }\
 117 \
 118 static void OPNAME ## rv40_qpel ## SIZE ## _mc01_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 119 {\
 120     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, src, stride, stride, SIZE, 52, 20, 6);\
 121 }\
 122 \
 123 static void OPNAME ## rv40_qpel ## SIZE ## _mc11_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 124 {\
 125     uint8_t full[SIZE*(SIZE+5)];\
 126     uint8_t * const full_mid = full + SIZE*2;\
 127     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 52, 20, 6);\
 128     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 52, 20, 6);\
 129 }\
 130 \
 131 static void OPNAME ## rv40_qpel ## SIZE ## _mc21_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 132 {\
 133     uint8_t full[SIZE*(SIZE+5)];\
 134     uint8_t * const full_mid = full + SIZE*2;\
 135     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 20, 20, 5);\
 136     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 52, 20, 6);\
 137 }\
 138 \
 139 static void OPNAME ## rv40_qpel ## SIZE ## _mc31_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 140 {\
 141     uint8_t full[SIZE*(SIZE+5)];\
 142     uint8_t * const full_mid = full + SIZE*2;\
 143     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 20, 52, 6);\
 144     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 52, 20, 6);\
 145 }\
 146 \
 147 static void OPNAME ## rv40_qpel ## SIZE ## _mc12_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 148 {\
 149     uint8_t full[SIZE*(SIZE+5)];\
 150     uint8_t * const full_mid = full + SIZE*2;\
 151     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 52, 20, 6);\
 152     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 20, 20, 5);\
 153 }\
 154 \
 155 static void OPNAME ## rv40_qpel ## SIZE ## _mc22_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 156 {\
 157     uint8_t full[SIZE*(SIZE+5)];\
 158     uint8_t * const full_mid = full + SIZE*2;\
 159     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 20, 20, 5);\
 160     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 20, 20, 5);\
 161 }\
 162 \
 163 static void OPNAME ## rv40_qpel ## SIZE ## _mc32_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 164 {\
 165     uint8_t full[SIZE*(SIZE+5)];\
 166     uint8_t * const full_mid = full + SIZE*2;\
 167     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 20, 52, 6);\
 168     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 20, 20, 5);\
 169 }\
 170 \
 171 static void OPNAME ## rv40_qpel ## SIZE ## _mc03_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 172 {\
 173     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, src, stride, stride, SIZE, 20, 52, 6);\
 174 }\
 175 \
 176 static void OPNAME ## rv40_qpel ## SIZE ## _mc13_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 177 {\
 178     uint8_t full[SIZE*(SIZE+5)];\
 179     uint8_t * const full_mid = full + SIZE*2;\
 180     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 52, 20, 6);\
 181     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 20, 52, 6);\
 182 }\
 183 \
 184 static void OPNAME ## rv40_qpel ## SIZE ## _mc23_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
 185 {\
 186     uint8_t full[SIZE*(SIZE+5)];\
 187     uint8_t * const full_mid = full + SIZE*2;\
 188     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 20, 20, 5);\
 189     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 20, 52, 6);\
 190 }\
 191 \
 192
 193 #define op_avg(a, b)  a = (((a)+cm[b]+1)>>1)
 194 #define op_put(a, b)  a = cm[b]
 195
 196 RV40_LOWPASS(put_       , op_put)
 197 RV40_LOWPASS(avg_       , op_avg)
 198
 199 #undef op_avg
 200 #undef op_put
 201
 202 RV40_MC(put_, 8)
 203 RV40_MC(put_, 16)
 204 RV40_MC(avg_, 8)
 205 RV40_MC(avg_, 16)
 206
 207 static const int rv40_bias[4][4] = {
 208     {  0, 16, 32, 16 },
 209     { 32, 28, 32, 28 },
 210     {  0, 32, 16, 32 },
 211     { 32, 28, 32, 28 }
 212 };
 213
 214 #define RV40_CHROMA_MC(OPNAME, OP)\
 215 static void OPNAME ## rv40_chroma_mc4_c(uint8_t *dst/*align 8*/, uint8_t *src/*align 1*/, int stride, int h, int x, int y){\
 216     const int A = (8-x) * (8-y);\
 217     const int B = (  x) * (8-y);\
 218     const int C = (8-x) * (  y);\
 219     const int D = (  x) * (  y);\
 220     int i;\
 221     int bias = rv40_bias[y>>1][x>>1];\
 222     \
 223     av_assert2(x<8 && y<8 && x>=0 && y>=0);\
 224 \
 225     if(D){\
 226         for(i = 0; i < h; i++){\
 227             OP(dst[0], (A*src[0] + B*src[1] + C*src[stride+0] + D*src[stride+1] + bias));\
 228             OP(dst[1], (A*src[1] + B*src[2] + C*src[stride+1] + D*src[stride+2] + bias));\
 229             OP(dst[2], (A*src[2] + B*src[3] + C*src[stride+2] + D*src[stride+3] + bias));\
 230             OP(dst[3], (A*src[3] + B*src[4] + C*src[stride+3] + D*src[stride+4] + bias));\
 231             dst += stride;\
 232             src += stride;\
 233         }\
 234     }else{\
 235         const int E = B + C;\
 236         const int step = C ? stride : 1;\
 237         for(i = 0; i < h; i++){\
 238             OP(dst[0], (A*src[0] + E*src[step+0] + bias));\
 239             OP(dst[1], (A*src[1] + E*src[step+1] + bias));\
 240             OP(dst[2], (A*src[2] + E*src[step+2] + bias));\
 241             OP(dst[3], (A*src[3] + E*src[step+3] + bias));\
 242             dst += stride;\
 243             src += stride;\
 244         }\
 245     }\
 246 }\
 247 \
 248 static void OPNAME ## rv40_chroma_mc8_c(uint8_t *dst/*align 8*/, uint8_t *src/*align 1*/, int stride, int h, int x, int y){\
 249     const int A = (8-x) * (8-y);\
 250     const int B = (  x) * (8-y);\
 251     const int C = (8-x) * (  y);\
 252     const int D = (  x) * (  y);\
 253     int i;\
 254     int bias = rv40_bias[y>>1][x>>1];\
 255     \
 256     av_assert2(x<8 && y<8 && x>=0 && y>=0);\
 257 \
 258     if(D){\
 259         for(i = 0; i < h; i++){\
 260             OP(dst[0], (A*src[0] + B*src[1] + C*src[stride+0] + D*src[stride+1] + bias));\
 261             OP(dst[1], (A*src[1] + B*src[2] + C*src[stride+1] + D*src[stride+2] + bias));\
 262             OP(dst[2], (A*src[2] + B*src[3] + C*src[stride+2] + D*src[stride+3] + bias));\
 263             OP(dst[3], (A*src[3] + B*src[4] + C*src[stride+3] + D*src[stride+4] + bias));\
 264             OP(dst[4], (A*src[4] + B*src[5] + C*src[stride+4] + D*src[stride+5] + bias));\
 265             OP(dst[5], (A*src[5] + B*src[6] + C*src[stride+5] + D*src[stride+6] + bias));\
 266             OP(dst[6], (A*src[6] + B*src[7] + C*src[stride+6] + D*src[stride+7] + bias));\
 267             OP(dst[7], (A*src[7] + B*src[8] + C*src[stride+7] + D*src[stride+8] + bias));\
 268             dst += stride;\
 269             src += stride;\
 270         }\
 271     }else{\
 272         const int E = B + C;\
 273         const int step = C ? stride : 1;\
 274         for(i = 0; i < h; i++){\
 275             OP(dst[0], (A*src[0] + E*src[step+0] + bias));\
 276             OP(dst[1], (A*src[1] + E*src[step+1] + bias));\
 277             OP(dst[2], (A*src[2] + E*src[step+2] + bias));\
 278             OP(dst[3], (A*src[3] + E*src[step+3] + bias));\
 279             OP(dst[4], (A*src[4] + E*src[step+4] + bias));\
 280             OP(dst[5], (A*src[5] + E*src[step+5] + bias));\
 281             OP(dst[6], (A*src[6] + E*src[step+6] + bias));\
 282             OP(dst[7], (A*src[7] + E*src[step+7] + bias));\
 283             dst += stride;\
 284             src += stride;\
 285         }\
 286     }\
 287 }
 288
 289 #define op_avg(a, b) a = (((a)+((b)>>6)+1)>>1)
 290 #define op_put(a, b) a = ((b)>>6)
 291
 292 RV40_CHROMA_MC(put_, op_put)
 293 RV40_CHROMA_MC(avg_, op_avg)
 294
 295 #define RV40_WEIGHT_FUNC(size) \
 296 static void rv40_weight_func_rnd_ ## size (uint8_t *dst, uint8_t *src1, uint8_t *src2, int w1, int w2, ptrdiff_t stride)\
 297 {\
 298     int i, j;\
 299 \
 300     for (j = 0; j < size; j++) {\
 301         for (i = 0; i < size; i++)\
 302             dst[i] = (((w2 * src1[i]) >> 9) + ((w1 * src2[i]) >> 9) + 0x10) >> 5;\
 303         src1 += stride;\
 304         src2 += stride;\
 305         dst  += stride;\
 306     }\
 307 }\
 308 static void rv40_weight_func_nornd_ ## size (uint8_t *dst, uint8_t *src1, uint8_t *src2, int w1, int w2, ptrdiff_t stride)\
 309 {\
 310     int i, j;\
 311 \
 312     for (j = 0; j < size; j++) {\
 313         for (i = 0; i < size; i++)\
 314             dst[i] = (w2 * src1[i] + w1 * src2[i] + 0x10) >> 5;\
 315         src1 += stride;\
 316         src2 += stride;\
 317         dst  += stride;\
 318     }\
 319 }
 320
 321 RV40_WEIGHT_FUNC(16)
 322 RV40_WEIGHT_FUNC(8)
 323
 324 /**
 325  * dither values for deblocking filter - left/top values
 326  */
 327 static const uint8_t rv40_dither_l[16] = {
 328     0x40, 0x50, 0x20, 0x60, 0x30, 0x50, 0x40, 0x30,
 329     0x50, 0x40, 0x50, 0x30, 0x60, 0x20, 0x50, 0x40
 330 };
 331
 332 /**
 333  * dither values for deblocking filter - right/bottom values
 334  */
 335 static const uint8_t rv40_dither_r[16] = {
 336     0x40, 0x30, 0x60, 0x20, 0x50, 0x30, 0x30, 0x40,
 337     0x40, 0x40, 0x50, 0x30, 0x20, 0x60, 0x30, 0x40
 338 };
 339
 340 #define CLIP_SYMM(a, b) av_clip(a, -(b), b)
 341 /**
 342  * weaker deblocking very similar to the one described in 4.4.2 of JVT-A003r1
 343  */
 344 static av_always_inline void rv40_weak_loop_filter(uint8_t *src,
 345                                                    const int step,
 346                                                    const ptrdiff_t stride,
 347                                                    const int filter_p1,
 348                                                    const int filter_q1,
 349                                                    const int alpha,
 350                                                    const int beta,
 351                                                    const int lim_p0q0,
 352                                                    const int lim_q1,
 353                                                    const int lim_p1)
 354 {
 355     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP;
 356     int i, t, u, diff;
 357
 358     for (i = 0; i < 4; i++, src += stride) {
 359         int diff_p1p0 = src[-2*step] - src[-1*step];
 360         int diff_q1q0 = src[ 1*step] - src[ 0*step];
 361         int diff_p1p2 = src[-2*step] - src[-3*step];
 362         int diff_q1q2 = src[ 1*step] - src[ 2*step];
 363
 364         t = src[0*step] - src[-1*step];
 365         if (!t)
 366             continue;
 367
 368         u = (alpha * FFABS(t)) >> 7;
 369         if (u > 3 - (filter_p1 && filter_q1))
 370             continue;
 371
 372         t <<= 2;
 373         if (filter_p1 && filter_q1)
 374             t += src[-2*step] - src[1*step];
 375
 376         diff = CLIP_SYMM((t + 4) >> 3, lim_p0q0);
 377         src[-1*step] = cm[src[-1*step] + diff];
 378         src[ 0*step] = cm[src[ 0*step] - diff];
 379
 380         if (filter_p1 && FFABS(diff_p1p2) <= beta) {
 381             t = (diff_p1p0 + diff_p1p2 - diff) >> 1;
 382             src[-2*step] = cm[src[-2*step] - CLIP_SYMM(t, lim_p1)];
 383         }
 384
 385         if (filter_q1 && FFABS(diff_q1q2) <= beta) {
 386             t = (diff_q1q0 + diff_q1q2 + diff) >> 1;
 387             src[ 1*step] = cm[src[ 1*step] - CLIP_SYMM(t, lim_q1)];
 388         }
 389     }
 390 }
 391
 392 static void rv40_h_weak_loop_filter(uint8_t *src, const ptrdiff_t stride,
 393                                     const int filter_p1, const int filter_q1,
 394                                     const int alpha, const int beta,
 395                                     const int lim_p0q0, const int lim_q1,
 396                                     const int lim_p1)
 397 {
 398     rv40_weak_loop_filter(src, stride, 1, filter_p1, filter_q1,
 399                           alpha, beta, lim_p0q0, lim_q1, lim_p1);
 400 }
 401
 402 static void rv40_v_weak_loop_filter(uint8_t *src, const ptrdiff_t stride,
 403                                     const int filter_p1, const int filter_q1,
 404                                     const int alpha, const int beta,
 405                                     const int lim_p0q0, const int lim_q1,
 406                                     const int lim_p1)
 407 {
 408     rv40_weak_loop_filter(src, 1, stride, filter_p1, filter_q1,
 409                           alpha, beta, lim_p0q0, lim_q1, lim_p1);
 410 }
 411
 412 static av_always_inline void rv40_strong_loop_filter(uint8_t *src,
 413                                                      const int step,
 414                                                      const ptrdiff_t stride,
 415                                                      const int alpha,
 416                                                      const int lims,
 417                                                      const int dmode,
 418                                                      const int chroma)
 419 {
 420     int i;
 421
 422     for(i = 0; i < 4; i++, src += stride){
 423         int sflag, p0, q0, p1, q1;
 424         int t = src[0*step] - src[-1*step];
 425
 426         if (!t)
 427             continue;
 428
 429         sflag = (alpha * FFABS(t)) >> 7;
 430         if (sflag > 1)
 431             continue;
 432
 433         p0 = (25*src[-3*step] + 26*src[-2*step] + 26*src[-1*step] +
 434               26*src[ 0*step] + 25*src[ 1*step] +
 435               rv40_dither_l[dmode + i]) >> 7;
 436
 437         q0 = (25*src[-2*step] + 26*src[-1*step] + 26*src[ 0*step] +
 438               26*src[ 1*step] + 25*src[ 2*step] +
 439               rv40_dither_r[dmode + i]) >> 7;
 440
 441         if (sflag) {
 442             p0 = av_clip(p0, src[-1*step] - lims, src[-1*step] + lims);
 443             q0 = av_clip(q0, src[ 0*step] - lims, src[ 0*step] + lims);
 444         }
 445
 446         p1 = (25*src[-4*step] + 26*src[-3*step] + 26*src[-2*step] + 26*p0 +
 447               25*src[ 0*step] + rv40_dither_l[dmode + i]) >> 7;
 448         q1 = (25*src[-1*step] + 26*q0 + 26*src[ 1*step] + 26*src[ 2*step] +
 449               25*src[ 3*step] + rv40_dither_r[dmode + i]) >> 7;
 450
 451         if (sflag) {
 452             p1 = av_clip(p1, src[-2*step] - lims, src[-2*step] + lims);
 453             q1 = av_clip(q1, src[ 1*step] - lims, src[ 1*step] + lims);
 454         }
 455
 456         src[-2*step] = p1;
 457         src[-1*step] = p0;
 458         src[ 0*step] = q0;
 459         src[ 1*step] = q1;
 460
 461         if(!chroma){
 462             src[-3*step] = (25*src[-1*step] + 26*src[-2*step] +
 463                             51*src[-3*step] + 26*src[-4*step] + 64) >> 7;
 464             src[ 2*step] = (25*src[ 0*step] + 26*src[ 1*step] +
 465                             51*src[ 2*step] + 26*src[ 3*step] + 64) >> 7;
 466         }
 467     }
 468 }
 469
 470 static void rv40_h_strong_loop_filter(uint8_t *src, const ptrdiff_t stride,
 471                                       const int alpha, const int lims,
 472                                       const int dmode, const int chroma)
 473 {
 474     rv40_strong_loop_filter(src, stride, 1, alpha, lims, dmode, chroma);
 475 }
 476
 477 static void rv40_v_strong_loop_filter(uint8_t *src, const ptrdiff_t stride,
 478                                       const int alpha, const int lims,
 479                                       const int dmode, const int chroma)
 480 {
 481     rv40_strong_loop_filter(src, 1, stride, alpha, lims, dmode, chroma);
 482 }
 483
 484 static av_always_inline int rv40_loop_filter_strength(uint8_t *src,
 485                                                       int step, ptrdiff_t stride,
 486                                                       int beta, int beta2,
 487                                                       int edge,
 488                                                       int *p1, int *q1)
 489 {
 490     int sum_p1p0 = 0, sum_q1q0 = 0, sum_p1p2 = 0, sum_q1q2 = 0;
 491     int strong0 = 0, strong1 = 0;
 492     uint8_t *ptr;
 493     int i;
 494
 495     for (i = 0, ptr = src; i < 4; i++, ptr += stride) {
 496         sum_p1p0 += ptr[-2*step] - ptr[-1*step];
 497         sum_q1q0 += ptr[ 1*step] - ptr[ 0*step];
 498     }
 499
 500     *p1 = FFABS(sum_p1p0) < (beta << 2);
 501     *q1 = FFABS(sum_q1q0) < (beta << 2);
 502
 503     if(!*p1 && !*q1)
 504         return 0;
 505
 506     if (!edge)
 507         return 0;
 508
 509     for (i = 0, ptr = src; i < 4; i++, ptr += stride) {
 510         sum_p1p2 += ptr[-2*step] - ptr[-3*step];
 511         sum_q1q2 += ptr[ 1*step] - ptr[ 2*step];
 512     }
 513
 514     strong0 = *p1 && (FFABS(sum_p1p2) < beta2);
 515     strong1 = *q1 && (FFABS(sum_q1q2) < beta2);
 516
 517     return strong0 && strong1;
 518 }
 519
 520 static int rv40_h_loop_filter_strength(uint8_t *src, ptrdiff_t stride,
 521                                        int beta, int beta2, int edge,
 522                                        int *p1, int *q1)
 523 {
 524     return rv40_loop_filter_strength(src, stride, 1, beta, beta2, edge, p1, q1);
 525 }
 526
 527 static int rv40_v_loop_filter_strength(uint8_t *src, ptrdiff_t stride,
 528                                        int beta, int beta2, int edge,
 529                                        int *p1, int *q1)
 530 {
 531     return rv40_loop_filter_strength(src, 1, stride, beta, beta2, edge, p1, q1);
 532 }
 533
 534 av_cold void ff_rv40dsp_init(RV34DSPContext *c)
 535 {
 536     H264QpelContext qpel;
 537
 538     ff_rv34dsp_init(c);
 539     ff_h264qpel_init(&qpel, 8);
 540
 541     c->put_pixels_tab[0][ 0] = qpel.put_h264_qpel_pixels_tab[0][0];
 542     c->put_pixels_tab[0][ 1] = put_rv40_qpel16_mc10_c;
 543     c->put_pixels_tab[0][ 2] = qpel.put_h264_qpel_pixels_tab[0][2];
 544     c->put_pixels_tab[0][ 3] = put_rv40_qpel16_mc30_c;
 545     c->put_pixels_tab[0][ 4] = put_rv40_qpel16_mc01_c;
 546     c->put_pixels_tab[0][ 5] = put_rv40_qpel16_mc11_c;
 547     c->put_pixels_tab[0][ 6] = put_rv40_qpel16_mc21_c;
 548     c->put_pixels_tab[0][ 7] = put_rv40_qpel16_mc31_c;
 549     c->put_pixels_tab[0][ 8] = qpel.put_h264_qpel_pixels_tab[0][8];
 550     c->put_pixels_tab[0][ 9] = put_rv40_qpel16_mc12_c;
 551     c->put_pixels_tab[0][10] = put_rv40_qpel16_mc22_c;
 552     c->put_pixels_tab[0][11] = put_rv40_qpel16_mc32_c;
 553     c->put_pixels_tab[0][12] = put_rv40_qpel16_mc03_c;
 554     c->put_pixels_tab[0][13] = put_rv40_qpel16_mc13_c;
 555     c->put_pixels_tab[0][14] = put_rv40_qpel16_mc23_c;
 556     c->put_pixels_tab[0][15] = ff_put_rv40_qpel16_mc33_c;
 557     c->avg_pixels_tab[0][ 0] = qpel.avg_h264_qpel_pixels_tab[0][0];
 558     c->avg_pixels_tab[0][ 1] = avg_rv40_qpel16_mc10_c;
 559     c->avg_pixels_tab[0][ 2] = qpel.avg_h264_qpel_pixels_tab[0][2];
 560     c->avg_pixels_tab[0][ 3] = avg_rv40_qpel16_mc30_c;
 561     c->avg_pixels_tab[0][ 4] = avg_rv40_qpel16_mc01_c;
 562     c->avg_pixels_tab[0][ 5] = avg_rv40_qpel16_mc11_c;
 563     c->avg_pixels_tab[0][ 6] = avg_rv40_qpel16_mc21_c;
 564     c->avg_pixels_tab[0][ 7] = avg_rv40_qpel16_mc31_c;
 565     c->avg_pixels_tab[0][ 8] = qpel.avg_h264_qpel_pixels_tab[0][8];
 566     c->avg_pixels_tab[0][ 9] = avg_rv40_qpel16_mc12_c;
 567     c->avg_pixels_tab[0][10] = avg_rv40_qpel16_mc22_c;
 568     c->avg_pixels_tab[0][11] = avg_rv40_qpel16_mc32_c;
 569     c->avg_pixels_tab[0][12] = avg_rv40_qpel16_mc03_c;
 570     c->avg_pixels_tab[0][13] = avg_rv40_qpel16_mc13_c;
 571     c->avg_pixels_tab[0][14] = avg_rv40_qpel16_mc23_c;
 572     c->avg_pixels_tab[0][15] = ff_avg_rv40_qpel16_mc33_c;
 573     c->put_pixels_tab[1][ 0] = qpel.put_h264_qpel_pixels_tab[1][0];
 574     c->put_pixels_tab[1][ 1] = put_rv40_qpel8_mc10_c;
 575     c->put_pixels_tab[1][ 2] = qpel.put_h264_qpel_pixels_tab[1][2];
 576     c->put_pixels_tab[1][ 3] = put_rv40_qpel8_mc30_c;
 577     c->put_pixels_tab[1][ 4] = put_rv40_qpel8_mc01_c;
 578     c->put_pixels_tab[1][ 5] = put_rv40_qpel8_mc11_c;
 579     c->put_pixels_tab[1][ 6] = put_rv40_qpel8_mc21_c;
 580     c->put_pixels_tab[1][ 7] = put_rv40_qpel8_mc31_c;
 581     c->put_pixels_tab[1][ 8] = qpel.put_h264_qpel_pixels_tab[1][8];
 582     c->put_pixels_tab[1][ 9] = put_rv40_qpel8_mc12_c;
 583     c->put_pixels_tab[1][10] = put_rv40_qpel8_mc22_c;
 584     c->put_pixels_tab[1][11] = put_rv40_qpel8_mc32_c;
 585     c->put_pixels_tab[1][12] = put_rv40_qpel8_mc03_c;
 586     c->put_pixels_tab[1][13] = put_rv40_qpel8_mc13_c;
 587     c->put_pixels_tab[1][14] = put_rv40_qpel8_mc23_c;
 588     c->put_pixels_tab[1][15] = ff_put_rv40_qpel8_mc33_c;
 589     c->avg_pixels_tab[1][ 0] = qpel.avg_h264_qpel_pixels_tab[1][0];
 590     c->avg_pixels_tab[1][ 1] = avg_rv40_qpel8_mc10_c;
 591     c->avg_pixels_tab[1][ 2] = qpel.avg_h264_qpel_pixels_tab[1][2];
 592     c->avg_pixels_tab[1][ 3] = avg_rv40_qpel8_mc30_c;
 593     c->avg_pixels_tab[1][ 4] = avg_rv40_qpel8_mc01_c;
 594     c->avg_pixels_tab[1][ 5] = avg_rv40_qpel8_mc11_c;
 595     c->avg_pixels_tab[1][ 6] = avg_rv40_qpel8_mc21_c;
 596     c->avg_pixels_tab[1][ 7] = avg_rv40_qpel8_mc31_c;
 597     c->avg_pixels_tab[1][ 8] = qpel.avg_h264_qpel_pixels_tab[1][8];
 598     c->avg_pixels_tab[1][ 9] = avg_rv40_qpel8_mc12_c;
 599     c->avg_pixels_tab[1][10] = avg_rv40_qpel8_mc22_c;
 600     c->avg_pixels_tab[1][11] = avg_rv40_qpel8_mc32_c;
 601     c->avg_pixels_tab[1][12] = avg_rv40_qpel8_mc03_c;
 602     c->avg_pixels_tab[1][13] = avg_rv40_qpel8_mc13_c;
 603     c->avg_pixels_tab[1][14] = avg_rv40_qpel8_mc23_c;
 604     c->avg_pixels_tab[1][15] = ff_avg_rv40_qpel8_mc33_c;
 605
 606     c->put_chroma_pixels_tab[0] = put_rv40_chroma_mc8_c;
 607     c->put_chroma_pixels_tab[1] = put_rv40_chroma_mc4_c;
 608     c->avg_chroma_pixels_tab[0] = avg_rv40_chroma_mc8_c;
 609     c->avg_chroma_pixels_tab[1] = avg_rv40_chroma_mc4_c;
 610
 611     c->rv40_weight_pixels_tab[0][0] = rv40_weight_func_rnd_16;
 612     c->rv40_weight_pixels_tab[0][1] = rv40_weight_func_rnd_8;
 613     c->rv40_weight_pixels_tab[1][0] = rv40_weight_func_nornd_16;
 614     c->rv40_weight_pixels_tab[1][1] = rv40_weight_func_nornd_8;
 615
 616     c->rv40_weak_loop_filter[0]     = rv40_h_weak_loop_filter;
 617     c->rv40_weak_loop_filter[1]     = rv40_v_weak_loop_filter;
 618     c->rv40_strong_loop_filter[0]   = rv40_h_strong_loop_filter;
 619     c->rv40_strong_loop_filter[1]   = rv40_v_strong_loop_filter;
 620     c->rv40_loop_filter_strength[0] = rv40_h_loop_filter_strength;
 621     c->rv40_loop_filter_strength[1] = rv40_v_loop_filter_strength;
 622
 623     if (ARCH_AARCH64)
 624         ff_rv40dsp_init_aarch64(c);
 625     if (ARCH_ARM)
 626         ff_rv40dsp_init_arm(c);
 627     if (ARCH_X86)
 628         ff_rv40dsp_init_x86(c);
 629 }