git.sesse.net Git - ffmpeg/blob - libavcodec/vp8dsp.c

   1 /*
   2  * Copyright (C) 2010 David Conrad
   3  * Copyright (C) 2010 Ronald S. Bultje
   4  * Copyright (C) 2014 Peter Ross
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 /**
  24  * @file
  25  * VP8 compatible video decoder
  26  */
  27
  28 #include "mathops.h"
  29 #include "vp8dsp.h"
  30 #include "libavutil/common.h"
  31 #include "libavutil/intreadwrite.h"
  32
  33 #define MK_IDCT_DC_ADD4_C(name) \
  34 static void name ## _idct_dc_add4uv_c(uint8_t *dst, int16_t block[4][16], ptrdiff_t stride)\
  35 {\
  36     name ## _idct_dc_add_c(dst+stride*0+0, block[0], stride);\
  37     name ## _idct_dc_add_c(dst+stride*0+4, block[1], stride);\
  38     name ## _idct_dc_add_c(dst+stride*4+0, block[2], stride);\
  39     name ## _idct_dc_add_c(dst+stride*4+4, block[3], stride);\
  40 }\
  41 \
  42 static void name ## _idct_dc_add4y_c(uint8_t *dst, int16_t block[4][16], ptrdiff_t stride)\
  43 {\
  44     name ## _idct_dc_add_c(dst+ 0, block[0], stride);\
  45     name ## _idct_dc_add_c(dst+ 4, block[1], stride);\
  46     name ## _idct_dc_add_c(dst+ 8, block[2], stride);\
  47     name ## _idct_dc_add_c(dst+12, block[3], stride);\
  48 }
  49
  50 #if CONFIG_VP7_DECODER
  51 static void vp7_luma_dc_wht_c(int16_t block[4][4][16], int16_t dc[16])
  52 {
  53     int i, a1, b1, c1, d1;
  54     int16_t tmp[16];
  55
  56     for (i = 0; i < 4; i++) {
  57         a1 = (dc[i*4+0] + dc[i*4+2]) * 23170;
  58         b1 = (dc[i*4+0] - dc[i*4+2]) * 23170;
  59         c1 = dc[i*4+1] * 12540 - dc[i*4+3] * 30274;
  60         d1 = dc[i*4+1] * 30274 + dc[i*4+3] * 12540;
  61         tmp[i*4+0] = (a1 + d1) >> 14;
  62         tmp[i*4+3] = (a1 - d1) >> 14;
  63         tmp[i*4+1] = (b1 + c1) >> 14;
  64         tmp[i*4+2] = (b1 - c1) >> 14;
  65     }
  66
  67     for (i = 0; i < 4; i++) {
  68         a1 = (tmp[i + 0] + tmp[i + 8]) * 23170;
  69         b1 = (tmp[i + 0] - tmp[i + 8]) * 23170;
  70         c1 = tmp[i + 4] * 12540 - tmp[i + 12] * 30274;
  71         d1 = tmp[i + 4] * 30274 + tmp[i + 12] * 12540;
  72         AV_ZERO64(dc + i*4);
  73         block[0][i][0] = (a1 + d1 + 0x20000) >> 18;
  74         block[3][i][0] = (a1 - d1 + 0x20000) >> 18;
  75         block[1][i][0] = (b1 + c1 + 0x20000) >> 18;
  76         block[2][i][0] = (b1 - c1 + 0x20000) >> 18;
  77     }
  78 }
  79
  80 static void vp7_luma_dc_wht_dc_c(int16_t block[4][4][16], int16_t dc[16])
  81 {
  82     int i, val = (23170 * (23170 * dc[0] >> 14) + 0x20000) >> 18;
  83     dc[0] = 0;
  84
  85     for (i = 0; i < 4; i++) {
  86         block[i][0][0] = val;
  87         block[i][1][0] = val;
  88         block[i][2][0] = val;
  89         block[i][3][0] = val;
  90     }
  91 }
  92
  93 static void vp7_idct_add_c(uint8_t *dst, int16_t block[16], ptrdiff_t stride)
  94 {
  95     int i, a1, b1, c1, d1;
  96     int16_t tmp[16];
  97
  98     for (i = 0; i < 4; i++) {
  99         a1 = (block[i*4+0] + block[i*4+2]) * 23170;
 100         b1 = (block[i*4+0] - block[i*4+2]) * 23170;
 101         c1 = block[i*4+1] * 12540 - block[i*4+3] * 30274;
 102         d1 = block[i*4+1] * 30274 + block[i*4+3] * 12540;
 103         AV_ZERO64(block + i*4);
 104         tmp[i*4+0] = (a1 + d1) >> 14;
 105         tmp[i*4+3] = (a1 - d1) >> 14;
 106         tmp[i*4+1] = (b1 + c1) >> 14;
 107         tmp[i*4+2] = (b1 - c1) >> 14;
 108     }
 109
 110     for (i = 0; i < 4; i++) {
 111         a1 = (tmp[i + 0] + tmp[i + 8]) * 23170;
 112         b1 = (tmp[i + 0] - tmp[i + 8]) * 23170;
 113         c1 = tmp[i + 4] * 12540 - tmp[i + 12] * 30274;
 114         d1 = tmp[i + 4] * 30274 + tmp[i + 12] * 12540;
 115         dst[0*stride+i] = av_clip_uint8(dst[0*stride+i] + ((a1 + d1 + 0x20000) >> 18));
 116         dst[3*stride+i] = av_clip_uint8(dst[3*stride+i] + ((a1 - d1 + 0x20000) >> 18));
 117         dst[1*stride+i] = av_clip_uint8(dst[1*stride+i] + ((b1 + c1 + 0x20000) >> 18));
 118         dst[2*stride+i] = av_clip_uint8(dst[2*stride+i] + ((b1 - c1 + 0x20000) >> 18));
 119     }
 120 }
 121
 122 static void vp7_idct_dc_add_c(uint8_t *dst, int16_t block[16], ptrdiff_t stride)
 123 {
 124     int i, dc = (23170 * (23170 * block[0] >> 14) + 0x20000) >> 18;
 125     block[0] = 0;
 126
 127     for (i = 0; i < 4; i++) {
 128         dst[0] = av_clip_uint8(dst[0] + dc);
 129         dst[1] = av_clip_uint8(dst[1] + dc);
 130         dst[2] = av_clip_uint8(dst[2] + dc);
 131         dst[3] = av_clip_uint8(dst[3] + dc);
 132         dst += stride;
 133     }
 134 }
 135
 136 MK_IDCT_DC_ADD4_C(vp7)
 137 #endif
 138
 139 // TODO: Maybe add dequant
 140 #if CONFIG_VP8_DECODER
 141 static void vp8_luma_dc_wht_c(int16_t block[4][4][16], int16_t dc[16])
 142 {
 143     int i, t0, t1, t2, t3;
 144
 145     for (i = 0; i < 4; i++) {
 146         t0 = dc[0*4+i] + dc[3*4+i];
 147         t1 = dc[1*4+i] + dc[2*4+i];
 148         t2 = dc[1*4+i] - dc[2*4+i];
 149         t3 = dc[0*4+i] - dc[3*4+i];
 150
 151         dc[0*4+i] = t0 + t1;
 152         dc[1*4+i] = t3 + t2;
 153         dc[2*4+i] = t0 - t1;
 154         dc[3*4+i] = t3 - t2;
 155     }
 156
 157     for (i = 0; i < 4; i++) {
 158         t0 = dc[i*4+0] + dc[i*4+3] + 3; // rounding
 159         t1 = dc[i*4+1] + dc[i*4+2];
 160         t2 = dc[i*4+1] - dc[i*4+2];
 161         t3 = dc[i*4+0] - dc[i*4+3] + 3; // rounding
 162         AV_ZERO64(dc + i*4);
 163
 164         block[i][0][0] = (t0 + t1) >> 3;
 165         block[i][1][0] = (t3 + t2) >> 3;
 166         block[i][2][0] = (t0 - t1) >> 3;
 167         block[i][3][0] = (t3 - t2) >> 3;
 168     }
 169 }
 170
 171 static void vp8_luma_dc_wht_dc_c(int16_t block[4][4][16], int16_t dc[16])
 172 {
 173     int i, val = (dc[0] + 3) >> 3;
 174     dc[0] = 0;
 175
 176     for (i = 0; i < 4; i++) {
 177         block[i][0][0] = val;
 178         block[i][1][0] = val;
 179         block[i][2][0] = val;
 180         block[i][3][0] = val;
 181     }
 182 }
 183
 184 #define MUL_20091(a) ((((a)*20091) >> 16) + (a))
 185 #define MUL_35468(a)  (((a)*35468) >> 16)
 186
 187 static void vp8_idct_add_c(uint8_t *dst, int16_t block[16], ptrdiff_t stride)
 188 {
 189     int i, t0, t1, t2, t3;
 190     int16_t tmp[16];
 191
 192     for (i = 0; i < 4; i++) {
 193         t0 = block[0*4+i] + block[2*4+i];
 194         t1 = block[0*4+i] - block[2*4+i];
 195         t2 = MUL_35468(block[1*4+i]) - MUL_20091(block[3*4+i]);
 196         t3 = MUL_20091(block[1*4+i]) + MUL_35468(block[3*4+i]);
 197         block[0*4+i] = 0;
 198         block[1*4+i] = 0;
 199         block[2*4+i] = 0;
 200         block[3*4+i] = 0;
 201
 202         tmp[i*4+0] = t0 + t3;
 203         tmp[i*4+1] = t1 + t2;
 204         tmp[i*4+2] = t1 - t2;
 205         tmp[i*4+3] = t0 - t3;
 206     }
 207
 208     for (i = 0; i < 4; i++) {
 209         t0 = tmp[0*4+i] + tmp[2*4+i];
 210         t1 = tmp[0*4+i] - tmp[2*4+i];
 211         t2 = MUL_35468(tmp[1*4+i]) - MUL_20091(tmp[3*4+i]);
 212         t3 = MUL_20091(tmp[1*4+i]) + MUL_35468(tmp[3*4+i]);
 213
 214         dst[0] = av_clip_uint8(dst[0] + ((t0 + t3 + 4) >> 3));
 215         dst[1] = av_clip_uint8(dst[1] + ((t1 + t2 + 4) >> 3));
 216         dst[2] = av_clip_uint8(dst[2] + ((t1 - t2 + 4) >> 3));
 217         dst[3] = av_clip_uint8(dst[3] + ((t0 - t3 + 4) >> 3));
 218         dst += stride;
 219     }
 220 }
 221
 222 static void vp8_idct_dc_add_c(uint8_t *dst, int16_t block[16], ptrdiff_t stride)
 223 {
 224     int i, dc = (block[0] + 4) >> 3;
 225     block[0] = 0;
 226
 227     for (i = 0; i < 4; i++) {
 228         dst[0] = av_clip_uint8(dst[0] + dc);
 229         dst[1] = av_clip_uint8(dst[1] + dc);
 230         dst[2] = av_clip_uint8(dst[2] + dc);
 231         dst[3] = av_clip_uint8(dst[3] + dc);
 232         dst += stride;
 233     }
 234 }
 235
 236 MK_IDCT_DC_ADD4_C(vp8)
 237 #endif
 238
 239 // because I like only having two parameters to pass functions...
 240 #define LOAD_PIXELS\
 241     int av_unused p3 = p[-4*stride];\
 242     int av_unused p2 = p[-3*stride];\
 243     int av_unused p1 = p[-2*stride];\
 244     int av_unused p0 = p[-1*stride];\
 245     int av_unused q0 = p[ 0*stride];\
 246     int av_unused q1 = p[ 1*stride];\
 247     int av_unused q2 = p[ 2*stride];\
 248     int av_unused q3 = p[ 3*stride];
 249
 250 #define clip_int8(n) (cm[n+0x80]-0x80)
 251
 252 static av_always_inline void filter_common(uint8_t *p, ptrdiff_t stride, int is4tap, int vpn)
 253 {
 254     LOAD_PIXELS
 255     int a, f1, f2;
 256     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP;
 257
 258     a = 3*(q0 - p0);
 259
 260     if (is4tap)
 261         a += clip_int8(p1 - q1);
 262
 263     a = clip_int8(a);
 264
 265     // We deviate from the spec here with c(a+3) >> 3
 266     // since that's what libvpx does.
 267     f1 = FFMIN(a+4, 127) >> 3;
 268
 269     if (vpn == 7)
 270         f2 = f1 - ((a & 7) == 4);
 271     else
 272         f2 = FFMIN(a+3, 127) >> 3;
 273
 274     // Despite what the spec says, we do need to clamp here to
 275     // be bitexact with libvpx.
 276     p[-1*stride] = cm[p0 + f2];
 277     p[ 0*stride] = cm[q0 - f1];
 278
 279     // only used for _inner on blocks without high edge variance
 280     if (!is4tap) {
 281         a = (f1+1)>>1;
 282         p[-2*stride] = cm[p1 + a];
 283         p[ 1*stride] = cm[q1 - a];
 284     }
 285 }
 286
 287 static av_always_inline int vp7_simple_limit(uint8_t *p, ptrdiff_t stride, int flim)
 288 {
 289     LOAD_PIXELS
 290     return FFABS(p0-q0) <= flim;
 291 }
 292
 293 static av_always_inline int vp8_simple_limit(uint8_t *p, ptrdiff_t stride, int flim)
 294 {
 295     LOAD_PIXELS
 296     return 2*FFABS(p0-q0) + (FFABS(p1-q1) >> 1) <= flim;
 297 }
 298
 299 /**
 300  * E - limit at the macroblock edge
 301  * I - limit for interior difference
 302  */
 303 #define NORMAL_LIMIT(vpn) \
 304 static av_always_inline int vp ## vpn ## _normal_limit(uint8_t *p, ptrdiff_t stride, int E, int I)\
 305 {\
 306     LOAD_PIXELS\
 307     return vp ## vpn ## _simple_limit(p, stride, E)\
 308         && FFABS(p3-p2) <= I && FFABS(p2-p1) <= I && FFABS(p1-p0) <= I\
 309         && FFABS(q3-q2) <= I && FFABS(q2-q1) <= I && FFABS(q1-q0) <= I;\
 310 }
 311
 312 NORMAL_LIMIT(7)
 313 NORMAL_LIMIT(8)
 314
 315 // high edge variance
 316 static av_always_inline int hev(uint8_t *p, ptrdiff_t stride, int thresh)
 317 {
 318     LOAD_PIXELS
 319     return FFABS(p1-p0) > thresh || FFABS(q1-q0) > thresh;
 320 }
 321
 322 static av_always_inline void filter_mbedge(uint8_t *p, ptrdiff_t stride)
 323 {
 324     int a0, a1, a2, w;
 325     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP;
 326
 327     LOAD_PIXELS
 328
 329     w = clip_int8(p1-q1);
 330     w = clip_int8(w + 3*(q0-p0));
 331
 332     a0 = (27*w + 63) >> 7;
 333     a1 = (18*w + 63) >> 7;
 334     a2 = ( 9*w + 63) >> 7;
 335
 336     p[-3*stride] = cm[p2 + a2];
 337     p[-2*stride] = cm[p1 + a1];
 338     p[-1*stride] = cm[p0 + a0];
 339     p[ 0*stride] = cm[q0 - a0];
 340     p[ 1*stride] = cm[q1 - a1];
 341     p[ 2*stride] = cm[q2 - a2];
 342 }
 343
 344 #define LOOP_FILTER(vpn, dir, size, stridea, strideb, maybe_inline) \
 345 static maybe_inline void vp ## vpn ## _ ## dir ## _loop_filter ## size ## _c(uint8_t *dst, ptrdiff_t stride,\
 346                                      int flim_E, int flim_I, int hev_thresh)\
 347 {\
 348     int i;\
 349 \
 350     for (i = 0; i < size; i++)\
 351         if (vp ## vpn ## _normal_limit(dst+i*stridea, strideb, flim_E, flim_I)) {\
 352             if (hev(dst+i*stridea, strideb, hev_thresh))\
 353                 filter_common(dst+i*stridea, strideb, 1, vpn);\
 354             else\
 355                 filter_mbedge(dst+i*stridea, strideb);\
 356         }\
 357 }\
 358 \
 359 static maybe_inline void vp ## vpn ## _ ## dir ## _loop_filter ## size ## _inner_c(uint8_t *dst, ptrdiff_t stride,\
 360                                       int flim_E, int flim_I, int hev_thresh)\
 361 {\
 362     int i;\
 363 \
 364     for (i = 0; i < size; i++)\
 365         if (vp ## vpn ## _normal_limit(dst+i*stridea, strideb, flim_E, flim_I)) {\
 366             int hv = hev(dst+i*stridea, strideb, hev_thresh);\
 367             if (hv) \
 368                 filter_common(dst+i*stridea, strideb, 1, vpn);\
 369             else \
 370                 filter_common(dst+i*stridea, strideb, 0, vpn);\
 371         }\
 372 }
 373
 374 #define UV_LOOP_FILTER(vpn, dir, stridea, strideb) \
 375 LOOP_FILTER(vpn, dir, 8, stridea, strideb, av_always_inline) \
 376 static void vp ## vpn ## _ ## dir ## _loop_filter8uv_c(uint8_t *dstU, uint8_t *dstV, ptrdiff_t stride,\
 377                                       int fE, int fI, int hev_thresh)\
 378 {\
 379   vp ## vpn ## _ ## dir ## _loop_filter8_c(dstU, stride, fE, fI, hev_thresh);\
 380   vp ## vpn ## _ ## dir ## _loop_filter8_c(dstV, stride, fE, fI, hev_thresh);\
 381 }\
 382 static void vp ## vpn ## _ ## dir ## _loop_filter8uv_inner_c(uint8_t *dstU, uint8_t *dstV, ptrdiff_t stride,\
 383                                       int fE, int fI, int hev_thresh)\
 384 {\
 385   vp ## vpn ## _ ## dir ## _loop_filter8_inner_c(dstU, stride, fE, fI, hev_thresh);\
 386   vp ## vpn ## _ ## dir ## _loop_filter8_inner_c(dstV, stride, fE, fI, hev_thresh);\
 387 }
 388
 389 #define LOOP_FILTER_SIMPLE(vpn) \
 390 static void vp ## vpn ## _v_loop_filter_simple_c(uint8_t *dst, ptrdiff_t stride, int flim)\
 391 {\
 392     int i;\
 393 \
 394     for (i = 0; i < 16; i++)\
 395         if (vp ## vpn ## _simple_limit(dst+i, stride, flim))\
 396             filter_common(dst+i, stride, 1, vpn);\
 397 }\
 398 \
 399 static void vp ## vpn ## _h_loop_filter_simple_c(uint8_t *dst, ptrdiff_t stride, int flim)\
 400 {\
 401     int i;\
 402 \
 403     for (i = 0; i < 16; i++)\
 404         if (vp ## vpn ## _simple_limit(dst+i*stride, 1, flim))\
 405             filter_common(dst+i*stride, 1, 1, vpn);\
 406 }
 407
 408 #if CONFIG_VP7_DECODER
 409 LOOP_FILTER(7, v, 16, 1, stride,)
 410 LOOP_FILTER(7, h, 16, stride, 1,)
 411 UV_LOOP_FILTER(7, v, 1, stride)
 412 UV_LOOP_FILTER(7, h, stride, 1)
 413 LOOP_FILTER_SIMPLE(7)
 414 #endif
 415
 416 #if CONFIG_VP8_DECODER
 417 LOOP_FILTER(8, v, 16, 1, stride,)
 418 LOOP_FILTER(8, h, 16, stride, 1,)
 419 UV_LOOP_FILTER(8, v, 1, stride)
 420 UV_LOOP_FILTER(8, h, stride, 1)
 421 LOOP_FILTER_SIMPLE(8)
 422 #endif
 423
 424 static const uint8_t subpel_filters[7][6] = {
 425     { 0,   6, 123,  12,   1,   0 },
 426     { 2,  11, 108,  36,   8,   1 },
 427     { 0,   9,  93,  50,   6,   0 },
 428     { 3,  16,  77,  77,  16,   3 },
 429     { 0,   6,  50,  93,   9,   0 },
 430     { 1,   8,  36, 108,  11,   2 },
 431     { 0,   1,  12, 123,   6,   0 },
 432 };
 433
 434 #define PUT_PIXELS(WIDTH) \
 435 static void put_vp8_pixels ## WIDTH ##_c(uint8_t *dst, ptrdiff_t dststride, uint8_t *src, ptrdiff_t srcstride, int h, int x, int y) { \
 436     int i; \
 437     for (i = 0; i < h; i++, dst+= dststride, src+= srcstride) { \
 438         memcpy(dst, src, WIDTH); \
 439     } \
 440 }
 441
 442 PUT_PIXELS(16)
 443 PUT_PIXELS(8)
 444 PUT_PIXELS(4)
 445
 446 #define FILTER_6TAP(src, F, stride) \
 447     cm[(F[2]*src[x+0*stride] - F[1]*src[x-1*stride] + F[0]*src[x-2*stride] + \
 448         F[3]*src[x+1*stride] - F[4]*src[x+2*stride] + F[5]*src[x+3*stride] + 64) >> 7]
 449
 450 #define FILTER_4TAP(src, F, stride) \
 451     cm[(F[2]*src[x+0*stride] - F[1]*src[x-1*stride] + \
 452         F[3]*src[x+1*stride] - F[4]*src[x+2*stride] + 64) >> 7]
 453
 454 #define VP8_EPEL_H(SIZE, TAPS) \
 455 static void put_vp8_epel ## SIZE ## _h ## TAPS ## _c(uint8_t *dst, ptrdiff_t dststride, uint8_t *src, ptrdiff_t srcstride, int h, int mx, int my) \
 456 { \
 457     const uint8_t *filter = subpel_filters[mx-1]; \
 458     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP; \
 459     int x, y; \
 460 \
 461     for (y = 0; y < h; y++) { \
 462         for (x = 0; x < SIZE; x++) \
 463             dst[x] = FILTER_ ## TAPS ## TAP(src, filter, 1); \
 464         dst += dststride; \
 465         src += srcstride; \
 466     } \
 467 }
 468 #define VP8_EPEL_V(SIZE, TAPS) \
 469 static void put_vp8_epel ## SIZE ## _v ## TAPS ## _c(uint8_t *dst, ptrdiff_t dststride, uint8_t *src, ptrdiff_t srcstride, int h, int mx, int my) \
 470 { \
 471     const uint8_t *filter = subpel_filters[my-1]; \
 472     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP; \
 473     int x, y; \
 474 \
 475     for (y = 0; y < h; y++) { \
 476         for (x = 0; x < SIZE; x++) \
 477             dst[x] = FILTER_ ## TAPS ## TAP(src, filter, srcstride); \
 478         dst += dststride; \
 479         src += srcstride; \
 480     } \
 481 }
 482 #define VP8_EPEL_HV(SIZE, HTAPS, VTAPS) \
 483 static void put_vp8_epel ## SIZE ## _h ## HTAPS ## v ## VTAPS ## _c(uint8_t *dst, ptrdiff_t dststride, uint8_t *src, ptrdiff_t srcstride, int h, int mx, int my) \
 484 { \
 485     const uint8_t *filter = subpel_filters[mx-1]; \
 486     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP; \
 487     int x, y; \
 488     uint8_t tmp_array[(2*SIZE+VTAPS-1)*SIZE]; \
 489     uint8_t *tmp = tmp_array; \
 490     src -= (2-(VTAPS==4))*srcstride; \
 491 \
 492     for (y = 0; y < h+VTAPS-1; y++) { \
 493         for (x = 0; x < SIZE; x++) \
 494             tmp[x] = FILTER_ ## HTAPS ## TAP(src, filter, 1); \
 495         tmp += SIZE; \
 496         src += srcstride; \
 497     } \
 498 \
 499     tmp = tmp_array + (2-(VTAPS==4))*SIZE; \
 500     filter = subpel_filters[my-1]; \
 501 \
 502     for (y = 0; y < h; y++) { \
 503         for (x = 0; x < SIZE; x++) \
 504             dst[x] = FILTER_ ## VTAPS ## TAP(tmp, filter, SIZE); \
 505         dst += dststride; \
 506         tmp += SIZE; \
 507     } \
 508 }
 509
 510 VP8_EPEL_H(16, 4)
 511 VP8_EPEL_H(8,  4)
 512 VP8_EPEL_H(4,  4)
 513 VP8_EPEL_H(16, 6)
 514 VP8_EPEL_H(8,  6)
 515 VP8_EPEL_H(4,  6)
 516 VP8_EPEL_V(16, 4)
 517 VP8_EPEL_V(8,  4)
 518 VP8_EPEL_V(4,  4)
 519 VP8_EPEL_V(16, 6)
 520 VP8_EPEL_V(8,  6)
 521 VP8_EPEL_V(4,  6)
 522 VP8_EPEL_HV(16, 4, 4)
 523 VP8_EPEL_HV(8,  4, 4)
 524 VP8_EPEL_HV(4,  4, 4)
 525 VP8_EPEL_HV(16, 4, 6)
 526 VP8_EPEL_HV(8,  4, 6)
 527 VP8_EPEL_HV(4,  4, 6)
 528 VP8_EPEL_HV(16, 6, 4)
 529 VP8_EPEL_HV(8,  6, 4)
 530 VP8_EPEL_HV(4,  6, 4)
 531 VP8_EPEL_HV(16, 6, 6)
 532 VP8_EPEL_HV(8,  6, 6)
 533 VP8_EPEL_HV(4,  6, 6)
 534
 535 #define VP8_BILINEAR(SIZE) \
 536 static void put_vp8_bilinear ## SIZE ## _h_c(uint8_t *dst, ptrdiff_t dstride, uint8_t *src, ptrdiff_t sstride, int h, int mx, int my) \
 537 { \
 538     int a = 8-mx, b = mx; \
 539     int x, y; \
 540 \
 541     for (y = 0; y < h; y++) { \
 542         for (x = 0; x < SIZE; x++) \
 543             dst[x] = (a*src[x] + b*src[x+1] + 4) >> 3; \
 544         dst += dstride; \
 545         src += sstride; \
 546     } \
 547 } \
 548 static void put_vp8_bilinear ## SIZE ## _v_c(uint8_t *dst, ptrdiff_t dstride, uint8_t *src, ptrdiff_t sstride, int h, int mx, int my) \
 549 { \
 550     int c = 8-my, d = my; \
 551     int x, y; \
 552 \
 553     for (y = 0; y < h; y++) { \
 554         for (x = 0; x < SIZE; x++) \
 555             dst[x] = (c*src[x] + d*src[x+sstride] + 4) >> 3; \
 556         dst += dstride; \
 557         src += sstride; \
 558     } \
 559 } \
 560 \
 561 static void put_vp8_bilinear ## SIZE ## _hv_c(uint8_t *dst, ptrdiff_t dstride, uint8_t *src, ptrdiff_t sstride, int h, int mx, int my) \
 562 { \
 563     int a = 8-mx, b = mx; \
 564     int c = 8-my, d = my; \
 565     int x, y; \
 566     uint8_t tmp_array[(2*SIZE+1)*SIZE]; \
 567     uint8_t *tmp = tmp_array; \
 568 \
 569     for (y = 0; y < h+1; y++) { \
 570         for (x = 0; x < SIZE; x++) \
 571             tmp[x] = (a*src[x] + b*src[x+1] + 4) >> 3; \
 572         tmp += SIZE; \
 573         src += sstride; \
 574     } \
 575 \
 576     tmp = tmp_array; \
 577 \
 578     for (y = 0; y < h; y++) { \
 579         for (x = 0; x < SIZE; x++) \
 580             dst[x] = (c*tmp[x] + d*tmp[x+SIZE] + 4) >> 3; \
 581         dst += dstride; \
 582         tmp += SIZE; \
 583     } \
 584 }
 585
 586 VP8_BILINEAR(16)
 587 VP8_BILINEAR(8)
 588 VP8_BILINEAR(4)
 589
 590 #define VP8_MC_FUNC(IDX, SIZE) \
 591     dsp->put_vp8_epel_pixels_tab[IDX][0][0] = put_vp8_pixels ## SIZE ## _c; \
 592     dsp->put_vp8_epel_pixels_tab[IDX][0][1] = put_vp8_epel ## SIZE ## _h4_c; \
 593     dsp->put_vp8_epel_pixels_tab[IDX][0][2] = put_vp8_epel ## SIZE ## _h6_c; \
 594     dsp->put_vp8_epel_pixels_tab[IDX][1][0] = put_vp8_epel ## SIZE ## _v4_c; \
 595     dsp->put_vp8_epel_pixels_tab[IDX][1][1] = put_vp8_epel ## SIZE ## _h4v4_c; \
 596     dsp->put_vp8_epel_pixels_tab[IDX][1][2] = put_vp8_epel ## SIZE ## _h6v4_c; \
 597     dsp->put_vp8_epel_pixels_tab[IDX][2][0] = put_vp8_epel ## SIZE ## _v6_c; \
 598     dsp->put_vp8_epel_pixels_tab[IDX][2][1] = put_vp8_epel ## SIZE ## _h4v6_c; \
 599     dsp->put_vp8_epel_pixels_tab[IDX][2][2] = put_vp8_epel ## SIZE ## _h6v6_c
 600
 601 #define VP8_BILINEAR_MC_FUNC(IDX, SIZE) \
 602     dsp->put_vp8_bilinear_pixels_tab[IDX][0][0] = put_vp8_pixels ## SIZE ## _c; \
 603     dsp->put_vp8_bilinear_pixels_tab[IDX][0][1] = put_vp8_bilinear ## SIZE ## _h_c; \
 604     dsp->put_vp8_bilinear_pixels_tab[IDX][0][2] = put_vp8_bilinear ## SIZE ## _h_c; \
 605     dsp->put_vp8_bilinear_pixels_tab[IDX][1][0] = put_vp8_bilinear ## SIZE ## _v_c; \
 606     dsp->put_vp8_bilinear_pixels_tab[IDX][1][1] = put_vp8_bilinear ## SIZE ## _hv_c; \
 607     dsp->put_vp8_bilinear_pixels_tab[IDX][1][2] = put_vp8_bilinear ## SIZE ## _hv_c; \
 608     dsp->put_vp8_bilinear_pixels_tab[IDX][2][0] = put_vp8_bilinear ## SIZE ## _v_c; \
 609     dsp->put_vp8_bilinear_pixels_tab[IDX][2][1] = put_vp8_bilinear ## SIZE ## _hv_c; \
 610     dsp->put_vp8_bilinear_pixels_tab[IDX][2][2] = put_vp8_bilinear ## SIZE ## _hv_c
 611
 612 av_cold void ff_vp8dsp_init(VP8DSPContext *dsp, int vp7)
 613 {
 614 #if CONFIG_VP7_DECODER && CONFIG_VP8_DECODER
 615 #define VPX(f) vp7 ? vp7_ ## f : vp8_ ## f
 616 #elif CONFIG_VP7_DECODER
 617 #define VPX(f) vp7_ ## f
 618 #else // CONFIG_VP8_DECODER
 619 #define VPX(f) vp8_ ## f
 620 #endif
 621
 622     dsp->vp8_luma_dc_wht    = VPX(luma_dc_wht_c);
 623     dsp->vp8_luma_dc_wht_dc = VPX(luma_dc_wht_dc_c);
 624     dsp->vp8_idct_add       = VPX(idct_add_c);
 625     dsp->vp8_idct_dc_add    = VPX(idct_dc_add_c);
 626     dsp->vp8_idct_dc_add4y  = VPX(idct_dc_add4y_c);
 627     dsp->vp8_idct_dc_add4uv = VPX(idct_dc_add4uv_c);
 628
 629     dsp->vp8_v_loop_filter16y = VPX(v_loop_filter16_c);
 630     dsp->vp8_h_loop_filter16y = VPX(h_loop_filter16_c);
 631     dsp->vp8_v_loop_filter8uv = VPX(v_loop_filter8uv_c);
 632     dsp->vp8_h_loop_filter8uv = VPX(h_loop_filter8uv_c);
 633
 634     dsp->vp8_v_loop_filter16y_inner = VPX(v_loop_filter16_inner_c);
 635     dsp->vp8_h_loop_filter16y_inner = VPX(h_loop_filter16_inner_c);
 636     dsp->vp8_v_loop_filter8uv_inner = VPX(v_loop_filter8uv_inner_c);
 637     dsp->vp8_h_loop_filter8uv_inner = VPX(h_loop_filter8uv_inner_c);
 638
 639     dsp->vp8_v_loop_filter_simple = VPX(v_loop_filter_simple_c);
 640     dsp->vp8_h_loop_filter_simple = VPX(h_loop_filter_simple_c);
 641
 642     VP8_MC_FUNC(0, 16);
 643     VP8_MC_FUNC(1, 8);
 644     VP8_MC_FUNC(2, 4);
 645
 646     VP8_BILINEAR_MC_FUNC(0, 16);
 647     VP8_BILINEAR_MC_FUNC(1, 8);
 648     VP8_BILINEAR_MC_FUNC(2, 4);
 649
 650     if (ARCH_ARM)
 651         ff_vp8dsp_init_arm(dsp, vp7);
 652     if (ARCH_PPC)
 653         ff_vp8dsp_init_ppc(dsp);
 654     if (ARCH_X86)
 655         ff_vp8dsp_init_x86(dsp, vp7);
 656 }