git.sesse.net Git - ffmpeg/blob - libavcodec/x86/vp9dsp_init.c

   1 /*
   2  * VP9 SIMD optimizations
   3  *
   4  * Copyright (c) 2013 Ronald S. Bultje <rsbultje gmail com>
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 #include "libavutil/attributes.h"
  24 #include "libavutil/cpu.h"
  25 #include "libavutil/mem.h"
  26 #include "libavutil/x86/cpu.h"
  27 #include "libavcodec/vp9dsp.h"
  28 #include "libavcodec/x86/vp9dsp_init.h"
  29
  30 #if HAVE_YASM
  31
  32 decl_fpel_func(put,  4,   , mmx);
  33 decl_fpel_func(put,  8,   , mmx);
  34 decl_fpel_func(put, 16,   , sse);
  35 decl_fpel_func(put, 32,   , sse);
  36 decl_fpel_func(put, 64,   , sse);
  37 decl_fpel_func(avg,  4, _8, mmxext);
  38 decl_fpel_func(avg,  8, _8, mmxext);
  39 decl_fpel_func(avg, 16, _8, sse2);
  40 decl_fpel_func(avg, 32, _8, sse2);
  41 decl_fpel_func(avg, 64, _8, sse2);
  42 decl_fpel_func(put, 32,   , avx);
  43 decl_fpel_func(put, 64,   , avx);
  44 decl_fpel_func(avg, 32, _8, avx2);
  45 decl_fpel_func(avg, 64, _8, avx2);
  46
  47 decl_mc_funcs(4, mmxext, int16_t, 8, 8);
  48 decl_mc_funcs(8, sse2, int16_t,  8, 8);
  49 decl_mc_funcs(4, ssse3, int8_t, 32, 8);
  50 decl_mc_funcs(8, ssse3, int8_t, 32, 8);
  51 #if ARCH_X86_64
  52 decl_mc_funcs(16, ssse3, int8_t, 32, 8);
  53 decl_mc_funcs(32, avx2, int8_t, 32, 8);
  54 #endif
  55
  56 mc_rep_funcs(16,  8,  8,  sse2, int16_t,  8, 8);
  57 #if ARCH_X86_32
  58 mc_rep_funcs(16,  8,  8, ssse3, int8_t,  32, 8);
  59 #endif
  60 mc_rep_funcs(32, 16, 16, sse2,  int16_t,  8, 8);
  61 mc_rep_funcs(32, 16, 16, ssse3, int8_t,  32, 8);
  62 mc_rep_funcs(64, 32, 32, sse2,  int16_t,  8, 8);
  63 mc_rep_funcs(64, 32, 32, ssse3, int8_t,  32, 8);
  64 #if ARCH_X86_64 && HAVE_AVX2_EXTERNAL
  65 mc_rep_funcs(64, 32, 32, avx2,  int8_t,  32, 8);
  66 #endif
  67
  68 extern const int8_t ff_filters_ssse3[3][15][4][32];
  69 extern const int16_t ff_filters_sse2[3][15][8][8];
  70
  71 filters_8tap_2d_fn2(put, 16, 8, 1, mmxext, sse2, sse2)
  72 filters_8tap_2d_fn2(avg, 16, 8, 1, mmxext, sse2, sse2)
  73 filters_8tap_2d_fn2(put, 16, 8, 1, ssse3, ssse3, ssse3)
  74 filters_8tap_2d_fn2(avg, 16, 8, 1, ssse3, ssse3, ssse3)
  75 #if ARCH_X86_64 && HAVE_AVX2_EXTERNAL
  76 filters_8tap_2d_fn(put, 64, 32, 8, 1, avx2, ssse3)
  77 filters_8tap_2d_fn(put, 32, 32, 8, 1, avx2, ssse3)
  78 filters_8tap_2d_fn(avg, 64, 32, 8, 1, avx2, ssse3)
  79 filters_8tap_2d_fn(avg, 32, 32, 8, 1, avx2, ssse3)
  80 #endif
  81
  82 filters_8tap_1d_fn3(put, 8, mmxext, sse2, sse2)
  83 filters_8tap_1d_fn3(avg, 8, mmxext, sse2, sse2)
  84 filters_8tap_1d_fn3(put, 8, ssse3, ssse3, ssse3)
  85 filters_8tap_1d_fn3(avg, 8, ssse3, ssse3, ssse3)
  86 #if ARCH_X86_64 && HAVE_AVX2_EXTERNAL
  87 filters_8tap_1d_fn2(put, 64, 8, avx2, ssse3)
  88 filters_8tap_1d_fn2(put, 32, 8, avx2, ssse3)
  89 filters_8tap_1d_fn2(avg, 64, 8, avx2, ssse3)
  90 filters_8tap_1d_fn2(avg, 32, 8, avx2, ssse3)
  91 #endif
  92
  93 #define itxfm_func(typea, typeb, size, opt) \
  94 void ff_vp9_##typea##_##typeb##_##size##x##size##_add_##opt(uint8_t *dst, ptrdiff_t stride, \
  95                                                             int16_t *block, int eob)
  96 #define itxfm_funcs(size, opt) \
  97 itxfm_func(idct,  idct,  size, opt); \
  98 itxfm_func(iadst, idct,  size, opt); \
  99 itxfm_func(idct,  iadst, size, opt); \
 100 itxfm_func(iadst, iadst, size, opt)
 101
 102 itxfm_func(idct,  idct,  4, mmxext);
 103 itxfm_func(idct,  iadst, 4, sse2);
 104 itxfm_func(iadst, idct,  4, sse2);
 105 itxfm_func(iadst, iadst, 4, sse2);
 106 itxfm_funcs(4, ssse3);
 107 itxfm_funcs(8, sse2);
 108 itxfm_funcs(8, ssse3);
 109 itxfm_funcs(8, avx);
 110 itxfm_funcs(16, sse2);
 111 itxfm_funcs(16, ssse3);
 112 itxfm_funcs(16, avx);
 113 itxfm_func(idct, idct, 32, sse2);
 114 itxfm_func(idct, idct, 32, ssse3);
 115 itxfm_func(idct, idct, 32, avx);
 116 itxfm_func(iwht, iwht, 4, mmx);
 117
 118 #undef itxfm_func
 119 #undef itxfm_funcs
 120
 121 #define lpf_funcs(size1, size2, opt) \
 122 void ff_vp9_loop_filter_v_##size1##_##size2##_##opt(uint8_t *dst, ptrdiff_t stride, \
 123                                                     int E, int I, int H); \
 124 void ff_vp9_loop_filter_h_##size1##_##size2##_##opt(uint8_t *dst, ptrdiff_t stride, \
 125                                                     int E, int I, int H)
 126
 127 lpf_funcs(16, 16, sse2);
 128 lpf_funcs(16, 16, ssse3);
 129 lpf_funcs(16, 16, avx);
 130 lpf_funcs(44, 16, sse2);
 131 lpf_funcs(44, 16, ssse3);
 132 lpf_funcs(44, 16, avx);
 133 lpf_funcs(84, 16, sse2);
 134 lpf_funcs(84, 16, ssse3);
 135 lpf_funcs(84, 16, avx);
 136 lpf_funcs(48, 16, sse2);
 137 lpf_funcs(48, 16, ssse3);
 138 lpf_funcs(48, 16, avx);
 139 lpf_funcs(88, 16, sse2);
 140 lpf_funcs(88, 16, ssse3);
 141 lpf_funcs(88, 16, avx);
 142
 143 #undef lpf_funcs
 144
 145 #define ipred_func(size, type, opt) \
 146 void ff_vp9_ipred_##type##_##size##x##size##_##opt(uint8_t *dst, ptrdiff_t stride, \
 147                                                    const uint8_t *l, const uint8_t *a)
 148
 149 ipred_func(8, v, mmx);
 150
 151 #define ipred_dc_funcs(size, opt) \
 152 ipred_func(size, dc, opt); \
 153 ipred_func(size, dc_left, opt); \
 154 ipred_func(size, dc_top, opt)
 155
 156 ipred_dc_funcs(4, mmxext);
 157 ipred_dc_funcs(8, mmxext);
 158
 159 #define ipred_dir_tm_funcs(size, opt) \
 160 ipred_func(size, tm, opt); \
 161 ipred_func(size, dl, opt); \
 162 ipred_func(size, dr, opt); \
 163 ipred_func(size, hd, opt); \
 164 ipred_func(size, hu, opt); \
 165 ipred_func(size, vl, opt); \
 166 ipred_func(size, vr, opt)
 167
 168 ipred_dir_tm_funcs(4, mmxext);
 169
 170 ipred_func(16, v, sse);
 171 ipred_func(32, v, sse);
 172
 173 ipred_dc_funcs(16, sse2);
 174 ipred_dc_funcs(32, sse2);
 175
 176 #define ipred_dir_tm_h_funcs(size, opt) \
 177 ipred_dir_tm_funcs(size, opt); \
 178 ipred_func(size, h, opt)
 179
 180 ipred_dir_tm_h_funcs(8, sse2);
 181 ipred_dir_tm_h_funcs(16, sse2);
 182 ipred_dir_tm_h_funcs(32, sse2);
 183
 184 ipred_func(4, h, sse2);
 185
 186 #define ipred_all_funcs(size, opt) \
 187 ipred_dc_funcs(size, opt); \
 188 ipred_dir_tm_h_funcs(size, opt)
 189
 190 // FIXME hd/vl_4x4_ssse3 does not exist
 191 ipred_all_funcs(4, ssse3);
 192 ipred_all_funcs(8, ssse3);
 193 ipred_all_funcs(16, ssse3);
 194 ipred_all_funcs(32, ssse3);
 195
 196 ipred_dir_tm_h_funcs(8, avx);
 197 ipred_dir_tm_h_funcs(16, avx);
 198 ipred_dir_tm_h_funcs(32, avx);
 199
 200 ipred_func(32, v, avx);
 201
 202 ipred_dc_funcs(32, avx2);
 203 ipred_func(32, h, avx2);
 204 ipred_func(32, tm, avx2);
 205
 206 #undef ipred_func
 207 #undef ipred_dir_tm_h_funcs
 208 #undef ipred_dir_tm_funcs
 209 #undef ipred_dc_funcs
 210
 211 #endif /* HAVE_YASM */
 212
 213 av_cold void ff_vp9dsp_init_x86(VP9DSPContext *dsp, int bpp, int bitexact)
 214 {
 215 #if HAVE_YASM
 216     int cpu_flags;
 217
 218     if (bpp == 10) {
 219         ff_vp9dsp_init_10bpp_x86(dsp);
 220         return;
 221     } else if (bpp == 12) {
 222         ff_vp9dsp_init_12bpp_x86(dsp);
 223         return;
 224     }
 225
 226     cpu_flags = av_get_cpu_flags();
 227
 228 #define init_lpf(opt) do { \
 229     dsp->loop_filter_16[0] = ff_vp9_loop_filter_h_16_16_##opt; \
 230     dsp->loop_filter_16[1] = ff_vp9_loop_filter_v_16_16_##opt; \
 231     dsp->loop_filter_mix2[0][0][0] = ff_vp9_loop_filter_h_44_16_##opt; \
 232     dsp->loop_filter_mix2[0][0][1] = ff_vp9_loop_filter_v_44_16_##opt; \
 233     dsp->loop_filter_mix2[0][1][0] = ff_vp9_loop_filter_h_48_16_##opt; \
 234     dsp->loop_filter_mix2[0][1][1] = ff_vp9_loop_filter_v_48_16_##opt; \
 235     dsp->loop_filter_mix2[1][0][0] = ff_vp9_loop_filter_h_84_16_##opt; \
 236     dsp->loop_filter_mix2[1][0][1] = ff_vp9_loop_filter_v_84_16_##opt; \
 237     dsp->loop_filter_mix2[1][1][0] = ff_vp9_loop_filter_h_88_16_##opt; \
 238     dsp->loop_filter_mix2[1][1][1] = ff_vp9_loop_filter_v_88_16_##opt; \
 239 } while (0)
 240
 241 #define init_ipred(sz, opt, t, e) \
 242     dsp->intra_pred[TX_##sz##X##sz][e##_PRED] = ff_vp9_ipred_##t##_##sz##x##sz##_##opt
 243
 244 #define ff_vp9_ipred_hd_4x4_ssse3 ff_vp9_ipred_hd_4x4_mmxext
 245 #define ff_vp9_ipred_vl_4x4_ssse3 ff_vp9_ipred_vl_4x4_mmxext
 246 #define init_dir_tm_ipred(sz, opt) do { \
 247     init_ipred(sz, opt, dl, DIAG_DOWN_LEFT); \
 248     init_ipred(sz, opt, dr, DIAG_DOWN_RIGHT); \
 249     init_ipred(sz, opt, hd, HOR_DOWN); \
 250     init_ipred(sz, opt, vl, VERT_LEFT); \
 251     init_ipred(sz, opt, hu, HOR_UP); \
 252     init_ipred(sz, opt, tm, TM_VP8); \
 253     init_ipred(sz, opt, vr, VERT_RIGHT); \
 254 } while (0)
 255 #define init_dir_tm_h_ipred(sz, opt) do { \
 256     init_dir_tm_ipred(sz, opt); \
 257     init_ipred(sz, opt, h,  HOR); \
 258 } while (0)
 259 #define init_dc_ipred(sz, opt) do { \
 260     init_ipred(sz, opt, dc,      DC); \
 261     init_ipred(sz, opt, dc_left, LEFT_DC); \
 262     init_ipred(sz, opt, dc_top,  TOP_DC); \
 263 } while (0)
 264 #define init_all_ipred(sz, opt) do { \
 265     init_dc_ipred(sz, opt); \
 266     init_dir_tm_h_ipred(sz, opt); \
 267 } while (0)
 268
 269     if (EXTERNAL_MMX(cpu_flags)) {
 270         init_fpel_func(4, 0,  4, put, , mmx);
 271         init_fpel_func(3, 0,  8, put, , mmx);
 272         if (!bitexact) {
 273             dsp->itxfm_add[4 /* lossless */][DCT_DCT] =
 274             dsp->itxfm_add[4 /* lossless */][ADST_DCT] =
 275             dsp->itxfm_add[4 /* lossless */][DCT_ADST] =
 276             dsp->itxfm_add[4 /* lossless */][ADST_ADST] = ff_vp9_iwht_iwht_4x4_add_mmx;
 277         }
 278         init_ipred(8, mmx, v, VERT);
 279     }
 280
 281     if (EXTERNAL_MMXEXT(cpu_flags)) {
 282         init_subpel2(4, 0, 4, put, 8, mmxext);
 283         init_subpel2(4, 1, 4, avg, 8, mmxext);
 284         init_fpel_func(4, 1,  4, avg, _8, mmxext);
 285         init_fpel_func(3, 1,  8, avg, _8, mmxext);
 286         dsp->itxfm_add[TX_4X4][DCT_DCT] = ff_vp9_idct_idct_4x4_add_mmxext;
 287         init_dc_ipred(4, mmxext);
 288         init_dc_ipred(8, mmxext);
 289         init_dir_tm_ipred(4, mmxext);
 290     }
 291
 292     if (EXTERNAL_SSE(cpu_flags)) {
 293         init_fpel_func(2, 0, 16, put, , sse);
 294         init_fpel_func(1, 0, 32, put, , sse);
 295         init_fpel_func(0, 0, 64, put, , sse);
 296         init_ipred(16, sse, v, VERT);
 297         init_ipred(32, sse, v, VERT);
 298     }
 299
 300     if (EXTERNAL_SSE2(cpu_flags)) {
 301         init_subpel3_8to64(0, put, 8, sse2);
 302         init_subpel3_8to64(1, avg, 8, sse2);
 303         init_fpel_func(2, 1, 16, avg,  _8, sse2);
 304         init_fpel_func(1, 1, 32, avg,  _8, sse2);
 305         init_fpel_func(0, 1, 64, avg,  _8, sse2);
 306         init_lpf(sse2);
 307         dsp->itxfm_add[TX_4X4][ADST_DCT]  = ff_vp9_idct_iadst_4x4_add_sse2;
 308         dsp->itxfm_add[TX_4X4][DCT_ADST]  = ff_vp9_iadst_idct_4x4_add_sse2;
 309         dsp->itxfm_add[TX_4X4][ADST_ADST] = ff_vp9_iadst_iadst_4x4_add_sse2;
 310         dsp->itxfm_add[TX_8X8][DCT_DCT] = ff_vp9_idct_idct_8x8_add_sse2;
 311         dsp->itxfm_add[TX_8X8][ADST_DCT]  = ff_vp9_idct_iadst_8x8_add_sse2;
 312         dsp->itxfm_add[TX_8X8][DCT_ADST]  = ff_vp9_iadst_idct_8x8_add_sse2;
 313         dsp->itxfm_add[TX_8X8][ADST_ADST] = ff_vp9_iadst_iadst_8x8_add_sse2;
 314         dsp->itxfm_add[TX_16X16][DCT_DCT]   = ff_vp9_idct_idct_16x16_add_sse2;
 315         dsp->itxfm_add[TX_16X16][ADST_DCT]  = ff_vp9_idct_iadst_16x16_add_sse2;
 316         dsp->itxfm_add[TX_16X16][DCT_ADST]  = ff_vp9_iadst_idct_16x16_add_sse2;
 317         dsp->itxfm_add[TX_16X16][ADST_ADST] = ff_vp9_iadst_iadst_16x16_add_sse2;
 318         dsp->itxfm_add[TX_32X32][ADST_ADST] =
 319         dsp->itxfm_add[TX_32X32][ADST_DCT] =
 320         dsp->itxfm_add[TX_32X32][DCT_ADST] =
 321         dsp->itxfm_add[TX_32X32][DCT_DCT] = ff_vp9_idct_idct_32x32_add_sse2;
 322         init_dc_ipred(16, sse2);
 323         init_dc_ipred(32, sse2);
 324         init_dir_tm_h_ipred(8, sse2);
 325         init_dir_tm_h_ipred(16, sse2);
 326         init_dir_tm_h_ipred(32, sse2);
 327         init_ipred(4, sse2, h, HOR);
 328     }
 329
 330     if (EXTERNAL_SSSE3(cpu_flags)) {
 331         init_subpel3(0, put, 8, ssse3);
 332         init_subpel3(1, avg, 8, ssse3);
 333         dsp->itxfm_add[TX_4X4][DCT_DCT] = ff_vp9_idct_idct_4x4_add_ssse3;
 334         dsp->itxfm_add[TX_4X4][ADST_DCT]  = ff_vp9_idct_iadst_4x4_add_ssse3;
 335         dsp->itxfm_add[TX_4X4][DCT_ADST]  = ff_vp9_iadst_idct_4x4_add_ssse3;
 336         dsp->itxfm_add[TX_4X4][ADST_ADST] = ff_vp9_iadst_iadst_4x4_add_ssse3;
 337         dsp->itxfm_add[TX_8X8][DCT_DCT] = ff_vp9_idct_idct_8x8_add_ssse3;
 338         dsp->itxfm_add[TX_8X8][ADST_DCT]  = ff_vp9_idct_iadst_8x8_add_ssse3;
 339         dsp->itxfm_add[TX_8X8][DCT_ADST]  = ff_vp9_iadst_idct_8x8_add_ssse3;
 340         dsp->itxfm_add[TX_8X8][ADST_ADST] = ff_vp9_iadst_iadst_8x8_add_ssse3;
 341         dsp->itxfm_add[TX_16X16][DCT_DCT]   = ff_vp9_idct_idct_16x16_add_ssse3;
 342         dsp->itxfm_add[TX_16X16][ADST_DCT]  = ff_vp9_idct_iadst_16x16_add_ssse3;
 343         dsp->itxfm_add[TX_16X16][DCT_ADST]  = ff_vp9_iadst_idct_16x16_add_ssse3;
 344         dsp->itxfm_add[TX_16X16][ADST_ADST] = ff_vp9_iadst_iadst_16x16_add_ssse3;
 345         dsp->itxfm_add[TX_32X32][ADST_ADST] =
 346         dsp->itxfm_add[TX_32X32][ADST_DCT] =
 347         dsp->itxfm_add[TX_32X32][DCT_ADST] =
 348         dsp->itxfm_add[TX_32X32][DCT_DCT] = ff_vp9_idct_idct_32x32_add_ssse3;
 349         init_lpf(ssse3);
 350         init_all_ipred(4, ssse3);
 351         init_all_ipred(8, ssse3);
 352         init_all_ipred(16, ssse3);
 353         init_all_ipred(32, ssse3);
 354     }
 355
 356     if (EXTERNAL_AVX(cpu_flags)) {
 357         dsp->itxfm_add[TX_8X8][DCT_DCT] = ff_vp9_idct_idct_8x8_add_avx;
 358         dsp->itxfm_add[TX_8X8][ADST_DCT]  = ff_vp9_idct_iadst_8x8_add_avx;
 359         dsp->itxfm_add[TX_8X8][DCT_ADST]  = ff_vp9_iadst_idct_8x8_add_avx;
 360         dsp->itxfm_add[TX_8X8][ADST_ADST] = ff_vp9_iadst_iadst_8x8_add_avx;
 361         dsp->itxfm_add[TX_16X16][DCT_DCT] = ff_vp9_idct_idct_16x16_add_avx;
 362         dsp->itxfm_add[TX_16X16][ADST_DCT]  = ff_vp9_idct_iadst_16x16_add_avx;
 363         dsp->itxfm_add[TX_16X16][DCT_ADST]  = ff_vp9_iadst_idct_16x16_add_avx;
 364         dsp->itxfm_add[TX_16X16][ADST_ADST] = ff_vp9_iadst_iadst_16x16_add_avx;
 365         dsp->itxfm_add[TX_32X32][ADST_ADST] =
 366         dsp->itxfm_add[TX_32X32][ADST_DCT] =
 367         dsp->itxfm_add[TX_32X32][DCT_ADST] =
 368         dsp->itxfm_add[TX_32X32][DCT_DCT] = ff_vp9_idct_idct_32x32_add_avx;
 369         init_lpf(avx);
 370         init_dir_tm_h_ipred(8, avx);
 371         init_dir_tm_h_ipred(16, avx);
 372         init_dir_tm_h_ipred(32, avx);
 373     }
 374     if (EXTERNAL_AVX_FAST(cpu_flags)) {
 375         init_fpel_func(1, 0, 32, put, , avx);
 376         init_fpel_func(0, 0, 64, put, , avx);
 377         init_ipred(32, avx, v, VERT);
 378     }
 379
 380     if (EXTERNAL_AVX2(cpu_flags)) {
 381         init_fpel_func(1, 1, 32, avg, _8, avx2);
 382         init_fpel_func(0, 1, 64, avg, _8, avx2);
 383         if (ARCH_X86_64) {
 384 #if ARCH_X86_64 && HAVE_AVX2_EXTERNAL
 385             init_subpel3_32_64(0, put, 8, avx2);
 386             init_subpel3_32_64(1, avg, 8, avx2);
 387 #endif
 388         }
 389         init_dc_ipred(32, avx2);
 390         init_ipred(32, avx2, h,  HOR);
 391         init_ipred(32, avx2, tm, TM_VP8);
 392     }
 393
 394 #undef init_fpel
 395 #undef init_subpel1
 396 #undef init_subpel2
 397 #undef init_subpel3
 398
 399 #endif /* HAVE_YASM */
 400 }