git.sesse.net Git - ffmpeg/blob - libavcodec/x86/vp9itxfm.asm

   1 ;******************************************************************************
   2 ;* VP9 IDCT SIMD optimizations
   3 ;*
   4 ;* Copyright (C) 2013 Clément Bœsch <u pkh me>
   5 ;* Copyright (C) 2013 Ronald S. Bultje <rsbultje gmail com>
   6 ;*
   7 ;* This file is part of FFmpeg.
   8 ;*
   9 ;* FFmpeg is free software; you can redistribute it and/or
  10 ;* modify it under the terms of the GNU Lesser General Public
  11 ;* License as published by the Free Software Foundation; either
  12 ;* version 2.1 of the License, or (at your option) any later version.
  13 ;*
  14 ;* FFmpeg is distributed in the hope that it will be useful,
  15 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17 ;* Lesser General Public License for more details.
  18 ;*
  19 ;* You should have received a copy of the GNU Lesser General Public
  20 ;* License along with FFmpeg; if not, write to the Free Software
  21 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  22 ;******************************************************************************
  23
  24 %include "libavutil/x86/x86util.asm"
  25
  26 SECTION_RODATA
  27
  28 pw_11585x2:  times 8 dw 23170
  29 pw_m11585x2: times 8 dw -23170
  30
  31 %macro VP9_IDCT_COEFFS 2-3 0
  32 pw_%1x2:    times 8 dw  %1*2
  33 pw_m%1x2:   times 8 dw -%1*2
  34 pw_%2x2:    times 8 dw  %2*2
  35 pw_m%2x2:   times 8 dw -%2*2
  36 pw_m%1_%2:  times 4 dw -%1,  %2
  37 pw_%2_%1:   times 4 dw  %2,  %1
  38 pw_m%2_m%1: times 4 dw -%2, -%1
  39 %if %3 == 1
  40 pw_m%2_%1:  times 4 dw -%2,  %1
  41 pw_%1_%2:   times 4 dw  %1,  %2
  42 %endif
  43 %endmacro
  44
  45 VP9_IDCT_COEFFS 15137,  6270, 1
  46 VP9_IDCT_COEFFS 16069,  3196, 1
  47 VP9_IDCT_COEFFS  9102, 13623, 1
  48 VP9_IDCT_COEFFS 16305,  1606
  49 VP9_IDCT_COEFFS 10394, 12665
  50 VP9_IDCT_COEFFS 14449,  7723
  51 VP9_IDCT_COEFFS  4756, 15679
  52 VP9_IDCT_COEFFS 16364,   804
  53 VP9_IDCT_COEFFS 11003, 12140
  54 VP9_IDCT_COEFFS 14811,  7005
  55 VP9_IDCT_COEFFS  5520, 15426
  56 VP9_IDCT_COEFFS 15893,  3981
  57 VP9_IDCT_COEFFS  8423, 14053
  58 VP9_IDCT_COEFFS 13160,  9760
  59 VP9_IDCT_COEFFS  2404, 16207
  60
  61 pw_5283_13377: times 4 dw 5283, 13377
  62 pw_9929_13377: times 4 dw 9929, 13377
  63 pw_15212_m13377: times 4 dw 15212, -13377
  64 pw_15212_9929: times 4 dw 15212, 9929
  65 pw_m5283_m15212: times 4 dw -5283, -15212
  66 pw_13377x2: times 8 dw 13377*2
  67
  68 pd_8192: times 4 dd 8192
  69 pw_2048: times 8 dw 2048
  70 pw_1024: times 8 dw 1024
  71 pw_512:  times 8 dw 512
  72 pw_m1:   times 8 dw -1
  73
  74 SECTION .text
  75
  76 ; (a*x + b*y + round) >> shift
  77 %macro VP9_MULSUB_2W_2X 5 ; dst1, dst2/src, round, coefs1, coefs2
  78     pmaddwd            m%1, m%2, %4
  79     pmaddwd            m%2,  %5
  80     paddd              m%1,  %3
  81     paddd              m%2,  %3
  82     psrad              m%1,  14
  83     psrad              m%2,  14
  84 %endmacro
  85
  86 %macro VP9_MULSUB_2W_4X 7 ; dst1, dst2, coef1, coef2, rnd, tmp1/src, tmp2
  87     VP9_MULSUB_2W_2X    %7,  %6,  %5, [pw_m%3_%4], [pw_%4_%3]
  88     VP9_MULSUB_2W_2X    %1,  %2,  %5, [pw_m%3_%4], [pw_%4_%3]
  89     packssdw           m%1, m%7
  90     packssdw           m%2, m%6
  91 %endmacro
  92
  93 %macro VP9_UNPACK_MULSUB_2W_4X 7-9 ; dst1, dst2, (src1, src2,) coef1, coef2, rnd, tmp1, tmp2
  94 %if %0 == 7
  95     punpckhwd          m%6, m%2, m%1
  96     punpcklwd          m%2, m%1
  97     VP9_MULSUB_2W_4X   %1, %2, %3, %4, %5, %6, %7
  98 %else
  99     punpckhwd          m%8, m%4, m%3
 100     punpcklwd          m%2, m%4, m%3
 101     VP9_MULSUB_2W_4X   %1, %2, %5, %6, %7, %8, %9
 102 %endif
 103 %endmacro
 104
 105 %macro VP9_UNPACK_MULSUB_2D_4X 6 ; dst1 [src1], dst2 [src2], dst3, dst4, mul1, mul2
 106     punpckhwd          m%4, m%2, m%1
 107     punpcklwd          m%2, m%1
 108     pmaddwd            m%3, m%4, [pw_m%5_%6]
 109     pmaddwd            m%4, [pw_%6_%5]
 110     pmaddwd            m%1, m%2, [pw_m%5_%6]
 111     pmaddwd            m%2, [pw_%6_%5]
 112 %endmacro
 113
 114 %macro VP9_RND_SH_SUMSUB_BA 6 ; dst1 [src1], dst2 [src2], src3, src4, tmp, round
 115     SUMSUB_BA            d, %1, %2, %5
 116     SUMSUB_BA            d, %3, %4, %5
 117     paddd              m%1, %6
 118     paddd              m%2, %6
 119     paddd              m%3, %6
 120     paddd              m%4, %6
 121     psrad              m%1, 14
 122     psrad              m%2, 14
 123     psrad              m%3, 14
 124     psrad              m%4, 14
 125     packssdw           m%1, m%3
 126     packssdw           m%2, m%4
 127 %endmacro
 128
 129 %macro VP9_STORE_2X 5-6 dstq ; reg1, reg2, tmp1, tmp2, zero, dst
 130     movh               m%3, [%6]
 131     movh               m%4, [%6+strideq]
 132     punpcklbw          m%3, m%5
 133     punpcklbw          m%4, m%5
 134     paddw              m%3, m%1
 135     paddw              m%4, m%2
 136     packuswb           m%3, m%5
 137     packuswb           m%4, m%5
 138     movh              [%6], m%3
 139     movh      [%6+strideq], m%4
 140 %endmacro
 141
 142 %macro ZERO_BLOCK 4 ; mem, stride, nnzcpl, zero_reg
 143 %assign %%y 0
 144 %rep %3
 145 %assign %%x 0
 146 %rep %3*2/mmsize
 147     mova      [%1+%%y+%%x], %4
 148 %assign %%x (%%x+mmsize)
 149 %endrep
 150 %assign %%y (%%y+%2)
 151 %endrep
 152 %endmacro
 153
 154 ;-------------------------------------------------------------------------------------------
 155 ; void vp9_iwht_iwht_4x4_add_<opt>(uint8_t *dst, ptrdiff_t stride, int16_t *block, int eob);
 156 ;-------------------------------------------------------------------------------------------
 157
 158 %macro VP9_IWHT4_1D 0
 159     SWAP                 1, 2, 3
 160     paddw               m0, m2
 161     psubw               m3, m1
 162     psubw               m4, m0, m3
 163     psraw               m4, 1
 164     psubw               m5, m4, m1
 165     SWAP                 5, 1
 166     psubw               m4, m2
 167     SWAP                 4, 2
 168     psubw               m0, m1
 169     paddw               m3, m2
 170     SWAP                 3, 2, 1
 171 %endmacro
 172
 173 INIT_MMX mmx
 174 cglobal vp9_iwht_iwht_4x4_add, 3, 3, 0, dst, stride, block, eob
 175     mova                m0, [blockq+0*8]
 176     mova                m1, [blockq+1*8]
 177     mova                m2, [blockq+2*8]
 178     mova                m3, [blockq+3*8]
 179     psraw               m0, 2
 180     psraw               m1, 2
 181     psraw               m2, 2
 182     psraw               m3, 2
 183
 184     VP9_IWHT4_1D
 185     TRANSPOSE4x4W        0, 1, 2, 3, 4
 186     VP9_IWHT4_1D
 187
 188     pxor                m4, m4
 189     VP9_STORE_2X         0, 1, 5, 6, 4
 190     lea               dstq, [dstq+strideq*2]
 191     VP9_STORE_2X         2, 3, 5, 6, 4
 192     ZERO_BLOCK      blockq, 8, 4, m4
 193     RET
 194
 195 ;-------------------------------------------------------------------------------------------
 196 ; void vp9_idct_idct_4x4_add_<opt>(uint8_t *dst, ptrdiff_t stride, int16_t *block, int eob);
 197 ;-------------------------------------------------------------------------------------------
 198
 199 %macro VP9_IDCT4_1D_FINALIZE 0
 200     SUMSUB_BA            w, 3, 2, 4                         ; m3=t3+t0, m2=-t3+t0
 201     SUMSUB_BA            w, 1, 0, 4                         ; m1=t2+t1, m0=-t2+t1
 202     SWAP                 0, 3, 2                            ; 3102 -> 0123
 203 %endmacro
 204
 205 %macro VP9_IDCT4_1D 0
 206     SUMSUB_BA            w, 2, 0, 4                         ; m2=IN(0)+IN(2) m0=IN(0)-IN(2)
 207     pmulhrsw            m2, m6                              ; m2=t0
 208     pmulhrsw            m0, m6                              ; m0=t1
 209     VP9_UNPACK_MULSUB_2W_4X 1, 3, 15137, 6270, m7, 4, 5     ; m1=t2, m3=t3
 210     VP9_IDCT4_1D_FINALIZE
 211 %endmacro
 212
 213 ; 2x2 top left corner
 214 %macro VP9_IDCT4_2x2_1D 0
 215     pmulhrsw            m0, m5                              ; m0=t1
 216     mova                m2, m0                              ; m2=t0
 217     mova                m3, m1
 218     pmulhrsw            m1, m6                              ; m1=t2
 219     pmulhrsw            m3, m7                              ; m3=t3
 220     VP9_IDCT4_1D_FINALIZE
 221 %endmacro
 222
 223 %macro VP9_IDCT4_WRITEOUT 0
 224     mova                m5, [pw_2048]
 225     pmulhrsw            m0, m5              ; (x*2048 + (1<<14))>>15 <=> (x+8)>>4
 226     pmulhrsw            m1, m5
 227     VP9_STORE_2X         0,  1,  6,  7,  4
 228     lea               dstq, [dstq+2*strideq]
 229     pmulhrsw            m2, m5
 230     pmulhrsw            m3, m5
 231     VP9_STORE_2X         2,  3,  6,  7,  4
 232 %endmacro
 233
 234 INIT_MMX ssse3
 235 cglobal vp9_idct_idct_4x4_add, 4,4,0, dst, stride, block, eob
 236
 237     cmp eobd, 4 ; 2x2 or smaller
 238     jg .idctfull
 239
 240     cmp eobd, 1 ; faster path for when only DC is set
 241     jne .idct2x2
 242
 243     movd                m0, [blockq]
 244     mova                m5, [pw_11585x2]
 245     pmulhrsw            m0, m5
 246     pmulhrsw            m0, m5
 247     pshufw              m0, m0, 0
 248     pxor                m4, m4
 249     movh          [blockq], m4
 250     pmulhrsw            m0, [pw_2048]       ; (x*2048 + (1<<14))>>15 <=> (x+8)>>4
 251     VP9_STORE_2X         0,  0,  6,  7,  4
 252     lea               dstq, [dstq+2*strideq]
 253     VP9_STORE_2X         0,  0,  6,  7,  4
 254     RET
 255
 256 ; faster path for when only top left 2x2 block is set
 257 .idct2x2:
 258     movd                m0, [blockq+0]
 259     movd                m1, [blockq+8]
 260     mova                m5, [pw_11585x2]
 261     mova                m6, [pw_6270x2]
 262     mova                m7, [pw_15137x2]
 263     VP9_IDCT4_2x2_1D
 264     TRANSPOSE4x4W  0, 1, 2, 3, 4
 265     VP9_IDCT4_2x2_1D
 266     pxor                m4, m4  ; used for the block reset, and VP9_STORE_2X
 267     movh       [blockq+ 0], m4
 268     movh       [blockq+ 8], m4
 269     VP9_IDCT4_WRITEOUT
 270     RET
 271
 272 .idctfull: ; generic full 4x4 idct/idct
 273     mova                m0, [blockq+ 0]
 274     mova                m1, [blockq+ 8]
 275     mova                m2, [blockq+16]
 276     mova                m3, [blockq+24]
 277     mova                m6, [pw_11585x2]
 278     mova                m7, [pd_8192]       ; rounding
 279     VP9_IDCT4_1D
 280     TRANSPOSE4x4W  0, 1, 2, 3, 4
 281     VP9_IDCT4_1D
 282     pxor                m4, m4  ; used for the block reset, and VP9_STORE_2X
 283     mova       [blockq+ 0], m4
 284     mova       [blockq+ 8], m4
 285     mova       [blockq+16], m4
 286     mova       [blockq+24], m4
 287     VP9_IDCT4_WRITEOUT
 288     RET
 289
 290 ;-------------------------------------------------------------------------------------------
 291 ; void vp9_iadst_iadst_4x4_add_<opt>(uint8_t *dst, ptrdiff_t stride, int16_t *block, int eob);
 292 ;-------------------------------------------------------------------------------------------
 293
 294 %macro VP9_IADST4_1D 0
 295     movq2dq           xmm0, m0
 296     movq2dq           xmm1, m1
 297     movq2dq           xmm2, m2
 298     movq2dq           xmm3, m3
 299     paddw               m3, m0
 300     punpcklwd         xmm0, xmm1
 301     punpcklwd         xmm2, xmm3
 302     pmaddwd           xmm1, xmm0, [pw_5283_13377]
 303     pmaddwd           xmm4, xmm0, [pw_9929_13377]
 304     pmaddwd           xmm0, [pw_15212_m13377]
 305     pmaddwd           xmm3, xmm2, [pw_15212_9929]
 306     pmaddwd           xmm2, [pw_m5283_m15212]
 307     psubw               m3, m2
 308     paddd             xmm0, xmm2
 309     paddd             xmm3, [pd_8192]
 310     paddd             xmm2, [pd_8192]
 311     paddd             xmm1, xmm3
 312     paddd             xmm0, xmm3
 313     paddd             xmm4, xmm2
 314     psrad             xmm1, 14
 315     psrad             xmm0, 14
 316     psrad             xmm4, 14
 317     pmulhrsw            m3, [pw_13377x2]        ; out2
 318     packssdw          xmm0, xmm0
 319     packssdw          xmm1, xmm1
 320     packssdw          xmm4, xmm4
 321     movdq2q             m0, xmm0                ; out3
 322     movdq2q             m1, xmm1                ; out0
 323     movdq2q             m2, xmm4                ; out1
 324     SWAP                 0, 1, 2, 3
 325 %endmacro
 326
 327 %macro IADST4_FN 5
 328 INIT_MMX %5
 329 cglobal vp9_%1_%3_4x4_add, 3, 3, 8, dst, stride, block, eob
 330     mova                m0, [blockq+ 0]
 331     mova                m1, [blockq+ 8]
 332     mova                m2, [blockq+16]
 333     mova                m3, [blockq+24]
 334     mova                m6, [pw_11585x2]
 335     mova                m7, [pd_8192]       ; rounding
 336     VP9_%2_1D
 337     TRANSPOSE4x4W  0, 1, 2, 3, 4
 338     VP9_%4_1D
 339     pxor                m4, m4  ; used for the block reset, and VP9_STORE_2X
 340     mova       [blockq+ 0], m4
 341     mova       [blockq+ 8], m4
 342     mova       [blockq+16], m4
 343     mova       [blockq+24], m4
 344     VP9_IDCT4_WRITEOUT
 345     RET
 346 %endmacro
 347
 348 IADST4_FN idct,  IDCT4,  iadst, IADST4, ssse3
 349 IADST4_FN iadst, IADST4, idct,  IDCT4,  ssse3
 350 IADST4_FN iadst, IADST4, iadst, IADST4, ssse3
 351
 352 %if ARCH_X86_64 ; TODO: 32-bit? (32-bit limited to 8 xmm reg, we use more)
 353
 354 ;-------------------------------------------------------------------------------------------
 355 ; void vp9_idct_idct_8x8_add_<opt>(uint8_t *dst, ptrdiff_t stride, int16_t *block, int eob);
 356 ;-------------------------------------------------------------------------------------------
 357
 358 %macro VP9_IDCT8_1D_FINALIZE 0
 359     SUMSUB_BA            w,  3, 10, 4                       ;  m3=t0+t7, m10=t0-t7
 360     SUMSUB_BA            w,  1,  2, 4                       ;  m1=t1+t6,  m2=t1-t6
 361     SUMSUB_BA            w, 11,  0, 4                       ; m11=t2+t5,  m0=t2-t5
 362     SUMSUB_BA            w,  9,  8, 4                       ;  m9=t3+t4,  m8=t3-t4
 363     SWAP                11, 10, 2
 364     SWAP                 3,  9, 0
 365 %endmacro
 366
 367 %macro VP9_IDCT8_1D 0
 368     SUMSUB_BA            w, 8, 0, 4                         ; m8=IN(0)+IN(4) m0=IN(0)-IN(4)
 369     pmulhrsw            m8, m12                             ; m8=t0a
 370     pmulhrsw            m0, m12                             ; m0=t1a
 371     VP9_UNPACK_MULSUB_2W_4X 2, 10, 15137,  6270, m7, 4, 5   ; m2=t2a, m10=t3a
 372     VP9_UNPACK_MULSUB_2W_4X 1, 11, 16069,  3196, m7, 4, 5   ; m1=t4a, m11=t7a
 373     VP9_UNPACK_MULSUB_2W_4X 9,  3,  9102, 13623, m7, 4, 5   ; m9=t5a,  m3=t6a
 374     SUMSUB_BA            w, 10,  8, 4                       ; m10=t0a+t3a (t0),  m8=t0a-t3a (t3)
 375     SUMSUB_BA            w,  2,  0, 4                       ;  m2=t1a+t2a (t1),  m0=t1a-t2a (t2)
 376     SUMSUB_BA            w,  9,  1, 4                       ;  m9=t4a+t5a (t4),  m1=t4a-t5a (t5a)
 377     SUMSUB_BA            w,  3, 11, 4                       ;  m3=t7a+t6a (t7), m11=t7a-t6a (t6a)
 378     SUMSUB_BA            w,  1, 11, 4                       ;  m1=t6a+t5a (t6), m11=t6a-t5a (t5)
 379     pmulhrsw            m1, m12                             ; m1=t6
 380     pmulhrsw           m11, m12                             ; m11=t5
 381     VP9_IDCT8_1D_FINALIZE
 382 %endmacro
 383
 384 %macro VP9_IDCT8_4x4_1D 0
 385     pmulhrsw            m0, m12                             ; m0=t1a/t0a
 386     pmulhrsw           m10, m2, [pw_15137x2]                ; m10=t3a
 387     pmulhrsw            m2, [pw_6270x2]                     ; m2=t2a
 388     pmulhrsw           m11, m1, [pw_16069x2]                ; m11=t7a
 389     pmulhrsw            m1, [pw_3196x2]                     ; m1=t4a
 390     pmulhrsw            m9, m3, [pw_9102x2]                 ; m9=-t5a
 391     pmulhrsw            m3, [pw_13623x2]                    ; m3=t6a
 392     psubw               m8, m0, m10                         ; m8=t0a-t3a (t3)
 393     paddw              m10, m0                              ; m10=t0a+t3a (t0)
 394     SUMSUB_BA            w,  2,  0, 4                       ;  m2=t1a+t2a (t1),  m0=t1a-t2a (t2)
 395     SUMSUB_BA            w,  9,  1, 4                       ;  m1=t4a+t5a (t4),  m9=t4a-t5a (t5a)
 396     SWAP                 1,  9
 397     SUMSUB_BA            w,  3, 11, 4                       ;  m3=t7a+t6a (t7), m11=t7a-t6a (t6a)
 398     SUMSUB_BA            w,  1, 11, 4                       ;  m1=t6a+t5a (t6), m11=t6a-t5a (t5)
 399     pmulhrsw            m1, m12                             ; m1=t6
 400     pmulhrsw           m11, m12                             ; m11=t5
 401     VP9_IDCT8_1D_FINALIZE
 402 %endmacro
 403
 404 ; TODO: a lot of t* copies can probably be removed and merged with
 405 ; following SUMSUBs from VP9_IDCT8_1D_FINALIZE with AVX
 406 %macro VP9_IDCT8_2x2_1D 0
 407     pmulhrsw            m0, m12                             ;  m0=t0
 408     mova                m3, m1
 409     pmulhrsw            m1, m6                              ;  m1=t4
 410     pmulhrsw            m3, m7                              ;  m3=t7
 411     mova                m2, m0                              ;  m2=t1
 412     mova               m10, m0                              ; m10=t2
 413     mova                m8, m0                              ;  m8=t3
 414     mova               m11, m3                              ; t5 = t7a ...
 415     mova                m9, m3                              ; t6 = t7a ...
 416     psubw              m11, m1                              ; t5 = t7a - t4a
 417     paddw               m9, m1                              ; t6 = t7a + t4a
 418     pmulhrsw           m11, m12                             ; m11=t5
 419     pmulhrsw            m9, m12                             ;  m9=t6
 420     SWAP                 0, 10
 421     SWAP                 9,  1
 422     VP9_IDCT8_1D_FINALIZE
 423 %endmacro
 424
 425 %macro VP9_IDCT8_WRITEOUT 0
 426     mova                m5, [pw_1024]
 427     pmulhrsw            m0, m5              ; (x*1024 + (1<<14))>>15 <=> (x+16)>>5
 428     pmulhrsw            m1, m5
 429     VP9_STORE_2X         0,  1,  6,  7,  4
 430     lea               dstq, [dstq+2*strideq]
 431     pmulhrsw            m2, m5
 432     pmulhrsw            m3, m5
 433     VP9_STORE_2X         2,  3,  6,  7,  4
 434     lea               dstq, [dstq+2*strideq]
 435     pmulhrsw            m8, m5
 436     pmulhrsw            m9, m5
 437     VP9_STORE_2X         8,  9,  6,  7,  4
 438     lea               dstq, [dstq+2*strideq]
 439     pmulhrsw           m10, m5
 440     pmulhrsw           m11, m5
 441     VP9_STORE_2X        10, 11,  6,  7,  4
 442 %endmacro
 443
 444 %macro VP9_IDCT_IDCT_8x8_ADD_XMM 1
 445 INIT_XMM %1
 446 cglobal vp9_idct_idct_8x8_add, 4,4,13, dst, stride, block, eob
 447
 448     mova               m12, [pw_11585x2]    ; often used
 449
 450     cmp eobd, 12 ; top left half or less
 451     jg .idctfull
 452
 453     cmp eobd, 3  ; top left corner or less
 454     jg .idcthalf
 455
 456     cmp eobd, 1 ; faster path for when only DC is set
 457     jne .idcttopleftcorner
 458
 459     movd                m0, [blockq]
 460     pmulhrsw            m0, m12
 461     pmulhrsw            m0, m12
 462     SPLATW              m0, m0, 0
 463     pxor                m4, m4
 464     movd          [blockq], m4
 465     mova                m5, [pw_1024]
 466     pmulhrsw            m0, m5              ; (x*1024 + (1<<14))>>15 <=> (x+16)>>5
 467     VP9_STORE_2X         0,  0,  6,  7,  4
 468     lea               dstq, [dstq+2*strideq]
 469     VP9_STORE_2X         0,  0,  6,  7,  4
 470     lea               dstq, [dstq+2*strideq]
 471     VP9_STORE_2X         0,  0,  6,  7,  4
 472     lea               dstq, [dstq+2*strideq]
 473     VP9_STORE_2X         0,  0,  6,  7,  4
 474     RET
 475
 476 ; faster path for when only left corner is set (3 input: DC, right to DC, below
 477 ; to DC). Note: also working with a 2x2 block
 478 .idcttopleftcorner:
 479     movd                m0, [blockq+0]
 480     movd                m1, [blockq+16]
 481     mova                m6, [pw_3196x2]
 482     mova                m7, [pw_16069x2]
 483     VP9_IDCT8_2x2_1D
 484     TRANSPOSE8x8W  0, 1, 2, 3, 8, 9, 10, 11, 4
 485     VP9_IDCT8_2x2_1D
 486     pxor                m4, m4  ; used for the block reset, and VP9_STORE_2X
 487     movd       [blockq+ 0], m4
 488     movd       [blockq+16], m4
 489     VP9_IDCT8_WRITEOUT
 490     RET
 491
 492 .idcthalf:
 493     movh                m0, [blockq + 0]
 494     movh                m1, [blockq +16]
 495     movh                m2, [blockq +32]
 496     movh                m3, [blockq +48]
 497     VP9_IDCT8_4x4_1D
 498     TRANSPOSE8x8W  0, 1, 2, 3, 8, 9, 10, 11, 4
 499     VP9_IDCT8_4x4_1D
 500     pxor                m4, m4
 501     movh       [blockq+ 0], m4
 502     movh       [blockq+16], m4
 503     movh       [blockq+32], m4
 504     movh       [blockq+48], m4
 505     VP9_IDCT8_WRITEOUT
 506     RET
 507
 508 .idctfull: ; generic full 8x8 idct/idct
 509     mova                m0, [blockq+  0]    ; IN(0)
 510     mova                m1, [blockq+ 16]    ; IN(1)
 511     mova                m2, [blockq+ 32]    ; IN(2)
 512     mova                m3, [blockq+ 48]    ; IN(3)
 513     mova                m8, [blockq+ 64]    ; IN(4)
 514     mova                m9, [blockq+ 80]    ; IN(5)
 515     mova               m10, [blockq+ 96]    ; IN(6)
 516     mova               m11, [blockq+112]    ; IN(7)
 517     mova                m7, [pd_8192]       ; rounding
 518     VP9_IDCT8_1D
 519     TRANSPOSE8x8W  0, 1, 2, 3, 8, 9, 10, 11, 4
 520     VP9_IDCT8_1D
 521
 522     pxor                m4, m4  ; used for the block reset, and VP9_STORE_2X
 523     ZERO_BLOCK      blockq, 16, 8, m4
 524     VP9_IDCT8_WRITEOUT
 525     RET
 526 %endmacro
 527
 528 VP9_IDCT_IDCT_8x8_ADD_XMM ssse3
 529 VP9_IDCT_IDCT_8x8_ADD_XMM avx
 530
 531 ;---------------------------------------------------------------------------------------------
 532 ; void vp9_iadst_iadst_8x8_add_<opt>(uint8_t *dst, ptrdiff_t stride, int16_t *block, int eob);
 533 ;---------------------------------------------------------------------------------------------
 534
 535 %macro VP9_IADST8_1D 0 ; input/output=m0/1/2/3/8/9/10/11
 536     VP9_UNPACK_MULSUB_2D_4X 11,  0,  4,  5, 16305,  1606    ; m11/4=t1[d], m0/5=t0[d]
 537     VP9_UNPACK_MULSUB_2D_4X  3,  8,  6, 13, 10394, 12665    ; m3/6=t5[d], m8/13=t4[d]
 538     VP9_RND_SH_SUMSUB_BA     8,  0, 13,  5, 14, m7          ; m8=t0[w], m0=t4[w]
 539     VP9_RND_SH_SUMSUB_BA     3, 11,  6,  4, 14, m7          ; m3=t1[w], m11=t5[w]
 540
 541     VP9_UNPACK_MULSUB_2D_4X  9,  2,  4,  5, 14449,  7723    ; m9/4=t3[d], m2/5=t2[d]
 542     VP9_UNPACK_MULSUB_2D_4X  1, 10,  6, 13,  4756, 15679    ; m1/6=t7[d], m10/13=t6[d]
 543     VP9_RND_SH_SUMSUB_BA    10,  2, 13,  5, 14, m7          ; m10=t2[w], m2=t6[w]
 544     VP9_RND_SH_SUMSUB_BA     1,  9,  6,  4, 14, m7          ; m1=t3[w], m9=t7[w]
 545
 546     ; m8=t0, m3=t1, m10=t2, m1=t3, m0=t4, m11=t5, m2=t6, m9=t7
 547
 548     VP9_UNPACK_MULSUB_2D_4X  0, 11,  4,  5, 15137,  6270    ; m0/4=t5[d], m11/5=t4[d]
 549     VP9_UNPACK_MULSUB_2D_4X  9,  2,  6, 13,  6270, 15137    ; m9/6=t6[d], m2/13=t7[d]
 550     VP9_RND_SH_SUMSUB_BA     9, 11,  6,  5, 14, m7
 551     psignw                  m9, [pw_m1]                     ; m9=out1[w], m11=t6[w]
 552     VP9_RND_SH_SUMSUB_BA     2,  0, 13,  4, 14, m7          ; m2=out6[w], m0=t7[w]
 553
 554     SUMSUB_BA                w, 10,  8, 14                  ; m10=out0[w], m8=t2[w]
 555     SUMSUB_BA                w,  1,  3, 14
 556     psignw                  m1, [pw_m1]                     ; m1=out7[w], m3=t3[w]
 557
 558     ; m10=out0, m9=out1, m8=t2, m3=t3, m11=t6, m0=t7, m2=out6, m1=out7
 559
 560     SUMSUB_BA                w,  3,  8,  4
 561     SUMSUB_BA                w,  0, 11,  5
 562     pmulhrsw                m3, m12
 563     pmulhrsw               m11, m12
 564     pmulhrsw                m8, m12                         ; out4
 565     pmulhrsw                m0, m12                         ; out2
 566     psignw                  m3, [pw_m1]                     ; out3
 567     psignw                 m11, [pw_m1]                     ; out5
 568
 569     ; m10=out0, m9=out1, m0=out2, m3=out3, m8=out4, m11=out5, m2=out6, m1=out7
 570
 571     SWAP                     0, 10, 2
 572     SWAP                    11,  1, 9
 573 %endmacro
 574
 575 %macro IADST8_FN 5
 576 INIT_XMM %5
 577 cglobal vp9_%1_%3_8x8_add, 3, 3, 15, dst, stride, block, eob
 578     mova                m0, [blockq+  0]    ; IN(0)
 579     mova                m1, [blockq+ 16]    ; IN(1)
 580     mova                m2, [blockq+ 32]    ; IN(2)
 581     mova                m3, [blockq+ 48]    ; IN(3)
 582     mova                m8, [blockq+ 64]    ; IN(4)
 583     mova                m9, [blockq+ 80]    ; IN(5)
 584     mova               m10, [blockq+ 96]    ; IN(6)
 585     mova               m11, [blockq+112]    ; IN(7)
 586
 587     mova               m12, [pw_11585x2]    ; often used
 588     mova                m7, [pd_8192]       ; rounding
 589     VP9_%2_1D
 590     TRANSPOSE8x8W  0, 1, 2, 3, 8, 9, 10, 11, 4
 591     VP9_%4_1D
 592
 593     pxor                m4, m4  ; used for the block reset, and VP9_STORE_2X
 594     ZERO_BLOCK      blockq, 16, 8, m4
 595     VP9_IDCT8_WRITEOUT
 596     RET
 597 %endmacro
 598
 599 IADST8_FN idct,  IDCT8,  iadst, IADST8, ssse3
 600 IADST8_FN idct,  IDCT8,  iadst, IADST8, avx
 601 IADST8_FN iadst, IADST8, idct,  IDCT8,  ssse3
 602 IADST8_FN iadst, IADST8, idct,  IDCT8,  avx
 603 IADST8_FN iadst, IADST8, iadst, IADST8, ssse3
 604 IADST8_FN iadst, IADST8, iadst, IADST8, avx
 605
 606 ;---------------------------------------------------------------------------------------------
 607 ; void vp9_idct_idct_16x16_add_<opt>(uint8_t *dst, ptrdiff_t stride, int16_t *block, int eob);
 608 ;---------------------------------------------------------------------------------------------
 609
 610 ; at the end of this macro, m7 is stored in stack_scratch
 611 ; everything else (t0-6 and t8-15) is stored in m0-6 and m8-15
 612 ; the following sumsubs have not been done yet:
 613 ;    SUMSUB_BA            w,  6,  9, 15      ; t6, t9
 614 ;    SUMSUB_BA            w,  7,  8, 15      ; t7, t8
 615 %macro VP9_IDCT16_1D_START 4 ; src, nnzc, stride, stack_scratch
 616 %if %2 <= 4
 617     mova                m3, [%1+ 1*%3]      ; IN(1)
 618     mova               m12, [%1+ 2*%3]      ; IN(2)
 619     mova                m0, [%1+ 3*%3]      ; IN(3)
 620
 621     pmulhrsw           m15, m12, [pw_16069x2]       ; t6-7
 622     pmulhrsw           m12, [pw_3196x2]             ; t4-5
 623     pmulhrsw            m4, m3,  [pw_16305x2]       ; t14-15
 624     pmulhrsw            m3, [pw_1606x2]             ; t8-9
 625     pmulhrsw            m7, m0,  [pw_m4756x2]       ; t10-11
 626     pmulhrsw            m0, [pw_15679x2]            ; t12-13
 627
 628     ; m8=t0, m9=t1, m10=t2, m11=t3, m12=t4, m14=t5, m13=t6, m15=t7
 629     ; m3=t8, m5=t9, m1=t10, m7=t11, m0=t12, m6=t13, m2=t14, m4=t15
 630
 631     paddw              m14, m15, m12
 632     psubw              m13, m15, m12
 633     pmulhrsw           m13, [pw_11585x2]            ; t5
 634     pmulhrsw           m14, [pw_11585x2]            ; t6
 635
 636     VP9_UNPACK_MULSUB_2W_4X 2, 5, 4, 3, 15137,  6270, [pd_8192], 10, 11 ; t9,  t14
 637     VP9_UNPACK_MULSUB_2W_4X 6, 1, 0, 7, 6270, m15137, [pd_8192], 10, 11 ; t10, t13
 638
 639     ; m15=t0, m14=t1, m13=t2, m12=t3, m11=t4, m10=t5, m9=t6, m8=t7
 640     ; m7=t8, m6=t9, m2=t10, m3=t11, m4=t12, m5=t13, m1=t14, m0=t15
 641 %else
 642     mova                m5, [%1+ 1*%3]     ; IN(1)
 643     mova               m14, [%1+ 2*%3]     ; IN(2)
 644     mova                m6, [%1+ 3*%3]     ; IN(3)
 645     mova                m9, [%1+ 4*%3]     ; IN(4)
 646     mova                m7, [%1+ 5*%3]     ; IN(5)
 647     mova               m15, [%1+ 6*%3]     ; IN(6)
 648     mova                m4, [%1+ 7*%3]     ; IN(7)
 649 %if %2 <= 8
 650     pmulhrsw            m8, m9,  [pw_15137x2]       ; t3
 651     pmulhrsw            m9, [pw_6270x2]             ; t2
 652     pmulhrsw           m13, m14, [pw_16069x2]       ; t7
 653     pmulhrsw           m14, [pw_3196x2]             ; t4
 654     pmulhrsw           m12, m15, [pw_m9102x2]       ; t5
 655     pmulhrsw           m15, [pw_13623x2]            ; t6
 656     pmulhrsw            m2, m5,  [pw_16305x2]       ; t15
 657     pmulhrsw            m5, [pw_1606x2]             ; t8
 658     pmulhrsw            m3, m4,  [pw_m10394x2]      ; t9
 659     pmulhrsw            m4, [pw_12665x2]            ; t14
 660     pmulhrsw            m0, m7,  [pw_14449x2]       ; t13
 661     pmulhrsw            m7, [pw_7723x2]             ; t10
 662     pmulhrsw            m1, m6,  [pw_m4756x2]       ; t11
 663     pmulhrsw            m6, [pw_15679x2]            ; t12
 664 %else
 665     mova                m3, [%1+ 9*%3]     ; IN(9)
 666     mova               m12, [%1+10*%3]     ; IN(10)
 667     mova                m0, [%1+11*%3]     ; IN(11)
 668     mova                m8, [%1+12*%3]     ; IN(12)
 669     mova                m1, [%1+13*%3]     ; IN(13)
 670     mova               m13, [%1+14*%3]     ; IN(14)
 671     mova                m2, [%1+15*%3]     ; IN(15)
 672
 673     ; m10=in0, m5=in1, m14=in2, m6=in3, m9=in4, m7=in5, m15=in6, m4=in7
 674     ; m11=in8, m3=in9, m12=in10 m0=in11, m8=in12, m1=in13, m13=in14, m2=in15
 675
 676     VP9_UNPACK_MULSUB_2W_4X   9,   8, 15137,  6270, [pd_8192], 10, 11 ; t2,  t3
 677     VP9_UNPACK_MULSUB_2W_4X  14,  13, 16069,  3196, [pd_8192], 10, 11 ; t4,  t7
 678     VP9_UNPACK_MULSUB_2W_4X  12,  15,  9102, 13623, [pd_8192], 10, 11 ; t5,  t6
 679     VP9_UNPACK_MULSUB_2W_4X   5,   2, 16305,  1606, [pd_8192], 10, 11 ; t8,  t15
 680     VP9_UNPACK_MULSUB_2W_4X   3,   4, 10394, 12665, [pd_8192], 10, 11 ; t9,  t14
 681     VP9_UNPACK_MULSUB_2W_4X   7,   0, 14449,  7723, [pd_8192], 10, 11 ; t10, t13
 682     VP9_UNPACK_MULSUB_2W_4X   1,   6,  4756, 15679, [pd_8192], 10, 11 ; t11, t12
 683 %endif
 684
 685     ; m11=t0, m10=t1, m9=t2, m8=t3, m14=t4, m12=t5, m15=t6, m13=t7
 686     ; m5=t8, m3=t9, m7=t10, m1=t11, m6=t12, m0=t13, m4=t14, m2=t15
 687
 688     SUMSUB_BA            w, 12, 14, 10      ; t4,  t5
 689     SUMSUB_BA            w, 15, 13, 10      ; t7,  t6
 690     SUMSUB_BA            w,  3,  5, 10      ; t8,  t9
 691     SUMSUB_BA            w,  7,  1, 10      ; t11, t10
 692     SUMSUB_BA            w,  0,  6, 10      ; t12, t13
 693     SUMSUB_BA            w,  4,  2, 10      ; t15, t14
 694
 695     ; m8=t0, m9=t1, m10=t2, m11=t3, m12=t4, m14=t5, m13=t6, m15=t7
 696     ; m3=t8, m5=t9, m1=t10, m7=t11, m0=t12, m6=t13, m2=t14, m4=t15
 697
 698     SUMSUB_BA            w, 14, 13, 10
 699     pmulhrsw           m13, [pw_11585x2]                              ; t5
 700     pmulhrsw           m14, [pw_11585x2]                              ; t6
 701     VP9_UNPACK_MULSUB_2W_4X   2,   5, 15137,  6270, [pd_8192], 10, 11 ; t9,  t14
 702     VP9_UNPACK_MULSUB_2W_4X   6,   1, 6270, m15137, [pd_8192], 10, 11 ; t10, t13
 703 %endif
 704
 705     ; m8=t0, m9=t1, m10=t2, m11=t3, m12=t4, m13=t5, m14=t6, m15=t7
 706     ; m3=t8, m2=t9, m6=t10, m7=t11, m0=t12, m1=t13, m5=t14, m4=t15
 707
 708     SUMSUB_BA            w,  7,  3, 10      ; t8,  t11
 709     SUMSUB_BA            w,  6,  2, 10      ; t9,  t10
 710     SUMSUB_BA            w,  0,  4, 10      ; t15, t12
 711     SUMSUB_BA            w,  1,  5, 10      ; t14. t13
 712
 713     ; m15=t0, m14=t1, m13=t2, m12=t3, m11=t4, m10=t5, m9=t6, m8=t7
 714     ; m7=t8, m6=t9, m2=t10, m3=t11, m4=t12, m5=t13, m1=t14, m0=t15
 715
 716     SUMSUB_BA            w,  2,  5, 10
 717     SUMSUB_BA            w,  3,  4, 10
 718     pmulhrsw            m5, [pw_11585x2]    ; t10
 719     pmulhrsw            m4, [pw_11585x2]    ; t11
 720     pmulhrsw            m3, [pw_11585x2]    ; t12
 721     pmulhrsw            m2, [pw_11585x2]    ; t13
 722
 723     ; backup first register
 724     mova              [%4], m7
 725
 726     ; m15=t0, m14=t1, m13=t2, m12=t3, m11=t4, m10=t5, m9=t6, m8=t7
 727     ; m7=t8, m6=t9, m5=t10, m4=t11, m3=t12, m2=t13, m1=t14, m0=t15
 728
 729     ; from load/start
 730 %if %2 <= 4
 731     mova               m11, [%1+ 0*%3]      ; IN(0)
 732     pmulhrsw           m11, [pw_11585x2]    ; t0-t3
 733
 734     psubw               m8, m11, m15
 735     paddw              m15, m11
 736     psubw               m9, m11, m14
 737     paddw              m14, m11
 738     psubw              m10, m11, m13
 739     paddw              m13, m11
 740 %else
 741     mova               m10, [%1+ 0*%3]      ; IN(0)
 742 %if %2 <= 8
 743     pmulhrsw           m10, [pw_11585x2]    ; t0 and t1
 744     psubw              m11, m10, m8
 745     paddw               m8, m10
 746 %else
 747     mova               m11, [%1+ 8*%3]      ; IN(8)
 748
 749     ; from 3 stages back
 750     SUMSUB_BA            w, 11, 10, 7
 751     pmulhrsw           m11, [pw_11585x2]    ; t0
 752     pmulhrsw           m10, [pw_11585x2]    ; t1
 753
 754     ; from 2 stages back
 755     SUMSUB_BA            w,  8, 11, 7       ; t0,  t3
 756 %endif
 757     SUMSUB_BA            w,  9, 10, 7       ; t1,  t2
 758
 759     ; from 1 stage back
 760     SUMSUB_BA            w, 15,  8, 7       ; t0,  t7
 761     SUMSUB_BA            w, 14,  9, 7       ; t1,  t6
 762     SUMSUB_BA            w, 13, 10, 7       ; t2,  t5
 763 %endif
 764     SUMSUB_BA            w, 12, 11, 7       ; t3,  t4
 765
 766     SUMSUB_BA            w,  0, 15, 7       ; t0, t15
 767     SUMSUB_BA            w,  1, 14, 7       ; t1, t14
 768     SUMSUB_BA            w,  2, 13, 7       ; t2, t13
 769     SUMSUB_BA            w,  3, 12, 7       ; t3, t12
 770     SUMSUB_BA            w,  4, 11, 7       ; t4, t11
 771     SUMSUB_BA            w,  5, 10, 7       ; t5, t10
 772 %endmacro
 773
 774 %macro VP9_IDCT16_1D 2-3 16 ; src, pass, nnzc
 775     VP9_IDCT16_1D_START %1, %3, 32, tmpq+32
 776
 777 %if %2 == 1
 778     ; backup a different register
 779     mova         [tmpq+16], m15
 780     mova                m7, [tmpq+32]
 781
 782     SUMSUB_BA            w,  6,  9, 15      ; t6, t9
 783     SUMSUB_BA            w,  7,  8, 15      ; t7, t8
 784
 785     TRANSPOSE8x8W        0, 1, 2, 3, 4, 5, 6, 7, 15
 786     mova        [tmpq+  0], m0
 787     mova        [tmpq+ 32], m1
 788     mova        [tmpq+ 64], m2
 789     mova        [tmpq+ 96], m3
 790     mova        [tmpq+128], m4
 791     mova        [tmpq+160], m5
 792     mova        [tmpq+192], m6
 793     mova        [tmpq+224], m7
 794
 795     mova               m15, [tmpq+16]
 796     TRANSPOSE8x8W        8, 9, 10, 11, 12, 13, 14, 15, 0
 797     mova        [tmpq+ 16], m8
 798     mova        [tmpq+ 48], m9
 799     mova        [tmpq+ 80], m10
 800     mova        [tmpq+112], m11
 801     mova        [tmpq+144], m12
 802     mova        [tmpq+176], m13
 803     mova        [tmpq+208], m14
 804     mova        [tmpq+240], m15
 805 %else ; %2 == 2
 806     ; backup more registers
 807     mova         [tmpq+64], m8
 808     mova         [tmpq+96], m9
 809
 810     pxor                m7, m7
 811     pmulhrsw            m0, [pw_512]
 812     pmulhrsw            m1, [pw_512]
 813     VP9_STORE_2X         0,  1,  8,  9,  7
 814     lea               dstq, [dstq+strideq*2]
 815     pmulhrsw            m2, [pw_512]
 816     pmulhrsw            m3, [pw_512]
 817     VP9_STORE_2X         2,  3,  8,  9,  7
 818     lea               dstq, [dstq+strideq*2]
 819     pmulhrsw            m4, [pw_512]
 820     pmulhrsw            m5, [pw_512]
 821     VP9_STORE_2X         4,  5,  8,  9,  7
 822     lea               dstq, [dstq+strideq*2]
 823
 824     ; restore from cache
 825     SWAP                 0, 7               ; move zero from m7 to m0
 826     mova                m7, [tmpq+32]
 827     mova                m8, [tmpq+64]
 828     mova                m9, [tmpq+96]
 829
 830     SUMSUB_BA            w,  6,  9, 1       ; t6, t9
 831     SUMSUB_BA            w,  7,  8, 1       ; t7, t8
 832
 833     pmulhrsw            m6, [pw_512]
 834     pmulhrsw            m7, [pw_512]
 835     VP9_STORE_2X         6,  7,  1,  2,  0
 836     lea               dstq, [dstq+strideq*2]
 837     pmulhrsw            m8, [pw_512]
 838     pmulhrsw            m9, [pw_512]
 839     VP9_STORE_2X         8,  9,  1,  2,  0
 840     lea               dstq, [dstq+strideq*2]
 841     pmulhrsw           m10, [pw_512]
 842     pmulhrsw           m11, [pw_512]
 843     VP9_STORE_2X        10, 11,  1,  2,  0
 844     lea               dstq, [dstq+strideq*2]
 845     pmulhrsw           m12, [pw_512]
 846     pmulhrsw           m13, [pw_512]
 847     VP9_STORE_2X        12, 13,  1,  2,  0
 848     lea               dstq, [dstq+strideq*2]
 849     pmulhrsw           m14, [pw_512]
 850     pmulhrsw           m15, [pw_512]
 851     VP9_STORE_2X        14, 15,  1,  2,  0
 852 %endif ; %2 == 1/2
 853 %endmacro
 854
 855 %macro VP9_STORE_2XFULL 6-7 strideq; dc, tmp1, tmp2, tmp3, tmp4, zero, stride
 856     mova               m%3, [dstq]
 857     mova               m%5, [dstq+%7]
 858     punpcklbw          m%2, m%3, m%6
 859     punpckhbw          m%3, m%6
 860     punpcklbw          m%4, m%5, m%6
 861     punpckhbw          m%5, m%6
 862     paddw              m%2, m%1
 863     paddw              m%3, m%1
 864     paddw              m%4, m%1
 865     paddw              m%5, m%1
 866     packuswb           m%2, m%3
 867     packuswb           m%4, m%5
 868     mova            [dstq], m%2
 869     mova         [dstq+%7], m%4
 870 %endmacro
 871
 872 %macro VP9_IDCT_IDCT_16x16_ADD_XMM 1
 873 INIT_XMM %1
 874 cglobal vp9_idct_idct_16x16_add, 4, 6, 16, 512, dst, stride, block, eob
 875     ; 2x2=eob=3, 4x4=eob=10
 876     cmp eobd, 38
 877     jg .idctfull
 878     cmp eobd, 1 ; faster path for when only DC is set
 879     jne .idct8x8
 880
 881     ; dc-only
 882     movd                m0, [blockq]
 883     mova                m1, [pw_11585x2]
 884     pmulhrsw            m0, m1
 885     pmulhrsw            m0, m1
 886     SPLATW              m0, m0, q0000
 887     pmulhrsw            m0, [pw_512]
 888     pxor                m5, m5
 889     movd          [blockq], m5
 890 %rep 7
 891     VP9_STORE_2XFULL    0, 1, 2, 3, 4, 5
 892     lea               dstq, [dstq+2*strideq]
 893 %endrep
 894     VP9_STORE_2XFULL    0, 1, 2, 3, 4, 5
 895     RET
 896
 897     DEFINE_ARGS dst, stride, block, cnt, dst_bak, tmp
 898 .idct8x8:
 899     mov               tmpq, rsp
 900     VP9_IDCT16_1D   blockq, 1, 8
 901
 902     mov               cntd, 2
 903     mov           dst_bakq, dstq
 904 .loop2_8x8:
 905     VP9_IDCT16_1D     tmpq, 2, 8
 906     lea               dstq, [dst_bakq+8]
 907     add               tmpq, 16
 908     dec               cntd
 909     jg .loop2_8x8
 910
 911     ; at the end of the loop, m0 should still be zero
 912     ; use that to zero out block coefficients
 913     ZERO_BLOCK      blockq, 32, 8, m0
 914     RET
 915
 916 .idctfull:
 917     mov               cntd, 2
 918     mov               tmpq, rsp
 919 .loop1_full:
 920     VP9_IDCT16_1D   blockq, 1
 921     add             blockq, 16
 922     add               tmpq, 256
 923     dec               cntd
 924     jg .loop1_full
 925     sub             blockq, 32
 926
 927     mov               cntd, 2
 928     mov               tmpq, rsp
 929     mov           dst_bakq, dstq
 930 .loop2_full:
 931     VP9_IDCT16_1D     tmpq, 2
 932     lea               dstq, [dst_bakq+8]
 933     add               tmpq, 16
 934     dec               cntd
 935     jg .loop2_full
 936
 937     ; at the end of the loop, m0 should still be zero
 938     ; use that to zero out block coefficients
 939     ZERO_BLOCK      blockq, 32, 16, m0
 940     RET
 941 %endmacro
 942
 943 VP9_IDCT_IDCT_16x16_ADD_XMM ssse3
 944 VP9_IDCT_IDCT_16x16_ADD_XMM avx
 945
 946 ;---------------------------------------------------------------------------------------------
 947 ; void vp9_iadst_iadst_16x16_add_<opt>(uint8_t *dst, ptrdiff_t stride, int16_t *block, int eob);
 948 ;---------------------------------------------------------------------------------------------
 949
 950 %macro VP9_IADST16_1D 2 ; src, pass
 951 %assign %%str 16*%2
 952     mova                m0, [%1+ 0*32]  ; in0
 953     mova                m1, [%1+15*32]  ; in15
 954     mova                m8, [%1+ 7*32]  ; in7
 955     mova                m9, [%1+ 8*32]  ; in8
 956
 957     VP9_UNPACK_MULSUB_2D_4X  1,  0,  2,  3, 16364,   804    ; m1/2=t1[d], m0/3=t0[d]
 958     VP9_UNPACK_MULSUB_2D_4X  8,  9, 11, 10, 11003, 12140    ; m8/11=t9[d], m9/10=t8[d]
 959     VP9_RND_SH_SUMSUB_BA     9,  0, 10,  3,  4, [pd_8192]   ; m9=t0[w], m0=t8[w]
 960     VP9_RND_SH_SUMSUB_BA     8,  1, 11,  2,  4, [pd_8192]   ; m8=t1[w], m1=t9[w]
 961
 962     mova               m11, [%1+ 2*32]  ; in2
 963     mova               m10, [%1+13*32]  ; in13
 964     mova                m3, [%1+ 5*32]  ; in5
 965     mova                m2, [%1+10*32]  ; in10
 966
 967     VP9_UNPACK_MULSUB_2D_4X 10, 11,  6,  7, 15893,  3981    ; m10/6=t3[d], m11/7=t2[d]
 968     VP9_UNPACK_MULSUB_2D_4X  3,  2,  4,  5,  8423, 14053    ; m3/4=t11[d], m2/5=t10[d]
 969     VP9_RND_SH_SUMSUB_BA     2, 11,  5,  7, 12, [pd_8192]   ; m2=t2[w], m11=t10[w]
 970     VP9_RND_SH_SUMSUB_BA     3, 10,  4,  6, 12, [pd_8192]   ; m3=t3[w], m10=t11[w]
 971
 972     mova   [tmpq+ 0*%%str], m9          ; make some scratch space (t0:m9->r0)
 973     mova                m4, [%1+ 4*32]  ; in4
 974     mova                m5, [%1+11*32]  ; in11
 975     mova               m12, [%1+ 3*32]  ; in3
 976     mova               m13, [%1+12*32]  ; in12
 977
 978     VP9_UNPACK_MULSUB_2D_4X  5,  4,  7,  6, 14811,  7005    ; m5/7=t5[d], m4/6=t4[d]
 979     VP9_UNPACK_MULSUB_2D_4X 12, 13, 14, 15,  5520, 15426    ; m12/14=t13[d], m13/15=t12[d]
 980     VP9_RND_SH_SUMSUB_BA    13,  4, 15,  6,  9, [pd_8192]   ; m13=t4[w], m4=t12[w]
 981     VP9_RND_SH_SUMSUB_BA    12,  5, 14,  7,  9, [pd_8192]   ; m12=t5[w], m5=t13[w]
 982
 983     mova   [tmpq+ 2*%%str], m8          ; t1:m9->r2
 984     mova   [tmpq+ 3*%%str], m2          ; t2:m2->r3
 985     mova   [tmpq+ 4*%%str], m3          ; t3:m3->r4
 986     mova   [tmpq+ 5*%%str], m13         ; t4:m13->r5
 987     mova                m2, [%1+ 6*32]  ; in6
 988     mova                m3, [%1+ 9*32]  ; in9
 989     mova                m8, [%1+ 1*32]  ; in1
 990     mova                m9, [%1+14*32]  ; in14
 991
 992     VP9_UNPACK_MULSUB_2D_4X  3,  2,  7,  6, 13160,  9760    ; m3/7=t7[d], m2/6=t6[d]
 993     VP9_UNPACK_MULSUB_2D_4X  8,  9, 13, 14,  2404, 16207    ; m8/13=t15[d], m9/14=t14[d]
 994     VP9_RND_SH_SUMSUB_BA     9,  2, 14,  6, 15, [pd_8192]   ; m9=t6[w], m2=t14[w]
 995     VP9_RND_SH_SUMSUB_BA     8,  3, 13,  7, 15, [pd_8192]   ; m8=t7[w], m3=t15[w]
 996
 997     ; r0=t0, r2=t1, r3=t2, r4=t3, r5=t4, m12=t5, m9=t6, m8=t7
 998     ; m0=t8, m1=t9, m11=t10, m10=t11, m4=t12, m5=t13, m2=t14, m3=t15
 999
1000     ; handle t8-15 first
1001     VP9_UNPACK_MULSUB_2D_4X  0,  1,  6,  7, 16069,  3196    ; m1/7=t8[d], m0/6=t9[d]
1002     VP9_UNPACK_MULSUB_2D_4X  5,  4, 13, 14,  3196, 16069    ; m5/13=t12[d], m4/14=t13[d]
1003     VP9_RND_SH_SUMSUB_BA     5,  1, 13,  7, 15, [pd_8192]   ; m5=t8[w], m1=t12[w]
1004     VP9_RND_SH_SUMSUB_BA     4,  0, 14,  6, 15, [pd_8192]   ; m4=t9[w], m0=t13[w]
1005
1006     VP9_UNPACK_MULSUB_2D_4X 11, 10,  6,  7,  9102, 13623    ; m11/6=t11[d], m10/7=t10[d]
1007     VP9_UNPACK_MULSUB_2D_4X  3,  2, 13, 14, 13623,  9102    ; m3/13=t14[d], m2/14=t15[d]
1008     VP9_RND_SH_SUMSUB_BA     3, 10, 13,  7, 15, [pd_8192]   ; m3=t10[w], m10=t14[w]
1009     VP9_RND_SH_SUMSUB_BA     2, 11, 14,  6, 15, [pd_8192]   ; m2=t11[w], m11=t15[w]
1010
1011     ; m5=t8, m4=t9, m3=t10, m2=t11, m1=t12, m0=t13, m10=t14, m11=t15
1012
1013     VP9_UNPACK_MULSUB_2D_4X  1,  0,  6,  7, 15137,  6270    ; m1/6=t13[d], m0/7=t12[d]
1014     VP9_UNPACK_MULSUB_2D_4X 11, 10, 13, 14,  6270, 15137    ; m11/13=t14[d], m10/14=t15[d]
1015     VP9_RND_SH_SUMSUB_BA    11,  0, 13,  7, 15, [pd_8192]   ; m11=out2[w], m0=t14[w]
1016     VP9_RND_SH_SUMSUB_BA    10,  1, 14,  6, 15, [pd_8192]
1017     psignw                 m10, [pw_m1]                     ; m10=out13[w], m1=t15[w]
1018
1019     SUMSUB_BA                w,  3,  5, 15
1020     psignw                  m3, [pw_m1]                     ; m3=out1[w], m5=t10[w]
1021     SUMSUB_BA                w,  2,  4, 15                  ; m2=out14[w], m4=t11[w]
1022
1023     SUMSUB_BA                w,  5,  4, 15
1024     pmulhrsw                m5, [pw_11585x2]                ; m5=out6[w]
1025     pmulhrsw                m4, [pw_11585x2]                ; m4=out9[w]
1026     SUMSUB_BA                w,  1,  0, 15
1027     pmulhrsw                m1, [pw_m11585x2]               ; m1=out5[w]
1028     pmulhrsw                m0, [pw_11585x2]                ; m0=out10[w]
1029
1030     ; m3=out1, m11=out2, m1=out5, m5=out6, m4=out9, m0=out10, m10=out13, m2=out14
1031
1032     mova                    m6, [tmpq+ 0*%%str]
1033     mova                    m7, [tmpq+ 2*%%str]
1034     mova                   m13, [tmpq+ 3*%%str]
1035     mova                   m14, [tmpq+ 4*%%str]
1036     mova                   m15, [tmpq+ 5*%%str]
1037     mova       [tmpq+ 8*%%str], m5
1038     mova       [tmpq+ 9*%%str], m4
1039     mova       [tmpq+10*%%str], m0
1040     mova       [tmpq+11*%%str], m10
1041     mova       [tmpq+12*%%str], m2
1042
1043     ; m6=t0, m7=t1, m13=t2, m14=t3, m15=t4, m12=t5, m9=t6, m8=t7
1044     ; m3=out1, m11=out2, m1=out5, r8=out6, r9=out9, r10=out10, r11=out13, r12=out14
1045
1046     SUMSUB_BA                w, 15,  6,  0                  ; m15=t0[w], m6=t4[w]
1047     SUMSUB_BA                w, 12,  7,  0                  ; m12=t1[w], m7=t5[w]
1048     SUMSUB_BA                w,  9, 13,  0                  ; m9=t2[w], m13=t6[w]
1049     SUMSUB_BA                w,  8, 14,  0                  ; m8=t3[w], m14=t7[w]
1050
1051     VP9_UNPACK_MULSUB_2D_4X  6,  7,  0,  2, 15137,  6270    ; m6/0=t5[d], m7/2=t4[d]
1052     VP9_UNPACK_MULSUB_2D_4X 14, 13,  4,  5,  6270, 15137    ; m14/4=t6[d], m13/5=t7[d]
1053     VP9_RND_SH_SUMSUB_BA    14,  7,  4,  2, 10, [pd_8192]
1054     psignw                 m14, [pw_m1]                     ; m14=out3[w], m7=t6[w]
1055     VP9_RND_SH_SUMSUB_BA    13,  6,  5,  0, 10, [pd_8192]   ; m13=out12[w], m6=t7[w]
1056     SUMSUB_BA                w,  9, 15, 10                  ; m9=out0[w], m15=t2[w]
1057     SUMSUB_BA                w,  8, 12, 10
1058     psignw                  m8, [pw_m1]                     ; m8=out15[w], m12=t3[w]
1059
1060     SUMSUB_BA                w, 12, 15, 10
1061     pmulhrsw               m12, [pw_m11585x2]               ; m12=out7[w]
1062     pmulhrsw               m15, [pw_11585x2]                ; m15=out8[w]
1063     SUMSUB_BA                w,  7,  6, 10
1064     pmulhrsw                m7, [pw_11585x2]                ; m7=out4[w]
1065     pmulhrsw                m6, [pw_11585x2]                ; m6=out11[w]
1066
1067     ; m9=out0, m14=out3, m7=out4, m12=out7, m15=out8, m6=out11, m13=out12, m8=out15
1068     ; m3=out1, m11=out2, m1=out5, r8=out6, r9=out9, r10=out10, r11=out13, r12=out14
1069
1070 %if %2 == 1
1071     mova                    m0, [tmpq+ 8*%%str]
1072     TRANSPOSE8x8W            9, 3, 11, 14, 7, 1, 0, 12, 2
1073     mova          [tmpq+ 0*16], m9
1074     mova          [tmpq+ 2*16], m3
1075     mova          [tmpq+ 4*16], m11
1076     mova          [tmpq+ 6*16], m14
1077     mova                    m9, [tmpq+ 9*%%str]
1078     mova                    m3, [tmpq+10*%%str]
1079     mova                   m11, [tmpq+11*%%str]
1080     mova                   m14, [tmpq+12*%%str]
1081     mova          [tmpq+ 8*16], m7
1082     mova          [tmpq+10*16], m1
1083     mova          [tmpq+12*16], m0
1084     mova          [tmpq+14*16], m12
1085
1086     TRANSPOSE8x8W           15, 9, 3, 6, 13, 11, 14, 8, 2
1087     mova          [tmpq+ 1*16], m15
1088     mova          [tmpq+ 3*16], m9
1089     mova          [tmpq+ 5*16], m3
1090     mova          [tmpq+ 7*16], m6
1091     mova          [tmpq+ 9*16], m13
1092     mova          [tmpq+11*16], m11
1093     mova          [tmpq+13*16], m14
1094     mova          [tmpq+15*16], m8
1095 %else
1096     mova                    m5, [tmpq+ 8*%%str]
1097     pxor                    m0, m0
1098
1099     pmulhrsw                m9, [pw_512]
1100     pmulhrsw                m3, [pw_512]
1101     VP9_STORE_2X             9,  3, 2, 4, 0
1102     lea                   dstq, [dstq+strideq*2]
1103     pmulhrsw               m11, [pw_512]
1104     pmulhrsw               m14, [pw_512]
1105     VP9_STORE_2X            11, 14, 2, 4, 0
1106     lea                   dstq, [dstq+strideq*2]
1107     pmulhrsw                m7, [pw_512]
1108     pmulhrsw                m1, [pw_512]
1109     VP9_STORE_2X             7,  1, 2, 4, 0
1110     lea                   dstq, [dstq+strideq*2]
1111     pmulhrsw                m5, [pw_512]
1112     pmulhrsw               m12, [pw_512]
1113     VP9_STORE_2X             5, 12, 2, 4, 0
1114     lea                   dstq, [dstq+strideq*2]
1115
1116     mova                    m9, [tmpq+ 9*%%str]
1117     mova                    m3, [tmpq+10*%%str]
1118     mova                   m11, [tmpq+11*%%str]
1119     mova                   m14, [tmpq+12*%%str]
1120
1121     pmulhrsw               m15, [pw_512]
1122     pmulhrsw                m9, [pw_512]
1123     VP9_STORE_2X            15,  9, 2, 4, 0
1124     lea                   dstq, [dstq+strideq*2]
1125     pmulhrsw                m3, [pw_512]
1126     pmulhrsw                m6, [pw_512]
1127     VP9_STORE_2X             3,  6, 2, 4, 0
1128     lea                   dstq, [dstq+strideq*2]
1129     pmulhrsw               m13, [pw_512]
1130     pmulhrsw               m11, [pw_512]
1131     VP9_STORE_2X            13, 11, 2, 4, 0
1132     lea                   dstq, [dstq+strideq*2]
1133     pmulhrsw               m14, [pw_512]
1134     pmulhrsw                m8, [pw_512]
1135     VP9_STORE_2X            14,  8, 2, 4, 0
1136 %endif
1137 %endmacro
1138
1139 %macro IADST16_FN 5
1140 INIT_XMM %5
1141 cglobal vp9_%1_%3_16x16_add, 3, 6, 16, 512, dst, stride, block, cnt, dst_bak, tmp
1142     mov               cntd, 2
1143     mov               tmpq, rsp
1144 .loop1_full:
1145     VP9_%2_1D       blockq, 1
1146     add             blockq, 16
1147     add               tmpq, 256
1148     dec               cntd
1149     jg .loop1_full
1150     sub             blockq, 32
1151
1152     mov               cntd, 2
1153     mov               tmpq, rsp
1154     mov           dst_bakq, dstq
1155 .loop2_full:
1156     VP9_%4_1D         tmpq, 2
1157     lea               dstq, [dst_bakq+8]
1158     add               tmpq, 16
1159     dec               cntd
1160     jg .loop2_full
1161
1162     ; at the end of the loop, m0 should still be zero
1163     ; use that to zero out block coefficients
1164     ZERO_BLOCK      blockq, 32, 16, m0
1165     RET
1166 %endmacro
1167
1168 IADST16_FN idct,  IDCT16,  iadst, IADST16, ssse3
1169 IADST16_FN idct,  IDCT16,  iadst, IADST16, avx
1170 IADST16_FN iadst, IADST16, idct,  IDCT16,  ssse3
1171 IADST16_FN iadst, IADST16, idct,  IDCT16,  avx
1172 IADST16_FN iadst, IADST16, iadst, IADST16, ssse3
1173 IADST16_FN iadst, IADST16, iadst, IADST16, avx
1174
1175 ;---------------------------------------------------------------------------------------------
1176 ; void vp9_idct_idct_32x32_add_<opt>(uint8_t *dst, ptrdiff_t stride, int16_t *block, int eob);
1177 ;---------------------------------------------------------------------------------------------
1178
1179 %macro VP9_IDCT32_1D 2-3 32 ; src, pass, nnzc
1180 %assign %%str 16*%2*%2
1181     ; first do t0-15, this can be done identical to idct16x16
1182     VP9_IDCT16_1D_START %1, %3/2, 64*2, tmpq+ 4*%%str
1183
1184     ; backup a different register
1185     mova    [tmpq+30*%%str], m15    ; t15
1186     mova                m7, [tmpq+ 4*%%str]
1187
1188     SUMSUB_BA            w,  6,  9, 15      ; t6, t9
1189     SUMSUB_BA            w,  7,  8, 15      ; t7, t8
1190
1191     ; store everything on stack to make space available for t16-31
1192     ; we store interleaved with the output of the second half (t16-31)
1193     ; so we don't need to allocate extra stack space
1194     mova    [tmpq+ 0*%%str], m0     ; t0
1195     mova    [tmpq+ 4*%%str], m1     ; t1
1196     mova    [tmpq+ 8*%%str], m2     ; t2
1197     mova    [tmpq+12*%%str], m3     ; t3
1198     mova    [tmpq+16*%%str], m4     ; t4
1199     mova    [tmpq+20*%%str], m5     ; t5
1200     mova    [tmpq+24*%%str], m6     ; t6
1201     mova    [tmpq+28*%%str], m7     ; t7
1202     mova    [tmpq+ 2*%%str], m8     ; t8
1203     mova    [tmpq+ 6*%%str], m9     ; t9
1204     mova    [tmpq+10*%%str], m10    ; t10
1205     mova    [tmpq+14*%%str], m11    ; t11
1206     mova    [tmpq+18*%%str], m12    ; t12
1207     mova    [tmpq+22*%%str], m13    ; t13
1208     mova    [tmpq+26*%%str], m14    ; t14
1209
1210     ; then, secondly, do t16-31
1211 %if %3 <= 8
1212     mova                 m4, [%1+ 1*64]
1213     mova                 m3, [%1+ 3*64]
1214     mova                 m0, [%1+ 5*64]
1215     mova                 m7, [%1+ 7*64]
1216
1217     pmulhrsw            m11,  m4, [pw_16364x2] ;t31
1218     pmulhrsw             m4, [pw_804x2] ;t16
1219     pmulhrsw             m8,  m7, [pw_m5520x2] ;t19
1220     pmulhrsw             m7, [pw_15426x2] ;t28
1221     pmulhrsw            m15,  m0, [pw_15893x2] ;t27
1222     pmulhrsw             m0, [pw_3981x2] ;t20
1223     pmulhrsw            m12,  m3, [pw_m2404x2] ;t23
1224     pmulhrsw             m3, [pw_16207x2] ;t24
1225
1226     ; m4=t16/17, m8=t18/19, m0=t20/21, m12=t22/23,
1227     ; m3=t24/25, m15=t26/27, m7=t28/29, m11=t30/31
1228
1229     VP9_UNPACK_MULSUB_2W_4X   5, 10, 11,  4, 16069,  3196, [pd_8192], 6,  9 ; t17, t30
1230     VP9_UNPACK_MULSUB_2W_4X   9,  6,  7,  8, 3196, m16069, [pd_8192], 1, 14 ; t18, t29
1231     ; from 1 stage forward
1232     SUMSUB_BA                 w,  8,  4,  1
1233     ; temporary storage
1234     mova    [tmpq+17*%%str], m8             ; t16
1235     mova    [tmpq+21*%%str], m4             ; t19
1236     VP9_UNPACK_MULSUB_2W_4X   1, 14, 15,  0,  9102, 13623, [pd_8192], 4,  8 ; t21, t26
1237     VP9_UNPACK_MULSUB_2W_4X  13,  2,  3, 12, 13623, m9102, [pd_8192], 4,  8 ; t22, t25
1238
1239     ; m4=t16, m5=t17, m9=t18, m8=t19, m0=t20, m1=t21, m13=t22, m12=t23,
1240     ; m3=t24, m2=t25, m14=t26, m15=t27, m7=t28, m6=t29, m10=t30, m11=t31
1241 %else
1242     mova                m10, [%1+ 1*64]
1243     mova                m13, [%1+ 3*64]
1244     mova                m14, [%1+ 5*64]
1245     mova                 m9, [%1+ 7*64]
1246     mova                 m8, [%1+ 9*64]
1247     mova                m15, [%1+11*64]
1248     mova                m12, [%1+13*64]
1249     mova                m11, [%1+15*64]
1250 %if %3 <= 16
1251     pmulhrsw             m5, m10, [pw_16364x2]
1252     pmulhrsw            m10, [pw_804x2]
1253     pmulhrsw             m4, m11, [pw_m11003x2]
1254     pmulhrsw            m11, [pw_12140x2]
1255     pmulhrsw             m7,  m8, [pw_14811x2]
1256     pmulhrsw             m8, [pw_7005x2]
1257     pmulhrsw             m6,  m9, [pw_m5520x2]
1258     pmulhrsw             m9, [pw_15426x2]
1259     pmulhrsw             m1, m14, [pw_15893x2]
1260     pmulhrsw            m14, [pw_3981x2]
1261     pmulhrsw             m0, m15, [pw_m8423x2]
1262     pmulhrsw            m15, [pw_14053x2]
1263 %else
1264     mova                 m4, [%1+17*64]
1265     mova                 m0, [%1+21*64]
1266     mova                 m7, [%1+23*64]
1267     mova                 m6, [%1+25*64]
1268     mova                 m1, [%1+27*64]
1269     mova                 m5, [%1+31*64]
1270
1271     ; m10=in1, m4=in17, m8=in9, m6=in25, m14=in5, m0=in21, m12=in13, m2=in29,
1272     ; m13=in3, m3=in19, m15=in11, m1=in27, m9=in7, m7=in23, m11=in15, m5=in31
1273
1274     VP9_UNPACK_MULSUB_2W_4X  10,  5, 16364,   804, [pd_8192], 2, 3 ; t16, t31
1275     VP9_UNPACK_MULSUB_2W_4X   4, 11, 11003, 12140, [pd_8192], 2, 3 ; t17, t30
1276     VP9_UNPACK_MULSUB_2W_4X   8,  7, 14811,  7005, [pd_8192], 2, 3 ; t18, t29
1277     VP9_UNPACK_MULSUB_2W_4X   6,  9,  5520, 15426, [pd_8192], 2, 3 ; t19, t28
1278     VP9_UNPACK_MULSUB_2W_4X  14,  1, 15893,  3981, [pd_8192], 2, 3 ; t20, t27
1279     VP9_UNPACK_MULSUB_2W_4X   0, 15,  8423, 14053, [pd_8192], 2, 3 ; t21, t26
1280 %endif
1281
1282     ; from 1 stage forward
1283     SUMSUB_BA             w,  4, 10,  2
1284     SUMSUB_BA             w,  8,  6,  2
1285     ; from 2 stages forward
1286     SUMSUB_BA             w,  8,  4,  2
1287     ; temporary storage
1288     mova    [tmpq+17*%%str], m8             ; t16
1289     mova    [tmpq+21*%%str], m4             ; t19
1290 %if %3 <= 16
1291     pmulhrsw             m3, m12, [pw_13160x2]
1292     pmulhrsw            m12, [pw_9760x2]
1293     pmulhrsw             m2, m13, [pw_m2404x2]
1294     pmulhrsw            m13, [pw_16207x2]
1295 %else
1296     mova                 m2, [%1+29*64]
1297     mova                 m3, [%1+19*64]
1298     VP9_UNPACK_MULSUB_2W_4X  12,  3, 13160,  9760, [pd_8192], 4, 8 ; t22, t25
1299     VP9_UNPACK_MULSUB_2W_4X   2, 13,  2404, 16207, [pd_8192], 4, 8 ; t23, t24
1300 %endif
1301
1302     ; m10=t16, m4=t17, m8=t18, m6=t19, m14=t20, m0=t21, m12=t22, m2=t23,
1303     ; m13=t24, m3=t25, m15=t26, m1=t27, m9=t28, m7=t29, m11=t30, m5=t31
1304
1305     SUMSUB_BA             w,  0, 14,  4
1306     SUMSUB_BA             w, 12,  2,  4
1307     SUMSUB_BA             w,  3, 13,  4
1308     SUMSUB_BA             w, 15,  1,  4
1309     SUMSUB_BA             w,  7,  9,  4
1310     SUMSUB_BA             w, 11,  5,  4
1311
1312     ; m4=t16, m10=t17, m6=t18, m8=t19, m0=t20, m14=t21, m2=t22, m12=t23,
1313     ; m3=t24, m13=t25, m1=t26, m15=t27, m7=t28, m9=t29, m5=t30, m11=t31
1314
1315     VP9_UNPACK_MULSUB_2W_4X   5, 10, 16069,  3196, [pd_8192], 4, 8 ; t17, t30
1316     VP9_UNPACK_MULSUB_2W_4X   9,  6, 3196, m16069, [pd_8192], 4, 8 ; t18, t29
1317     VP9_UNPACK_MULSUB_2W_4X   1, 14,  9102, 13623, [pd_8192], 4, 8 ; t21, t26
1318     VP9_UNPACK_MULSUB_2W_4X  13,  2, 13623, m9102, [pd_8192], 4, 8 ; t22, t25
1319 %endif
1320
1321     ; m4=t16, m5=t17, m9=t18, m8=t19, m0=t20, m1=t21, m13=t22, m12=t23,
1322     ; m3=t24, m2=t25, m14=t26, m15=t27, m7=t28, m6=t29, m10=t30, m11=t31
1323
1324     SUMSUB_BA             w,  9,  5,  4
1325     SUMSUB_BA             w,  1, 13,  4
1326     SUMSUB_BA             w,  0, 12,  4
1327     SUMSUB_BA             w, 15,  3,  4
1328     SUMSUB_BA             w, 14,  2,  4
1329     SUMSUB_BA             w,  6, 10,  4
1330     SUMSUB_BA             w,  7, 11,  4
1331
1332     ; m8[s]=t16, m9=t17, m5=t18, m4[s]=t19, m12=t20, m13=t21, m1=t22, m0=t23,
1333     ; m15=t24, m14=t25, m2=t26, m3=t27, m11=t28, m10=t29, m6=t30, m7=t31
1334
1335     mova                 m8, [tmpq+17*%%str] ; t16
1336     ; from 2 stages forward
1337     SUMSUB_BA             w,  0,  8,  4
1338     SUMSUB_BA             w, 15,  7,  4
1339     ; from 3 stages forward
1340     SUMSUB_BA             w,  8,  7,  4
1341     pmulhrsw             m7, [pw_11585x2]
1342     pmulhrsw             m8, [pw_11585x2]
1343     ; store t16/t23
1344     mova    [tmpq+ 1*%%str], m0     ; t16
1345     mova    [tmpq+29*%%str], m7     ; t23
1346
1347     mova                 m4, [tmpq+21*%%str] ; t19
1348     VP9_UNPACK_MULSUB_2W_4X  10,  5, 15137,  6270, [pd_8192], 0, 7 ; t18, t29
1349     VP9_UNPACK_MULSUB_2W_4X  11,  4, 15137,  6270, [pd_8192], 0, 7 ; t19, t28
1350     VP9_UNPACK_MULSUB_2W_4X   3, 12, 6270, m15137, [pd_8192], 0, 7 ; t20, t27
1351     VP9_UNPACK_MULSUB_2W_4X   2, 13, 6270, m15137, [pd_8192], 0, 7 ; t21, t26
1352
1353     ; m8=t16, m9=t17, m10=t18, m11=t19, m3=t20, m2=t21, m1=t22, m0=t23,
1354     ; m15=t24, m14=t25, m13=t26, m12=t27, m4=t28, m5=t29, m6=t30, m7=t31
1355
1356     SUMSUB_BA             w,  1,  9,  0
1357     SUMSUB_BA             w,  2, 10,  0
1358     SUMSUB_BA             w,  3, 11,  0
1359     SUMSUB_BA             w, 12,  4,  0
1360     SUMSUB_BA             w, 13,  5,  0
1361     SUMSUB_BA             w, 14,  6,  0
1362
1363     ; m0=t16, m1=t17, m2=t18, m3=t19, m11=t20, m10=t21, m9=t22, m8=t23,
1364     ; m7=t24, m6=t25, m5=t26, m4=t27, m12=t28, m13=t29, m14=t30, m15=t31
1365
1366     SUMSUB_BA             w,  9,  6,  0
1367     SUMSUB_BA             w, 10,  5,  0
1368     SUMSUB_BA             w, 11,  4,  0
1369
1370     pmulhrsw             m6, [pw_11585x2]
1371     pmulhrsw             m9, [pw_11585x2]
1372     pmulhrsw             m5, [pw_11585x2]
1373     pmulhrsw            m10, [pw_11585x2]
1374     pmulhrsw             m4, [pw_11585x2]
1375     pmulhrsw            m11, [pw_11585x2]
1376
1377     ; m0=t16, m1=t17, m2=t18, m3=t19, m4=t20, m5=t21, m6=t22, m7=t23,
1378     ; m8=t24, m9=t25, m10=t26, m11=t27, m12=t28, m13=t29, m14=t30, m15=t31
1379
1380     ; store t17-19 (and t20-22 for pass 1) - keep t24-31 in registers for
1381     ; final sumsub in pass 1, or keep t20-22 and t24-31 in registers for
1382     ; final sumsub of pass 2
1383     mova    [tmpq+ 5*%%str], m1     ; t17
1384     mova    [tmpq+ 9*%%str], m2     ; t18
1385     mova    [tmpq+13*%%str], m3     ; t19
1386
1387     ; then do final pass to sumsub+store the two halves
1388 %if %2 == 1
1389     mova    [tmpq+17*%%str], m4     ; t20
1390     mova    [tmpq+21*%%str], m5     ; t21
1391     mova    [tmpq+25*%%str], m6     ; t22
1392
1393     mova                 m0, [tmpq+ 0*%%str] ; t0
1394     mova                 m1, [tmpq+ 4*%%str] ; t1
1395     mova                 m2, [tmpq+ 8*%%str] ; t2
1396     mova                 m3, [tmpq+12*%%str] ; t3
1397     mova                 m4, [tmpq+16*%%str] ; t4
1398     mova                 m5, [tmpq+20*%%str] ; t5
1399     mova                 m6, [tmpq+24*%%str] ; t6
1400
1401     SUMSUB_BA             w, 15,  0, 7
1402     mova    [tmpq+ 3*%%str], m0              ; t15
1403     mova                 m7, [tmpq+28*%%str] ; t7
1404     SUMSUB_BA             w, 14,  1, 0
1405     SUMSUB_BA             w, 13,  2, 0
1406     SUMSUB_BA             w, 12,  3, 0
1407     SUMSUB_BA             w, 11,  4, 0
1408     SUMSUB_BA             w, 10,  5, 0
1409     SUMSUB_BA             w,  9,  6, 0
1410     SUMSUB_BA             w,  8,  7, 0
1411
1412     TRANSPOSE8x8W        15, 14, 13, 12, 11, 10, 9, 8, 0
1413     mova    [tmpq+ 0*%%str], m15
1414     mova    [tmpq+ 4*%%str], m14
1415     mova    [tmpq+ 8*%%str], m13
1416     mova    [tmpq+12*%%str], m12
1417     mova    [tmpq+16*%%str], m11
1418     mova    [tmpq+20*%%str], m10
1419     mova    [tmpq+24*%%str], m9
1420     mova    [tmpq+28*%%str], m8
1421
1422     mova                  m0, [tmpq+ 3*%%str] ; t15
1423     TRANSPOSE8x8W          7, 6, 5, 4, 3, 2, 1, 0, 8
1424     mova    [tmpq+ 3*%%str], m7
1425     mova    [tmpq+ 7*%%str], m6
1426     mova    [tmpq+11*%%str], m5
1427     mova    [tmpq+15*%%str], m4
1428     mova    [tmpq+19*%%str], m3
1429     mova    [tmpq+23*%%str], m2
1430     mova    [tmpq+27*%%str], m1
1431     mova    [tmpq+31*%%str], m0
1432
1433     mova                m15, [tmpq+ 2*%%str] ; t8
1434     mova                m14, [tmpq+ 6*%%str] ; t9
1435     mova                m13, [tmpq+10*%%str] ; t10
1436     mova                m12, [tmpq+14*%%str] ; t11
1437     mova                m11, [tmpq+18*%%str] ; t12
1438     mova                m10, [tmpq+22*%%str] ; t13
1439     mova                 m9, [tmpq+26*%%str] ; t14
1440     mova                 m8, [tmpq+30*%%str] ; t15
1441     mova                 m7, [tmpq+ 1*%%str] ; t16
1442     mova                 m6, [tmpq+ 5*%%str] ; t17
1443     mova                 m5, [tmpq+ 9*%%str] ; t18
1444     mova                 m4, [tmpq+13*%%str] ; t19
1445     mova                 m3, [tmpq+17*%%str] ; t20
1446     mova                 m2, [tmpq+21*%%str] ; t21
1447     mova                 m1, [tmpq+25*%%str] ; t22
1448
1449     SUMSUB_BA             w,  7,  8, 0
1450     mova    [tmpq+ 2*%%str], m8
1451     mova                 m0, [tmpq+29*%%str] ; t23
1452     SUMSUB_BA             w,  6,  9, 8
1453     SUMSUB_BA             w,  5, 10, 8
1454     SUMSUB_BA             w,  4, 11, 8
1455     SUMSUB_BA             w,  3, 12, 8
1456     SUMSUB_BA             w,  2, 13, 8
1457     SUMSUB_BA             w,  1, 14, 8
1458     SUMSUB_BA             w,  0, 15, 8
1459
1460     TRANSPOSE8x8W         0, 1, 2, 3, 4, 5, 6, 7, 8
1461     mova    [tmpq+ 1*%%str], m0
1462     mova    [tmpq+ 5*%%str], m1
1463     mova    [tmpq+ 9*%%str], m2
1464     mova    [tmpq+13*%%str], m3
1465     mova    [tmpq+17*%%str], m4
1466     mova    [tmpq+21*%%str], m5
1467     mova    [tmpq+25*%%str], m6
1468     mova    [tmpq+29*%%str], m7
1469
1470     mova                 m8, [tmpq+ 2*%%str]
1471     TRANSPOSE8x8W         8, 9, 10, 11, 12, 13, 14, 15, 0
1472     mova    [tmpq+ 2*%%str], m8
1473     mova    [tmpq+ 6*%%str], m9
1474     mova    [tmpq+10*%%str], m10
1475     mova    [tmpq+14*%%str], m11
1476     mova    [tmpq+18*%%str], m12
1477     mova    [tmpq+22*%%str], m13
1478     mova    [tmpq+26*%%str], m14
1479     mova    [tmpq+30*%%str], m15
1480 %else
1481     ; t0-7 is in [tmpq+{0,4,8,12,16,20,24,28}*%%str]
1482     ; t8-15 is in [tmpq+{2,6,10,14,18,22,26,30}*%%str]
1483     ; t16-19 and t23 is in [tmpq+{1,5,9,13,29}*%%str]
1484     ; t20-22 is in m4-6
1485     ; t24-31 is in m8-15
1486     pxor                m7, m7
1487
1488 %macro %%STORE_2X2 7-8 1 ; src[1-4], tmp[1-2], zero, inc_dst_ptrs
1489     SUMSUB_BA            w, %4, %1, %5
1490     SUMSUB_BA            w, %3, %2, %5
1491     pmulhrsw           m%4, [pw_512]
1492     pmulhrsw           m%3, [pw_512]
1493     VP9_STORE_2X        %4, %3, %5, %6, %7
1494 %if %8 == 1
1495     add               dstq, stride2q
1496 %endif
1497     pmulhrsw           m%2, [pw_512]
1498     pmulhrsw           m%1, [pw_512]
1499     VP9_STORE_2X        %2, %1, %5, %6, %7, dst_endq
1500 %if %8 == 1
1501     sub           dst_endq, stride2q
1502 %endif
1503 %endmacro
1504
1505     ; store t0-1 and t30-31
1506     mova                m0, [tmpq+ 0*%%str]
1507     mova                m1, [tmpq+ 4*%%str]
1508     %%STORE_2X2          0,  1, 14, 15, 2, 3, 7
1509
1510     ; store t2-3 and t28-29
1511     mova                m0, [tmpq+ 8*%%str]
1512     mova                m1, [tmpq+12*%%str]
1513     %%STORE_2X2          0,  1, 12, 13, 2, 3, 7
1514
1515     ; store t4-5 and t26-27
1516     mova                m0, [tmpq+16*%%str]
1517     mova                m1, [tmpq+20*%%str]
1518     %%STORE_2X2          0,  1, 10, 11, 2, 3, 7
1519
1520     ; store t6-7 and t24-25
1521     mova                m0, [tmpq+24*%%str]
1522     mova                m1, [tmpq+28*%%str]
1523     %%STORE_2X2          0,  1,  8,  9, 2, 3, 7
1524
1525     ; store t8-9 and t22-23
1526     mova                m0, [tmpq+ 2*%%str]
1527     mova                m1, [tmpq+ 6*%%str]
1528     mova                m8, [tmpq+29*%%str]
1529     %%STORE_2X2          0,  1,  6,  8, 2, 3, 7
1530
1531     ; store t10-11 and t20-21
1532     mova                m0, [tmpq+10*%%str]
1533     mova                m1, [tmpq+14*%%str]
1534     %%STORE_2X2          0,  1,  4,  5, 2, 3, 7
1535
1536     ; store t12-13 and t18-19
1537     mova                m0, [tmpq+18*%%str]
1538     mova                m1, [tmpq+22*%%str]
1539     mova                m5, [tmpq+13*%%str]
1540     mova                m4, [tmpq+ 9*%%str]
1541     %%STORE_2X2          0,  1,  4,  5, 2, 3, 7
1542
1543     ; store t14-17
1544     mova                m0, [tmpq+26*%%str]
1545     mova                m1, [tmpq+30*%%str]
1546     mova                m5, [tmpq+ 5*%%str]
1547     mova                m4, [tmpq+ 1*%%str]
1548     %%STORE_2X2          0,  1,  4,  5, 2, 3, 7, 0
1549 %endif
1550 %endmacro
1551
1552 %macro VP9_IDCT_IDCT_32x32_ADD_XMM 1
1553 INIT_XMM %1
1554 cglobal vp9_idct_idct_32x32_add, 4, 9, 16, 2048, dst, stride, block, eob
1555     cmp eobd, 135
1556     jg .idctfull
1557     cmp eobd, 34
1558     jg .idct16x16
1559     cmp eobd, 1
1560     jg .idct8x8
1561
1562     ; dc-only case
1563     movd                m0, [blockq]
1564     mova                m1, [pw_11585x2]
1565     pmulhrsw            m0, m1
1566     pmulhrsw            m0, m1
1567     SPLATW              m0, m0, q0000
1568     pmulhrsw            m0, [pw_512]
1569     pxor                m5, m5
1570     movd          [blockq], m5
1571     DEFINE_ARGS        dst, stride, block, cnt
1572 %rep 31
1573     VP9_STORE_2XFULL    0, 1, 2, 3, 4, 5, mmsize
1574     add               dstq, strideq
1575 %endrep
1576     VP9_STORE_2XFULL    0, 1, 2, 3, 4, 5, mmsize
1577     RET
1578
1579     DEFINE_ARGS dst_bak, stride, block, cnt, dst, stride30, dst_end, stride2, tmp
1580 .idct8x8:
1581     mov               tmpq, rsp
1582     VP9_IDCT32_1D   blockq, 1, 8
1583
1584     mov          stride30q, strideq         ; stride
1585     lea           stride2q, [strideq*2]     ; stride*2
1586     shl          stride30q, 5               ; stride*32
1587     mov               cntd, 4
1588     sub          stride30q, stride2q        ; stride*30
1589 .loop2_8x8:
1590     mov               dstq, dst_bakq
1591     lea           dst_endq, [dst_bakq+stride30q]
1592     VP9_IDCT32_1D     tmpq, 2, 8
1593     add           dst_bakq, 8
1594     add               tmpq, 16
1595     dec               cntd
1596     jg .loop2_8x8
1597
1598     ; at the end of the loop, m7 should still be zero
1599     ; use that to zero out block coefficients
1600     ZERO_BLOCK      blockq, 64,  8, m7
1601     RET
1602
1603 .idct16x16:
1604     mov               cntd, 2
1605     mov               tmpq, rsp
1606 .loop1_16x16:
1607     VP9_IDCT32_1D   blockq, 1, 16
1608     add             blockq, 16
1609     add               tmpq, 512
1610     dec               cntd
1611     jg .loop1_16x16
1612     sub             blockq, 32
1613
1614     mov          stride30q, strideq         ; stride
1615     lea           stride2q, [strideq*2]     ; stride*2
1616     shl          stride30q, 5               ; stride*32
1617     mov               cntd, 4
1618     mov               tmpq, rsp
1619     sub          stride30q, stride2q        ; stride*30
1620 .loop2_16x16:
1621     mov               dstq, dst_bakq
1622     lea           dst_endq, [dst_bakq+stride30q]
1623     VP9_IDCT32_1D     tmpq, 2, 16
1624     add           dst_bakq, 8
1625     add               tmpq, 16
1626     dec               cntd
1627     jg .loop2_16x16
1628
1629     ; at the end of the loop, m7 should still be zero
1630     ; use that to zero out block coefficients
1631     ZERO_BLOCK      blockq, 64, 16, m7
1632     RET
1633
1634 .idctfull:
1635     mov               cntd, 4
1636     mov               tmpq, rsp
1637 .loop1_full:
1638     VP9_IDCT32_1D   blockq, 1
1639     add             blockq, 16
1640     add               tmpq, 512
1641     dec               cntd
1642     jg .loop1_full
1643     sub             blockq, 64
1644
1645     mov          stride30q, strideq         ; stride
1646     lea           stride2q, [strideq*2]     ; stride*2
1647     shl          stride30q, 5               ; stride*32
1648     mov               cntd, 4
1649     mov               tmpq, rsp
1650     sub          stride30q, stride2q        ; stride*30
1651 .loop2_full:
1652     mov               dstq, dst_bakq
1653     lea           dst_endq, [dst_bakq+stride30q]
1654     VP9_IDCT32_1D     tmpq, 2
1655     add           dst_bakq, 8
1656     add               tmpq, 16
1657     dec               cntd
1658     jg .loop2_full
1659
1660     ; at the end of the loop, m7 should still be zero
1661     ; use that to zero out block coefficients
1662     ZERO_BLOCK      blockq, 64, 32, m7
1663     RET
1664 %endmacro
1665
1666 VP9_IDCT_IDCT_32x32_ADD_XMM ssse3
1667 VP9_IDCT_IDCT_32x32_ADD_XMM avx
1668
1669 %endif ; x86-64