git.sesse.net Git - ffmpeg/blob - libavutil/x86/x86util.asm

   1 ;*****************************************************************************
   2 ;* x86util.asm
   3 ;*****************************************************************************
   4 ;* Copyright (C) 2008-2010 x264 project
   5 ;*
   6 ;* Authors: Loren Merritt <lorenm@u.washington.edu>
   7 ;*          Holger Lubitz <holger@lubitz.org>
   8 ;*
   9 ;* This file is part of FFmpeg.
  10 ;*
  11 ;* FFmpeg is free software; you can redistribute it and/or
  12 ;* modify it under the terms of the GNU Lesser General Public
  13 ;* License as published by the Free Software Foundation; either
  14 ;* version 2.1 of the License, or (at your option) any later version.
  15 ;*
  16 ;* FFmpeg is distributed in the hope that it will be useful,
  17 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  18 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  19 ;* Lesser General Public License for more details.
  20 ;*
  21 ;* You should have received a copy of the GNU Lesser General Public
  22 ;* License along with FFmpeg; if not, write to the Free Software
  23 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  24 ;******************************************************************************
  25
  26 %define private_prefix ff
  27 %define public_prefix  avpriv
  28 %define cpuflags_mmxext cpuflags_mmx2
  29
  30 %include "libavutil/x86/x86inc.asm"
  31
  32 %macro SBUTTERFLY 4
  33 %ifidn %1, dqqq
  34     vperm2i128  m%4, m%2, m%3, q0301
  35     vinserti128 m%2, m%2, xm%3, 1
  36 %elif avx_enabled == 0
  37     mova      m%4, m%2
  38     punpckl%1 m%2, m%3
  39     punpckh%1 m%4, m%3
  40 %else
  41     punpckh%1 m%4, m%2, m%3
  42     punpckl%1 m%2, m%3
  43 %endif
  44     SWAP %3, %4
  45 %endmacro
  46
  47 %macro SBUTTERFLY2 4
  48     punpckl%1 m%4, m%2, m%3
  49     punpckh%1 m%2, m%2, m%3
  50     SWAP %2, %4, %3
  51 %endmacro
  52
  53 %macro SBUTTERFLYPS 3
  54     unpcklps m%3, m%1, m%2
  55     unpckhps m%1, m%1, m%2
  56     SWAP %1, %3, %2
  57 %endmacro
  58
  59 %macro TRANSPOSE4x4B 5
  60     SBUTTERFLY bw, %1, %2, %5
  61     SBUTTERFLY bw, %3, %4, %5
  62     SBUTTERFLY wd, %1, %3, %5
  63     SBUTTERFLY wd, %2, %4, %5
  64     SWAP %2, %3
  65 %endmacro
  66
  67 %macro TRANSPOSE4x4W 5
  68     SBUTTERFLY wd, %1, %2, %5
  69     SBUTTERFLY wd, %3, %4, %5
  70     SBUTTERFLY dq, %1, %3, %5
  71     SBUTTERFLY dq, %2, %4, %5
  72     SWAP %2, %3
  73 %endmacro
  74
  75 %macro TRANSPOSE2x4x4B 5
  76     SBUTTERFLY bw,  %1, %2, %5
  77     SBUTTERFLY bw,  %3, %4, %5
  78     SBUTTERFLY wd,  %1, %3, %5
  79     SBUTTERFLY wd,  %2, %4, %5
  80     SBUTTERFLY dq,  %1, %2, %5
  81     SBUTTERFLY dq,  %3, %4, %5
  82 %endmacro
  83
  84 %macro TRANSPOSE2x4x4W 5
  85     SBUTTERFLY wd,  %1, %2, %5
  86     SBUTTERFLY wd,  %3, %4, %5
  87     SBUTTERFLY dq,  %1, %3, %5
  88     SBUTTERFLY dq,  %2, %4, %5
  89     SBUTTERFLY qdq, %1, %2, %5
  90     SBUTTERFLY qdq, %3, %4, %5
  91 %endmacro
  92
  93 %macro TRANSPOSE4x4D 5
  94     SBUTTERFLY dq,  %1, %2, %5
  95     SBUTTERFLY dq,  %3, %4, %5
  96     SBUTTERFLY qdq, %1, %3, %5
  97     SBUTTERFLY qdq, %2, %4, %5
  98     SWAP %2, %3
  99 %endmacro
 100
 101 ; identical behavior to TRANSPOSE4x4D, but using SSE1 float ops
 102 %macro TRANSPOSE4x4PS 5
 103     SBUTTERFLYPS %1, %2, %5
 104     SBUTTERFLYPS %3, %4, %5
 105     movlhps m%5, m%1, m%3
 106     movhlps m%3, m%1
 107     SWAP %5, %1
 108     movlhps m%5, m%2, m%4
 109     movhlps m%4, m%2
 110     SWAP %5, %2, %3
 111 %endmacro
 112
 113 %macro TRANSPOSE8x4D 9-11
 114 %if ARCH_X86_64
 115     SBUTTERFLY dq,  %1, %2, %9
 116     SBUTTERFLY dq,  %3, %4, %9
 117     SBUTTERFLY dq,  %5, %6, %9
 118     SBUTTERFLY dq,  %7, %8, %9
 119     SBUTTERFLY qdq, %1, %3, %9
 120     SBUTTERFLY qdq, %2, %4, %9
 121     SBUTTERFLY qdq, %5, %7, %9
 122     SBUTTERFLY qdq, %6, %8, %9
 123     SWAP %2, %5
 124     SWAP %4, %7
 125 %else
 126 ; in:  m0..m7
 127 ; out: m0..m7, unless %11 in which case m2 is in %9
 128 ; spills into %9 and %10
 129     movdqa %9, m%7
 130     SBUTTERFLY dq,  %1, %2, %7
 131     movdqa %10, m%2
 132     movdqa m%7, %9
 133     SBUTTERFLY dq,  %3, %4, %2
 134     SBUTTERFLY dq,  %5, %6, %2
 135     SBUTTERFLY dq,  %7, %8, %2
 136     SBUTTERFLY qdq, %1, %3, %2
 137     movdqa %9, m%3
 138     movdqa m%2, %10
 139     SBUTTERFLY qdq, %2, %4, %3
 140     SBUTTERFLY qdq, %5, %7, %3
 141     SBUTTERFLY qdq, %6, %8, %3
 142     SWAP %2, %5
 143     SWAP %4, %7
 144 %if %0<11
 145     movdqa m%3, %9
 146 %endif
 147 %endif
 148 %endmacro
 149
 150 %macro TRANSPOSE8x8W 9-11
 151 %if ARCH_X86_64
 152     SBUTTERFLY wd,  %1, %2, %9
 153     SBUTTERFLY wd,  %3, %4, %9
 154     SBUTTERFLY wd,  %5, %6, %9
 155     SBUTTERFLY wd,  %7, %8, %9
 156     SBUTTERFLY dq,  %1, %3, %9
 157     SBUTTERFLY dq,  %2, %4, %9
 158     SBUTTERFLY dq,  %5, %7, %9
 159     SBUTTERFLY dq,  %6, %8, %9
 160     SBUTTERFLY qdq, %1, %5, %9
 161     SBUTTERFLY qdq, %2, %6, %9
 162     SBUTTERFLY qdq, %3, %7, %9
 163     SBUTTERFLY qdq, %4, %8, %9
 164     SWAP %2, %5
 165     SWAP %4, %7
 166 %else
 167 ; in:  m0..m7, unless %11 in which case m6 is in %9
 168 ; out: m0..m7, unless %11 in which case m4 is in %10
 169 ; spills into %9 and %10
 170 %if %0<11
 171     movdqa %9, m%7
 172 %endif
 173     SBUTTERFLY wd,  %1, %2, %7
 174     movdqa %10, m%2
 175     movdqa m%7, %9
 176     SBUTTERFLY wd,  %3, %4, %2
 177     SBUTTERFLY wd,  %5, %6, %2
 178     SBUTTERFLY wd,  %7, %8, %2
 179     SBUTTERFLY dq,  %1, %3, %2
 180     movdqa %9, m%3
 181     movdqa m%2, %10
 182     SBUTTERFLY dq,  %2, %4, %3
 183     SBUTTERFLY dq,  %5, %7, %3
 184     SBUTTERFLY dq,  %6, %8, %3
 185     SBUTTERFLY qdq, %1, %5, %3
 186     SBUTTERFLY qdq, %2, %6, %3
 187     movdqa %10, m%2
 188     movdqa m%3, %9
 189     SBUTTERFLY qdq, %3, %7, %2
 190     SBUTTERFLY qdq, %4, %8, %2
 191     SWAP %2, %5
 192     SWAP %4, %7
 193 %if %0<11
 194     movdqa m%5, %10
 195 %endif
 196 %endif
 197 %endmacro
 198
 199 %macro TRANSPOSE16x16W 18-19
 200 ; in:  m0..m15, unless %19 in which case m6 is in %17
 201 ; out: m0..m15, unless %19 in which case m4 is in %18
 202 ; spills into %17 and %18
 203 %if %0 < 19
 204     mova       %17, m%7
 205 %endif
 206
 207     SBUTTERFLY dqqq, %1,  %9, %7
 208     SBUTTERFLY dqqq, %2, %10, %7
 209     SBUTTERFLY dqqq, %3, %11, %7
 210     SBUTTERFLY dqqq, %4, %12, %7
 211     SBUTTERFLY dqqq, %5, %13, %7
 212     SBUTTERFLY dqqq, %6, %14, %7
 213     mova       %18, m%14
 214     mova       m%7, %17
 215     SBUTTERFLY dqqq, %7, %15, %14
 216     SBUTTERFLY dqqq, %8, %16, %14
 217
 218     SBUTTERFLY  wd,  %1,  %2, %14
 219     SBUTTERFLY  wd,  %3,  %4, %14
 220     SBUTTERFLY  wd,  %5,  %6, %14
 221     SBUTTERFLY  wd,  %7,  %8, %14
 222     SBUTTERFLY  wd,  %9, %10, %14
 223     SBUTTERFLY  wd, %11, %12, %14
 224     mova       %17, m%12
 225     mova      m%14, %18
 226     SBUTTERFLY  wd, %13, %14, %12
 227     SBUTTERFLY  wd, %15, %16, %12
 228
 229     SBUTTERFLY  dq,  %1,  %3, %12
 230     SBUTTERFLY  dq,  %2,  %4, %12
 231     SBUTTERFLY  dq,  %5,  %7, %12
 232     SBUTTERFLY  dq,  %6,  %8, %12
 233     SBUTTERFLY  dq,  %9, %11, %12
 234     mova       %18, m%11
 235     mova      m%12, %17
 236     SBUTTERFLY  dq, %10, %12, %11
 237     SBUTTERFLY  dq, %13, %15, %11
 238     SBUTTERFLY  dq, %14, %16, %11
 239
 240     SBUTTERFLY qdq,  %1,  %5, %11
 241     SBUTTERFLY qdq,  %2,  %6, %11
 242     SBUTTERFLY qdq,  %3,  %7, %11
 243     SBUTTERFLY qdq,  %4,  %8, %11
 244
 245     SWAP        %2, %5
 246     SWAP        %4, %7
 247
 248     SBUTTERFLY qdq,  %9, %13, %11
 249     SBUTTERFLY qdq, %10, %14, %11
 250     mova      m%11, %18
 251     mova       %18, m%5
 252     SBUTTERFLY qdq, %11, %15, %5
 253     SBUTTERFLY qdq, %12, %16, %5
 254
 255 %if %0 < 19
 256     mova       m%5, %18
 257 %endif
 258
 259     SWAP       %10, %13
 260     SWAP       %12, %15
 261 %endmacro
 262
 263 ; PABSW macro assumes %1 != %2, while ABS1/2 macros work in-place
 264 %macro PABSW 2
 265 %if cpuflag(ssse3)
 266     pabsw      %1, %2
 267 %elif cpuflag(mmxext)
 268     pxor    %1, %1
 269     psubw   %1, %2
 270     pmaxsw  %1, %2
 271 %else
 272     pxor       %1, %1
 273     pcmpgtw    %1, %2
 274     pxor       %2, %1
 275     psubw      %2, %1
 276     SWAP       %1, %2
 277 %endif
 278 %endmacro
 279
 280 %macro PSIGNW 2
 281 %if cpuflag(ssse3)
 282     psignw     %1, %2
 283 %else
 284     pxor       %1, %2
 285     psubw      %1, %2
 286 %endif
 287 %endmacro
 288
 289 %macro ABS1 2
 290 %if cpuflag(ssse3)
 291     pabsw   %1, %1
 292 %elif cpuflag(mmxext) ; a, tmp
 293     pxor    %2, %2
 294     psubw   %2, %1
 295     pmaxsw  %1, %2
 296 %else ; a, tmp
 297     pxor       %2, %2
 298     pcmpgtw    %2, %1
 299     pxor       %1, %2
 300     psubw      %1, %2
 301 %endif
 302 %endmacro
 303
 304 %macro ABS2 4
 305 %if cpuflag(ssse3)
 306     pabsw   %1, %1
 307     pabsw   %2, %2
 308 %elif cpuflag(mmxext) ; a, b, tmp0, tmp1
 309     pxor    %3, %3
 310     pxor    %4, %4
 311     psubw   %3, %1
 312     psubw   %4, %2
 313     pmaxsw  %1, %3
 314     pmaxsw  %2, %4
 315 %else ; a, b, tmp0, tmp1
 316     pxor       %3, %3
 317     pxor       %4, %4
 318     pcmpgtw    %3, %1
 319     pcmpgtw    %4, %2
 320     pxor       %1, %3
 321     pxor       %2, %4
 322     psubw      %1, %3
 323     psubw      %2, %4
 324 %endif
 325 %endmacro
 326
 327 %macro ABSB 2 ; source mmreg, temp mmreg (unused for ssse3)
 328 %if cpuflag(ssse3)
 329     pabsb   %1, %1
 330 %else
 331     pxor    %2, %2
 332     psubb   %2, %1
 333     pminub  %1, %2
 334 %endif
 335 %endmacro
 336
 337 %macro ABSB2 4 ; src1, src2, tmp1, tmp2 (tmp1/2 unused for SSSE3)
 338 %if cpuflag(ssse3)
 339     pabsb   %1, %1
 340     pabsb   %2, %2
 341 %else
 342     pxor    %3, %3
 343     pxor    %4, %4
 344     psubb   %3, %1
 345     psubb   %4, %2
 346     pminub  %1, %3
 347     pminub  %2, %4
 348 %endif
 349 %endmacro
 350
 351 %macro ABSD2_MMX 4
 352     pxor    %3, %3
 353     pxor    %4, %4
 354     pcmpgtd %3, %1
 355     pcmpgtd %4, %2
 356     pxor    %1, %3
 357     pxor    %2, %4
 358     psubd   %1, %3
 359     psubd   %2, %4
 360 %endmacro
 361
 362 %macro ABS4 6
 363     ABS2 %1, %2, %5, %6
 364     ABS2 %3, %4, %5, %6
 365 %endmacro
 366
 367 %macro SPLATB_LOAD 3
 368 %if cpuflag(ssse3)
 369     movd      %1, [%2-3]
 370     pshufb    %1, %3
 371 %else
 372     movd      %1, [%2-3] ;to avoid crossing a cacheline
 373     punpcklbw %1, %1
 374     SPLATW    %1, %1, 3
 375 %endif
 376 %endmacro
 377
 378 %macro SPLATB_REG 3
 379 %if cpuflag(ssse3)
 380     movd      %1, %2d
 381     pshufb    %1, %3
 382 %else
 383     movd      %1, %2d
 384     punpcklbw %1, %1
 385     SPLATW    %1, %1, 0
 386 %endif
 387 %endmacro
 388
 389 %macro HADDD 2 ; sum junk
 390 %if sizeof%1 == 32
 391 %define %2 xmm%2
 392     vextracti128 %2, %1, 1
 393 %define %1 xmm%1
 394     paddd   %1, %2
 395 %endif
 396 %if mmsize >= 16
 397 %if cpuflag(xop) && sizeof%1 == 16
 398     vphadddq %1, %1
 399 %endif
 400     movhlps %2, %1
 401     paddd   %1, %2
 402 %endif
 403 %if notcpuflag(xop) || sizeof%1 != 16
 404 %if cpuflag(mmxext)
 405     PSHUFLW %2, %1, q0032
 406 %else ; mmx
 407     mova    %2, %1
 408     psrlq   %2, 32
 409 %endif
 410     paddd   %1, %2
 411 %endif
 412 %undef %1
 413 %undef %2
 414 %endmacro
 415
 416 %macro HADDW 2 ; reg, tmp
 417 %if cpuflag(xop) && sizeof%1 == 16
 418     vphaddwq  %1, %1
 419     movhlps   %2, %1
 420     paddd     %1, %2
 421 %else
 422     pmaddwd %1, [pw_1]
 423     HADDD   %1, %2
 424 %endif
 425 %endmacro
 426
 427 %macro HADDPS 3 ; dst, src, tmp
 428 %if cpuflag(sse3)
 429     haddps  %1, %1, %2
 430 %else
 431     movaps  %3, %1
 432     shufps  %1, %2, q2020
 433     shufps  %3, %2, q3131
 434     addps   %1, %3
 435 %endif
 436 %endmacro
 437
 438 %macro PALIGNR 4-5
 439 %if cpuflag(ssse3)
 440 %if %0==5
 441     palignr %1, %2, %3, %4
 442 %else
 443     palignr %1, %2, %3
 444 %endif
 445 %elif cpuflag(mmx) ; [dst,] src1, src2, imm, tmp
 446     %define %%dst %1
 447 %if %0==5
 448 %ifnidn %1, %2
 449     mova    %%dst, %2
 450 %endif
 451     %rotate 1
 452 %endif
 453 %ifnidn %4, %2
 454     mova    %4, %2
 455 %endif
 456 %if mmsize==8
 457     psllq   %%dst, (8-%3)*8
 458     psrlq   %4, %3*8
 459 %else
 460     pslldq  %%dst, 16-%3
 461     psrldq  %4, %3
 462 %endif
 463     por     %%dst, %4
 464 %endif
 465 %endmacro
 466
 467 %macro PAVGB 2-4
 468 %if cpuflag(mmxext)
 469     pavgb   %1, %2
 470 %elif cpuflag(3dnow)
 471     pavgusb %1, %2
 472 %elif cpuflag(mmx)
 473     movu   %3, %2
 474     por    %3, %1
 475     pxor   %1, %2
 476     pand   %1, %4
 477     psrlq  %1, 1
 478     psubb  %3, %1
 479     SWAP   %1, %3
 480 %endif
 481 %endmacro
 482
 483 %macro PSHUFLW 1+
 484     %if mmsize == 8
 485         pshufw %1
 486     %else
 487         pshuflw %1
 488     %endif
 489 %endmacro
 490
 491 %macro PSWAPD 2
 492 %if cpuflag(mmxext)
 493     pshufw    %1, %2, q1032
 494 %elif cpuflag(3dnowext)
 495     pswapd    %1, %2
 496 %elif cpuflag(3dnow)
 497     movq      %1, %2
 498     psrlq     %1, 32
 499     punpckldq %1, %2
 500 %endif
 501 %endmacro
 502
 503 %macro DEINTB 5 ; mask, reg1, mask, reg2, optional src to fill masks from
 504 %ifnum %5
 505     pand   m%3, m%5, m%4 ; src .. y6 .. y4
 506     pand   m%1, m%5, m%2 ; dst .. y6 .. y4
 507 %else
 508     mova   m%1, %5
 509     pand   m%3, m%1, m%4 ; src .. y6 .. y4
 510     pand   m%1, m%1, m%2 ; dst .. y6 .. y4
 511 %endif
 512     psrlw  m%2, 8        ; dst .. y7 .. y5
 513     psrlw  m%4, 8        ; src .. y7 .. y5
 514 %endmacro
 515
 516 %macro SUMSUB_BA 3-4
 517 %if %0==3
 518     padd%1  m%2, m%3
 519     padd%1  m%3, m%3
 520     psub%1  m%3, m%2
 521 %else
 522 %if avx_enabled == 0
 523     mova    m%4, m%2
 524     padd%1  m%2, m%3
 525     psub%1  m%3, m%4
 526 %else
 527     padd%1  m%4, m%2, m%3
 528     psub%1  m%3, m%2
 529     SWAP    %2, %4
 530 %endif
 531 %endif
 532 %endmacro
 533
 534 %macro SUMSUB_BADC 5-6
 535 %if %0==6
 536     SUMSUB_BA %1, %2, %3, %6
 537     SUMSUB_BA %1, %4, %5, %6
 538 %else
 539     padd%1  m%2, m%3
 540     padd%1  m%4, m%5
 541     padd%1  m%3, m%3
 542     padd%1  m%5, m%5
 543     psub%1  m%3, m%2
 544     psub%1  m%5, m%4
 545 %endif
 546 %endmacro
 547
 548 %macro SUMSUB2_AB 4
 549 %ifnum %3
 550     psub%1  m%4, m%2, m%3
 551     psub%1  m%4, m%3
 552     padd%1  m%2, m%2
 553     padd%1  m%2, m%3
 554 %else
 555     mova    m%4, m%2
 556     padd%1  m%2, m%2
 557     padd%1  m%2, %3
 558     psub%1  m%4, %3
 559     psub%1  m%4, %3
 560 %endif
 561 %endmacro
 562
 563 %macro SUMSUB2_BA 4
 564 %if avx_enabled == 0
 565     mova    m%4, m%2
 566     padd%1  m%2, m%3
 567     padd%1  m%2, m%3
 568     psub%1  m%3, m%4
 569     psub%1  m%3, m%4
 570 %else
 571     padd%1  m%4, m%2, m%3
 572     padd%1  m%4, m%3
 573     psub%1  m%3, m%2
 574     psub%1  m%3, m%2
 575     SWAP     %2,  %4
 576 %endif
 577 %endmacro
 578
 579 %macro SUMSUBD2_AB 5
 580 %ifnum %4
 581     psra%1  m%5, m%2, 1  ; %3: %3>>1
 582     psra%1  m%4, m%3, 1  ; %2: %2>>1
 583     padd%1  m%4, m%2     ; %3: %3>>1+%2
 584     psub%1  m%5, m%3     ; %2: %2>>1-%3
 585     SWAP     %2, %5
 586     SWAP     %3, %4
 587 %else
 588     mova    %5, m%2
 589     mova    %4, m%3
 590     psra%1  m%3, 1  ; %3: %3>>1
 591     psra%1  m%2, 1  ; %2: %2>>1
 592     padd%1  m%3, %5 ; %3: %3>>1+%2
 593     psub%1  m%2, %4 ; %2: %2>>1-%3
 594 %endif
 595 %endmacro
 596
 597 %macro DCT4_1D 5
 598 %ifnum %5
 599     SUMSUB_BADC w, %4, %1, %3, %2, %5
 600     SUMSUB_BA   w, %3, %4, %5
 601     SUMSUB2_AB  w, %1, %2, %5
 602     SWAP %1, %3, %4, %5, %2
 603 %else
 604     SUMSUB_BADC w, %4, %1, %3, %2
 605     SUMSUB_BA   w, %3, %4
 606     mova     [%5], m%2
 607     SUMSUB2_AB  w, %1, [%5], %2
 608     SWAP %1, %3, %4, %2
 609 %endif
 610 %endmacro
 611
 612 %macro IDCT4_1D 6-7
 613 %ifnum %6
 614     SUMSUBD2_AB %1, %3, %5, %7, %6
 615     ; %3: %3>>1-%5 %5: %3+%5>>1
 616     SUMSUB_BA   %1, %4, %2, %7
 617     ; %4: %2+%4 %2: %2-%4
 618     SUMSUB_BADC %1, %5, %4, %3, %2, %7
 619     ; %5: %2+%4 + (%3+%5>>1)
 620     ; %4: %2+%4 - (%3+%5>>1)
 621     ; %3: %2-%4 + (%3>>1-%5)
 622     ; %2: %2-%4 - (%3>>1-%5)
 623 %else
 624 %ifidn %1, w
 625     SUMSUBD2_AB %1, %3, %5, [%6], [%6+16]
 626 %else
 627     SUMSUBD2_AB %1, %3, %5, [%6], [%6+32]
 628 %endif
 629     SUMSUB_BA   %1, %4, %2
 630     SUMSUB_BADC %1, %5, %4, %3, %2
 631 %endif
 632     SWAP %2, %5, %4
 633     ; %2: %2+%4 + (%3+%5>>1) row0
 634     ; %3: %2-%4 + (%3>>1-%5) row1
 635     ; %4: %2-%4 - (%3>>1-%5) row2
 636     ; %5: %2+%4 - (%3+%5>>1) row3
 637 %endmacro
 638
 639
 640 %macro LOAD_DIFF 5
 641 %ifidn %3, none
 642     movh       %1, %4
 643     movh       %2, %5
 644     punpcklbw  %1, %2
 645     punpcklbw  %2, %2
 646     psubw      %1, %2
 647 %else
 648     movh       %1, %4
 649     punpcklbw  %1, %3
 650     movh       %2, %5
 651     punpcklbw  %2, %3
 652     psubw      %1, %2
 653 %endif
 654 %endmacro
 655
 656 %macro STORE_DCT 6
 657     movq   [%5+%6+ 0], m%1
 658     movq   [%5+%6+ 8], m%2
 659     movq   [%5+%6+16], m%3
 660     movq   [%5+%6+24], m%4
 661     movhps [%5+%6+32], m%1
 662     movhps [%5+%6+40], m%2
 663     movhps [%5+%6+48], m%3
 664     movhps [%5+%6+56], m%4
 665 %endmacro
 666
 667 %macro LOAD_DIFF_8x4P 7-10 r0,r2,0 ; 4x dest, 2x temp, 2x pointer, increment?
 668     LOAD_DIFF m%1, m%5, m%7, [%8],      [%9]
 669     LOAD_DIFF m%2, m%6, m%7, [%8+r1],   [%9+r3]
 670     LOAD_DIFF m%3, m%5, m%7, [%8+2*r1], [%9+2*r3]
 671     LOAD_DIFF m%4, m%6, m%7, [%8+r4],   [%9+r5]
 672 %if %10
 673     lea %8, [%8+4*r1]
 674     lea %9, [%9+4*r3]
 675 %endif
 676 %endmacro
 677
 678 %macro DIFFx2 6-7
 679     movh       %3, %5
 680     punpcklbw  %3, %4
 681     psraw      %1, 6
 682     paddsw     %1, %3
 683     movh       %3, %6
 684     punpcklbw  %3, %4
 685     psraw      %2, 6
 686     paddsw     %2, %3
 687     packuswb   %2, %1
 688 %endmacro
 689
 690 %macro STORE_DIFF 4
 691     movh       %2, %4
 692     punpcklbw  %2, %3
 693     psraw      %1, 6
 694     paddsw     %1, %2
 695     packuswb   %1, %1
 696     movh       %4, %1
 697 %endmacro
 698
 699 %macro STORE_DIFFx2 8 ; add1, add2, reg1, reg2, zero, shift, source, stride
 700     movh       %3, [%7]
 701     movh       %4, [%7+%8]
 702     psraw      %1, %6
 703     psraw      %2, %6
 704     punpcklbw  %3, %5
 705     punpcklbw  %4, %5
 706     paddw      %3, %1
 707     paddw      %4, %2
 708     packuswb   %3, %5
 709     packuswb   %4, %5
 710     movh     [%7], %3
 711     movh  [%7+%8], %4
 712 %endmacro
 713
 714 %macro PMINUB 3 ; dst, src, ignored
 715 %if cpuflag(mmxext)
 716     pminub   %1, %2
 717 %else ; dst, src, tmp
 718     mova     %3, %1
 719     psubusb  %3, %2
 720     psubb    %1, %3
 721 %endif
 722 %endmacro
 723
 724 %macro SPLATW 2-3 0
 725 %if cpuflag(avx2) && %3 == 0
 726     vpbroadcastw %1, %2
 727 %elif mmsize == 16
 728     pshuflw    %1, %2, (%3)*0x55
 729     punpcklqdq %1, %1
 730 %elif cpuflag(mmxext)
 731     pshufw     %1, %2, (%3)*0x55
 732 %else
 733     %ifnidn %1, %2
 734         mova       %1, %2
 735     %endif
 736     %if %3 & 2
 737         punpckhwd  %1, %1
 738     %else
 739         punpcklwd  %1, %1
 740     %endif
 741     %if %3 & 1
 742         punpckhwd  %1, %1
 743     %else
 744         punpcklwd  %1, %1
 745     %endif
 746 %endif
 747 %endmacro
 748
 749 %macro SPLATD 1
 750 %if mmsize == 8
 751     punpckldq  %1, %1
 752 %elif cpuflag(sse2)
 753     pshufd  %1, %1, 0
 754 %elif cpuflag(sse)
 755     shufps  %1, %1, 0
 756 %endif
 757 %endmacro
 758
 759 %macro CLIPUB 3 ;(dst, min, max)
 760     pmaxub %1, %2
 761     pminub %1, %3
 762 %endmacro
 763
 764 %macro CLIPW 3 ;(dst, min, max)
 765     pmaxsw %1, %2
 766     pminsw %1, %3
 767 %endmacro
 768
 769 %macro PMINSD_MMX 3 ; dst, src, tmp
 770     mova      %3, %2
 771     pcmpgtd   %3, %1
 772     pxor      %1, %2
 773     pand      %1, %3
 774     pxor      %1, %2
 775 %endmacro
 776
 777 %macro PMAXSD_MMX 3 ; dst, src, tmp
 778     mova      %3, %1
 779     pcmpgtd   %3, %2
 780     pand      %1, %3
 781     pandn     %3, %2
 782     por       %1, %3
 783 %endmacro
 784
 785 %macro CLIPD_MMX 3-4 ; src/dst, min, max, tmp
 786     PMINSD_MMX %1, %3, %4
 787     PMAXSD_MMX %1, %2, %4
 788 %endmacro
 789
 790 %macro CLIPD_SSE2 3-4 ; src/dst, min (float), max (float), unused
 791     cvtdq2ps  %1, %1
 792     minps     %1, %3
 793     maxps     %1, %2
 794     cvtps2dq  %1, %1
 795 %endmacro
 796
 797 %macro CLIPD_SSE41 3-4 ;  src/dst, min, max, unused
 798     pminsd  %1, %3
 799     pmaxsd  %1, %2
 800 %endmacro
 801
 802 %macro VBROADCASTSS 2 ; dst xmm/ymm, src m32
 803 %if cpuflag(avx)
 804     vbroadcastss %1, %2
 805 %else ; sse
 806     movss        %1, %2
 807     shufps       %1, %1, 0
 808 %endif
 809 %endmacro
 810
 811 %macro VBROADCASTSD 2 ; dst xmm/ymm, src m64
 812 %if cpuflag(avx) && mmsize == 32
 813     vbroadcastsd %1, %2
 814 %elif cpuflag(sse3)
 815     movddup      %1, %2
 816 %else ; sse2
 817     movsd        %1, %2
 818     movlhps      %1, %1
 819 %endif
 820 %endmacro
 821
 822 %macro SHUFFLE_MASK_W 8
 823     %rep 8
 824         %if %1>=0x80
 825             db %1, %1
 826         %else
 827             db %1*2
 828             db %1*2+1
 829         %endif
 830         %rotate 1
 831     %endrep
 832 %endmacro
 833
 834 %macro PMOVSXWD 2; dst, src
 835 %if cpuflag(sse4)
 836     pmovsxwd     %1, %2
 837 %else
 838     %ifnidn %1, %2
 839     mova         %1, %2
 840     %endif
 841     punpcklwd    %1, %1
 842     psrad        %1, 16
 843 %endif
 844 %endmacro
 845
 846 ; Wrapper for non-FMA version of fmaddps
 847 %macro FMULADD_PS 5
 848     %if cpuflag(fma3) || cpuflag(fma4)
 849         fmaddps %1, %2, %3, %4
 850     %elifidn %1, %4
 851         mulps   %5, %2, %3
 852         addps   %1, %4, %5
 853     %else
 854         mulps   %1, %2, %3
 855         addps   %1, %4
 856     %endif
 857 %endmacro
 858
 859 %macro LSHIFT 2
 860 %if mmsize > 8
 861     pslldq  %1, %2
 862 %else
 863     psllq   %1, 8*(%2)
 864 %endif
 865 %endmacro
 866
 867 %macro RSHIFT 2
 868 %if mmsize > 8
 869     psrldq  %1, %2
 870 %else
 871     psrlq   %1, 8*(%2)
 872 %endif
 873 %endmacro