git.sesse.net Git - ffmpeg/blob - libavcodec/x86/imdct36_sse.asm

   1 ;******************************************************************************
   2 ;* 36 point SSE-optimized IMDCT transform
   3 ;* Copyright (c) 2011 Vitor Sessak
   4 ;*
   5 ;* This file is part of Libav.
   6 ;*
   7 ;* Libav is free software; you can redistribute it and/or
   8 ;* modify it under the terms of the GNU Lesser General Public
   9 ;* License as published by the Free Software Foundation; either
  10 ;* version 2.1 of the License, or (at your option) any later version.
  11 ;*
  12 ;* Libav is distributed in the hope that it will be useful,
  13 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15 ;* Lesser General Public License for more details.
  16 ;*
  17 ;* You should have received a copy of the GNU Lesser General Public
  18 ;* License along with Libav; if not, write to the Free Software
  19 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20 ;******************************************************************************
  21
  22 %include "libavutil/x86/x86inc.asm"
  23 %include "libavutil/x86/x86util.asm"
  24
  25 SECTION_RODATA
  26
  27 align 16
  28 ps_mask:  dd 0, ~0, ~0, ~0
  29 ps_mask2: dd 0, ~0,  0, ~0
  30 ps_mask3: dd 0,  0,  0, ~0
  31 ps_mask4: dd 0, ~0,  0,  0
  32
  33 ps_val1:  dd          -0.5,          -0.5, -0.8660254038, -0.8660254038
  34 ps_val2:  dd           1.0,           1.0,  0.8660254038,  0.8660254038
  35 ps_val3:  dd  0.1736481777,  0.1736481777,  0.3420201433,  0.3420201433
  36 ps_val4:  dd -0.7660444431, -0.7660444431,  0.8660254038,  0.8660254038
  37 ps_val5:  dd -0.9396926208, -0.9396926208, -0.9848077530, -0.9848077530
  38 ps_val6:  dd           0.5,           0.5, -0.6427876097, -0.6427876097
  39 ps_val7:  dd           1.0,           1.0, -0.6427876097, -0.6427876097
  40
  41 ps_p1p1m1m1: dd 0,          0, 0x80000000, 0x80000000
  42 ps_p1m1p1m1: dd 0, 0x80000000,          0, 0x80000000
  43
  44 ps_cosh:       dd 1.0, 0.50190991877167369479,  1.0,  5.73685662283492756461
  45                dd 1.0, 0.51763809020504152469,  1.0,  1.93185165257813657349
  46                dd 1.0, 0.55168895948124587824, -1.0, -1.18310079157624925896
  47                dd 1.0, 0.61038729438072803416, -1.0, -0.87172339781054900991
  48                dd 1.0, 0.70710678118654752439,  0.0,  0.0
  49
  50 ps_cosh_sse3:  dd 1.0, -0.50190991877167369479,  1.0, -5.73685662283492756461
  51                dd 1.0, -0.51763809020504152469,  1.0, -1.93185165257813657349
  52                dd 1.0, -0.55168895948124587824, -1.0,  1.18310079157624925896
  53                dd 1.0, -0.61038729438072803416, -1.0,  0.87172339781054900991
  54                dd 1.0,  0.70710678118654752439,  0.0,  0.0
  55
  56 costabs:  times 4 dd  0.98480773
  57           times 4 dd  0.93969262
  58           times 4 dd  0.86602539
  59           times 4 dd -0.76604444
  60           times 4 dd -0.64278764
  61           times 4 dd  0.50000000
  62           times 4 dd -0.50000000
  63           times 4 dd -0.34202015
  64           times 4 dd -0.17364818
  65           times 4 dd  0.50190992
  66           times 4 dd  0.51763808
  67           times 4 dd  0.55168896
  68           times 4 dd  0.61038726
  69           times 4 dd  0.70710677
  70           times 4 dd  0.87172341
  71           times 4 dd  1.18310082
  72           times 4 dd  1.93185163
  73           times 4 dd  5.73685646
  74
  75 %define SBLIMIT 32
  76 SECTION_TEXT
  77
  78 %macro PSHUFD 3
  79 %if cpuflag(sse2) && notcpuflag(avx)
  80     pshufd %1, %2, %3
  81 %else
  82     shufps %1, %2, %2, %3
  83 %endif
  84 %endmacro
  85
  86 ; input  %2={x1,x2,x3,x4}, %3={y1,y2,y3,y4}
  87 ; output %1={x3,x4,y1,y2}
  88 %macro BUILDINVHIGHLOW 3
  89 %if cpuflag(avx)
  90     shufps %1, %2, %3, 0x4e
  91 %else
  92     movlhps %1, %3
  93     movhlps %1, %2
  94 %endif
  95 %endmacro
  96
  97 ; input  %2={x1,x2,x3,x4}, %3={y1,y2,y3,y4}
  98 ; output %1={x4,y1,y2,y3}
  99 %macro ROTLEFT 3
 100 %if cpuflag(ssse3)
 101     palignr  %1, %3, %2, 12
 102 %else
 103     BUILDINVHIGHLOW %1, %2, %3
 104     shufps  %1, %1, %3, 0x99
 105 %endif
 106 %endmacro
 107
 108 %macro INVERTHL 2
 109 %if cpuflag(sse2)
 110     PSHUFD  %1, %2, 0x4e
 111 %else
 112     movhlps %1, %2
 113     movlhps %1, %2
 114 %endif
 115 %endmacro
 116
 117 %macro BUTTERF 3
 118     INVERTHL %2, %1
 119     xorps    %1, [ps_p1p1m1m1]
 120     addps    %1, %2
 121 %if cpuflag(sse3)
 122     mulps    %1, %1, [ps_cosh_sse3 + %3]
 123     PSHUFD   %2, %1, 0xb1
 124     addsubps %1, %1, %2
 125 %else
 126     mulps    %1, [ps_cosh + %3]
 127     PSHUFD   %2, %1, 0xb1
 128     xorps    %1, [ps_p1m1p1m1]
 129     addps    %1, %2
 130 %endif
 131 %endmacro
 132
 133 %macro STORE 4
 134     movhlps %2, %1
 135     movss   [%3       ], %1
 136     movss   [%3 + 2*%4], %2
 137     shufps  %1, %1, 0xb1
 138     movss   [%3 +   %4], %1
 139     movhlps %2, %1
 140     movss   [%3 + 3*%4], %2
 141 %endmacro
 142
 143 %macro LOAD 4
 144     movlps  %1, [%3       ]
 145     movhps  %1, [%3 +   %4]
 146     movlps  %2, [%3 + 2*%4]
 147     movhps  %2, [%3 + 3*%4]
 148     shufps  %1, %2, 0x88
 149 %endmacro
 150
 151 %macro LOADA64 2
 152 %if cpuflag(avx)
 153    movu     %1, [%2]
 154 %else
 155    movlps   %1, [%2]
 156    movhps   %1, [%2 + 8]
 157 %endif
 158 %endmacro
 159
 160 %macro DEFINE_IMDCT 0
 161 cglobal imdct36_float, 4,4,9, out, buf, in, win
 162
 163     ; for(i=17;i>=1;i--) in[i] += in[i-1];
 164     LOADA64 m0, inq
 165     LOADA64 m1, inq + 16
 166
 167     ROTLEFT m5, m0, m1
 168
 169     PSHUFD  m6, m0, 0x93
 170     andps   m6, m6, [ps_mask]
 171     addps   m0, m0, m6
 172
 173     LOADA64 m2, inq + 32
 174
 175     ROTLEFT m7, m1, m2
 176
 177     addps   m1, m1, m5
 178     LOADA64 m3, inq + 48
 179
 180     ROTLEFT m5, m2, m3
 181
 182     xorps   m4, m4, m4
 183     movlps  m4, [inq+64]
 184     BUILDINVHIGHLOW m6, m3, m4
 185     shufps  m6, m6, m4, 0xa9
 186
 187     addps   m4, m4, m6
 188     addps   m2, m2, m7
 189     addps   m3, m3, m5
 190
 191     ; for(i=17;i>=3;i-=2) in[i] += in[i-2];
 192     movlhps m5, m5, m0
 193     andps   m5, m5, [ps_mask3]
 194
 195     BUILDINVHIGHLOW m7, m0, m1
 196     andps   m7, m7, [ps_mask2]
 197
 198     addps   m0, m0, m5
 199
 200     BUILDINVHIGHLOW m6, m1, m2
 201     andps   m6, m6, [ps_mask2]
 202
 203     addps  m1, m1, m7
 204
 205     BUILDINVHIGHLOW m7, m2, m3
 206     andps   m7, m7, [ps_mask2]
 207
 208     addps   m2, m2, m6
 209
 210     movhlps m6, m6, m3
 211     andps   m6, m6, [ps_mask4]
 212
 213     addps  m3, m3, m7
 214     addps  m4, m4, m6
 215
 216     ; Populate tmp[]
 217     movlhps m6, m1, m5    ; zero out high values
 218     subps   m6, m6, m4
 219
 220     subps  m5, m0, m3
 221
 222 %if ARCH_X86_64
 223     SWAP   m5, m8
 224 %endif
 225
 226     mulps  m7, m2, [ps_val1]
 227
 228 %if ARCH_X86_64
 229     mulps  m5, m8, [ps_val2]
 230 %else
 231     mulps  m5, m5, [ps_val2]
 232 %endif
 233     addps  m7, m7, m5
 234
 235     mulps  m5, m6, [ps_val1]
 236     subps  m7, m7, m5
 237
 238 %if ARCH_X86_64
 239     SWAP   m5, m8
 240 %else
 241     subps  m5, m0, m3
 242 %endif
 243
 244     subps  m5, m5, m6
 245     addps  m5, m5, m2
 246
 247     shufps m6, m4, m3, 0xe4
 248     subps  m6, m6, m2
 249     mulps  m6, m6, [ps_val3]
 250
 251     addps  m4, m4, m1
 252     mulps  m4, m4, [ps_val4]
 253
 254     shufps m1, m1, m0, 0xe4
 255     addps  m1, m1, m2
 256     mulps  m1, m1, [ps_val5]
 257
 258     mulps  m3, m3, [ps_val6]
 259     mulps  m0, m0, [ps_val7]
 260     addps  m0, m0, m3
 261
 262     xorps  m2, m1, [ps_p1p1m1m1]
 263     subps  m2, m2, m4
 264     addps  m2, m2, m0
 265
 266     addps  m3, m4, m0
 267     subps  m3, m3, m6
 268     xorps  m3, m3, [ps_p1p1m1m1]
 269
 270     shufps m0, m0, m4, 0xe4
 271     subps  m0, m0, m1
 272     addps  m0, m0, m6
 273
 274     BUILDINVHIGHLOW m4, m2, m3
 275     shufps  m3, m3, m2, 0x4e
 276
 277     ; we have tmp = {SwAPLH(m0), SwAPLH(m7), m3, m4, m5}
 278
 279     BUTTERF  m0, m1, 0
 280     BUTTERF  m7, m2, 16
 281     BUTTERF  m3, m6, 32
 282     BUTTERF  m4, m1, 48
 283
 284     mulps   m5, m5, [ps_cosh + 64]
 285     PSHUFD  m1, m5, 0xe1
 286     xorps   m5, m5, [ps_p1m1p1m1]
 287     addps   m5, m5, m1
 288
 289     ; permutates:
 290     ; m0    0  1  2  3     =>     2  6 10 14   m1
 291     ; m7    4  5  6  7     =>     3  7 11 15   m2
 292     ; m3    8  9 10 11     =>    17 13  9  5   m3
 293     ; m4   12 13 14 15     =>    16 12  8  4   m5
 294     ; m5   16 17 xx xx     =>     0  1 xx xx   m0
 295
 296     unpckhps m1, m0, m7
 297     unpckhps m6, m3, m4
 298     movhlps  m2, m6, m1
 299     movlhps  m1, m1, m6
 300
 301     unpcklps m5, m5, m4
 302     unpcklps m3, m3, m7
 303     movhlps  m4, m3, m5
 304     movlhps  m5, m5, m3
 305     SWAP m4, m3
 306     ; permutation done
 307
 308     PSHUFD  m6, m2, 0xb1
 309     movss   m4, [bufq + 4*68]
 310     movss   m7, [bufq + 4*64]
 311     unpcklps  m7, m7, m4
 312     mulps   m6, m6, [winq + 16*4]
 313     addps   m6, m6, m7
 314     movss   [outq + 64*SBLIMIT], m6
 315     shufps  m6, m6, m6, 0xb1
 316     movss   [outq + 68*SBLIMIT], m6
 317
 318     mulps   m6, m3, [winq + 4*4]
 319     LOAD    m4, m7, bufq + 4*16, 16
 320     addps   m6, m6, m4
 321     STORE   m6, m7, outq + 16*SBLIMIT, 4*SBLIMIT
 322
 323     shufps  m4, m0, m3, 0xb5
 324     mulps   m4, m4, [winq + 8*4]
 325     LOAD    m7, m6, bufq + 4*32, 16
 326     addps   m4, m4, m7
 327     STORE   m4, m6, outq + 32*SBLIMIT, 4*SBLIMIT
 328
 329     shufps  m3, m3, m2, 0xb1
 330     mulps   m3, m3, [winq + 12*4]
 331     LOAD    m7, m6, bufq + 4*48, 16
 332     addps   m3, m3, m7
 333     STORE   m3, m7, outq + 48*SBLIMIT, 4*SBLIMIT
 334
 335     mulps   m2, m2, [winq]
 336     LOAD    m6, m7, bufq, 16
 337     addps   m2, m2, m6
 338     STORE   m2, m7, outq, 4*SBLIMIT
 339
 340     mulps    m4, m1, [winq + 20*4]
 341     STORE    m4, m7, bufq, 16
 342
 343     mulps    m3, m5, [winq + 24*4]
 344     STORE    m3, m7, bufq + 4*16, 16
 345
 346     shufps   m0, m0, m5, 0xb0
 347     mulps    m0, m0, [winq + 28*4]
 348     STORE    m0, m7, bufq + 4*32, 16
 349
 350     shufps   m5, m5, m1, 0xb1
 351     mulps    m5, m5, [winq + 32*4]
 352     STORE    m5, m7, bufq + 4*48, 16
 353
 354     shufps   m1, m1, m1, 0xb1
 355     mulps    m1, m1, [winq + 36*4]
 356     movss    [bufq + 4*64], m1
 357     shufps   m1, m1, 0xb1
 358     movss    [bufq + 4*68], m1
 359     RET
 360 %endmacro
 361
 362 INIT_XMM sse
 363 DEFINE_IMDCT
 364
 365 INIT_XMM sse2
 366 DEFINE_IMDCT
 367
 368 INIT_XMM sse3
 369 DEFINE_IMDCT
 370
 371 INIT_XMM ssse3
 372 DEFINE_IMDCT
 373
 374 INIT_XMM avx
 375 DEFINE_IMDCT
 376
 377 INIT_XMM sse
 378
 379 %if ARCH_X86_64
 380 %define SPILL SWAP
 381 %define UNSPILL SWAP
 382 %define SPILLED(x) m %+ x
 383 %else
 384 %define SPILLED(x) [tmpq+(x-8)*16 + 32*4]
 385 %macro SPILL 2 ; xmm#, mempos
 386     movaps SPILLED(%2), m%1
 387 %endmacro
 388 %macro UNSPILL 2
 389     movaps m%1, SPILLED(%2)
 390 %endmacro
 391 %endif
 392
 393 %macro DEFINE_FOUR_IMDCT 0
 394 cglobal four_imdct36_float, 5,5,16, out, buf, in, win, tmp
 395     movlps  m0, [inq+64]
 396     movhps  m0, [inq+64 +   72]
 397     movlps  m3, [inq+64 + 2*72]
 398     movhps  m3, [inq+64 + 3*72]
 399
 400     shufps  m5, m0, m3, 0xdd
 401     shufps  m0, m0, m3, 0x88
 402
 403     mova     m1, [inq+48]
 404     movu     m6, [inq+48 +   72]
 405     mova     m7, [inq+48 + 2*72]
 406     movu     m3, [inq+48 + 3*72]
 407
 408     TRANSPOSE4x4PS 1, 6, 7, 3, 4
 409
 410     addps   m4, m6, m7
 411     mova    [tmpq+4*28], m4
 412
 413     addps    m7, m3
 414     addps    m6, m1
 415     addps    m3, m0
 416     addps    m0, m5
 417     addps    m0, m7
 418     addps    m7, m6
 419     mova    [tmpq+4*12], m7
 420     SPILL   3, 12
 421
 422     mova     m4, [inq+32]
 423     movu     m5, [inq+32 +   72]
 424     mova     m2, [inq+32 + 2*72]
 425     movu     m7, [inq+32 + 3*72]
 426
 427     TRANSPOSE4x4PS 4, 5, 2, 7, 3
 428
 429     addps   m1, m7
 430     SPILL   1, 11
 431
 432     addps   m3, m5, m2
 433     SPILL   3, 13
 434
 435     addps    m7, m2
 436     addps    m5, m4
 437     addps    m6, m7
 438     mova    [tmpq], m6
 439     addps   m7, m5
 440     mova    [tmpq+4*16], m7
 441
 442     mova    m2, [inq+16]
 443     movu    m7, [inq+16 +   72]
 444     mova    m1, [inq+16 + 2*72]
 445     movu    m6, [inq+16 + 3*72]
 446
 447     TRANSPOSE4x4PS 2, 7, 1, 6, 3
 448
 449     addps   m4, m6
 450     addps   m6, m1
 451     addps   m1, m7
 452     addps   m7, m2
 453     addps   m5, m6
 454     SPILL   5, 15
 455     addps   m6, m7
 456     mulps   m6, [costabs + 16*2]
 457     mova    [tmpq+4*8], m6
 458     SPILL   1, 10
 459     SPILL   0, 14
 460
 461     mova    m1, [inq]
 462     movu    m6, [inq +   72]
 463     mova    m3, [inq + 2*72]
 464     movu    m5, [inq + 3*72]
 465
 466     TRANSPOSE4x4PS 1, 6, 3, 5, 0
 467
 468     addps    m2, m5
 469     addps    m5, m3
 470     addps    m7, m5
 471     addps    m3, m6
 472     addps    m6, m1
 473     SPILL    7, 8
 474     addps    m5, m6
 475     SPILL    6, 9
 476     addps    m6, m4, SPILLED(12)
 477     subps    m6, m2
 478     UNSPILL  7, 11
 479     SPILL    5, 11
 480     subps    m5, m1, m7
 481     mulps    m7, [costabs + 16*5]
 482     addps    m7, m1
 483     mulps    m0, m6, [costabs + 16*6]
 484     addps    m0, m5
 485     mova     [tmpq+4*24], m0
 486     addps    m6, m5
 487     mova     [tmpq+4*4], m6
 488     addps    m6, m4, m2
 489     mulps    m6, [costabs + 16*1]
 490     subps    m4, SPILLED(12)
 491     mulps    m4, [costabs + 16*8]
 492     addps    m2, SPILLED(12)
 493     mulps    m2, [costabs + 16*3]
 494     subps    m5, m7, m6
 495     subps    m5, m2
 496     addps    m6, m7
 497     addps    m6, m4
 498     addps    m7, m2
 499     subps    m7, m4
 500     mova     [tmpq+4*20], m7
 501     mova     m2, [tmpq+4*28]
 502     mova     [tmpq+4*28], m5
 503     UNSPILL  7, 13
 504     subps    m5, m7, m2
 505     mulps    m5, [costabs + 16*7]
 506     UNSPILL  1, 10
 507     mulps    m1, [costabs + 16*2]
 508     addps    m4, m3, m2
 509     mulps    m4, [costabs + 16*4]
 510     addps    m2, m7
 511     addps    m7, m3
 512     mulps    m7, [costabs]
 513     subps    m3, m2
 514     mulps    m3, [costabs + 16*2]
 515     addps    m2, m7, m5
 516     addps    m2, m1
 517     SPILL    2, 10
 518     addps    m7, m4
 519     subps    m7, m1
 520     SPILL    7, 12
 521     subps    m5, m4
 522     subps    m5, m1
 523     UNSPILL  0, 14
 524     SPILL    5, 13
 525     addps    m1, m0, SPILLED(15)
 526     subps    m1, SPILLED(8)
 527     mova     m4, [costabs + 16*5]
 528     mulps    m4, [tmpq]
 529     UNSPILL  2, 9
 530     addps    m4, m2
 531     subps    m2, [tmpq]
 532     mulps    m5, m1, [costabs + 16*6]
 533     addps    m5, m2
 534     SPILL    5, 9
 535     addps    m2, m1
 536     SPILL    2, 14
 537     UNSPILL  5, 15
 538     subps    m7, m5, m0
 539     addps    m5, SPILLED(8)
 540     mulps    m5, [costabs + 16*1]
 541     mulps    m7, [costabs + 16*8]
 542     addps    m0, SPILLED(8)
 543     mulps    m0, [costabs + 16*3]
 544     subps    m2, m4, m5
 545     subps    m2, m0
 546     SPILL    2, 15
 547     addps    m5, m4
 548     addps    m5, m7
 549     addps    m4, m0
 550     subps    m4, m7
 551     SPILL    4, 8
 552     mova     m7, [tmpq+4*16]
 553     mova     m2, [tmpq+4*12]
 554     addps    m0, m7, m2
 555     subps    m0, SPILLED(11)
 556     mulps    m0, [costabs + 16*2]
 557     addps    m4, m7, SPILLED(11)
 558     mulps    m4, [costabs]
 559     subps    m7, m2
 560     mulps    m7, [costabs + 16*7]
 561     addps    m2, SPILLED(11)
 562     mulps    m2, [costabs + 16*4]
 563     addps    m1, m7, [tmpq+4*8]
 564     addps    m1, m4
 565     addps    m4, m2
 566     subps    m4, [tmpq+4*8]
 567     SPILL    4, 11
 568     subps    m7, m2
 569     subps    m7, [tmpq+4*8]
 570     addps    m4, m6, SPILLED(10)
 571     subps    m6, SPILLED(10)
 572     addps    m2, m5, m1
 573     mulps    m2, [costabs + 16*9]
 574     subps    m5, m1
 575     mulps    m5, [costabs + 16*17]
 576     subps    m1, m4, m2
 577     addps    m4, m2
 578     mulps    m2, m1, [winq+4*36]
 579     addps    m2, [bufq+4*36]
 580     mova     [outq+1152], m2
 581     mulps    m1, [winq+4*32]
 582     addps    m1, [bufq+4*32]
 583     mova     [outq+1024], m1
 584     mulps    m1, m4, [winq+4*116]
 585     mova     [bufq+4*36], m1
 586     mulps    m4, [winq+4*112]
 587     mova     [bufq+4*32], m4
 588     addps    m2, m6, m5
 589     subps    m6, m5
 590     mulps    m1, m6, [winq+4*68]
 591     addps    m1, [bufq+4*68]
 592     mova     [outq+2176], m1
 593     mulps    m6, [winq]
 594     addps    m6, [bufq]
 595     mova     [outq], m6
 596     mulps    m1, m2, [winq+4*148]
 597     mova     [bufq+4*68], m1
 598     mulps    m2, [winq+4*80]
 599     mova     [bufq], m2
 600     addps    m5, m3, [tmpq+4*24]
 601     mova     m2, [tmpq+4*24]
 602     subps    m2, m3
 603     mova     m1, SPILLED(9)
 604     subps    m1, m0
 605     mulps    m1, [costabs + 16*10]
 606     addps    m0, SPILLED(9)
 607     mulps    m0, [costabs + 16*16]
 608     addps    m6, m5, m1
 609     subps    m5, m1
 610     mulps    m3, m5, [winq+4*40]
 611     addps    m3, [bufq+4*40]
 612     mova     [outq+1280], m3
 613     mulps    m5, [winq+4*28]
 614     addps    m5, [bufq+4*28]
 615     mova     [outq+896], m5
 616     mulps    m1, m6, [winq+4*120]
 617     mova     [bufq+4*40], m1
 618     mulps    m6, [winq+4*108]
 619     mova     [bufq+4*28], m6
 620     addps    m1, m2, m0
 621     subps    m2, m0
 622     mulps    m5, m2, [winq+4*64]
 623     addps    m5, [bufq+4*64]
 624     mova     [outq+2048], m5
 625     mulps    m2, [winq+4*4]
 626     addps    m2, [bufq+4*4]
 627     mova     [outq+128], m2
 628     mulps    m0, m1, [winq+4*144]
 629     mova     [bufq+4*64], m0
 630     mulps    m1, [winq+4*84]
 631     mova     [bufq+4*4], m1
 632     mova     m1, [tmpq+4*28]
 633     mova     m5, m1
 634     addps    m1, SPILLED(13)
 635     subps    m5, SPILLED(13)
 636     UNSPILL  3, 15
 637     addps    m2, m7, m3
 638     mulps    m2, [costabs + 16*11]
 639     subps    m3, m7
 640     mulps    m3, [costabs + 16*15]
 641     addps    m0, m2, m1
 642     subps    m1, m2
 643     SWAP     m0, m2
 644     mulps    m6, m1, [winq+4*44]
 645     addps    m6, [bufq+4*44]
 646     mova     [outq+1408], m6
 647     mulps    m1, [winq+4*24]
 648     addps    m1, [bufq+4*24]
 649     mova     [outq+768], m1
 650     mulps    m0, m2, [winq+4*124]
 651     mova     [bufq+4*44], m0
 652     mulps    m2, [winq+4*104]
 653     mova     [bufq+4*24], m2
 654     addps    m0, m5, m3
 655     subps    m5, m3
 656     mulps    m1, m5, [winq+4*60]
 657     addps    m1, [bufq+4*60]
 658     mova     [outq+1920], m1
 659     mulps    m5, [winq+4*8]
 660     addps    m5, [bufq+4*8]
 661     mova     [outq+256], m5
 662     mulps    m1, m0, [winq+4*140]
 663     mova     [bufq+4*60], m1
 664     mulps    m0, [winq+4*88]
 665     mova     [bufq+4*8], m0
 666     mova     m1, [tmpq+4*20]
 667     addps    m1, SPILLED(12)
 668     mova     m2, [tmpq+4*20]
 669     subps    m2, SPILLED(12)
 670     UNSPILL  7, 8
 671     subps    m0, m7, SPILLED(11)
 672     addps    m7, SPILLED(11)
 673     mulps    m4, m7, [costabs + 16*12]
 674     mulps    m0, [costabs + 16*14]
 675     addps    m5, m1, m4
 676     subps    m1, m4
 677     mulps    m7, m1, [winq+4*48]
 678     addps    m7, [bufq+4*48]
 679     mova     [outq+1536], m7
 680     mulps    m1, [winq+4*20]
 681     addps    m1, [bufq+4*20]
 682     mova     [outq+640], m1
 683     mulps    m1, m5, [winq+4*128]
 684     mova     [bufq+4*48], m1
 685     mulps    m5, [winq+4*100]
 686     mova     [bufq+4*20], m5
 687     addps    m6, m2, m0
 688     subps    m2, m0
 689     mulps    m1, m2, [winq+4*56]
 690     addps    m1, [bufq+4*56]
 691     mova     [outq+1792], m1
 692     mulps    m2, [winq+4*12]
 693     addps    m2, [bufq+4*12]
 694     mova     [outq+384], m2
 695     mulps    m0, m6, [winq+4*136]
 696     mova    [bufq+4*56], m0
 697     mulps    m6, [winq+4*92]
 698     mova     [bufq+4*12], m6
 699     UNSPILL  0, 14
 700     mulps    m0, [costabs + 16*13]
 701     mova     m3, [tmpq+4*4]
 702     addps    m2, m0, m3
 703     subps    m3, m0
 704     mulps    m0, m3, [winq+4*52]
 705     addps    m0, [bufq+4*52]
 706     mova     [outq+1664], m0
 707     mulps    m3, [winq+4*16]
 708     addps    m3, [bufq+4*16]
 709     mova     [outq+512], m3
 710     mulps    m0, m2, [winq+4*132]
 711     mova     [bufq+4*52], m0
 712     mulps    m2, [winq+4*96]
 713     mova     [bufq+4*16], m2
 714     RET
 715 %endmacro
 716
 717 INIT_XMM sse
 718 DEFINE_FOUR_IMDCT
 719
 720 INIT_XMM avx
 721 DEFINE_FOUR_IMDCT