git.sesse.net Git - x264/blob - common/x86/dct-32.asm

   1 ;*****************************************************************************
   2 ;* dct-32.asm: x86_32 transform and zigzag
   3 ;*****************************************************************************
   4 ;* Copyright (C) 2003-2011 x264 project
   5 ;*
   6 ;* Authors: Loren Merritt <lorenm@u.washington.edu>
   7 ;*          Holger Lubitz <holger@lubitz.org>
   8 ;*          Laurent Aimar <fenrir@via.ecp.fr>
   9 ;*          Min Chen <chenm001.163.com>
  10 ;*          Christian Heine <sennindemokrit@gmx.net>
  11 ;*
  12 ;* This program is free software; you can redistribute it and/or modify
  13 ;* it under the terms of the GNU General Public License as published by
  14 ;* the Free Software Foundation; either version 2 of the License, or
  15 ;* (at your option) any later version.
  16 ;*
  17 ;* This program is distributed in the hope that it will be useful,
  18 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  19 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  20 ;* GNU General Public License for more details.
  21 ;*
  22 ;* You should have received a copy of the GNU General Public License
  23 ;* along with this program; if not, write to the Free Software
  24 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  25 ;*
  26 ;* This program is also available under a commercial proprietary license.
  27 ;* For more information, contact us at licensing@x264.com.
  28 ;*****************************************************************************
  29
  30 %include "x86inc.asm"
  31 %include "x86util.asm"
  32
  33 SECTION .text
  34
  35 %ifndef HIGH_BIT_DEPTH
  36 cextern pw_32
  37 cextern hsub_mul
  38
  39 ; in: m0..m7
  40 ; out: 0,4,6 in mem, rest in regs
  41 %macro DCT8_1D 9
  42     SUMSUB_BA w, %8, %1      ; %8 = s07,  %1 = d07
  43     SUMSUB_BA w, %7, %2      ; %7 = s16,  %2 = d16
  44     SUMSUB_BA w, %6, %3      ; %6 = s25,  %3 = d25
  45     SUMSUB_BA w, %5, %4      ; %5 = s34,  %4 = d34
  46     SUMSUB_BA w, %5, %8      ; %5 = a0,   %8 = a2
  47     SUMSUB_BA w, %6, %7      ; %6 = a1,   %7 = a3
  48     SUMSUB_BA w, %6, %5      ; %6 = dst0, %5 = dst4
  49     mova    [%9+0x00], m%6
  50     mova    [%9+0x40], m%5
  51     psraw   m%6, m%7, 1      ; a3>>1
  52     paddw   m%6, m%8         ; a2 + (a3>>1)
  53     psraw   m%8, 1           ; a2>>1
  54     psubw   m%8, m%7         ; (a2>>1) - a3
  55     mova    [%9+0x60], m%8
  56     psraw   m%5, m%3, 1
  57     paddw   m%5, m%3         ; d25+(d25>>1)
  58     psubw   m%7, m%1, m%4    ; a5 = d07-d34-(d25+(d25>>1))
  59     psubw   m%7, m%5
  60     psraw   m%5, m%2, 1
  61     paddw   m%5, m%2         ; d16+(d16>>1)
  62     paddw   m%8, m%1, m%4
  63     psubw   m%8, m%5         ; a6 = d07+d34-(d16+(d16>>1))
  64     psraw   m%5, m%1, 1
  65     paddw   m%5, m%1         ; d07+(d07>>1)
  66     paddw   m%5, m%2
  67     paddw   m%5, m%3         ; a4 = d16+d25+(d07+(d07>>1))
  68     psraw   m%1, m%4, 1
  69     paddw   m%1, m%4         ; d34+(d34>>1)
  70     paddw   m%1, m%2
  71     psubw   m%1, m%3         ; a7 = d16-d25+(d34+(d34>>1))
  72     psraw   m%4, m%1, 2
  73     paddw   m%4, m%5         ; a4 + (a7>>2)
  74     psraw   m%3, m%8, 2
  75     paddw   m%3, m%7         ; a5 + (a6>>2)
  76     psraw   m%5, 2
  77     psraw   m%7, 2
  78     psubw   m%5, m%1         ; (a4>>2) - a7
  79     psubw   m%8, m%7         ; a6 - (a5>>2)
  80     SWAP %2, %4, %3, %6, %8, %5
  81 %endmacro
  82
  83 ; in: 0,4 in mem, rest in regs
  84 ; out: m0..m7
  85 %macro IDCT8_1D 9
  86     psraw     m%1, m%3, 1
  87     psraw     m%5, m%7, 1
  88     psubw     m%1, m%7
  89     paddw     m%5, m%3
  90     psraw     m%7, m%2, 1
  91     paddw     m%7, m%2
  92     paddw     m%7, m%4
  93     paddw     m%7, m%6
  94     psraw     m%3, m%6, 1
  95     paddw     m%3, m%6
  96     paddw     m%3, m%8
  97     psubw     m%3, m%2
  98     psubw     m%2, m%4
  99     psubw     m%6, m%4
 100     paddw     m%2, m%8
 101     psubw     m%6, m%8
 102     psraw     m%4, 1
 103     psraw     m%8, 1
 104     psubw     m%2, m%4
 105     psubw     m%6, m%8
 106     psraw     m%4, m%7, 2
 107     psraw     m%8, m%3, 2
 108     paddw     m%4, m%6
 109     paddw     m%8, m%2
 110     psraw     m%6, 2
 111     psraw     m%2, 2
 112     psubw     m%7, m%6
 113     psubw     m%2, m%3
 114     mova      m%3, [%9+0x00]
 115     mova      m%6, [%9+0x40]
 116     SUMSUB_BA w, %6, %3
 117     SUMSUB_BA w, %5, %6
 118     SUMSUB_BA w, %1, %3
 119     SUMSUB_BA w, %7, %5
 120     SUMSUB_BA w, %2, %1
 121     SUMSUB_BA w, %8, %3
 122     SUMSUB_BA w, %4, %6
 123     SWAP %1, %3
 124     SWAP %5, %7
 125     SWAP %1, %5, %6
 126     SWAP %3, %8, %7
 127 %endmacro
 128
 129 INIT_MMX
 130 ALIGN 16
 131 load_diff_4x8_mmx:
 132     LOAD_DIFF m0, m7, none, [r1+0*FENC_STRIDE], [r2+0*FDEC_STRIDE]
 133     LOAD_DIFF m1, m7, none, [r1+1*FENC_STRIDE], [r2+1*FDEC_STRIDE]
 134     LOAD_DIFF m2, m7, none, [r1+2*FENC_STRIDE], [r2+2*FDEC_STRIDE]
 135     LOAD_DIFF m3, m7, none, [r1+3*FENC_STRIDE], [r2+3*FDEC_STRIDE]
 136     LOAD_DIFF m4, m7, none, [r1+4*FENC_STRIDE], [r2+4*FDEC_STRIDE]
 137     LOAD_DIFF m5, m7, none, [r1+5*FENC_STRIDE], [r2+5*FDEC_STRIDE]
 138     movq  [r0], m0
 139     LOAD_DIFF m6, m7, none, [r1+6*FENC_STRIDE], [r2+6*FDEC_STRIDE]
 140     LOAD_DIFF m7, m0, none, [r1+7*FENC_STRIDE], [r2+7*FDEC_STRIDE]
 141     movq  m0, [r0]
 142     ret
 143
 144 INIT_MMX
 145 ALIGN 16
 146 dct8_mmx:
 147     DCT8_1D 0,1,2,3,4,5,6,7,r0
 148     SAVE_MM_PERMUTATION dct8_mmx
 149     ret
 150
 151 %macro SPILL_SHUFFLE 3-* ; ptr, list of regs, list of memory offsets
 152     %xdefine %%base %1
 153     %rep %0/2
 154     %xdefine %%tmp m%2
 155     %rotate %0/2
 156     mova [%%base + %2*16], %%tmp
 157     %rotate 1-%0/2
 158     %endrep
 159 %endmacro
 160
 161 %macro UNSPILL_SHUFFLE 3-*
 162     %xdefine %%base %1
 163     %rep %0/2
 164     %xdefine %%tmp m%2
 165     %rotate %0/2
 166     mova %%tmp, [%%base + %2*16]
 167     %rotate 1-%0/2
 168     %endrep
 169 %endmacro
 170
 171 %macro SPILL 2+ ; assume offsets are the same as reg numbers
 172     SPILL_SHUFFLE %1, %2, %2
 173 %endmacro
 174
 175 %macro UNSPILL 2+
 176     UNSPILL_SHUFFLE %1, %2, %2
 177 %endmacro
 178
 179 ;-----------------------------------------------------------------------------
 180 ; void sub8x8_dct8( int16_t dct[8][8], uint8_t *pix1, uint8_t *pix2 )
 181 ;-----------------------------------------------------------------------------
 182 cglobal sub8x8_dct8_mmx, 3,3
 183 global sub8x8_dct8_mmx.skip_prologue
 184 .skip_prologue:
 185     INIT_MMX
 186     call load_diff_4x8_mmx
 187     call dct8_mmx
 188     UNSPILL r0, 0
 189     TRANSPOSE4x4W 0,1,2,3,4
 190     SPILL r0, 0,1,2,3
 191     UNSPILL r0, 4,6
 192     TRANSPOSE4x4W 4,5,6,7,0
 193     SPILL r0, 4,5,6,7
 194     INIT_MMX
 195     add   r1, 4
 196     add   r2, 4
 197     add   r0, 8
 198     call load_diff_4x8_mmx
 199     sub   r1, 4
 200     sub   r2, 4
 201     call dct8_mmx
 202     sub   r0, 8
 203     UNSPILL r0+8, 4,6
 204     TRANSPOSE4x4W 4,5,6,7,0
 205     SPILL r0+8, 4,5,6,7
 206     UNSPILL r0+8, 0
 207     TRANSPOSE4x4W 0,1,2,3,5
 208     UNSPILL r0, 4,5,6,7
 209     SPILL_SHUFFLE r0, 0,1,2,3, 4,5,6,7
 210     movq  mm4, m6 ; depends on the permutation to not produce conflicts
 211     movq  mm0, m4
 212     movq  mm1, m5
 213     movq  mm2, mm4
 214     movq  mm3, m7
 215     INIT_MMX
 216     UNSPILL r0+8, 4,5,6,7
 217     add   r0, 8
 218     call dct8_mmx
 219     sub   r0, 8
 220     SPILL r0+8, 1,2,3,5,7
 221     INIT_MMX
 222     UNSPILL r0, 0,1,2,3,4,5,6,7
 223     call dct8_mmx
 224     SPILL r0, 1,2,3,5,7
 225     ret
 226
 227 INIT_MMX
 228 ALIGN 16
 229 idct8_mmx:
 230     IDCT8_1D 0,1,2,3,4,5,6,7,r1
 231     SAVE_MM_PERMUTATION idct8_mmx
 232     ret
 233
 234 %macro ADD_STORE_ROW 3
 235     movq  m1, [r0+%1*FDEC_STRIDE]
 236     punpckhbw m2, m1, m0
 237     punpcklbw m1, m0
 238     paddw m1, %2
 239     paddw m2, %3
 240     packuswb m1, m2
 241     movq  [r0+%1*FDEC_STRIDE], m1
 242 %endmacro
 243
 244 ;-----------------------------------------------------------------------------
 245 ; void add8x8_idct8( uint8_t *dst, int16_t dct[8][8] )
 246 ;-----------------------------------------------------------------------------
 247 cglobal add8x8_idct8_mmx, 2,2
 248 global add8x8_idct8_mmx.skip_prologue
 249 .skip_prologue:
 250     INIT_MMX
 251     add word [r1], 32
 252     UNSPILL r1, 1,2,3,5,6,7
 253     call idct8_mmx
 254     SPILL r1, 7
 255     TRANSPOSE4x4W 0,1,2,3,7
 256     SPILL r1, 0,1,2,3
 257     UNSPILL r1, 7
 258     TRANSPOSE4x4W 4,5,6,7,0
 259     SPILL r1, 4,5,6,7
 260     INIT_MMX
 261     UNSPILL r1+8, 1,2,3,5,6,7
 262     add r1, 8
 263     call idct8_mmx
 264     sub r1, 8
 265     SPILL r1+8, 7
 266     TRANSPOSE4x4W 0,1,2,3,7
 267     SPILL r1+8, 0,1,2,3
 268     UNSPILL r1+8, 7
 269     TRANSPOSE4x4W 4,5,6,7,0
 270     SPILL r1+8, 4,5,6,7
 271     INIT_MMX
 272     movq  m3, [r1+0x08]
 273     movq  m0, [r1+0x40]
 274     movq  [r1+0x40], m3
 275     movq  [r1+0x08], m0
 276     ; memory layout at this time:
 277     ; A0------ A1------
 278     ; B0------ F0------
 279     ; C0------ G0------
 280     ; D0------ H0------
 281     ; E0------ E1------
 282     ; B1------ F1------
 283     ; C1------ G1------
 284     ; D1------ H1------
 285     UNSPILL_SHUFFLE r1, 1,2,3, 5,6,7
 286     UNSPILL r1+8, 5,6,7
 287     add r1, 8
 288     call idct8_mmx
 289     sub r1, 8
 290     psraw m0, 6
 291     psraw m1, 6
 292     psraw m2, 6
 293     psraw m3, 6
 294     psraw m4, 6
 295     psraw m5, 6
 296     psraw m6, 6
 297     psraw m7, 6
 298     movq  [r1+0x08], m0 ; mm4
 299     movq  [r1+0x48], m4 ; mm5
 300     movq  [r1+0x58], m5 ; mm0
 301     movq  [r1+0x68], m6 ; mm2
 302     movq  [r1+0x78], m7 ; mm6
 303     movq  mm5, [r1+0x18]
 304     movq  mm6, [r1+0x28]
 305     movq  [r1+0x18], m1 ; mm1
 306     movq  [r1+0x28], m2 ; mm7
 307     movq  mm7, [r1+0x38]
 308     movq  [r1+0x38], m3 ; mm3
 309     movq  mm1, [r1+0x10]
 310     movq  mm2, [r1+0x20]
 311     movq  mm3, [r1+0x30]
 312     call idct8_mmx
 313     psraw m0, 6
 314     psraw m1, 6
 315     psraw m2, 6
 316     psraw m3, 6
 317     psraw m4, 6
 318     psraw m5, 6
 319     psraw m6, 6
 320     psraw m7, 6
 321     SPILL r1, 0,1,2
 322     pxor  m0, m0
 323     ADD_STORE_ROW 0, [r1+0x00], [r1+0x08]
 324     ADD_STORE_ROW 1, [r1+0x10], [r1+0x18]
 325     ADD_STORE_ROW 2, [r1+0x20], [r1+0x28]
 326     ADD_STORE_ROW 3, m3, [r1+0x38]
 327     ADD_STORE_ROW 4, m4, [r1+0x48]
 328     ADD_STORE_ROW 5, m5, [r1+0x58]
 329     ADD_STORE_ROW 6, m6, [r1+0x68]
 330     ADD_STORE_ROW 7, m7, [r1+0x78]
 331     ret
 332
 333 %macro DCT_SUB8 1
 334 cglobal sub8x8_dct_%1, 3,3
 335     add r2, 4*FDEC_STRIDE
 336 global sub8x8_dct_%1.skip_prologue
 337 .skip_prologue:
 338 %ifnidn %1, sse2
 339     mova m7, [hsub_mul]
 340 %endif
 341     LOAD_DIFF8x4 0, 1, 2, 3, 6, 7, r1, r2-4*FDEC_STRIDE
 342     SPILL r0, 1,2
 343     SWAP 2, 7
 344     LOAD_DIFF8x4 4, 5, 6, 7, 1, 2, r1, r2-4*FDEC_STRIDE
 345     UNSPILL r0, 1
 346     SPILL r0, 7
 347     SWAP 2, 7
 348     UNSPILL r0, 2
 349     DCT4_1D 0, 1, 2, 3, 7
 350     TRANSPOSE2x4x4W 0, 1, 2, 3, 7
 351     UNSPILL r0, 7
 352     SPILL r0, 2
 353     DCT4_1D 4, 5, 6, 7, 2
 354     TRANSPOSE2x4x4W 4, 5, 6, 7, 2
 355     UNSPILL r0, 2
 356     SPILL r0, 6
 357     DCT4_1D 0, 1, 2, 3, 6
 358     UNSPILL r0, 6
 359     STORE_DCT 0, 1, 2, 3, r0, 0
 360     DCT4_1D 4, 5, 6, 7, 3
 361     STORE_DCT 4, 5, 6, 7, r0, 64
 362     ret
 363
 364 ;-----------------------------------------------------------------------------
 365 ; void sub8x8_dct8( int16_t dct[8][8], uint8_t *pix1, uint8_t *pix2 )
 366 ;-----------------------------------------------------------------------------
 367 cglobal sub8x8_dct8_%1, 3,3
 368     add r2, 4*FDEC_STRIDE
 369 global sub8x8_dct8_%1.skip_prologue
 370 .skip_prologue:
 371 %ifidn %1, sse2
 372     LOAD_DIFF m0, m7, none, [r1+0*FENC_STRIDE], [r2-4*FDEC_STRIDE]
 373     LOAD_DIFF m1, m7, none, [r1+1*FENC_STRIDE], [r2-3*FDEC_STRIDE]
 374     LOAD_DIFF m2, m7, none, [r1+2*FENC_STRIDE], [r2-2*FDEC_STRIDE]
 375     LOAD_DIFF m3, m7, none, [r1+3*FENC_STRIDE], [r2-1*FDEC_STRIDE]
 376     LOAD_DIFF m4, m7, none, [r1+4*FENC_STRIDE], [r2+0*FDEC_STRIDE]
 377     LOAD_DIFF m5, m7, none, [r1+5*FENC_STRIDE], [r2+1*FDEC_STRIDE]
 378     SPILL r0, 0
 379     LOAD_DIFF m6, m7, none, [r1+6*FENC_STRIDE], [r2+2*FDEC_STRIDE]
 380     LOAD_DIFF m7, m0, none, [r1+7*FENC_STRIDE], [r2+3*FDEC_STRIDE]
 381     UNSPILL r0, 0
 382 %else
 383     mova m7, [hsub_mul]
 384     LOAD_DIFF8x4 0, 1, 2, 3, 4, 7, r1, r2-4*FDEC_STRIDE
 385     SPILL r0, 0,1
 386     SWAP 1, 7
 387     LOAD_DIFF8x4 4, 5, 6, 7, 0, 1, r1, r2-4*FDEC_STRIDE
 388     UNSPILL r0, 0,1
 389 %endif
 390     DCT8_1D 0,1,2,3,4,5,6,7,r0
 391     UNSPILL r0, 0,4
 392     TRANSPOSE8x8W 0,1,2,3,4,5,6,7,[r0+0x60],[r0+0x40],1
 393     UNSPILL r0, 4
 394     DCT8_1D 0,1,2,3,4,5,6,7,r0
 395     SPILL r0, 1,2,3,5,7
 396     ret
 397 %endmacro
 398
 399 INIT_XMM
 400 %define LOAD_DIFF8x4 LOAD_DIFF8x4_SSE2
 401 %define movdqa movaps
 402 %define punpcklqdq movlhps
 403 DCT_SUB8 sse2
 404 %undef movdqa
 405 %undef punpcklqdq
 406 %define LOAD_DIFF8x4 LOAD_DIFF8x4_SSSE3
 407 DCT_SUB8 ssse3
 408 INIT_AVX
 409 DCT_SUB8 avx
 410
 411 ;-----------------------------------------------------------------------------
 412 ; void add8x8_idct( uint8_t *pix, int16_t dct[4][4][4] )
 413 ;-----------------------------------------------------------------------------
 414 %macro ADD8x8 1
 415 cglobal add8x8_idct_%1, 2,2
 416     add r0, 4*FDEC_STRIDE
 417 global add8x8_idct_%1.skip_prologue
 418 .skip_prologue:
 419     UNSPILL_SHUFFLE r1, 0,2,1,3, 0,1,2,3
 420     SBUTTERFLY qdq, 0, 1, 4
 421     SBUTTERFLY qdq, 2, 3, 4
 422     UNSPILL_SHUFFLE r1, 4,6,5,7, 4,5,6,7
 423     SPILL r1, 0
 424     SBUTTERFLY qdq, 4, 5, 0
 425     SBUTTERFLY qdq, 6, 7, 0
 426     UNSPILL r1,0
 427     IDCT4_1D w,0,1,2,3,r1
 428     SPILL r1, 4
 429     TRANSPOSE2x4x4W 0,1,2,3,4
 430     UNSPILL r1, 4
 431     IDCT4_1D w,4,5,6,7,r1
 432     SPILL r1, 0
 433     TRANSPOSE2x4x4W 4,5,6,7,0
 434     UNSPILL r1, 0
 435     paddw m0, [pw_32]
 436     IDCT4_1D w,0,1,2,3,r1
 437     paddw m4, [pw_32]
 438     IDCT4_1D w,4,5,6,7,r1
 439     SPILL r1, 6,7
 440     pxor m7, m7
 441     DIFFx2 m0, m1, m6, m7, [r0-4*FDEC_STRIDE], [r0-3*FDEC_STRIDE]; m5
 442     DIFFx2 m2, m3, m6, m7, [r0-2*FDEC_STRIDE], [r0-1*FDEC_STRIDE]; m5
 443     UNSPILL_SHUFFLE r1, 0,2, 6,7
 444     DIFFx2 m4, m5, m6, m7, [r0+0*FDEC_STRIDE], [r0+1*FDEC_STRIDE]; m5
 445     DIFFx2 m0, m2, m6, m7, [r0+2*FDEC_STRIDE], [r0+3*FDEC_STRIDE]; m5
 446     STORE_IDCT m1, m3, m5, m2
 447     ret
 448 %endmacro ; ADD8x8
 449
 450 INIT_XMM
 451 ADD8x8 sse2
 452 INIT_AVX
 453 ADD8x8 avx
 454
 455 ;-----------------------------------------------------------------------------
 456 ; void add8x8_idct8( uint8_t *p_dst, int16_t dct[8][8] )
 457 ;-----------------------------------------------------------------------------
 458 %macro ADD8x8_IDCT8 1
 459 cglobal add8x8_idct8_%1, 2,2
 460     add r0, 4*FDEC_STRIDE
 461 global add8x8_idct8_%1.skip_prologue
 462 .skip_prologue:
 463     UNSPILL r1, 1,2,3,5,6,7
 464     IDCT8_1D   0,1,2,3,4,5,6,7,r1
 465     SPILL r1, 6
 466     TRANSPOSE8x8W 0,1,2,3,4,5,6,7,[r1+0x60],[r1+0x40],1
 467     paddw      m0, [pw_32]
 468     SPILL r1, 0
 469     IDCT8_1D   0,1,2,3,4,5,6,7,r1
 470     SPILL r1, 6,7
 471     pxor       m7, m7
 472     DIFFx2 m0, m1, m6, m7, [r0-4*FDEC_STRIDE], [r0-3*FDEC_STRIDE]; m5
 473     DIFFx2 m2, m3, m6, m7, [r0-2*FDEC_STRIDE], [r0-1*FDEC_STRIDE]; m5
 474     UNSPILL_SHUFFLE r1, 0,2, 6,7
 475     DIFFx2 m4, m5, m6, m7, [r0+0*FDEC_STRIDE], [r0+1*FDEC_STRIDE]; m5
 476     DIFFx2 m0, m2, m6, m7, [r0+2*FDEC_STRIDE], [r0+3*FDEC_STRIDE]; m5
 477     STORE_IDCT m1, m3, m5, m2
 478     ret
 479 %endmacro ; ADD8x8_IDCT8
 480
 481 INIT_XMM
 482 ADD8x8_IDCT8 sse2
 483 INIT_AVX
 484 ADD8x8_IDCT8 avx
 485 %endif ; !HIGH_BIT_DEPTH