git.sesse.net Git - x264/blob - common/x86/dct-32.asm

   1 ;*****************************************************************************
   2 ;* dct-32.asm: x86_32 transform and zigzag
   3 ;*****************************************************************************
   4 ;* Copyright (C) 2003-2011 x264 project
   5 ;*
   6 ;* Authors: Loren Merritt <lorenm@u.washington.edu>
   7 ;*          Holger Lubitz <holger@lubitz.org>
   8 ;*          Laurent Aimar <fenrir@via.ecp.fr>
   9 ;*          Min Chen <chenm001.163.com>
  10 ;*          Christian Heine <sennindemokrit@gmx.net>
  11 ;*
  12 ;* This program is free software; you can redistribute it and/or modify
  13 ;* it under the terms of the GNU General Public License as published by
  14 ;* the Free Software Foundation; either version 2 of the License, or
  15 ;* (at your option) any later version.
  16 ;*
  17 ;* This program is distributed in the hope that it will be useful,
  18 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  19 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  20 ;* GNU General Public License for more details.
  21 ;*
  22 ;* You should have received a copy of the GNU General Public License
  23 ;* along with this program; if not, write to the Free Software
  24 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  25 ;*
  26 ;* This program is also available under a commercial proprietary license.
  27 ;* For more information, contact us at licensing@x264.com.
  28 ;*****************************************************************************
  29
  30 %include "x86inc.asm"
  31 %include "x86util.asm"
  32
  33 SECTION .text
  34
  35 %ifndef HIGH_BIT_DEPTH
  36 cextern pw_32
  37 cextern hsub_mul
  38
  39 ; in: m0..m7
  40 ; out: 0,4,6 in mem, rest in regs
  41 %macro DCT8_1D 9
  42     SUMSUB_BA w, m%8, m%1    ; %8 = s07, %1 = d07
  43     SUMSUB_BA w, m%7, m%2    ; %7 = s16, %2 = d16
  44     SUMSUB_BA w, m%6, m%3    ; %6 = s25, %3 = d25
  45     SUMSUB_BA w, m%5, m%4    ; %5 = s34, %4 = d34
  46     SUMSUB_BA w, m%5, m%8    ; %5 = a0,  %8 = a2
  47     SUMSUB_BA w, m%6, m%7    ; %6 = a1,  %7 = a3
  48     SUMSUB_BA w, m%6, m%5    ; %6 = dst0, %5 = dst4
  49     mova    [%9+0x00], m%6
  50     mova    [%9+0x40], m%5
  51     mova    m%6, m%7         ; a3
  52     psraw   m%6, 1           ; a3>>1
  53     paddw   m%6, m%8         ; a2 + (a3>>1)
  54     psraw   m%8, 1           ; a2>>1
  55     psubw   m%8, m%7         ; (a2>>1) - a3
  56     mova    [%9+0x60], m%8
  57     mova    m%5, m%3
  58     psraw   m%5, 1
  59     paddw   m%5, m%3         ; d25+(d25>>1)
  60     mova    m%7, m%1
  61     psubw   m%7, m%4         ; a5 = d07-d34-(d25+(d25>>1))
  62     psubw   m%7, m%5
  63     mova    m%5, m%2
  64     psraw   m%5, 1
  65     paddw   m%5, m%2         ; d16+(d16>>1)
  66     mova    m%8, m%1
  67     paddw   m%8, m%4
  68     psubw   m%8, m%5         ; a6 = d07+d34-(d16+(d16>>1))
  69     mova    m%5, m%1
  70     psraw   m%5, 1
  71     paddw   m%5, m%1         ; d07+(d07>>1)
  72     paddw   m%5, m%2
  73     paddw   m%5, m%3         ; a4 = d16+d25+(d07+(d07>>1))
  74     mova    m%1, m%4
  75     psraw   m%1, 1
  76     paddw   m%1, m%4         ; d34+(d34>>1)
  77     paddw   m%1, m%2
  78     psubw   m%1, m%3         ; a7 = d16-d25+(d34+(d34>>1))
  79     mova    m%4, m%1
  80     psraw   m%4, 2
  81     paddw   m%4, m%5         ; a4 + (a7>>2)
  82     mova    m%3, m%8
  83     psraw   m%3, 2
  84     paddw   m%3, m%7         ; a5 + (a6>>2)
  85     psraw   m%5, 2
  86     psraw   m%7, 2
  87     psubw   m%5, m%1         ; (a4>>2) - a7
  88     psubw   m%8, m%7         ; a6 - (a5>>2)
  89     SWAP %2, %4, %3, %6, %8, %5
  90 %endmacro
  91
  92 ; in: 0,4 in mem, rest in regs
  93 ; out: m0..m7
  94 %macro IDCT8_1D 9
  95     mova      m%1, m%3
  96     mova      m%5, m%7
  97     psraw     m%3, 1
  98     psraw     m%7, 1
  99     psubw     m%3, m%5
 100     paddw     m%7, m%1
 101     mova      m%5, m%2
 102     psraw     m%5, 1
 103     paddw     m%5, m%2
 104     paddw     m%5, m%4
 105     paddw     m%5, m%6
 106     mova      m%1, m%6
 107     psraw     m%1, 1
 108     paddw     m%1, m%6
 109     paddw     m%1, m%8
 110     psubw     m%1, m%2
 111     psubw     m%2, m%4
 112     psubw     m%6, m%4
 113     paddw     m%2, m%8
 114     psubw     m%6, m%8
 115     psraw     m%4, 1
 116     psraw     m%8, 1
 117     psubw     m%2, m%4
 118     psubw     m%6, m%8
 119     mova      m%4, m%5
 120     mova      m%8, m%1
 121     psraw     m%4, 2
 122     psraw     m%8, 2
 123     paddw     m%4, m%6
 124     paddw     m%8, m%2
 125     psraw     m%6, 2
 126     psraw     m%2, 2
 127     psubw     m%5, m%6
 128     psubw     m%2, m%1
 129     mova      m%1, [%9+0x00]
 130     mova      m%6, [%9+0x40]
 131     SUMSUB_BA w, m%6, m%1
 132     SUMSUB_BA w, m%7, m%6
 133     SUMSUB_BA w, m%3, m%1
 134     SUMSUB_BA w, m%5, m%7
 135     SUMSUB_BA w, m%2, m%3
 136     SUMSUB_BA w, m%8, m%1
 137     SUMSUB_BA w, m%4, m%6
 138     SWAP %1, %5, %6
 139     SWAP %3, %8, %7
 140 %endmacro
 141
 142 INIT_MMX
 143 ALIGN 16
 144 load_diff_4x8_mmx:
 145     LOAD_DIFF m0, m7, none, [r1+0*FENC_STRIDE], [r2+0*FDEC_STRIDE]
 146     LOAD_DIFF m1, m7, none, [r1+1*FENC_STRIDE], [r2+1*FDEC_STRIDE]
 147     LOAD_DIFF m2, m7, none, [r1+2*FENC_STRIDE], [r2+2*FDEC_STRIDE]
 148     LOAD_DIFF m3, m7, none, [r1+3*FENC_STRIDE], [r2+3*FDEC_STRIDE]
 149     LOAD_DIFF m4, m7, none, [r1+4*FENC_STRIDE], [r2+4*FDEC_STRIDE]
 150     LOAD_DIFF m5, m7, none, [r1+5*FENC_STRIDE], [r2+5*FDEC_STRIDE]
 151     movq  [r0], m0
 152     LOAD_DIFF m6, m7, none, [r1+6*FENC_STRIDE], [r2+6*FDEC_STRIDE]
 153     LOAD_DIFF m7, m0, none, [r1+7*FENC_STRIDE], [r2+7*FDEC_STRIDE]
 154     movq  m0, [r0]
 155     ret
 156
 157 INIT_MMX
 158 ALIGN 16
 159 dct8_mmx:
 160     DCT8_1D 0,1,2,3,4,5,6,7,r0
 161     SAVE_MM_PERMUTATION dct8_mmx
 162     ret
 163
 164 %macro SPILL_SHUFFLE 3-* ; ptr, list of regs, list of memory offsets
 165     %xdefine %%base %1
 166     %rep %0/2
 167     %xdefine %%tmp m%2
 168     %rotate %0/2
 169     mova [%%base + %2*16], %%tmp
 170     %rotate 1-%0/2
 171     %endrep
 172 %endmacro
 173
 174 %macro UNSPILL_SHUFFLE 3-*
 175     %xdefine %%base %1
 176     %rep %0/2
 177     %xdefine %%tmp m%2
 178     %rotate %0/2
 179     mova %%tmp, [%%base + %2*16]
 180     %rotate 1-%0/2
 181     %endrep
 182 %endmacro
 183
 184 %macro SPILL 2+ ; assume offsets are the same as reg numbers
 185     SPILL_SHUFFLE %1, %2, %2
 186 %endmacro
 187
 188 %macro UNSPILL 2+
 189     UNSPILL_SHUFFLE %1, %2, %2
 190 %endmacro
 191
 192 ;-----------------------------------------------------------------------------
 193 ; void sub8x8_dct8( int16_t dct[8][8], uint8_t *pix1, uint8_t *pix2 )
 194 ;-----------------------------------------------------------------------------
 195 cglobal sub8x8_dct8_mmx, 3,3
 196 global sub8x8_dct8_mmx.skip_prologue
 197 .skip_prologue:
 198     INIT_MMX
 199     call load_diff_4x8_mmx
 200     call dct8_mmx
 201     UNSPILL r0, 0
 202     TRANSPOSE4x4W 0,1,2,3,4
 203     SPILL r0, 0,1,2,3
 204     UNSPILL r0, 4,6
 205     TRANSPOSE4x4W 4,5,6,7,0
 206     SPILL r0, 4,5,6,7
 207     INIT_MMX
 208     add   r1, 4
 209     add   r2, 4
 210     add   r0, 8
 211     call load_diff_4x8_mmx
 212     sub   r1, 4
 213     sub   r2, 4
 214     call dct8_mmx
 215     sub   r0, 8
 216     UNSPILL r0+8, 4,6
 217     TRANSPOSE4x4W 4,5,6,7,0
 218     SPILL r0+8, 4,5,6,7
 219     UNSPILL r0+8, 0
 220     TRANSPOSE4x4W 0,1,2,3,5
 221     UNSPILL r0, 4,5,6,7
 222     SPILL_SHUFFLE r0, 0,1,2,3, 4,5,6,7
 223     movq  mm4, m6 ; depends on the permutation to not produce conflicts
 224     movq  mm0, m4
 225     movq  mm1, m5
 226     movq  mm2, mm4
 227     movq  mm3, m7
 228     INIT_MMX
 229     UNSPILL r0+8, 4,5,6,7
 230     add   r0, 8
 231     call dct8_mmx
 232     sub   r0, 8
 233     SPILL r0+8, 1,2,3,5,7
 234     INIT_MMX
 235     UNSPILL r0, 0,1,2,3,4,5,6,7
 236     call dct8_mmx
 237     SPILL r0, 1,2,3,5,7
 238     ret
 239
 240 INIT_MMX
 241 ALIGN 16
 242 idct8_mmx:
 243     IDCT8_1D 0,1,2,3,4,5,6,7,r1
 244     SAVE_MM_PERMUTATION idct8_mmx
 245     ret
 246
 247 %macro ADD_STORE_ROW 3
 248     movq  m1, [r0+%1*FDEC_STRIDE]
 249     movq  m2, m1
 250     punpcklbw m1, m0
 251     punpckhbw m2, m0
 252     paddw m1, %2
 253     paddw m2, %3
 254     packuswb m1, m2
 255     movq  [r0+%1*FDEC_STRIDE], m1
 256 %endmacro
 257
 258 ;-----------------------------------------------------------------------------
 259 ; void add8x8_idct8( uint8_t *dst, int16_t dct[8][8] )
 260 ;-----------------------------------------------------------------------------
 261 cglobal add8x8_idct8_mmx, 2,2
 262 global add8x8_idct8_mmx.skip_prologue
 263 .skip_prologue:
 264     INIT_MMX
 265     add word [r1], 32
 266     UNSPILL r1, 1,2,3,5,6,7
 267     call idct8_mmx
 268     SPILL r1, 7
 269     TRANSPOSE4x4W 0,1,2,3,7
 270     SPILL r1, 0,1,2,3
 271     UNSPILL r1, 7
 272     TRANSPOSE4x4W 4,5,6,7,0
 273     SPILL r1, 4,5,6,7
 274     INIT_MMX
 275     UNSPILL r1+8, 1,2,3,5,6,7
 276     add r1, 8
 277     call idct8_mmx
 278     sub r1, 8
 279     SPILL r1+8, 7
 280     TRANSPOSE4x4W 0,1,2,3,7
 281     SPILL r1+8, 0,1,2,3
 282     UNSPILL r1+8, 7
 283     TRANSPOSE4x4W 4,5,6,7,0
 284     SPILL r1+8, 4,5,6,7
 285     INIT_MMX
 286     movq  m3, [r1+0x08]
 287     movq  m0, [r1+0x40]
 288     movq  [r1+0x40], m3
 289     movq  [r1+0x08], m0
 290     ; memory layout at this time:
 291     ; A0------ A1------
 292     ; B0------ F0------
 293     ; C0------ G0------
 294     ; D0------ H0------
 295     ; E0------ E1------
 296     ; B1------ F1------
 297     ; C1------ G1------
 298     ; D1------ H1------
 299     UNSPILL_SHUFFLE r1, 1,2,3, 5,6,7
 300     UNSPILL r1+8, 5,6,7
 301     add r1, 8
 302     call idct8_mmx
 303     sub r1, 8
 304     psraw m0, 6
 305     psraw m1, 6
 306     psraw m2, 6
 307     psraw m3, 6
 308     psraw m4, 6
 309     psraw m5, 6
 310     psraw m6, 6
 311     psraw m7, 6
 312     movq  [r1+0x08], m0 ; mm4
 313     movq  [r1+0x48], m4 ; mm5
 314     movq  [r1+0x58], m5 ; mm0
 315     movq  [r1+0x68], m6 ; mm2
 316     movq  [r1+0x78], m7 ; mm6
 317     movq  mm5, [r1+0x18]
 318     movq  mm6, [r1+0x28]
 319     movq  [r1+0x18], m1 ; mm1
 320     movq  [r1+0x28], m2 ; mm7
 321     movq  mm7, [r1+0x38]
 322     movq  [r1+0x38], m3 ; mm3
 323     movq  mm1, [r1+0x10]
 324     movq  mm2, [r1+0x20]
 325     movq  mm3, [r1+0x30]
 326     call idct8_mmx
 327     psraw m0, 6
 328     psraw m1, 6
 329     psraw m2, 6
 330     psraw m3, 6
 331     psraw m4, 6
 332     psraw m5, 6
 333     psraw m6, 6
 334     psraw m7, 6
 335     SPILL r1, 0,1,2
 336     pxor  m0, m0
 337     ADD_STORE_ROW 0, [r1+0x00], [r1+0x08]
 338     ADD_STORE_ROW 1, [r1+0x10], [r1+0x18]
 339     ADD_STORE_ROW 2, [r1+0x20], [r1+0x28]
 340     ADD_STORE_ROW 3, m3, [r1+0x38]
 341     ADD_STORE_ROW 4, m4, [r1+0x48]
 342     ADD_STORE_ROW 5, m5, [r1+0x58]
 343     ADD_STORE_ROW 6, m6, [r1+0x68]
 344     ADD_STORE_ROW 7, m7, [r1+0x78]
 345     ret
 346
 347 INIT_XMM
 348 %macro DCT_SUB8 1
 349 cglobal sub8x8_dct_%1, 3,3
 350     add r2, 4*FDEC_STRIDE
 351 global sub8x8_dct_%1.skip_prologue
 352 .skip_prologue:
 353 %ifnidn %1, sse2
 354     mova m7, [hsub_mul]
 355 %endif
 356     LOAD_DIFF8x4 0, 1, 2, 3, 6, 7, r1, r2-4*FDEC_STRIDE
 357     SPILL r0, 1,2
 358     SWAP 2, 7
 359     LOAD_DIFF8x4 4, 5, 6, 7, 1, 2, r1, r2-4*FDEC_STRIDE
 360     UNSPILL r0, 1
 361     SPILL r0, 7
 362     SWAP 2, 7
 363     UNSPILL r0, 2
 364     DCT4_1D 0, 1, 2, 3, 7
 365     TRANSPOSE2x4x4W 0, 1, 2, 3, 7
 366     UNSPILL r0, 7
 367     SPILL r0, 2
 368     DCT4_1D 4, 5, 6, 7, 2
 369     TRANSPOSE2x4x4W 4, 5, 6, 7, 2
 370     UNSPILL r0, 2
 371     SPILL r0, 6
 372     DCT4_1D 0, 1, 2, 3, 6
 373     UNSPILL r0, 6
 374     STORE_DCT 0, 1, 2, 3, r0, 0
 375     DCT4_1D 4, 5, 6, 7, 3
 376     STORE_DCT 4, 5, 6, 7, r0, 64
 377     ret
 378
 379 ;-----------------------------------------------------------------------------
 380 ; void sub8x8_dct8( int16_t dct[8][8], uint8_t *pix1, uint8_t *pix2 )
 381 ;-----------------------------------------------------------------------------
 382 cglobal sub8x8_dct8_%1, 3,3
 383     add r2, 4*FDEC_STRIDE
 384 global sub8x8_dct8_%1.skip_prologue
 385 .skip_prologue:
 386 %ifidn %1, sse2
 387     LOAD_DIFF m0, m7, none, [r1+0*FENC_STRIDE], [r2-4*FDEC_STRIDE]
 388     LOAD_DIFF m1, m7, none, [r1+1*FENC_STRIDE], [r2-3*FDEC_STRIDE]
 389     LOAD_DIFF m2, m7, none, [r1+2*FENC_STRIDE], [r2-2*FDEC_STRIDE]
 390     LOAD_DIFF m3, m7, none, [r1+3*FENC_STRIDE], [r2-1*FDEC_STRIDE]
 391     LOAD_DIFF m4, m7, none, [r1+4*FENC_STRIDE], [r2+0*FDEC_STRIDE]
 392     LOAD_DIFF m5, m7, none, [r1+5*FENC_STRIDE], [r2+1*FDEC_STRIDE]
 393     SPILL r0, 0
 394     LOAD_DIFF m6, m7, none, [r1+6*FENC_STRIDE], [r2+2*FDEC_STRIDE]
 395     LOAD_DIFF m7, m0, none, [r1+7*FENC_STRIDE], [r2+3*FDEC_STRIDE]
 396     UNSPILL r0, 0
 397 %else
 398     mova m7, [hsub_mul]
 399     LOAD_DIFF8x4 0, 1, 2, 3, 4, 7, r1, r2-4*FDEC_STRIDE
 400     SPILL r0, 0,1
 401     SWAP 1, 7
 402     LOAD_DIFF8x4 4, 5, 6, 7, 0, 1, r1, r2-4*FDEC_STRIDE
 403     UNSPILL r0, 0,1
 404 %endif
 405     DCT8_1D 0,1,2,3,4,5,6,7,r0
 406     UNSPILL r0, 0,4
 407     TRANSPOSE8x8W 0,1,2,3,4,5,6,7,[r0+0x60],[r0+0x40],1
 408     UNSPILL r0, 4
 409     DCT8_1D 0,1,2,3,4,5,6,7,r0
 410     SPILL r0, 1,2,3,5,7
 411     ret
 412 %endmacro
 413
 414 %define LOAD_DIFF8x4 LOAD_DIFF8x4_SSE2
 415 %define movdqa movaps
 416 %define punpcklqdq movlhps
 417 DCT_SUB8 sse2
 418 %undef movdqa
 419 %undef punpcklqdq
 420 %define LOAD_DIFF8x4 LOAD_DIFF8x4_SSSE3
 421 DCT_SUB8 ssse3
 422
 423 ;-----------------------------------------------------------------------------
 424 ; void add8x8_idct( uint8_t *pix, int16_t dct[4][4][4] )
 425 ;-----------------------------------------------------------------------------
 426 cglobal add8x8_idct_sse2, 2,2
 427     add r0, 4*FDEC_STRIDE
 428 global add8x8_idct_sse2.skip_prologue
 429 .skip_prologue:
 430     UNSPILL_SHUFFLE r1, 0,2,1,3, 0,1,2,3
 431     SBUTTERFLY qdq, 0, 1, 4
 432     SBUTTERFLY qdq, 2, 3, 4
 433     UNSPILL_SHUFFLE r1, 4,6,5,7, 4,5,6,7
 434     SPILL r1, 0
 435     SBUTTERFLY qdq, 4, 5, 0
 436     SBUTTERFLY qdq, 6, 7, 0
 437     UNSPILL r1,0
 438     IDCT4_1D w,0,1,2,3,r1
 439     SPILL r1, 4
 440     TRANSPOSE2x4x4W 0,1,2,3,4
 441     UNSPILL r1, 4
 442     IDCT4_1D w,4,5,6,7,r1
 443     SPILL r1, 0
 444     TRANSPOSE2x4x4W 4,5,6,7,0
 445     UNSPILL r1, 0
 446     paddw m0, [pw_32]
 447     IDCT4_1D w,0,1,2,3,r1
 448     paddw m4, [pw_32]
 449     IDCT4_1D w,4,5,6,7,r1
 450     SPILL r1, 6,7
 451     pxor m7, m7
 452     DIFFx2 m0, m1, m6, m7, [r0-4*FDEC_STRIDE], [r0-3*FDEC_STRIDE]; m5
 453     DIFFx2 m2, m3, m6, m7, [r0-2*FDEC_STRIDE], [r0-1*FDEC_STRIDE]; m5
 454     UNSPILL_SHUFFLE r1, 0,2, 6,7
 455     DIFFx2 m4, m5, m6, m7, [r0+0*FDEC_STRIDE], [r0+1*FDEC_STRIDE]; m5
 456     DIFFx2 m0, m2, m6, m7, [r0+2*FDEC_STRIDE], [r0+3*FDEC_STRIDE]; m5
 457     STORE_IDCT m1, m3, m5, m2
 458     ret
 459
 460 ;-----------------------------------------------------------------------------
 461 ; void add8x8_idct8( uint8_t *p_dst, int16_t dct[8][8] )
 462 ;-----------------------------------------------------------------------------
 463 cglobal add8x8_idct8_sse2, 2,2
 464     add r0, 4*FDEC_STRIDE
 465 global add8x8_idct8_sse2.skip_prologue
 466 .skip_prologue:
 467     UNSPILL r1, 1,2,3,5,6,7
 468     IDCT8_1D   0,1,2,3,4,5,6,7,r1
 469     SPILL r1, 6
 470     TRANSPOSE8x8W 0,1,2,3,4,5,6,7,[r1+0x60],[r1+0x40],1
 471     paddw      m0, [pw_32]
 472     SPILL r1, 0
 473     IDCT8_1D   0,1,2,3,4,5,6,7,r1
 474     SPILL r1, 6,7
 475     pxor       m7, m7
 476     DIFFx2 m0, m1, m6, m7, [r0-4*FDEC_STRIDE], [r0-3*FDEC_STRIDE]; m5
 477     DIFFx2 m2, m3, m6, m7, [r0-2*FDEC_STRIDE], [r0-1*FDEC_STRIDE]; m5
 478     UNSPILL_SHUFFLE r1, 0,2, 6,7
 479     DIFFx2 m4, m5, m6, m7, [r0+0*FDEC_STRIDE], [r0+1*FDEC_STRIDE]; m5
 480     DIFFx2 m0, m2, m6, m7, [r0+2*FDEC_STRIDE], [r0+3*FDEC_STRIDE]; m5
 481     STORE_IDCT m1, m3, m5, m2
 482     ret
 483 %endif ; !HIGH_BIT_DEPTH