git.sesse.net Git - ffmpeg/blob - libavcodec/x86/proresdsp.asm

   1 ;******************************************************************************
   2 ;* x86-SIMD-optimized IDCT for prores
   3 ;* this is identical to "simple" IDCT except for the clip range
   4 ;*
   5 ;* Copyright (c) 2011 Ronald S. Bultje <rsbultje@gmail.com>
   6 ;*
   7 ;* This file is part of Libav.
   8 ;*
   9 ;* Libav is free software; you can redistribute it and/or
  10 ;* modify it under the terms of the GNU Lesser General Public
  11 ;* License as published by the Free Software Foundation; either
  12 ;* version 2.1 of the License, or (at your option) any later version.
  13 ;*
  14 ;* Libav is distributed in the hope that it will be useful,
  15 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17 ;* Lesser General Public License for more details.
  18 ;*
  19 ;* You should have received a copy of the GNU Lesser General Public
  20 ;* License along with Libav; if not, write to the Free Software
  21 ;* 51, Inc., Foundation Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  22 ;******************************************************************************
  23
  24 %include "x86util.asm"
  25
  26 %define W1sh2 22725 ; W1 = 90901 = 22725<<2 + 1
  27 %define W2sh2 21407 ; W2 = 85627 = 21407<<2 - 1
  28 %define W3sh2 19265 ; W3 = 77062 = 19265<<2 + 2
  29 %define W4sh2 16384 ; W4 = 65535 = 16384<<2 - 1
  30 %define W5sh2 12873 ; W5 = 51491 = 12873<<2 - 1
  31 %define W6sh2  8867 ; W6 = 35468 =  8867<<2
  32 %define W7sh2  4520 ; W7 = 18081 =  4520<<2 + 1
  33
  34 %if ARCH_X86_64
  35
  36 SECTION_RODATA
  37
  38 w4_plus_w2: times 4 dw W4sh2, +W2sh2
  39 w4_min_w2:  times 4 dw W4sh2, -W2sh2
  40 w4_plus_w6: times 4 dw W4sh2, +W6sh2
  41 w4_min_w6:  times 4 dw W4sh2, -W6sh2
  42 w1_plus_w3: times 4 dw W1sh2, +W3sh2
  43 w3_min_w1:  times 4 dw W3sh2, -W1sh2
  44 w7_plus_w3: times 4 dw W7sh2, +W3sh2
  45 w3_min_w7:  times 4 dw W3sh2, -W7sh2
  46 w1_plus_w5: times 4 dw W1sh2, +W5sh2
  47 w5_min_w1:  times 4 dw W5sh2, -W1sh2
  48 w5_plus_w7: times 4 dw W5sh2, +W7sh2
  49 w7_min_w5:  times 4 dw W7sh2, -W5sh2
  50 row_round:  times 8 dw (1<<14)
  51
  52 cextern pw_4
  53 cextern pw_8
  54 cextern pw_512
  55 cextern pw_1019
  56
  57 section .text align=16
  58
  59 ; interleave data while maintaining source
  60 ; %1=type, %2=dstlo, %3=dsthi, %4=src, %5=interleave
  61 %macro SBUTTERFLY3 5
  62     punpckl%1   m%2, m%4, m%5
  63     punpckh%1   m%3, m%4, m%5
  64 %endmacro
  65
  66 ; %1/%2=src1/dst1, %3/%4=dst2, %5/%6=src2, %7=shift
  67 ; action: %3/%4 = %1/%2 - %5/%6; %1/%2 += %5/%6
  68 ;         %1/%2/%3/%4 >>= %7; dword -> word (in %1/%3)
  69 %macro SUMSUB_SHPK 7
  70     psubd       %3,  %1,  %5       ; { a0 - b0 }[0-3]
  71     psubd       %4,  %2,  %6       ; { a0 - b0 }[4-7]
  72     paddd       %1,  %5            ; { a0 + b0 }[0-3]
  73     paddd       %2,  %6            ; { a0 + b0 }[4-7]
  74     psrad       %1,  %7
  75     psrad       %2,  %7
  76     psrad       %3,  %7
  77     psrad       %4,  %7
  78     packssdw    %1,  %2            ; row[0]
  79     packssdw    %3,  %4            ; row[7]
  80 %endmacro
  81
  82 ; %1 = row or col (for rounding variable)
  83 ; %2 = number of bits to shift at the end
  84 %macro IDCT_1D 2
  85     ; a0 = (W4 * row[0]) + (1 << (15 - 1));
  86     ; a1 = a0;
  87     ; a2 = a0;
  88     ; a3 = a0;
  89     ; a0 += W2 * row[2];
  90     ; a1 += W6 * row[2];
  91     ; a2 -= W6 * row[2];
  92     ; a3 -= W2 * row[2];
  93 %ifidn %1, col
  94     paddw       m10,[pw_8]
  95 %endif
  96     SBUTTERFLY3 wd,  0,  1, 10,  8 ; { row[0], row[2] }[0-3]/[4-7]
  97 %ifidn %1, row
  98     psubw       m10,[row_round]
  99 %endif
 100     SIGNEXTEND  m8,  m9,  m14      ; { row[2] }[0-3] / [4-7]
 101     SIGNEXTEND  m10, m11, m14      ; { row[0] }[0-3] / [4-7]
 102     pmaddwd     m2,  m0, [w4_plus_w6]
 103     pmaddwd     m3,  m1, [w4_plus_w6]
 104     pmaddwd     m4,  m0, [w4_min_w6]
 105     pmaddwd     m5,  m1, [w4_min_w6]
 106     pmaddwd     m6,  m0, [w4_min_w2]
 107     pmaddwd     m7,  m1, [w4_min_w2]
 108     pmaddwd     m0, [w4_plus_w2]
 109     pmaddwd     m1, [w4_plus_w2]
 110     pslld       m2,  2
 111     pslld       m3,  2
 112     pslld       m4,  2
 113     pslld       m5,  2
 114     pslld       m6,  2
 115     pslld       m7,  2
 116     pslld       m0,  2
 117     pslld       m1,  2
 118
 119     ; a0: -1*row[0]-1*row[2]
 120     ; a1: -1*row[0]
 121     ; a2: -1*row[0]
 122     ; a3: -1*row[0]+1*row[2]
 123     psubd       m2,  m10           ; a1[0-3]
 124     psubd       m3,  m11           ; a1[4-7]
 125     psubd       m4,  m10           ; a2[0-3]
 126     psubd       m5,  m11           ; a2[4-7]
 127     psubd       m0,  m10
 128     psubd       m1,  m11
 129     psubd       m6,  m10
 130     psubd       m7,  m11
 131     psubd       m0,  m8            ; a0[0-3]
 132     psubd       m1,  m9            ; a0[4-7]
 133     paddd       m6,  m8            ; a3[0-3]
 134     paddd       m7,  m9            ; a3[4-7]
 135
 136     ; a0 +=   W4*row[4] + W6*row[6]; i.e. -1*row[4]
 137     ; a1 -=   W4*row[4] + W2*row[6]; i.e. -1*row[4]-1*row[6]
 138     ; a2 -=   W4*row[4] - W2*row[6]; i.e. -1*row[4]+1*row[6]
 139     ; a3 +=   W4*row[4] - W6*row[6]; i.e. -1*row[4]
 140     SBUTTERFLY3 wd,  8,  9, 13, 12 ; { row[4], row[6] }[0-3]/[4-7]
 141     SIGNEXTEND  m13, m14, m10      ; { row[4] }[0-3] / [4-7]
 142     pmaddwd     m10, m8, [w4_plus_w6]
 143     pmaddwd     m11, m9, [w4_plus_w6]
 144     pslld       m10, 2
 145     pslld       m11, 2
 146     psubd       m10,  m13
 147     psubd       m11,  m14
 148     paddd       m0,  m10            ; a0[0-3]
 149     paddd       m1,  m11            ; a0[4-7]
 150     pmaddwd     m10, m8, [w4_min_w6]
 151     pmaddwd     m11, m9, [w4_min_w6]
 152     pslld       m10, 2
 153     pslld       m11, 2
 154     psubd       m10, m13
 155     psubd       m11, m14
 156     paddd       m6,  m10           ; a3[0-3]
 157     paddd       m7,  m11           ; a3[4-7]
 158     pmaddwd     m10, m8, [w4_min_w2]
 159     pmaddwd     m11, m9, [w4_min_w2]
 160     pmaddwd     m8, [w4_plus_w2]
 161     pmaddwd     m9, [w4_plus_w2]
 162     pslld       m10, 2
 163     pslld       m11, 2
 164     pslld       m8,  2
 165     pslld       m9,  2
 166     psubd       m10, m13
 167     psubd       m11, m14
 168     psubd       m8,  m13
 169     psubd       m9,  m14
 170     psubd       m4,  m10           ; a2[0-3] intermediate
 171     psubd       m5,  m11           ; a2[4-7] intermediate
 172     psubd       m2,  m8            ; a1[0-3] intermediate
 173     psubd       m3,  m9            ; a1[4-7] intermediate
 174     SIGNEXTEND  m12, m13, m10      ; { row[6] }[0-3] / [4-7]
 175     psubd       m4,  m12           ; a2[0-3]
 176     psubd       m5,  m13           ; a2[4-7]
 177     paddd       m2,  m12           ; a1[0-3]
 178     paddd       m3,  m13           ; a1[4-7]
 179
 180     ; load/store
 181     mova   [r2+  0], m0
 182     mova   [r2+ 32], m2
 183     mova   [r2+ 64], m4
 184     mova   [r2+ 96], m6
 185     mova        m10,[r2+ 16]       ; { row[1] }[0-7]
 186     mova        m8, [r2+ 48]       ; { row[3] }[0-7]
 187     mova        m13,[r2+ 80]       ; { row[5] }[0-7]
 188     mova        m14,[r2+112]       ; { row[7] }[0-7]
 189     mova   [r2+ 16], m1
 190     mova   [r2+ 48], m3
 191     mova   [r2+ 80], m5
 192     mova   [r2+112], m7
 193 %ifidn %1, row
 194     pmullw      m10,[r3+ 16]
 195     pmullw      m8, [r3+ 48]
 196     pmullw      m13,[r3+ 80]
 197     pmullw      m14,[r3+112]
 198 %endif
 199
 200     ; b0 = MUL(W1, row[1]);
 201     ; MAC(b0, W3, row[3]);
 202     ; b1 = MUL(W3, row[1]);
 203     ; MAC(b1, -W7, row[3]);
 204     ; b2 = MUL(W5, row[1]);
 205     ; MAC(b2, -W1, row[3]);
 206     ; b3 = MUL(W7, row[1]);
 207     ; MAC(b3, -W5, row[3]);
 208     SBUTTERFLY3 wd,  0,  1, 10, 8  ; { row[1], row[3] }[0-3]/[4-7]
 209     SIGNEXTEND  m10, m11, m12      ; { row[1] }[0-3] / [4-7]
 210     SIGNEXTEND  m8,  m9,  m12      ; { row[3] }[0-3] / [4-7]
 211     pmaddwd     m2,  m0, [w3_min_w7]
 212     pmaddwd     m3,  m1, [w3_min_w7]
 213     pmaddwd     m4,  m0, [w5_min_w1]
 214     pmaddwd     m5,  m1, [w5_min_w1]
 215     pmaddwd     m6,  m0, [w7_min_w5]
 216     pmaddwd     m7,  m1, [w7_min_w5]
 217     pmaddwd     m0, [w1_plus_w3]
 218     pmaddwd     m1, [w1_plus_w3]
 219     pslld       m2,  2
 220     pslld       m3,  2
 221     pslld       m4,  2
 222     pslld       m5,  2
 223     pslld       m6,  2
 224     pslld       m7,  2
 225     pslld       m0,  2
 226     pslld       m1,  2
 227
 228     ; b0: +1*row[1]+2*row[3]
 229     ; b1: +2*row[1]-1*row[3]
 230     ; b2: -1*row[1]-1*row[3]
 231     ; b3: +1*row[1]+1*row[3]
 232     psubd       m2,  m8
 233     psubd       m3,  m9
 234     paddd       m0,  m8
 235     paddd       m1,  m9
 236     paddd       m8,  m10           ; { row[1] + row[3] }[0-3]
 237     paddd       m9,  m11           ; { row[1] + row[3] }[4-7]
 238     paddd       m10, m10
 239     paddd       m11, m11
 240     paddd       m0,  m8            ; b0[0-3]
 241     paddd       m1,  m9            ; b0[4-7]
 242     paddd       m2,  m10           ; b1[0-3]
 243     paddd       m3,  m11           ; b2[4-7]
 244     psubd       m4,  m8            ; b2[0-3]
 245     psubd       m5,  m9            ; b2[4-7]
 246     paddd       m6,  m8            ; b3[0-3]
 247     paddd       m7,  m9            ; b3[4-7]
 248
 249     ; MAC(b0,  W5, row[5]);
 250     ; MAC(b0,  W7, row[7]);
 251     ; MAC(b1, -W1, row[5]);
 252     ; MAC(b1, -W5, row[7]);
 253     ; MAC(b2,  W7, row[5]);
 254     ; MAC(b2,  W3, row[7]);
 255     ; MAC(b3,  W3, row[5]);
 256     ; MAC(b3, -W1, row[7]);
 257     SBUTTERFLY3 wd,  8,  9, 13, 14 ; { row[5], row[7] }[0-3]/[4-7]
 258     SIGNEXTEND  m13, m12, m11      ; { row[5] }[0-3] / [4-7]
 259     SIGNEXTEND  m14, m11, m10      ; { row[7] }[0-3] / [4-7]
 260
 261     ; b0: -1*row[5]+1*row[7]
 262     ; b1: -1*row[5]+1*row[7]
 263     ; b2: +1*row[5]+2*row[7]
 264     ; b3: +2*row[5]-1*row[7]
 265     paddd       m4,  m13
 266     paddd       m5,  m12
 267     paddd       m6,  m13
 268     paddd       m7,  m12
 269     psubd       m13, m14           ; { row[5] - row[7] }[0-3]
 270     psubd       m12, m11           ; { row[5] - row[7] }[4-7]
 271     paddd       m14, m14
 272     paddd       m11, m11
 273     psubd       m0,  m13
 274     psubd       m1,  m12
 275     psubd       m2,  m13
 276     psubd       m3,  m12
 277     paddd       m4,  m14
 278     paddd       m5,  m11
 279     paddd       m6,  m13
 280     paddd       m7,  m12
 281
 282     pmaddwd     m10, m8, [w1_plus_w5]
 283     pmaddwd     m11, m9, [w1_plus_w5]
 284     pmaddwd     m12, m8, [w5_plus_w7]
 285     pmaddwd     m13, m9, [w5_plus_w7]
 286     pslld       m10, 2
 287     pslld       m11, 2
 288     pslld       m12,  2
 289     pslld       m13,  2
 290     psubd       m2,  m10           ; b1[0-3]
 291     psubd       m3,  m11           ; b1[4-7]
 292     paddd       m0,  m12            ; b0[0-3]
 293     paddd       m1,  m13            ; b0[4-7]
 294     pmaddwd     m12, m8, [w7_plus_w3]
 295     pmaddwd     m13, m9, [w7_plus_w3]
 296     pmaddwd     m8, [w3_min_w1]
 297     pmaddwd     m9, [w3_min_w1]
 298     pslld       m12, 2
 299     pslld       m13, 2
 300     pslld       m8,  2
 301     pslld       m9,  2
 302     paddd       m4,  m12           ; b2[0-3]
 303     paddd       m5,  m13           ; b2[4-7]
 304     paddd       m6,  m8            ; b3[0-3]
 305     paddd       m7,  m9            ; b3[4-7]
 306
 307     ; row[0] = (a0 + b0) >> 15;
 308     ; row[7] = (a0 - b0) >> 15;
 309     ; row[1] = (a1 + b1) >> 15;
 310     ; row[6] = (a1 - b1) >> 15;
 311     ; row[2] = (a2 + b2) >> 15;
 312     ; row[5] = (a2 - b2) >> 15;
 313     ; row[3] = (a3 + b3) >> 15;
 314     ; row[4] = (a3 - b3) >> 15;
 315     mova        m8, [r2+ 0]        ; a0[0-3]
 316     mova        m9, [r2+16]        ; a0[4-7]
 317     SUMSUB_SHPK m8,  m9,  m10, m11, m0,  m1,  %2
 318     mova        m0, [r2+32]        ; a1[0-3]
 319     mova        m1, [r2+48]        ; a1[4-7]
 320     SUMSUB_SHPK m0,  m1,  m9,  m11, m2,  m3,  %2
 321     mova        m1, [r2+64]        ; a2[0-3]
 322     mova        m2, [r2+80]        ; a2[4-7]
 323     SUMSUB_SHPK m1,  m2,  m11, m3,  m4,  m5,  %2
 324     mova        m2, [r2+96]        ; a3[0-3]
 325     mova        m3, [r2+112]       ; a3[4-7]
 326     SUMSUB_SHPK m2,  m3,  m4,  m5,  m6,  m7,  %2
 327 %endmacro
 328
 329 ; void prores_idct_put_10_<opt>(uint8_t *pixels, int stride,
 330 ;                               DCTELEM *block, const int16_t *qmat);
 331 %macro idct_put_fn 1
 332 cglobal prores_idct_put_10, 4, 4, %1
 333     movsxd      r1,  r1d
 334     pxor        m15, m15           ; zero
 335
 336     ; for (i = 0; i < 8; i++)
 337     ;     idctRowCondDC(block + i*8);
 338     mova        m10,[r2+ 0]        ; { row[0] }[0-7]
 339     mova        m8, [r2+32]        ; { row[2] }[0-7]
 340     mova        m13,[r2+64]        ; { row[4] }[0-7]
 341     mova        m12,[r2+96]        ; { row[6] }[0-7]
 342
 343     pmullw      m10,[r3+ 0]
 344     pmullw      m8, [r3+32]
 345     pmullw      m13,[r3+64]
 346     pmullw      m12,[r3+96]
 347
 348     IDCT_1D     row, 17
 349
 350     ; transpose for second part of IDCT
 351     TRANSPOSE8x8W 8, 0, 1, 2, 4, 11, 9, 10, 3
 352     mova   [r2+ 16], m0
 353     mova   [r2+ 48], m2
 354     mova   [r2+ 80], m11
 355     mova   [r2+112], m10
 356     SWAP         8,  10
 357     SWAP         1,   8
 358     SWAP         4,  13
 359     SWAP         9,  12
 360
 361     ; for (i = 0; i < 8; i++)
 362     ;     idctSparseColAdd(dest + i, line_size, block + i);
 363     IDCT_1D     col, 20
 364
 365     ; clip/store
 366     mova        m6, [pw_512]
 367     mova        m3, [pw_4]
 368     mova        m5, [pw_1019]
 369     paddw       m8,  m6
 370     paddw       m0,  m6
 371     paddw       m1,  m6
 372     paddw       m2,  m6
 373     paddw       m4,  m6
 374     paddw       m11, m6
 375     paddw       m9,  m6
 376     paddw       m10, m6
 377     pmaxsw      m8,  m3
 378     pmaxsw      m0,  m3
 379     pmaxsw      m1,  m3
 380     pmaxsw      m2,  m3
 381     pmaxsw      m4,  m3
 382     pmaxsw      m11, m3
 383     pmaxsw      m9,  m3
 384     pmaxsw      m10, m3
 385     pminsw      m8,  m5
 386     pminsw      m0,  m5
 387     pminsw      m1,  m5
 388     pminsw      m2,  m5
 389     pminsw      m4,  m5
 390     pminsw      m11, m5
 391     pminsw      m9,  m5
 392     pminsw      m10, m5
 393
 394     lea         r2, [r1*3]
 395     mova  [r0     ], m8
 396     mova  [r0+r1  ], m0
 397     mova  [r0+r1*2], m1
 398     mova  [r0+r2  ], m2
 399     lea         r0, [r0+r1*4]
 400     mova  [r0     ], m4
 401     mova  [r0+r1  ], m11
 402     mova  [r0+r1*2], m9
 403     mova  [r0+r2  ], m10
 404     RET
 405 %endmacro
 406
 407 %macro SIGNEXTEND 2-3
 408 %if cpuflag(sse4) ; dstlow, dsthigh
 409     movhlps     %2,  %1
 410     pmovsxwd    %1,  %1
 411     pmovsxwd    %2,  %2
 412 %elif cpuflag(sse2) ; dstlow, dsthigh, tmp
 413     pxor        %3,  %3
 414     pcmpgtw     %3,  %1
 415     mova        %2,  %1
 416     punpcklwd   %1,  %3
 417     punpckhwd   %2,  %3
 418 %endif
 419 %endmacro
 420
 421 INIT_XMM sse2
 422 idct_put_fn 16
 423 INIT_XMM sse4
 424 idct_put_fn 16
 425 INIT_XMM avx
 426 idct_put_fn 16
 427
 428 %endif