git.sesse.net Git - ffmpeg/blob - libavcodec/x86/proresdsp.asm

   1 ;******************************************************************************
   2 ;* x86-SIMD-optimized IDCT for prores
   3 ;* this is identical to "simple" IDCT except for the clip range
   4 ;*
   5 ;* Copyright (c) 2011 Ronald S. Bultje <rsbultje@gmail.com>
   6 ;*
   7 ;* This file is part of Libav.
   8 ;*
   9 ;* Libav is free software; you can redistribute it and/or
  10 ;* modify it under the terms of the GNU Lesser General Public
  11 ;* License as published by the Free Software Foundation; either
  12 ;* version 2.1 of the License, or (at your option) any later version.
  13 ;*
  14 ;* Libav is distributed in the hope that it will be useful,
  15 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17 ;* Lesser General Public License for more details.
  18 ;*
  19 ;* You should have received a copy of the GNU Lesser General Public
  20 ;* License along with Libav; if not, write to the Free Software
  21 ;* 51, Inc., Foundation Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  22 ;******************************************************************************
  23
  24 %include "x86inc.asm"
  25 %include "x86util.asm"
  26
  27 %define W1sh2 22725 ; W1 = 90901 = 22725<<2 + 1
  28 %define W2sh2 21407 ; W2 = 85627 = 21407<<2 - 1
  29 %define W3sh2 19265 ; W3 = 77062 = 19265<<2 + 2
  30 %define W4sh2 16384 ; W4 = 65535 = 16384<<2 - 1
  31 %define W5sh2 12873 ; W5 = 51491 = 12873<<2 - 1
  32 %define W6sh2  8867 ; W6 = 35468 =  8867<<2
  33 %define W7sh2  4520 ; W7 = 18081 =  4520<<2 + 1
  34
  35 %ifdef ARCH_X86_64
  36
  37 SECTION_RODATA
  38
  39 w4_plus_w2: times 4 dw W4sh2, +W2sh2
  40 w4_min_w2:  times 4 dw W4sh2, -W2sh2
  41 w4_plus_w6: times 4 dw W4sh2, +W6sh2
  42 w4_min_w6:  times 4 dw W4sh2, -W6sh2
  43 w1_plus_w3: times 4 dw W1sh2, +W3sh2
  44 w3_min_w1:  times 4 dw W3sh2, -W1sh2
  45 w7_plus_w3: times 4 dw W7sh2, +W3sh2
  46 w3_min_w7:  times 4 dw W3sh2, -W7sh2
  47 w1_plus_w5: times 4 dw W1sh2, +W5sh2
  48 w5_min_w1:  times 4 dw W5sh2, -W1sh2
  49 w5_plus_w7: times 4 dw W5sh2, +W7sh2
  50 w7_min_w5:  times 4 dw W7sh2, -W5sh2
  51 row_round:  times 8 dw (1<<14)
  52
  53 cextern pw_4
  54 cextern pw_8
  55 cextern pw_512
  56 cextern pw_1019
  57
  58 section .text align=16
  59
  60 ; interleave data while maintaining source
  61 ; %1=type, %2=dstlo, %3=dsthi, %4=src, %5=interleave
  62 %macro SBUTTERFLY3 5
  63     punpckl%1   m%2, m%4, m%5
  64     punpckh%1   m%3, m%4, m%5
  65 %endmacro
  66
  67 ; %1/%2=src1/dst1, %3/%4=dst2, %5/%6=src2, %7=shift
  68 ; action: %3/%4 = %1/%2 - %5/%6; %1/%2 += %5/%6
  69 ;         %1/%2/%3/%4 >>= %7; dword -> word (in %1/%3)
  70 %macro SUMSUB_SHPK 7
  71     psubd       %3,  %1,  %5       ; { a0 - b0 }[0-3]
  72     psubd       %4,  %2,  %6       ; { a0 - b0 }[4-7]
  73     paddd       %1,  %5            ; { a0 + b0 }[0-3]
  74     paddd       %2,  %6            ; { a0 + b0 }[4-7]
  75     psrad       %1,  %7
  76     psrad       %2,  %7
  77     psrad       %3,  %7
  78     psrad       %4,  %7
  79     packssdw    %1,  %2            ; row[0]
  80     packssdw    %3,  %4            ; row[7]
  81 %endmacro
  82
  83 ; %1 = row or col (for rounding variable)
  84 ; %2 = number of bits to shift at the end
  85 ; %3 = optimization
  86 %macro IDCT_1D 3
  87     ; a0 = (W4 * row[0]) + (1 << (15 - 1));
  88     ; a1 = a0;
  89     ; a2 = a0;
  90     ; a3 = a0;
  91     ; a0 += W2 * row[2];
  92     ; a1 += W6 * row[2];
  93     ; a2 -= W6 * row[2];
  94     ; a3 -= W2 * row[2];
  95 %ifidn %1, col
  96     paddw       m10,[pw_8]
  97 %endif
  98     SBUTTERFLY3 wd,  0,  1, 10,  8 ; { row[0], row[2] }[0-3]/[4-7]
  99 %ifidn %1, row
 100     psubw       m10,[row_round]
 101 %endif
 102     SIGNEXTEND  m8,  m9,  m14      ; { row[2] }[0-3] / [4-7]
 103     SIGNEXTEND  m10, m11, m14      ; { row[0] }[0-3] / [4-7]
 104     pmaddwd     m2,  m0, [w4_plus_w6]
 105     pmaddwd     m3,  m1, [w4_plus_w6]
 106     pmaddwd     m4,  m0, [w4_min_w6]
 107     pmaddwd     m5,  m1, [w4_min_w6]
 108     pmaddwd     m6,  m0, [w4_min_w2]
 109     pmaddwd     m7,  m1, [w4_min_w2]
 110     pmaddwd     m0, [w4_plus_w2]
 111     pmaddwd     m1, [w4_plus_w2]
 112
 113     ; a0: -1*row[0]-1*row[2]
 114     ; a1: -1*row[0]
 115     ; a2: -1*row[0]
 116     ; a3: -1*row[0]+1*row[2]
 117     psubd       m2,  m10           ; a1[0-3]
 118     psubd       m3,  m11           ; a1[4-7]
 119     psubd       m4,  m10           ; a2[0-3]
 120     psubd       m5,  m11           ; a2[4-7]
 121     psubd       m0,  m10
 122     psubd       m1,  m11
 123     psubd       m6,  m10
 124     psubd       m7,  m11
 125     psubd       m0,  m8            ; a0[0-3]
 126     psubd       m1,  m9            ; a0[4-7]
 127     paddd       m6,  m8            ; a3[0-3]
 128     paddd       m7,  m9            ; a3[4-7]
 129
 130     ; a0 +=   W4*row[4] + W6*row[6]; i.e. -1*row[4]
 131     ; a1 -=   W4*row[4] + W2*row[6]; i.e. -1*row[4]-1*row[6]
 132     ; a2 -=   W4*row[4] - W2*row[6]; i.e. -1*row[4]+1*row[6]
 133     ; a3 +=   W4*row[4] - W6*row[6]; i.e. -1*row[4]
 134     SBUTTERFLY3 wd,  8,  9, 13, 12 ; { row[4], row[6] }[0-3]/[4-7]
 135     SIGNEXTEND  m13, m14, m10      ; { row[4] }[0-3] / [4-7]
 136     pmaddwd     m10, m8, [w4_plus_w6]
 137     pmaddwd     m11, m9, [w4_plus_w6]
 138     psubd       m10,  m13
 139     psubd       m11,  m14
 140     paddd       m0,  m10            ; a0[0-3]
 141     paddd       m1,  m11            ; a0[4-7]
 142     pmaddwd     m10, m8, [w4_min_w6]
 143     pmaddwd     m11, m9, [w4_min_w6]
 144     psubd       m10, m13
 145     psubd       m11, m14
 146     paddd       m6,  m10           ; a3[0-3]
 147     paddd       m7,  m11           ; a3[4-7]
 148     pmaddwd     m10, m8, [w4_min_w2]
 149     pmaddwd     m11, m9, [w4_min_w2]
 150     pmaddwd     m8, [w4_plus_w2]
 151     pmaddwd     m9, [w4_plus_w2]
 152     psubd       m10, m13
 153     psubd       m11, m14
 154     psubd       m8,  m13
 155     psubd       m9,  m14
 156     psubd       m4,  m10           ; a2[0-3] intermediate
 157     psubd       m5,  m11           ; a2[4-7] intermediate
 158     psubd       m2,  m8            ; a1[0-3] intermediate
 159     psubd       m3,  m9            ; a1[4-7] intermediate
 160     SIGNEXTEND  m12, m13, m10      ; { row[6] }[0-3] / [4-7]
 161     psubd       m4,  m12           ; a2[0-3]
 162     psubd       m5,  m13           ; a2[4-7]
 163     paddd       m2,  m12           ; a1[0-3]
 164     paddd       m3,  m13           ; a1[4-7]
 165
 166     ; load/store
 167     mova   [r2+  0], m0
 168     mova   [r2+ 32], m2
 169     mova   [r2+ 64], m4
 170     mova   [r2+ 96], m6
 171     mova        m10,[r2+ 16]       ; { row[1] }[0-7]
 172     mova        m8, [r2+ 48]       ; { row[3] }[0-7]
 173     mova        m13,[r2+ 80]       ; { row[5] }[0-7]
 174     mova        m14,[r2+112]       ; { row[7] }[0-7]
 175     mova   [r2+ 16], m1
 176     mova   [r2+ 48], m3
 177     mova   [r2+ 80], m5
 178     mova   [r2+112], m7
 179 %ifidn %1, row
 180     pmullw      m10,[r3+ 16]
 181     pmullw      m8, [r3+ 48]
 182     pmullw      m13,[r3+ 80]
 183     pmullw      m14,[r3+112]
 184 %endif
 185
 186     ; b0 = MUL(W1, row[1]);
 187     ; MAC(b0, W3, row[3]);
 188     ; b1 = MUL(W3, row[1]);
 189     ; MAC(b1, -W7, row[3]);
 190     ; b2 = MUL(W5, row[1]);
 191     ; MAC(b2, -W1, row[3]);
 192     ; b3 = MUL(W7, row[1]);
 193     ; MAC(b3, -W5, row[3]);
 194     SBUTTERFLY3 wd,  0,  1, 10, 8  ; { row[1], row[3] }[0-3]/[4-7]
 195     SIGNEXTEND  m10, m11, m12      ; { row[1] }[0-3] / [4-7]
 196     SIGNEXTEND  m8,  m9,  m12      ; { row[3] }[0-3] / [4-7]
 197     pmaddwd     m2,  m0, [w3_min_w7]
 198     pmaddwd     m3,  m1, [w3_min_w7]
 199     pmaddwd     m4,  m0, [w5_min_w1]
 200     pmaddwd     m5,  m1, [w5_min_w1]
 201     pmaddwd     m6,  m0, [w7_min_w5]
 202     pmaddwd     m7,  m1, [w7_min_w5]
 203     pmaddwd     m0, [w1_plus_w3]
 204     pmaddwd     m1, [w1_plus_w3]
 205
 206     ; b0: +1*row[1]+2*row[3]
 207     ; b1: +2*row[1]-1*row[3]
 208     ; b2: -1*row[1]-1*row[3]
 209     ; b3: +1*row[1]+1*row[3]
 210     psubd       m2,  m8
 211     psubd       m3,  m9
 212     paddd       m0,  m8
 213     paddd       m1,  m9
 214     paddd       m8,  m10           ; { row[1] + row[3] }[0-3]
 215     paddd       m9,  m11           ; { row[1] + row[3] }[4-7]
 216     paddd       m10, m10
 217     paddd       m11, m11
 218     paddd       m0,  m8            ; b0[0-3]
 219     paddd       m1,  m9            ; b0[4-7]
 220     paddd       m2,  m10           ; b1[0-3]
 221     paddd       m3,  m11           ; b2[4-7]
 222     psubd       m4,  m8            ; b2[0-3]
 223     psubd       m5,  m9            ; b2[4-7]
 224     paddd       m6,  m8            ; b3[0-3]
 225     paddd       m7,  m9            ; b3[4-7]
 226
 227     ; MAC(b0,  W5, row[5]);
 228     ; MAC(b0,  W7, row[7]);
 229     ; MAC(b1, -W1, row[5]);
 230     ; MAC(b1, -W5, row[7]);
 231     ; MAC(b2,  W7, row[5]);
 232     ; MAC(b2,  W3, row[7]);
 233     ; MAC(b3,  W3, row[5]);
 234     ; MAC(b3, -W1, row[7]);
 235     SBUTTERFLY3 wd,  8,  9, 13, 14 ; { row[5], row[7] }[0-3]/[4-7]
 236     SIGNEXTEND  m13, m12, m11      ; { row[5] }[0-3] / [4-7]
 237     SIGNEXTEND  m14, m11, m10      ; { row[7] }[0-3] / [4-7]
 238
 239     ; b0: -1*row[5]+1*row[7]
 240     ; b1: -1*row[5]+1*row[7]
 241     ; b2: +1*row[5]+2*row[7]
 242     ; b3: +2*row[5]-1*row[7]
 243     paddd       m4,  m13
 244     paddd       m5,  m12
 245     paddd       m6,  m13
 246     paddd       m7,  m12
 247     psubd       m13, m14           ; { row[5] - row[7] }[0-3]
 248     psubd       m12, m11           ; { row[5] - row[7] }[4-7]
 249     paddd       m14, m14
 250     paddd       m11, m11
 251     psubd       m0,  m13
 252     psubd       m1,  m12
 253     psubd       m2,  m13
 254     psubd       m3,  m12
 255     paddd       m4,  m14
 256     paddd       m5,  m11
 257     paddd       m6,  m13
 258     paddd       m7,  m12
 259
 260     pmaddwd     m10, m8, [w1_plus_w5]
 261     pmaddwd     m11, m9, [w1_plus_w5]
 262     pmaddwd     m12, m8, [w5_plus_w7]
 263     pmaddwd     m13, m9, [w5_plus_w7]
 264     psubd       m2,  m10           ; b1[0-3]
 265     psubd       m3,  m11           ; b1[4-7]
 266     paddd       m0,  m12            ; b0[0-3]
 267     paddd       m1,  m13            ; b0[4-7]
 268     pmaddwd     m12, m8, [w7_plus_w3]
 269     pmaddwd     m13, m9, [w7_plus_w3]
 270     pmaddwd     m8, [w3_min_w1]
 271     pmaddwd     m9, [w3_min_w1]
 272     paddd       m4,  m12           ; b2[0-3]
 273     paddd       m5,  m13           ; b2[4-7]
 274     paddd       m6,  m8            ; b3[0-3]
 275     paddd       m7,  m9            ; b3[4-7]
 276
 277     ; row[0] = (a0 + b0) >> 15;
 278     ; row[7] = (a0 - b0) >> 15;
 279     ; row[1] = (a1 + b1) >> 15;
 280     ; row[6] = (a1 - b1) >> 15;
 281     ; row[2] = (a2 + b2) >> 15;
 282     ; row[5] = (a2 - b2) >> 15;
 283     ; row[3] = (a3 + b3) >> 15;
 284     ; row[4] = (a3 - b3) >> 15;
 285     mova        m8, [r2+ 0]        ; a0[0-3]
 286     mova        m9, [r2+16]        ; a0[4-7]
 287     SUMSUB_SHPK m8,  m9,  m10, m11, m0,  m1,  %2
 288     mova        m0, [r2+32]        ; a1[0-3]
 289     mova        m1, [r2+48]        ; a1[4-7]
 290     SUMSUB_SHPK m0,  m1,  m9,  m11, m2,  m3,  %2
 291     mova        m1, [r2+64]        ; a2[0-3]
 292     mova        m2, [r2+80]        ; a2[4-7]
 293     SUMSUB_SHPK m1,  m2,  m11, m3,  m4,  m5,  %2
 294     mova        m2, [r2+96]        ; a3[0-3]
 295     mova        m3, [r2+112]       ; a3[4-7]
 296     SUMSUB_SHPK m2,  m3,  m4,  m5,  m6,  m7,  %2
 297 %endmacro
 298
 299 ; void prores_idct_put_10_<opt>(uint8_t *pixels, int stride,
 300 ;                               DCTELEM *block, const int16_t *qmat);
 301 %macro idct_put_fn 2
 302 cglobal prores_idct_put_10_%1, 4, 4, %2
 303     movsxd      r1,  r1d
 304     pxor        m15, m15           ; zero
 305
 306     ; for (i = 0; i < 8; i++)
 307     ;     idctRowCondDC(block + i*8);
 308     mova        m10,[r2+ 0]        ; { row[0] }[0-7]
 309     mova        m8, [r2+32]        ; { row[2] }[0-7]
 310     mova        m13,[r2+64]        ; { row[4] }[0-7]
 311     mova        m12,[r2+96]        ; { row[6] }[0-7]
 312
 313     pmullw      m10,[r3+ 0]
 314     pmullw      m8, [r3+32]
 315     pmullw      m13,[r3+64]
 316     pmullw      m12,[r3+96]
 317
 318     IDCT_1D     row, 15,  %1
 319
 320     ; transpose for second part of IDCT
 321     TRANSPOSE8x8W 8, 0, 1, 2, 4, 11, 9, 10, 3
 322     mova   [r2+ 16], m0
 323     mova   [r2+ 48], m2
 324     mova   [r2+ 80], m11
 325     mova   [r2+112], m10
 326     SWAP         8,  10
 327     SWAP         1,   8
 328     SWAP         4,  13
 329     SWAP         9,  12
 330
 331     ; for (i = 0; i < 8; i++)
 332     ;     idctSparseColAdd(dest + i, line_size, block + i);
 333     IDCT_1D     col, 18,  %1
 334
 335     ; clip/store
 336     mova        m6, [pw_512]
 337     mova        m3, [pw_4]
 338     mova        m5, [pw_1019]
 339     paddw       m8,  m6
 340     paddw       m0,  m6
 341     paddw       m1,  m6
 342     paddw       m2,  m6
 343     paddw       m4,  m6
 344     paddw       m11, m6
 345     paddw       m9,  m6
 346     paddw       m10, m6
 347     pmaxsw      m8,  m3
 348     pmaxsw      m0,  m3
 349     pmaxsw      m1,  m3
 350     pmaxsw      m2,  m3
 351     pmaxsw      m4,  m3
 352     pmaxsw      m11, m3
 353     pmaxsw      m9,  m3
 354     pmaxsw      m10, m3
 355     pminsw      m8,  m5
 356     pminsw      m0,  m5
 357     pminsw      m1,  m5
 358     pminsw      m2,  m5
 359     pminsw      m4,  m5
 360     pminsw      m11, m5
 361     pminsw      m9,  m5
 362     pminsw      m10, m5
 363
 364     lea         r2, [r1*3]
 365     mova  [r0     ], m8
 366     mova  [r0+r1  ], m0
 367     mova  [r0+r1*2], m1
 368     mova  [r0+r2  ], m2
 369     lea         r0, [r0+r1*4]
 370     mova  [r0     ], m4
 371     mova  [r0+r1  ], m11
 372     mova  [r0+r1*2], m9
 373     mova  [r0+r2  ], m10
 374     RET
 375 %endmacro
 376
 377 %macro signextend_sse2 3 ; dstlow, dsthigh, tmp
 378     pxor        %3,  %3
 379     pcmpgtw     %3,  %1
 380     mova        %2,  %1
 381     punpcklwd   %1,  %3
 382     punpckhwd   %2,  %3
 383 %endmacro
 384
 385 %macro signextend_sse4 2-3 ; dstlow, dsthigh
 386     movhlps     %2,  %1
 387     pmovsxwd    %1,  %1
 388     pmovsxwd    %2,  %2
 389 %endmacro
 390
 391 INIT_XMM
 392 %define SIGNEXTEND signextend_sse2
 393 idct_put_fn sse2, 16
 394 INIT_XMM
 395 %define SIGNEXTEND signextend_sse4
 396 idct_put_fn sse4, 16
 397 INIT_AVX
 398 idct_put_fn avx,  16
 399
 400 %endif