git.sesse.net Git - ffmpeg/blob - libavcodec/x86/proresdsp.asm

   1 ;******************************************************************************
   2 ;* x86-SIMD-optimized IDCT for prores
   3 ;* this is identical to "simple" IDCT except for the clip range
   4 ;*
   5 ;* Copyright (c) 2011 Ronald S. Bultje <rsbultje@gmail.com>
   6 ;*
   7 ;* This file is part of Libav.
   8 ;*
   9 ;* Libav is free software; you can redistribute it and/or
  10 ;* modify it under the terms of the GNU Lesser General Public
  11 ;* License as published by the Free Software Foundation; either
  12 ;* version 2.1 of the License, or (at your option) any later version.
  13 ;*
  14 ;* Libav is distributed in the hope that it will be useful,
  15 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17 ;* Lesser General Public License for more details.
  18 ;*
  19 ;* You should have received a copy of the GNU Lesser General Public
  20 ;* License along with Libav; if not, write to the Free Software
  21 ;* 51, Inc., Foundation Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  22 ;******************************************************************************
  23
  24 %include "libavutil/x86/x86util.asm"
  25
  26 %define W1sh2 22725 ; W1 = 90901 = 22725<<2 + 1
  27 %define W2sh2 21407 ; W2 = 85627 = 21407<<2 - 1
  28 %define W3sh2 19265 ; W3 = 77062 = 19265<<2 + 2
  29 %define W4sh2 16384 ; W4 = 65535 = 16384<<2 - 1
  30 %define W5sh2 12873 ; W5 = 51491 = 12873<<2 - 1
  31 %define W6sh2  8867 ; W6 = 35468 =  8867<<2
  32 %define W7sh2  4520 ; W7 = 18081 =  4520<<2 + 1
  33
  34 %if ARCH_X86_64
  35
  36 SECTION_RODATA
  37
  38 w4_plus_w2: times 4 dw W4sh2, +W2sh2
  39 w4_min_w2:  times 4 dw W4sh2, -W2sh2
  40 w4_plus_w6: times 4 dw W4sh2, +W6sh2
  41 w4_min_w6:  times 4 dw W4sh2, -W6sh2
  42 w1_plus_w3: times 4 dw W1sh2, +W3sh2
  43 w3_min_w1:  times 4 dw W3sh2, -W1sh2
  44 w7_plus_w3: times 4 dw W7sh2, +W3sh2
  45 w3_min_w7:  times 4 dw W3sh2, -W7sh2
  46 w1_plus_w5: times 4 dw W1sh2, +W5sh2
  47 w5_min_w1:  times 4 dw W5sh2, -W1sh2
  48 w5_plus_w7: times 4 dw W5sh2, +W7sh2
  49 w7_min_w5:  times 4 dw W7sh2, -W5sh2
  50 row_round:  times 8 dw (1<<14)
  51
  52 cextern pw_4
  53 cextern pw_8
  54 cextern pw_512
  55 cextern pw_1019
  56
  57 SECTION .text
  58
  59 ; interleave data while maintaining source
  60 ; %1=type, %2=dstlo, %3=dsthi, %4=src, %5=interleave
  61 %macro SBUTTERFLY3 5
  62     punpckl%1   m%2, m%4, m%5
  63     punpckh%1   m%3, m%4, m%5
  64 %endmacro
  65
  66 ; %1/%2=src1/dst1, %3/%4=dst2, %5/%6=src2, %7=shift
  67 ; action: %3/%4 = %1/%2 - %5/%6; %1/%2 += %5/%6
  68 ;         %1/%2/%3/%4 >>= %7; dword -> word (in %1/%3)
  69 %macro SUMSUB_SHPK 7
  70     psubd       %3,  %1,  %5       ; { a0 - b0 }[0-3]
  71     psubd       %4,  %2,  %6       ; { a0 - b0 }[4-7]
  72     paddd       %1,  %5            ; { a0 + b0 }[0-3]
  73     paddd       %2,  %6            ; { a0 + b0 }[4-7]
  74     psrad       %1,  %7
  75     psrad       %2,  %7
  76     psrad       %3,  %7
  77     psrad       %4,  %7
  78     packssdw    %1,  %2            ; row[0]
  79     packssdw    %3,  %4            ; row[7]
  80 %endmacro
  81
  82 ; %1 = row or col (for rounding variable)
  83 ; %2 = number of bits to shift at the end
  84 %macro IDCT_1D 2
  85     ; a0 = (W4 * row[0]) + (1 << (15 - 1));
  86     ; a1 = a0;
  87     ; a2 = a0;
  88     ; a3 = a0;
  89     ; a0 += W2 * row[2];
  90     ; a1 += W6 * row[2];
  91     ; a2 -= W6 * row[2];
  92     ; a3 -= W2 * row[2];
  93 %ifidn %1, col
  94     paddw       m10,[pw_8]
  95 %endif
  96     SBUTTERFLY3 wd,  0,  1, 10,  8 ; { row[0], row[2] }[0-3]/[4-7]
  97 %ifidn %1, row
  98     psubw       m10,[row_round]
  99 %endif
 100     SIGNEXTEND  m8,  m9,  m14      ; { row[2] }[0-3] / [4-7]
 101     SIGNEXTEND  m10, m11, m14      ; { row[0] }[0-3] / [4-7]
 102     pmaddwd     m2,  m0, [w4_plus_w6]
 103     pmaddwd     m3,  m1, [w4_plus_w6]
 104     pmaddwd     m4,  m0, [w4_min_w6]
 105     pmaddwd     m5,  m1, [w4_min_w6]
 106     pmaddwd     m6,  m0, [w4_min_w2]
 107     pmaddwd     m7,  m1, [w4_min_w2]
 108     pmaddwd     m0, [w4_plus_w2]
 109     pmaddwd     m1, [w4_plus_w2]
 110     pslld       m2,  2
 111     pslld       m3,  2
 112     pslld       m4,  2
 113     pslld       m5,  2
 114     pslld       m6,  2
 115     pslld       m7,  2
 116     pslld       m0,  2
 117     pslld       m1,  2
 118
 119     ; a0: -1*row[0]-1*row[2]
 120     ; a1: -1*row[0]
 121     ; a2: -1*row[0]
 122     ; a3: -1*row[0]+1*row[2]
 123     psubd       m2,  m10           ; a1[0-3]
 124     psubd       m3,  m11           ; a1[4-7]
 125     psubd       m4,  m10           ; a2[0-3]
 126     psubd       m5,  m11           ; a2[4-7]
 127     psubd       m0,  m10
 128     psubd       m1,  m11
 129     psubd       m6,  m10
 130     psubd       m7,  m11
 131     psubd       m0,  m8            ; a0[0-3]
 132     psubd       m1,  m9            ; a0[4-7]
 133     paddd       m6,  m8            ; a3[0-3]
 134     paddd       m7,  m9            ; a3[4-7]
 135
 136     ; a0 +=   W4*row[4] + W6*row[6]; i.e. -1*row[4]
 137     ; a1 -=   W4*row[4] + W2*row[6]; i.e. -1*row[4]-1*row[6]
 138     ; a2 -=   W4*row[4] - W2*row[6]; i.e. -1*row[4]+1*row[6]
 139     ; a3 +=   W4*row[4] - W6*row[6]; i.e. -1*row[4]
 140     SBUTTERFLY3 wd,  8,  9, 13, 12 ; { row[4], row[6] }[0-3]/[4-7]
 141     SIGNEXTEND  m13, m14, m10      ; { row[4] }[0-3] / [4-7]
 142     pmaddwd     m10, m8, [w4_plus_w6]
 143     pmaddwd     m11, m9, [w4_plus_w6]
 144     pslld       m10, 2
 145     pslld       m11, 2
 146     psubd       m10,  m13
 147     psubd       m11,  m14
 148     paddd       m0,  m10            ; a0[0-3]
 149     paddd       m1,  m11            ; a0[4-7]
 150     pmaddwd     m10, m8, [w4_min_w6]
 151     pmaddwd     m11, m9, [w4_min_w6]
 152     pslld       m10, 2
 153     pslld       m11, 2
 154     psubd       m10, m13
 155     psubd       m11, m14
 156     paddd       m6,  m10           ; a3[0-3]
 157     paddd       m7,  m11           ; a3[4-7]
 158     pmaddwd     m10, m8, [w4_min_w2]
 159     pmaddwd     m11, m9, [w4_min_w2]
 160     pmaddwd     m8, [w4_plus_w2]
 161     pmaddwd     m9, [w4_plus_w2]
 162     pslld       m10, 2
 163     pslld       m11, 2
 164     pslld       m8,  2
 165     pslld       m9,  2
 166     psubd       m10, m13
 167     psubd       m11, m14
 168     psubd       m8,  m13
 169     psubd       m9,  m14
 170     psubd       m4,  m10           ; a2[0-3] intermediate
 171     psubd       m5,  m11           ; a2[4-7] intermediate
 172     psubd       m2,  m8            ; a1[0-3] intermediate
 173     psubd       m3,  m9            ; a1[4-7] intermediate
 174     SIGNEXTEND  m12, m13, m10      ; { row[6] }[0-3] / [4-7]
 175     psubd       m4,  m12           ; a2[0-3]
 176     psubd       m5,  m13           ; a2[4-7]
 177     paddd       m2,  m12           ; a1[0-3]
 178     paddd       m3,  m13           ; a1[4-7]
 179
 180     ; load/store
 181     mova   [r2+  0], m0
 182     mova   [r2+ 32], m2
 183     mova   [r2+ 64], m4
 184     mova   [r2+ 96], m6
 185     mova        m10,[r2+ 16]       ; { row[1] }[0-7]
 186     mova        m8, [r2+ 48]       ; { row[3] }[0-7]
 187     mova        m13,[r2+ 80]       ; { row[5] }[0-7]
 188     mova        m14,[r2+112]       ; { row[7] }[0-7]
 189     mova   [r2+ 16], m1
 190     mova   [r2+ 48], m3
 191     mova   [r2+ 80], m5
 192     mova   [r2+112], m7
 193 %ifidn %1, row
 194     pmullw      m10,[r3+ 16]
 195     pmullw      m8, [r3+ 48]
 196     pmullw      m13,[r3+ 80]
 197     pmullw      m14,[r3+112]
 198 %endif
 199
 200     ; b0 = MUL(W1, row[1]);
 201     ; MAC(b0, W3, row[3]);
 202     ; b1 = MUL(W3, row[1]);
 203     ; MAC(b1, -W7, row[3]);
 204     ; b2 = MUL(W5, row[1]);
 205     ; MAC(b2, -W1, row[3]);
 206     ; b3 = MUL(W7, row[1]);
 207     ; MAC(b3, -W5, row[3]);
 208     SBUTTERFLY3 wd,  0,  1, 10, 8  ; { row[1], row[3] }[0-3]/[4-7]
 209     SIGNEXTEND  m10, m11, m12      ; { row[1] }[0-3] / [4-7]
 210     SIGNEXTEND  m8,  m9,  m12      ; { row[3] }[0-3] / [4-7]
 211     pmaddwd     m2,  m0, [w3_min_w7]
 212     pmaddwd     m3,  m1, [w3_min_w7]
 213     pmaddwd     m4,  m0, [w5_min_w1]
 214     pmaddwd     m5,  m1, [w5_min_w1]
 215     pmaddwd     m6,  m0, [w7_min_w5]
 216     pmaddwd     m7,  m1, [w7_min_w5]
 217     pmaddwd     m0, [w1_plus_w3]
 218     pmaddwd     m1, [w1_plus_w3]
 219     pslld       m2,  2
 220     pslld       m3,  2
 221     pslld       m4,  2
 222     pslld       m5,  2
 223     pslld       m6,  2
 224     pslld       m7,  2
 225     pslld       m0,  2
 226     pslld       m1,  2
 227
 228     ; b0: +1*row[1]+2*row[3]
 229     ; b1: +2*row[1]-1*row[3]
 230     ; b2: -1*row[1]-1*row[3]
 231     ; b3: +1*row[1]+1*row[3]
 232     psubd       m2,  m8
 233     psubd       m3,  m9
 234     paddd       m0,  m8
 235     paddd       m1,  m9
 236     paddd       m8,  m10           ; { row[1] + row[3] }[0-3]
 237     paddd       m9,  m11           ; { row[1] + row[3] }[4-7]
 238     paddd       m10, m10
 239     paddd       m11, m11
 240     paddd       m0,  m8            ; b0[0-3]
 241     paddd       m1,  m9            ; b0[4-7]
 242     paddd       m2,  m10           ; b1[0-3]
 243     paddd       m3,  m11           ; b2[4-7]
 244     psubd       m4,  m8            ; b2[0-3]
 245     psubd       m5,  m9            ; b2[4-7]
 246     paddd       m6,  m8            ; b3[0-3]
 247     paddd       m7,  m9            ; b3[4-7]
 248
 249     ; MAC(b0,  W5, row[5]);
 250     ; MAC(b0,  W7, row[7]);
 251     ; MAC(b1, -W1, row[5]);
 252     ; MAC(b1, -W5, row[7]);
 253     ; MAC(b2,  W7, row[5]);
 254     ; MAC(b2,  W3, row[7]);
 255     ; MAC(b3,  W3, row[5]);
 256     ; MAC(b3, -W1, row[7]);
 257     SBUTTERFLY3 wd,  8,  9, 13, 14 ; { row[5], row[7] }[0-3]/[4-7]
 258     SIGNEXTEND  m13, m12, m11      ; { row[5] }[0-3] / [4-7]
 259     SIGNEXTEND  m14, m11, m10      ; { row[7] }[0-3] / [4-7]
 260
 261     ; b0: -1*row[5]+1*row[7]
 262     ; b1: -1*row[5]+1*row[7]
 263     ; b2: +1*row[5]+2*row[7]
 264     ; b3: +2*row[5]-1*row[7]
 265     paddd       m4,  m13
 266     paddd       m5,  m12
 267     paddd       m6,  m13
 268     paddd       m7,  m12
 269     psubd       m13, m14           ; { row[5] - row[7] }[0-3]
 270     psubd       m12, m11           ; { row[5] - row[7] }[4-7]
 271     paddd       m14, m14
 272     paddd       m11, m11
 273     psubd       m0,  m13
 274     psubd       m1,  m12
 275     psubd       m2,  m13
 276     psubd       m3,  m12
 277     paddd       m4,  m14
 278     paddd       m5,  m11
 279     paddd       m6,  m13
 280     paddd       m7,  m12
 281
 282     pmaddwd     m10, m8, [w1_plus_w5]
 283     pmaddwd     m11, m9, [w1_plus_w5]
 284     pmaddwd     m12, m8, [w5_plus_w7]
 285     pmaddwd     m13, m9, [w5_plus_w7]
 286     pslld       m10, 2
 287     pslld       m11, 2
 288     pslld       m12,  2
 289     pslld       m13,  2
 290     psubd       m2,  m10           ; b1[0-3]
 291     psubd       m3,  m11           ; b1[4-7]
 292     paddd       m0,  m12            ; b0[0-3]
 293     paddd       m1,  m13            ; b0[4-7]
 294     pmaddwd     m12, m8, [w7_plus_w3]
 295     pmaddwd     m13, m9, [w7_plus_w3]
 296     pmaddwd     m8, [w3_min_w1]
 297     pmaddwd     m9, [w3_min_w1]
 298     pslld       m12, 2
 299     pslld       m13, 2
 300     pslld       m8,  2
 301     pslld       m9,  2
 302     paddd       m4,  m12           ; b2[0-3]
 303     paddd       m5,  m13           ; b2[4-7]
 304     paddd       m6,  m8            ; b3[0-3]
 305     paddd       m7,  m9            ; b3[4-7]
 306
 307     ; row[0] = (a0 + b0) >> 15;
 308     ; row[7] = (a0 - b0) >> 15;
 309     ; row[1] = (a1 + b1) >> 15;
 310     ; row[6] = (a1 - b1) >> 15;
 311     ; row[2] = (a2 + b2) >> 15;
 312     ; row[5] = (a2 - b2) >> 15;
 313     ; row[3] = (a3 + b3) >> 15;
 314     ; row[4] = (a3 - b3) >> 15;
 315     mova        m8, [r2+ 0]        ; a0[0-3]
 316     mova        m9, [r2+16]        ; a0[4-7]
 317     SUMSUB_SHPK m8,  m9,  m10, m11, m0,  m1,  %2
 318     mova        m0, [r2+32]        ; a1[0-3]
 319     mova        m1, [r2+48]        ; a1[4-7]
 320     SUMSUB_SHPK m0,  m1,  m9,  m11, m2,  m3,  %2
 321     mova        m1, [r2+64]        ; a2[0-3]
 322     mova        m2, [r2+80]        ; a2[4-7]
 323     SUMSUB_SHPK m1,  m2,  m11, m3,  m4,  m5,  %2
 324     mova        m2, [r2+96]        ; a3[0-3]
 325     mova        m3, [r2+112]       ; a3[4-7]
 326     SUMSUB_SHPK m2,  m3,  m4,  m5,  m6,  m7,  %2
 327 %endmacro
 328
 329 ; void ff_prores_idct_put_10_<opt>(uint8_t *pixels, ptrdiff_t linesize,
 330 ;                                  int16_t *block, const int16_t *qmat);
 331 %macro idct_put_fn 1
 332 cglobal prores_idct_put_10, 4, 4, %1
 333     pxor        m15, m15           ; zero
 334
 335     ; for (i = 0; i < 8; i++)
 336     ;     idctRowCondDC(block + i*8);
 337     mova        m10,[r2+ 0]        ; { row[0] }[0-7]
 338     mova        m8, [r2+32]        ; { row[2] }[0-7]
 339     mova        m13,[r2+64]        ; { row[4] }[0-7]
 340     mova        m12,[r2+96]        ; { row[6] }[0-7]
 341
 342     pmullw      m10,[r3+ 0]
 343     pmullw      m8, [r3+32]
 344     pmullw      m13,[r3+64]
 345     pmullw      m12,[r3+96]
 346
 347     IDCT_1D     row, 17
 348
 349     ; transpose for second part of IDCT
 350     TRANSPOSE8x8W 8, 0, 1, 2, 4, 11, 9, 10, 3
 351     mova   [r2+ 16], m0
 352     mova   [r2+ 48], m2
 353     mova   [r2+ 80], m11
 354     mova   [r2+112], m10
 355     SWAP         8,  10
 356     SWAP         1,   8
 357     SWAP         4,  13
 358     SWAP         9,  12
 359
 360     ; for (i = 0; i < 8; i++)
 361     ;     idctSparseColAdd(dest + i, line_size, block + i);
 362     IDCT_1D     col, 20
 363
 364     ; clip/store
 365     mova        m6, [pw_512]
 366     mova        m3, [pw_4]
 367     mova        m5, [pw_1019]
 368     paddw       m8,  m6
 369     paddw       m0,  m6
 370     paddw       m1,  m6
 371     paddw       m2,  m6
 372     paddw       m4,  m6
 373     paddw       m11, m6
 374     paddw       m9,  m6
 375     paddw       m10, m6
 376     pmaxsw      m8,  m3
 377     pmaxsw      m0,  m3
 378     pmaxsw      m1,  m3
 379     pmaxsw      m2,  m3
 380     pmaxsw      m4,  m3
 381     pmaxsw      m11, m3
 382     pmaxsw      m9,  m3
 383     pmaxsw      m10, m3
 384     pminsw      m8,  m5
 385     pminsw      m0,  m5
 386     pminsw      m1,  m5
 387     pminsw      m2,  m5
 388     pminsw      m4,  m5
 389     pminsw      m11, m5
 390     pminsw      m9,  m5
 391     pminsw      m10, m5
 392
 393     lea         r2, [r1*3]
 394     mova  [r0     ], m8
 395     mova  [r0+r1  ], m0
 396     mova  [r0+r1*2], m1
 397     mova  [r0+r2  ], m2
 398     lea         r0, [r0+r1*4]
 399     mova  [r0     ], m4
 400     mova  [r0+r1  ], m11
 401     mova  [r0+r1*2], m9
 402     mova  [r0+r2  ], m10
 403     RET
 404 %endmacro
 405
 406 %macro SIGNEXTEND 2-3
 407 %if cpuflag(sse4) ; dstlow, dsthigh
 408     movhlps     %2,  %1
 409     pmovsxwd    %1,  %1
 410     pmovsxwd    %2,  %2
 411 %elif cpuflag(sse2) ; dstlow, dsthigh, tmp
 412     pxor        %3,  %3
 413     pcmpgtw     %3,  %1
 414     mova        %2,  %1
 415     punpcklwd   %1,  %3
 416     punpckhwd   %2,  %3
 417 %endif
 418 %endmacro
 419
 420 INIT_XMM sse2
 421 idct_put_fn 16
 422 INIT_XMM sse4
 423 idct_put_fn 16
 424 INIT_XMM avx
 425 idct_put_fn 16
 426
 427 %endif