1 ;*****************************************************************************
3 ;*****************************************************************************
4 ;* Copyright (C) 2008-2010 x264 project
6 ;* Authors: Loren Merritt <lorenm@u.washington.edu>
7 ;* Holger Lubitz <holger@lubitz.org>
9 ;* This file is part of FFmpeg.
11 ;* FFmpeg is free software; you can redistribute it and/or
12 ;* modify it under the terms of the GNU Lesser General Public
13 ;* License as published by the Free Software Foundation; either
14 ;* version 2.1 of the License, or (at your option) any later version.
16 ;* FFmpeg is distributed in the hope that it will be useful,
17 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
18 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
19 ;* Lesser General Public License for more details.
21 ;* You should have received a copy of the GNU Lesser General Public
22 ;* License along with FFmpeg; if not, write to the Free Software
23 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
24 ;******************************************************************************
26 %define private_prefix ff
27 %define public_prefix avpriv
28 %define cpuflags_mmxext cpuflags_mmx2
30 %include "libavutil/x86/x86inc.asm"
32 ; expands to [base],...,[base+7*stride]
33 %define PASS8ROWS(base, base3, stride, stride3) \
34 [base], [base + stride], [base + 2*stride], [base3], \
35 [base3 + stride], [base3 + 2*stride], [base3 + stride3], [base3 + stride*4]
37 ; Interleave low src0 with low src1 and store in src0,
38 ; interleave high src0 with high src1 and store in src1.
40 ; %2 - index of the register with src0
41 ; %3 - index of the register with src1
42 ; %4 - index of the register for intermediate results
43 ; example for %1 - wd: input: src0: x0 x1 x2 x3 z0 z1 z2 z3
44 ; src1: y0 y1 y2 y3 q0 q1 q2 q3
45 ; output: src0: x0 y0 x1 y1 x2 y2 x3 y3
46 ; src1: z0 q0 z1 q1 z2 q2 z3 q3
49 vperm2i128 m%4, m%2, m%3, q0301
50 vinserti128 m%2, m%2, xm%3, 1
51 %elif avx_enabled == 0
56 punpckh%1 m%4, m%2, m%3
63 punpckl%1 m%4, m%2, m%3
64 punpckh%1 m%2, m%2, m%3
69 unpcklps m%3, m%1, m%2
70 unpckhps m%1, m%1, m%2
74 %macro TRANSPOSE4x4B 5
75 SBUTTERFLY bw, %1, %2, %5
76 SBUTTERFLY bw, %3, %4, %5
77 SBUTTERFLY wd, %1, %3, %5
78 SBUTTERFLY wd, %2, %4, %5
82 %macro TRANSPOSE4x4W 5
83 SBUTTERFLY wd, %1, %2, %5
84 SBUTTERFLY wd, %3, %4, %5
85 SBUTTERFLY dq, %1, %3, %5
86 SBUTTERFLY dq, %2, %4, %5
90 %macro TRANSPOSE2x4x4B 5
91 SBUTTERFLY bw, %1, %2, %5
92 SBUTTERFLY bw, %3, %4, %5
93 SBUTTERFLY wd, %1, %3, %5
94 SBUTTERFLY wd, %2, %4, %5
95 SBUTTERFLY dq, %1, %2, %5
96 SBUTTERFLY dq, %3, %4, %5
99 %macro TRANSPOSE2x4x4W 5
100 SBUTTERFLY wd, %1, %2, %5
101 SBUTTERFLY wd, %3, %4, %5
102 SBUTTERFLY dq, %1, %3, %5
103 SBUTTERFLY dq, %2, %4, %5
104 SBUTTERFLY qdq, %1, %2, %5
105 SBUTTERFLY qdq, %3, %4, %5
108 %macro TRANSPOSE4x4D 5
109 SBUTTERFLY dq, %1, %2, %5
110 SBUTTERFLY dq, %3, %4, %5
111 SBUTTERFLY qdq, %1, %3, %5
112 SBUTTERFLY qdq, %2, %4, %5
116 ; identical behavior to TRANSPOSE4x4D, but using SSE1 float ops
117 %macro TRANSPOSE4x4PS 5
118 SBUTTERFLYPS %1, %2, %5
119 SBUTTERFLYPS %3, %4, %5
120 movlhps m%5, m%1, m%3
123 movlhps m%5, m%2, m%4
128 %macro TRANSPOSE8x4D 9-11
130 SBUTTERFLY dq, %1, %2, %9
131 SBUTTERFLY dq, %3, %4, %9
132 SBUTTERFLY dq, %5, %6, %9
133 SBUTTERFLY dq, %7, %8, %9
134 SBUTTERFLY qdq, %1, %3, %9
135 SBUTTERFLY qdq, %2, %4, %9
136 SBUTTERFLY qdq, %5, %7, %9
137 SBUTTERFLY qdq, %6, %8, %9
142 ; out: m0..m7, unless %11 in which case m2 is in %9
143 ; spills into %9 and %10
145 SBUTTERFLY dq, %1, %2, %7
148 SBUTTERFLY dq, %3, %4, %2
149 SBUTTERFLY dq, %5, %6, %2
150 SBUTTERFLY dq, %7, %8, %2
151 SBUTTERFLY qdq, %1, %3, %2
154 SBUTTERFLY qdq, %2, %4, %3
155 SBUTTERFLY qdq, %5, %7, %3
156 SBUTTERFLY qdq, %6, %8, %3
165 %macro TRANSPOSE8x8W 9-11
167 SBUTTERFLY wd, %1, %2, %9
168 SBUTTERFLY wd, %3, %4, %9
169 SBUTTERFLY wd, %5, %6, %9
170 SBUTTERFLY wd, %7, %8, %9
171 SBUTTERFLY dq, %1, %3, %9
172 SBUTTERFLY dq, %2, %4, %9
173 SBUTTERFLY dq, %5, %7, %9
174 SBUTTERFLY dq, %6, %8, %9
175 SBUTTERFLY qdq, %1, %5, %9
176 SBUTTERFLY qdq, %2, %6, %9
177 SBUTTERFLY qdq, %3, %7, %9
178 SBUTTERFLY qdq, %4, %8, %9
182 ; in: m0..m7, unless %11 in which case m6 is in %9
183 ; out: m0..m7, unless %11 in which case m4 is in %10
184 ; spills into %9 and %10
188 SBUTTERFLY wd, %1, %2, %7
191 SBUTTERFLY wd, %3, %4, %2
192 SBUTTERFLY wd, %5, %6, %2
193 SBUTTERFLY wd, %7, %8, %2
194 SBUTTERFLY dq, %1, %3, %2
197 SBUTTERFLY dq, %2, %4, %3
198 SBUTTERFLY dq, %5, %7, %3
199 SBUTTERFLY dq, %6, %8, %3
200 SBUTTERFLY qdq, %1, %5, %3
201 SBUTTERFLY qdq, %2, %6, %3
204 SBUTTERFLY qdq, %3, %7, %2
205 SBUTTERFLY qdq, %4, %8, %2
214 %macro TRANSPOSE16x16W 18-19
215 ; in: m0..m15, unless %19 in which case m6 is in %17
216 ; out: m0..m15, unless %19 in which case m4 is in %18
217 ; spills into %17 and %18
222 SBUTTERFLY dqqq, %1, %9, %7
223 SBUTTERFLY dqqq, %2, %10, %7
224 SBUTTERFLY dqqq, %3, %11, %7
225 SBUTTERFLY dqqq, %4, %12, %7
226 SBUTTERFLY dqqq, %5, %13, %7
227 SBUTTERFLY dqqq, %6, %14, %7
230 SBUTTERFLY dqqq, %7, %15, %14
231 SBUTTERFLY dqqq, %8, %16, %14
233 SBUTTERFLY wd, %1, %2, %14
234 SBUTTERFLY wd, %3, %4, %14
235 SBUTTERFLY wd, %5, %6, %14
236 SBUTTERFLY wd, %7, %8, %14
237 SBUTTERFLY wd, %9, %10, %14
238 SBUTTERFLY wd, %11, %12, %14
241 SBUTTERFLY wd, %13, %14, %12
242 SBUTTERFLY wd, %15, %16, %12
244 SBUTTERFLY dq, %1, %3, %12
245 SBUTTERFLY dq, %2, %4, %12
246 SBUTTERFLY dq, %5, %7, %12
247 SBUTTERFLY dq, %6, %8, %12
248 SBUTTERFLY dq, %9, %11, %12
251 SBUTTERFLY dq, %10, %12, %11
252 SBUTTERFLY dq, %13, %15, %11
253 SBUTTERFLY dq, %14, %16, %11
255 SBUTTERFLY qdq, %1, %5, %11
256 SBUTTERFLY qdq, %2, %6, %11
257 SBUTTERFLY qdq, %3, %7, %11
258 SBUTTERFLY qdq, %4, %8, %11
263 SBUTTERFLY qdq, %9, %13, %11
264 SBUTTERFLY qdq, %10, %14, %11
267 SBUTTERFLY qdq, %11, %15, %5
268 SBUTTERFLY qdq, %12, %16, %5
278 %macro TRANSPOSE_8X8B 8
280 %error "This macro does not support mmsize == 8"
286 TRANSPOSE4x4W %1, %3, %5, %7, %2
293 ; PABSW macro assumes %1 != %2, while ABS1/2 macros work in-place
297 %elif cpuflag(mmxext)
322 %elif cpuflag(mmxext) ; a, tmp
338 %elif cpuflag(mmxext) ; a, b, tmp0, tmp1
345 %else ; a, b, tmp0, tmp1
357 %macro ABSB 2 ; source mmreg, temp mmreg (unused for ssse3)
367 %macro ABSB2 4 ; src1, src2, tmp1, tmp2 (tmp1/2 unused for SSSE3)
402 movd %1, [%2-3] ;to avoid crossing a cacheline
419 %macro HADDD 2 ; sum junk
422 vextracti128 %2, %1, 1
427 %if cpuflag(xop) && sizeof%1 == 16
433 %if notcpuflag(xop) || sizeof%1 != 16
435 PSHUFLW %2, %1, q0032
446 %macro HADDW 2 ; reg, tmp
447 %if cpuflag(xop) && sizeof%1 == 16
457 %macro HADDPS 3 ; dst, src, tmp
471 palignr %1, %2, %3, %4
475 %elif cpuflag(mmx) ; [dst,] src1, src2, imm, tmp
487 psllq %%dst, (8-%3)*8
524 %elif cpuflag(3dnowext)
533 %macro DEINTB 5 ; mask, reg1, mask, reg2, optional src to fill masks from
535 pand m%3, m%5, m%4 ; src .. y6 .. y4
536 pand m%1, m%5, m%2 ; dst .. y6 .. y4
539 pand m%3, m%1, m%4 ; src .. y6 .. y4
540 pand m%1, m%1, m%2 ; dst .. y6 .. y4
542 psrlw m%2, 8 ; dst .. y7 .. y5
543 psrlw m%4, 8 ; src .. y7 .. y5
564 %macro SUMSUB_BADC 5-6
566 SUMSUB_BA %1, %2, %3, %6
567 SUMSUB_BA %1, %4, %5, %6
611 psra%1 m%5, m%2, 1 ; %3: %3>>1
612 psra%1 m%4, m%3, 1 ; %2: %2>>1
613 padd%1 m%4, m%2 ; %3: %3>>1+%2
614 psub%1 m%5, m%3 ; %2: %2>>1-%3
620 psra%1 m%3, 1 ; %3: %3>>1
621 psra%1 m%2, 1 ; %2: %2>>1
622 padd%1 m%3, %5 ; %3: %3>>1+%2
623 psub%1 m%2, %4 ; %2: %2>>1-%3
629 SUMSUB_BADC w, %4, %1, %3, %2, %5
630 SUMSUB_BA w, %3, %4, %5
631 SUMSUB2_AB w, %1, %2, %5
632 SWAP %1, %3, %4, %5, %2
634 SUMSUB_BADC w, %4, %1, %3, %2
637 SUMSUB2_AB w, %1, [%5], %2
644 SUMSUBD2_AB %1, %3, %5, %7, %6
645 ; %3: %3>>1-%5 %5: %3+%5>>1
646 SUMSUB_BA %1, %4, %2, %7
647 ; %4: %2+%4 %2: %2-%4
648 SUMSUB_BADC %1, %5, %4, %3, %2, %7
649 ; %5: %2+%4 + (%3+%5>>1)
650 ; %4: %2+%4 - (%3+%5>>1)
651 ; %3: %2-%4 + (%3>>1-%5)
652 ; %2: %2-%4 - (%3>>1-%5)
655 SUMSUBD2_AB %1, %3, %5, [%6], [%6+16]
657 SUMSUBD2_AB %1, %3, %5, [%6], [%6+32]
660 SUMSUB_BADC %1, %5, %4, %3, %2
663 ; %2: %2+%4 + (%3+%5>>1) row0
664 ; %3: %2-%4 + (%3>>1-%5) row1
665 ; %4: %2-%4 - (%3>>1-%5) row2
666 ; %5: %2+%4 - (%3+%5>>1) row3
691 movhps [%5+%6+32], m%1
692 movhps [%5+%6+40], m%2
693 movhps [%5+%6+48], m%3
694 movhps [%5+%6+56], m%4
697 %macro LOAD_DIFF_8x4P 7-10 r0,r2,0 ; 4x dest, 2x temp, 2x pointer, increment?
698 LOAD_DIFF m%1, m%5, m%7, [%8], [%9]
699 LOAD_DIFF m%2, m%6, m%7, [%8+r1], [%9+r3]
700 LOAD_DIFF m%3, m%5, m%7, [%8+2*r1], [%9+2*r3]
701 LOAD_DIFF m%4, m%6, m%7, [%8+r4], [%9+r5]
729 %macro STORE_DIFFx2 8 ; add1, add2, reg1, reg2, zero, shift, source, stride
744 %macro PMINUB 3 ; dst, src, ignored
747 %else ; dst, src, tmp
755 %if cpuflag(avx2) && %3 == 0
758 pshuflw %1, %2, (%3)*0x55
760 %elif cpuflag(mmxext)
761 pshufw %1, %2, (%3)*0x55
789 %macro CLIPUB 3 ;(dst, min, max)
794 %macro CLIPW 3 ;(dst, min, max)
799 %macro PMINSD_MMX 3 ; dst, src, tmp
807 %macro PMAXSD_MMX 3 ; dst, src, tmp
815 %macro CLIPD_MMX 3-4 ; src/dst, min, max, tmp
816 PMINSD_MMX %1, %3, %4
817 PMAXSD_MMX %1, %2, %4
820 %macro CLIPD_SSE2 3-4 ; src/dst, min (float), max (float), unused
827 %macro CLIPD_SSE41 3-4 ; src/dst, min, max, unused
832 %macro VBROADCASTSS 2 ; dst xmm/ymm, src m32
843 %macro VBROADCASTSD 2 ; dst xmm/ymm, src m64
844 %if cpuflag(avx) && mmsize == 32
854 %macro SHUFFLE_MASK_W 8
866 %macro PMOVSXWD 2; dst, src
878 ; Wrapper for non-FMA version of fmaddps
880 %if cpuflag(fma3) || cpuflag(fma4)
881 fmaddps %1, %2, %3, %4
907 %macro MOVHL 2 ; dst, src
911 punpckhqdq %1, %2, %2
913 pshufd %1, %2, q3232 ; pshufd is slow on some older CPUs, so only use it on more modern ones
915 movhlps %1, %2 ; may cause an int/float domain transition and has a dependency on dst