1 /*****************************************************************************
2 * deblock.S: arm deblocking
3 *****************************************************************************
4 * Copyright (C) 2009-2016 x264 project
6 * Authors: Mans Rullgard <mans@mansr.com>
7 * Martin Storsjo <martin@martin.st>
9 * This program is free software; you can redistribute it and/or modify
10 * it under the terms of the GNU General Public License as published by
11 * the Free Software Foundation; either version 2 of the License, or
12 * (at your option) any later version.
14 * This program is distributed in the hope that it will be useful,
15 * but WITHOUT ANY WARRANTY; without even the implied warranty of
16 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
17 * GNU General Public License for more details.
19 * You should have received a copy of the GNU General Public License
20 * along with this program; if not, write to the Free Software
21 * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02111, USA.
23 * This program is also available under a commercial proprietary license.
24 * For more information, contact us at licensing@x264.com.
25 *****************************************************************************/
29 .macro h264_loop_filter_start
33 and ip, ip, ip, lsl #16
34 ands ip, ip, ip, lsl #8
38 .macro align_push_regs
42 vst1.64 {d12-d15}, [sp,:128]
44 vst1.64 {d8-d11}, [sp,:128]
48 vld1.64 {d8-d11}, [sp,:128]!
49 vld1.64 {d12-d15}, [sp,:128], ip
52 .macro h264_loop_filter_luma
53 vdup.8 q11, r2 @ alpha
55 vabd.u8 q6, q8, q0 @ abs(p0 - q0)
57 vabd.u8 q14, q9, q8 @ abs(p1 - p0)
59 vabd.u8 q15, q1, q0 @ abs(q1 - q0)
61 vclt.u8 q6, q6, q11 @ < alpha
64 vclt.u8 q14, q14, q11 @ < beta
65 vclt.u8 q15, q15, q11 @ < beta
67 vabd.u8 q4, q10, q8 @ abs(p2 - p0)
69 vabd.u8 q5, q2, q0 @ abs(q2 - q0)
70 vclt.u8 q4, q4, q11 @ < beta
72 vclt.u8 q5, q5, q11 @ < beta
79 vhadd.u8 q10, q10, q14
92 vsubw.u8 q10, q10, d17
96 vaddw.u8 q10, q10, d19
100 vrshrn.i16 d5, q10, #3
110 vaddw.s8 q14, q14, d4
112 vsubw.s8 q11, q11, d4
113 vsubw.s8 q12, q12, d5
120 function x264_deblock_v_luma_neon
121 h264_loop_filter_start
123 vld1.64 {d0, d1}, [r0,:128], r1
124 vld1.64 {d2, d3}, [r0,:128], r1
125 vld1.64 {d4, d5}, [r0,:128], r1
126 sub r0, r0, r1, lsl #2
127 sub r0, r0, r1, lsl #1
128 vld1.64 {d20,d21}, [r0,:128], r1
129 vld1.64 {d18,d19}, [r0,:128], r1
130 vld1.64 {d16,d17}, [r0,:128], r1
134 h264_loop_filter_luma
136 sub r0, r0, r1, lsl #1
137 vst1.64 {d8, d9}, [r0,:128], r1
138 vst1.64 {d16,d17}, [r0,:128], r1
139 vst1.64 {d0, d1}, [r0,:128], r1
140 vst1.64 {d10,d11}, [r0,:128]
146 function x264_deblock_h_luma_neon
147 h264_loop_filter_start
150 vld1.64 {d6}, [r0], r1
151 vld1.64 {d20}, [r0], r1
152 vld1.64 {d18}, [r0], r1
153 vld1.64 {d16}, [r0], r1
154 vld1.64 {d0}, [r0], r1
155 vld1.64 {d2}, [r0], r1
156 vld1.64 {d4}, [r0], r1
157 vld1.64 {d26}, [r0], r1
158 vld1.64 {d7}, [r0], r1
159 vld1.64 {d21}, [r0], r1
160 vld1.64 {d19}, [r0], r1
161 vld1.64 {d17}, [r0], r1
162 vld1.64 {d1}, [r0], r1
163 vld1.64 {d3}, [r0], r1
164 vld1.64 {d5}, [r0], r1
165 vld1.64 {d27}, [r0], r1
167 TRANSPOSE8x8 q3, q10, q9, q8, q0, q1, q2, q13
171 h264_loop_filter_luma
173 TRANSPOSE4x4 q4, q8, q0, q5
175 sub r0, r0, r1, lsl #4
177 vst1.32 {d8[0]}, [r0], r1
178 vst1.32 {d16[0]}, [r0], r1
179 vst1.32 {d0[0]}, [r0], r1
180 vst1.32 {d10[0]}, [r0], r1
181 vst1.32 {d8[1]}, [r0], r1
182 vst1.32 {d16[1]}, [r0], r1
183 vst1.32 {d0[1]}, [r0], r1
184 vst1.32 {d10[1]}, [r0], r1
185 vst1.32 {d9[0]}, [r0], r1
186 vst1.32 {d17[0]}, [r0], r1
187 vst1.32 {d1[0]}, [r0], r1
188 vst1.32 {d11[0]}, [r0], r1
189 vst1.32 {d9[1]}, [r0], r1
190 vst1.32 {d17[1]}, [r0], r1
191 vst1.32 {d1[1]}, [r0], r1
192 vst1.32 {d11[1]}, [r0], r1
198 .macro h264_loop_filter_luma_intra
199 vdup.8 q14, r2 @ alpha
200 vabd.u8 q4, q8, q0 @ abs(p0 - q0)
201 vabd.u8 q5, q9, q8 @ abs(p1 - p0)
202 vabd.u8 q6, q1, q0 @ abs(q1 - q0)
203 vdup.8 q15, r3 @ beta
205 vclt.u8 q7, q4, q14 @ < alpha
206 vshr.u8 q14, q14, #2 @ alpha >> 2
207 vclt.u8 q5, q5, q15 @ < beta
208 vadd.u8 q14, q14, q13 @ (alpha >> 2) + 2
210 vclt.u8 q6, q6, q15 @ < beta
211 vclt.u8 q13, q4, q14 @ < (alpha >> 2) + 2 if_2
212 vand q12, q7, q6 @ if_1
213 vshrn.u16 d28, q12, #4
215 vmrs APSR_nzcv, FPSCR
219 vst1.8 {q12-q13}, [sp,:128]
221 vshll.u8 q4, d18, #1 @ 2*p1
223 vaddw.u8 q4, q4, d16 @ 2*p1 + p0
225 vaddw.u8 q4, q4, d2 @ 2*p1 + p0 + q1
227 vrshrn.u16 d24, q4, #2
228 vrshrn.u16 d25, q5, #2
230 vaddl.u8 q6, d20, d16 @ p2 + p0
231 vaddl.u8 q7, d21, d17
232 vaddw.u8 q6, q6, d0 @ p2 + p0 + q0
234 vadd.u16 q4, q4, q6 @ p2 + 2*p1 + 2*p0 + q0 + q1
236 vaddw.u8 q4, q4, d0 @ p2 + 2*p1 + 2*p0 + 2*q0 + q1
238 vrshrn.u16 d26, q4, #3 @ p0'_2
239 vrshrn.u16 d27, q5, #3
240 vaddw.u8 q6, q6, d18 @ p2 + p1 + p0 + q0
242 vrshrn.u16 d28, q6, #2 @ p1'_2
243 vrshrn.u16 d29, q7, #2
244 vaddl.u8 q4, d22, d20 @ p3 + p2
245 vaddl.u8 q5, d23, d21
246 vshl.u16 q4, q4, #1 @ 2*p3 + 2*p2
248 vadd.u16 q4, q4, q6 @ 2*p3 + 3*p2 + p1 + p0 + q0
250 vrshrn.u16 d30, q4, #3 @ p2'_2
251 vrshrn.u16 d31, q5, #3
254 vabd.u8 q5, q10, q8 @ abs(p2 - p0)
255 vld1.8 {q6-q7}, [sp,:128] @ if_1, if_2
256 vclt.u8 q5, q5, q4 @ < beta if_3
258 vand q7, q7, q5 @ if_2 && if_3
260 vand q7, q7, q6 @ if_1 && if_2 && if_3
261 vand q6, q4, q6 @ if_1 && !(if_2 && if_3)
263 @ copy p0 to q15 so it can be clobbered
268 @ wait for q9 to clobber
269 vshll.u8 q4, d2, #1 @ 2*q1
274 vaddw.u8 q4, q4, d0 @ 2*q1 + q0
279 vaddw.u8 q4, q4, d18 @ 2*q1 + q0 + p1
284 vrshrn.u16 d24, q4, #2
285 vrshrn.u16 d25, q5, #2
287 vaddl.u8 q6, d4, d0 @ q2 + q0
289 vaddw.u8 q6, q6, d30 @ q2 + q0 + p0
291 vadd.u16 q4, q4, q6 @ q2 + 2*q1 + 2*q0 + p0 + p1
293 vaddw.u8 q4, q4, d30 @ q2 + 2*q1 + 2*q0 + 2*p0 + p1
295 vrshrn.u16 d26, q4, #3 @ q0'_2
296 vrshrn.u16 d27, q5, #3
297 vaddw.u8 q6, q6, d2 @ q2 + q1 + q0 + p0
299 vrshrn.u16 d28, q6, #2 @ q1'_2
300 vrshrn.u16 d29, q7, #2
301 vaddl.u8 q4, d6, d4 @ q3 + q2
303 vshl.u16 q4, q4, #1 @ 2*q3 + 2*q2
305 vadd.u16 q4, q4, q6 @ 2*q3 + 3*q2 + q1 + q0 + p0
307 vrshrn.u16 d30, q4, #3 @ q2'_2
308 vrshrn.u16 d31, q5, #3
311 vabd.u8 q5, q2, q0 @ abs(q2 - q0)
312 vld1.8 {q6-q7}, [sp,:128]! @ if_1, if_2
313 vclt.u8 q5, q5, q4 @ < beta if_4
315 vand q7, q7, q5 @ if_2 && if_4
317 vand q7, q6, q7 @ if_1 && if_2 && if_4
318 vand q6, q6, q4 @ if_1 && !(if_2 && if_4)
327 function x264_deblock_v_luma_intra_neon
328 vld1.64 {d0, d1}, [r0,:128], r1
329 vld1.64 {d2, d3}, [r0,:128], r1
330 vld1.64 {d4, d5}, [r0,:128], r1
331 vld1.64 {d6, d7}, [r0,:128], r1
332 sub r0, r0, r1, lsl #3
333 vld1.64 {d22,d23}, [r0,:128], r1
334 vld1.64 {d20,d21}, [r0,:128], r1
335 vld1.64 {d18,d19}, [r0,:128], r1
336 vld1.64 {d16,d17}, [r0,:128]
340 h264_loop_filter_luma_intra
342 sub r0, r0, r1, lsl #1
343 vst1.64 {d20,d21}, [r0,:128], r1
344 vst1.64 {d18,d19}, [r0,:128], r1
345 vst1.64 {d16,d17}, [r0,:128], r1
346 vst1.64 {d0, d1}, [r0,:128], r1
347 vst1.64 {d2, d3}, [r0,:128], r1
348 vst1.64 {d4, d5}, [r0,:128]
354 function x264_deblock_h_luma_intra_neon
356 vld1.64 {d22}, [r0], r1
357 vld1.64 {d20}, [r0], r1
358 vld1.64 {d18}, [r0], r1
359 vld1.64 {d16}, [r0], r1
360 vld1.64 {d0}, [r0], r1
361 vld1.64 {d2}, [r0], r1
362 vld1.64 {d4}, [r0], r1
363 vld1.64 {d6}, [r0], r1
364 vld1.64 {d23}, [r0], r1
365 vld1.64 {d21}, [r0], r1
366 vld1.64 {d19}, [r0], r1
367 vld1.64 {d17}, [r0], r1
368 vld1.64 {d1}, [r0], r1
369 vld1.64 {d3}, [r0], r1
370 vld1.64 {d5}, [r0], r1
371 vld1.64 {d7}, [r0], r1
373 TRANSPOSE8x8 q11, q10, q9, q8, q0, q1, q2, q3
377 h264_loop_filter_luma_intra
379 TRANSPOSE8x8 q11, q10, q9, q8, q0, q1, q2, q3
381 sub r0, r0, r1, lsl #4
382 vst1.64 {d22}, [r0], r1
383 vst1.64 {d20}, [r0], r1
384 vst1.64 {d18}, [r0], r1
385 vst1.64 {d16}, [r0], r1
386 vst1.64 {d0}, [r0], r1
387 vst1.64 {d2}, [r0], r1
388 vst1.64 {d4}, [r0], r1
389 vst1.64 {d6}, [r0], r1
390 vst1.64 {d23}, [r0], r1
391 vst1.64 {d21}, [r0], r1
392 vst1.64 {d19}, [r0], r1
393 vst1.64 {d17}, [r0], r1
394 vst1.64 {d1}, [r0], r1
395 vst1.64 {d3}, [r0], r1
396 vst1.64 {d5}, [r0], r1
397 vst1.64 {d7}, [r0], r1
403 .macro h264_loop_filter_chroma
404 vdup.8 q11, r2 // alpha
406 vabd.u8 q13, q8, q0 // abs(p0 - q0)
407 vabd.u8 q14, q9, q8 // abs(p1 - p0)
413 vabd.u8 q15, q1, q0 // abs(q1 - q0)
417 vclt.u8 q13, q13, q11 // < alpha
421 vdup.8 q11, r3 // beta
423 vrshrn.i16 d4, q2, #3
424 vrshrn.i16 d5, q3, #3
425 vclt.u8 q14, q14, q11 // < beta
427 vclt.u8 q15, q15, q11 // < beta
438 vaddw.s8 q14, q14, d4
439 vaddw.s8 q15, q15, d5
440 vsubw.s8 q11, q11, d4
441 vsubw.s8 q12, q12, d5
448 function x264_deblock_v_chroma_neon
449 h264_loop_filter_start
451 sub r0, r0, r1, lsl #1
452 vld1.8 {d18,d19}, [r0,:128], r1
453 vld1.8 {d16,d17}, [r0,:128], r1
454 vld1.8 {d0, d1}, [r0,:128], r1
455 vld1.8 {d2, d3}, [r0,:128]
457 h264_loop_filter_chroma
459 sub r0, r0, r1, lsl #1
460 vst1.8 {d16,d17}, [r0,:128], r1
461 vst1.8 {d0, d1}, [r0,:128], r1
466 function x264_deblock_h_chroma_neon
467 h264_loop_filter_start
471 vld1.8 {d18}, [r0], r1
472 vld1.8 {d16}, [r0], r1
473 vld1.8 {d0}, [r0], r1
474 vld1.8 {d2}, [r0], r1
475 vld1.8 {d19}, [r0], r1
476 vld1.8 {d17}, [r0], r1
477 vld1.8 {d1}, [r0], r1
478 vld1.8 {d3}, [r0], r1
480 TRANSPOSE4x4_16 q9, q8, q0, q1
482 h264_loop_filter_chroma
486 sub r0, r0, r1, lsl #3
488 vst1.32 {d16[0]}, [r0], r1
489 vst1.32 {d0[0]}, [r0], r1
490 vst1.32 {d16[1]}, [r0], r1
491 vst1.32 {d0[1]}, [r0], r1
492 vst1.32 {d17[0]}, [r0], r1
493 vst1.32 {d1[0]}, [r0], r1
494 vst1.32 {d17[1]}, [r0], r1
495 vst1.32 {d1[1]}, [r0], r1
500 function x264_deblock_h_chroma_422_neon
501 h264_loop_filter_start
509 sub r0, r0, r1, lsl #3
510 add r0, r0, r1, lsr #1
516 .macro h264_loop_filter_chroma8
517 vdup.8 d22, r2 @ alpha
519 vabd.u8 d26, d16, d0 @ abs(p0 - q0)
520 vabd.u8 d28, d18, d16 @ abs(p1 - p0)
524 vabd.u8 d30, d2, d0 @ abs(q1 - q0)
526 vclt.u8 d26, d26, d22 @ < alpha
528 vdup.8 d22, r3 @ beta
530 vrshrn.i16 d4, q2, #3
531 vclt.u8 d28, d28, d22 @ < beta
533 vclt.u8 d30, d30, d22 @ < beta
542 vaddw.s8 q14, q14, d4
543 vsubw.s8 q11, q11, d4
548 function x264_deblock_h_chroma_mbaff_neon
549 h264_loop_filter_start
552 vld1.8 {d18}, [r0], r1
553 vld1.8 {d16}, [r0], r1
554 vld1.8 {d0}, [r0], r1
555 vld1.8 {d2}, [r0], r1
557 TRANSPOSE4x4_16 d18, d16, d0, d2
559 h264_loop_filter_chroma8
563 sub r0, r0, r1, lsl #2
565 vst1.32 {d16[0]}, [r0], r1
566 vst1.32 {d0[0]}, [r0], r1
567 vst1.32 {d16[1]}, [r0], r1
568 vst1.32 {d0[1]}, [r0]
573 .macro h264_loop_filter_chroma_intra, width=16
574 vdup.8 q11, r2 @ alpha
575 vabd.u8 q13, q8, q0 @ abs(p0 - q0)
576 vabd.u8 q14, q9, q8 @ abs(p1 - p0)
577 vabd.u8 q15, q1, q0 @ abs(q1 - q0)
578 vclt.u8 q13, q13, q11 @ < alpha
579 vdup.8 q11, r3 @ beta
580 vclt.u8 q14, q14, q11 @ < beta
581 vclt.u8 q15, q15, q11 @ < beta
585 vshll.u8 q14, d18, #1
588 vshll.u8 q15, d19, #1
590 vaddl.u8 q12, d17, d3
591 vaddl.u8 q10, d1, d19
593 vaddl.u8 q11, d16, d2
594 vaddl.u8 q1, d18, d0 @ or vaddw q2, to not clobber q1
595 vadd.u16 q14, q14, q11
598 vadd.u16 q15, q15, q12
601 vqrshrn.u16 d28, q14, #2
602 vqrshrn.u16 d4, q2, #2
604 vqrshrn.u16 d29, q15, #2
605 vqrshrn.u16 d5, q3, #2
611 function x264_deblock_v_chroma_intra_neon
612 sub r0, r0, r1, lsl #1
613 vld2.8 {d18,d19}, [r0,:128], r1
614 vld2.8 {d16,d17}, [r0,:128], r1
615 vld2.8 {d0, d1}, [r0,:128], r1
616 vld2.8 {d2, d3}, [r0,:128]
618 h264_loop_filter_chroma_intra
620 sub r0, r0, r1, lsl #1
621 vst2.8 {d16,d17}, [r0,:128], r1
622 vst2.8 {d0, d1}, [r0,:128], r1
627 function x264_deblock_h_chroma_intra_neon
629 vld1.8 {d18}, [r0], r1
630 vld1.8 {d16}, [r0], r1
631 vld1.8 {d0}, [r0], r1
632 vld1.8 {d2}, [r0], r1
633 vld1.8 {d19}, [r0], r1
634 vld1.8 {d17}, [r0], r1
635 vld1.8 {d1}, [r0], r1
636 vld1.8 {d3}, [r0], r1
638 TRANSPOSE4x4_16 q9, q8, q0, q1
640 h264_loop_filter_chroma_intra
644 sub r0, r0, r1, lsl #3
646 vst1.32 {d16[0]}, [r0], r1
647 vst1.32 {d0[0]}, [r0], r1
648 vst1.32 {d16[1]}, [r0], r1
649 vst1.32 {d0[1]}, [r0], r1
650 vst1.32 {d17[0]}, [r0], r1
651 vst1.32 {d1[0]}, [r0], r1
652 vst1.32 {d17[1]}, [r0], r1
653 vst1.32 {d1[1]}, [r0], r1
658 function x264_deblock_h_chroma_422_intra_neon
660 bl X(x264_deblock_h_chroma_intra_neon)
663 b X(x264_deblock_h_chroma_intra_neon)
666 function x264_deblock_h_chroma_intra_mbaff_neon
668 vld1.8 {d18}, [r0], r1
669 vld1.8 {d16}, [r0], r1
670 vld1.8 {d0}, [r0], r1
671 vld1.8 {d2}, [r0], r1
673 TRANSPOSE4x4_16 d18, d16, d0, d2
675 h264_loop_filter_chroma_intra width=8
679 sub r0, r0, r1, lsl #2
681 vst1.32 {d16[0]}, [r0], r1
682 vst1.32 {d0[0]}, [r0], r1
683 vst1.32 {d16[1]}, [r0], r1
684 vst1.32 {d0[1]}, [r0]
689 function x264_deblock_strength_neon
694 sub ip, ip, #(1<<8)-3
706 vext.8 q3, q0, q1, #15
707 vext.8 q0, q0, q2, #15
710 vext.8 q1, q15, q2, #12
717 vld1.16 {q11}, [r2,:128]! @ mv + 0x10
718 vld1.16 {q3}, [r2,:128]! @ mv + 0x20
719 vld1.16 {q12}, [r2,:128]! @ mv + 0x30
720 vld1.16 {q2}, [r2,:128]! @ mv + 0x40
721 vld1.16 {q13}, [r2,:128]! @ mv + 0x50
722 vext.8 q3, q3, q12, #12
723 vext.8 q2, q2, q13, #12
725 vld1.16 {q3}, [r2,:128]! @ mv + 0x60
727 vld1.16 {q14}, [r2,:128]! @ mv + 0x70
729 vld1.16 {q2}, [r2,:128]! @ mv + 0x80
730 vld1.16 {q15}, [r2,:128]! @ mv + 0x90
732 vext.8 q3, q3, q14, #12
733 vext.8 q2, q2, q15, #12
744 vabd.s16 q1, q12, q13
747 vabd.s16 q0, q11, q12
748 vabd.s16 q2, q13, q14
749 vabd.s16 q3, q14, q15
769 vext.8 q3, q0, q1, #15
770 vext.8 q0, q0, q2, #15
773 vext.8 q1, q15, q2, #12
780 vmin.u8 q8, q8, q10 @ mv ? 1 : 0
782 vadd.u8 q0, q0, q0 @ nnz ? 2 : 0
787 vst1.8 {q9}, [r3,:128], ip @ bs[1]
791 vst1.8 {q8}, [r3,:128] @ bs[0]