git.sesse.net Git - ffmpeg/blob - libavcodec/aarch64/vp9itxfm_neon.S

   1 /*
   2  * Copyright (c) 2016 Google Inc.
   3  *
   4  * This file is part of Libav.
   5  *
   6  * Libav is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * Libav is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with Libav; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 #include "libavutil/aarch64/asm.S"
  22 #include "neon.S"
  23
  24 const itxfm4_coeffs, align=4
  25         .short  11585, 6270, 15137, 0
  26 iadst4_coeffs:
  27         .short  5283, 15212, 9929, 13377
  28 endconst
  29
  30 const iadst8_coeffs, align=4
  31         .short  16305, 1606, 14449, 7723, 10394, 12665, 4756, 15679
  32 idct_coeffs:
  33         .short  11585, 6270, 15137, 3196, 16069, 13623, 9102, 1606
  34         .short  16305, 12665, 10394, 7723, 14449, 15679, 4756, 0
  35         .short  804, 16364, 12140, 11003, 7005, 14811, 15426, 5520
  36         .short  3981, 15893, 14053, 8423, 9760, 13160, 16207, 2404
  37 endconst
  38
  39 const iadst16_coeffs, align=4
  40         .short  16364, 804, 15893, 3981, 14811, 7005, 13160, 9760
  41         .short  11003, 12140, 8423, 14053, 5520, 15426, 2404, 16207
  42 endconst
  43
  44 // out1 = ((in1 + in2) * d0[0] + (1 << 13)) >> 14
  45 // out2 = ((in1 - in2) * d0[0] + (1 << 13)) >> 14
  46 // in/out are .8h registers; this can do with 4 temp registers, but is
  47 // more efficient if 6 temp registers are available.
  48 .macro dmbutterfly0 out1, out2, in1, in2, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, neg=0
  49 .if \neg > 0
  50         neg             \tmp4\().4h, v0.4h
  51 .endif
  52         add             \tmp1\().8h, \in1\().8h,  \in2\().8h
  53         sub             \tmp2\().8h, \in1\().8h,  \in2\().8h
  54 .if \neg > 0
  55         smull           \tmp3\().4s, \tmp1\().4h, \tmp4\().h[0]
  56         smull2          \tmp4\().4s, \tmp1\().8h, \tmp4\().h[0]
  57 .else
  58         smull           \tmp3\().4s, \tmp1\().4h, v0.h[0]
  59         smull2          \tmp4\().4s, \tmp1\().8h, v0.h[0]
  60 .endif
  61 .ifb \tmp5
  62         rshrn           \out1\().4h, \tmp3\().4s, #14
  63         rshrn2          \out1\().8h, \tmp4\().4s, #14
  64         smull           \tmp3\().4s, \tmp2\().4h, v0.h[0]
  65         smull2          \tmp4\().4s, \tmp2\().8h, v0.h[0]
  66         rshrn           \out2\().4h, \tmp3\().4s, #14
  67         rshrn2          \out2\().8h, \tmp4\().4s, #14
  68 .else
  69         smull           \tmp5\().4s, \tmp2\().4h, v0.h[0]
  70         smull2          \tmp6\().4s, \tmp2\().8h, v0.h[0]
  71         rshrn           \out1\().4h, \tmp3\().4s, #14
  72         rshrn2          \out1\().8h, \tmp4\().4s, #14
  73         rshrn           \out2\().4h, \tmp5\().4s, #14
  74         rshrn2          \out2\().8h, \tmp6\().4s, #14
  75 .endif
  76 .endm
  77
  78 // out1,out2 = in1 * coef1 - in2 * coef2
  79 // out3,out4 = in1 * coef2 + in2 * coef1
  80 // out are 4 x .4s registers, in are 2 x .8h registers
  81 .macro dmbutterfly_l out1, out2, out3, out4, in1, in2, coef1, coef2
  82         smull           \out1\().4s, \in1\().4h, \coef1
  83         smull2          \out2\().4s, \in1\().8h, \coef1
  84         smull           \out3\().4s, \in1\().4h, \coef2
  85         smull2          \out4\().4s, \in1\().8h, \coef2
  86         smlsl           \out1\().4s, \in2\().4h, \coef2
  87         smlsl2          \out2\().4s, \in2\().8h, \coef2
  88         smlal           \out3\().4s, \in2\().4h, \coef1
  89         smlal2          \out4\().4s, \in2\().8h, \coef1
  90 .endm
  91
  92 // inout1 = (inout1 * coef1 - inout2 * coef2 + (1 << 13)) >> 14
  93 // inout2 = (inout1 * coef2 + inout2 * coef1 + (1 << 13)) >> 14
  94 // inout are 2 x .8h registers
  95 .macro dmbutterfly inout1, inout2, coef1, coef2, tmp1, tmp2, tmp3, tmp4, neg=0
  96         dmbutterfly_l   \tmp1, \tmp2, \tmp3, \tmp4, \inout1, \inout2, \coef1, \coef2
  97 .if \neg > 0
  98         neg             \tmp3\().4s, \tmp3\().4s
  99         neg             \tmp4\().4s, \tmp4\().4s
 100 .endif
 101         rshrn           \inout1\().4h, \tmp1\().4s,  #14
 102         rshrn2          \inout1\().8h, \tmp2\().4s,  #14
 103         rshrn           \inout2\().4h, \tmp3\().4s,  #14
 104         rshrn2          \inout2\().8h, \tmp4\().4s,  #14
 105 .endm
 106
 107 // out1 = in1 + in2
 108 // out2 = in1 - in2
 109 .macro butterfly_8h out1, out2, in1, in2
 110         add             \out1\().8h, \in1\().8h, \in2\().8h
 111         sub             \out2\().8h, \in1\().8h, \in2\().8h
 112 .endm
 113
 114 // out1 = in1 - in2
 115 // out2 = in1 + in2
 116 .macro butterfly_8h_r out1, out2, in1, in2
 117         sub             \out1\().8h, \in1\().8h, \in2\().8h
 118         add             \out2\().8h, \in1\().8h, \in2\().8h
 119 .endm
 120
 121 // out1 = (in1,in2 + in3,in4 + (1 << 13)) >> 14
 122 // out2 = (in1,in2 - in3,in4 + (1 << 13)) >> 14
 123 // out are 2 x .8h registers, in are 4 x .4s registers
 124 .macro dbutterfly_n out1, out2, in1, in2, in3, in4, tmp1, tmp2, tmp3, tmp4
 125         add             \tmp1\().4s, \in1\().4s, \in3\().4s
 126         add             \tmp2\().4s, \in2\().4s, \in4\().4s
 127         sub             \tmp3\().4s, \in1\().4s, \in3\().4s
 128         sub             \tmp4\().4s, \in2\().4s, \in4\().4s
 129         rshrn           \out1\().4h, \tmp1\().4s,  #14
 130         rshrn2          \out1\().8h, \tmp2\().4s,  #14
 131         rshrn           \out2\().4h, \tmp3\().4s,  #14
 132         rshrn2          \out2\().8h, \tmp4\().4s,  #14
 133 .endm
 134
 135 .macro iwht4 c0, c1, c2, c3
 136         add             \c0\().4h, \c0\().4h, \c1\().4h
 137         sub             v17.4h,    \c2\().4h, \c3\().4h
 138         sub             v16.4h,    \c0\().4h, v17.4h
 139         sshr            v16.4h,    v16.4h,    #1
 140         sub             \c2\().4h, v16.4h,    \c1\().4h
 141         sub             \c1\().4h, v16.4h,    \c3\().4h
 142         add             \c3\().4h, v17.4h,    \c2\().4h
 143         sub             \c0\().4h, \c0\().4h, \c1\().4h
 144 .endm
 145
 146 .macro idct4 c0, c1, c2, c3
 147         smull           v22.4s,    \c1\().4h, v0.h[2]
 148         smull           v20.4s,    \c1\().4h, v0.h[1]
 149         add             v16.4h,    \c0\().4h, \c2\().4h
 150         sub             v17.4h,    \c0\().4h, \c2\().4h
 151         smlal           v22.4s,    \c3\().4h, v0.h[1]
 152         smull           v18.4s,    v16.4h,    v0.h[0]
 153         smull           v19.4s,    v17.4h,    v0.h[0]
 154         smlsl           v20.4s,    \c3\().4h, v0.h[2]
 155         rshrn           v22.4h,    v22.4s,    #14
 156         rshrn           v18.4h,    v18.4s,    #14
 157         rshrn           v19.4h,    v19.4s,    #14
 158         rshrn           v20.4h,    v20.4s,    #14
 159         add             \c0\().4h, v18.4h,    v22.4h
 160         sub             \c3\().4h, v18.4h,    v22.4h
 161         add             \c1\().4h, v19.4h,    v20.4h
 162         sub             \c2\().4h, v19.4h,    v20.4h
 163 .endm
 164
 165 .macro iadst4 c0, c1, c2, c3
 166         smull           v16.4s,    \c0\().4h, v0.h[4]
 167         smlal           v16.4s,    \c2\().4h, v0.h[5]
 168         smlal           v16.4s,    \c3\().4h, v0.h[6]
 169         smull           v17.4s,    \c0\().4h, v0.h[6]
 170         smlsl           v17.4s,    \c2\().4h, v0.h[4]
 171         sub             \c0\().4h, \c0\().4h, \c2\().4h
 172         smlsl           v17.4s,    \c3\().4h, v0.h[5]
 173         add             \c0\().4h, \c0\().4h, \c3\().4h
 174         smull           v19.4s,    \c1\().4h, v0.h[7]
 175         smull           v18.4s,    \c0\().4h, v0.h[7]
 176         add             v20.4s,    v16.4s,    v19.4s
 177         add             v21.4s,    v17.4s,    v19.4s
 178         rshrn           \c0\().4h, v20.4s,    #14
 179         add             v16.4s,    v16.4s,    v17.4s
 180         rshrn           \c1\().4h, v21.4s,     #14
 181         sub             v16.4s,    v16.4s,    v19.4s
 182         rshrn           \c2\().4h, v18.4s,    #14
 183         rshrn           \c3\().4h, v16.4s,    #14
 184 .endm
 185
 186 // The public functions in this file have got the following signature:
 187 // void itxfm_add(uint8_t *dst, ptrdiff_t stride, int16_t *block, int eob);
 188
 189 .macro itxfm_func4x4 txfm1, txfm2
 190 function ff_vp9_\txfm1\()_\txfm2\()_4x4_add_neon, export=1
 191 .ifc \txfm1,\txfm2
 192 .ifc \txfm1,idct
 193         movrel          x4,  itxfm4_coeffs
 194         ld1             {v0.4h}, [x4]
 195 .endif
 196 .ifc \txfm1,iadst
 197         movrel          x4,  iadst4_coeffs
 198         ld1             {v0.d}[1], [x4]
 199 .endif
 200 .else
 201         movrel          x4,  itxfm4_coeffs
 202         ld1             {v0.8h}, [x4]
 203 .endif
 204
 205         movi            v31.8h, #0
 206 .ifc \txfm1\()_\txfm2,idct_idct
 207         cmp             w3,  #1
 208         b.ne            1f
 209         // DC-only for idct/idct
 210         ld1r            {v2.4h},  [x2]
 211         smull           v2.4s,  v2.4h, v0.h[0]
 212         rshrn           v2.4h,  v2.4s, #14
 213         smull           v2.4s,  v2.4h, v0.h[0]
 214         rshrn           v2.4h,  v2.4s, #14
 215         st1             {v31.h}[0], [x2]
 216         dup             v4.4h,  v2.h[0]
 217         mov             v5.16b, v4.16b
 218         mov             v6.16b, v4.16b
 219         mov             v7.16b, v4.16b
 220         b               2f
 221 .endif
 222
 223 1:
 224         ld1             {v4.4h,v5.4h,v6.4h,v7.4h},  [x2]
 225         st1             {v31.8h}, [x2], #16
 226
 227 .ifc \txfm1,iwht
 228         sshr            v4.4h,  v4.4h,  #2
 229         sshr            v5.4h,  v5.4h,  #2
 230         sshr            v6.4h,  v6.4h,  #2
 231         sshr            v7.4h,  v7.4h,  #2
 232 .endif
 233
 234         \txfm1\()4      v4,  v5,  v6,  v7
 235
 236         st1             {v31.8h}, [x2], #16
 237         // Transpose 4x4 with 16 bit elements
 238         transpose_4x4H  v4,  v5,  v6,  v7,  v16, v17, v18, v19
 239
 240         \txfm2\()4      v4,  v5,  v6,  v7
 241 2:
 242         ld1r            {v0.2s},   [x0], x1
 243         ld1r            {v1.2s},   [x0], x1
 244 .ifnc \txfm1,iwht
 245         srshr           v4.4h,  v4.4h,  #4
 246         srshr           v5.4h,  v5.4h,  #4
 247         srshr           v6.4h,  v6.4h,  #4
 248         srshr           v7.4h,  v7.4h,  #4
 249 .endif
 250         uaddw           v4.8h,  v4.8h,  v0.8b
 251         uaddw           v5.8h,  v5.8h,  v1.8b
 252         ld1r            {v2.2s},   [x0], x1
 253         ld1r            {v3.2s},   [x0], x1
 254         sqxtun          v0.8b,  v4.8h
 255         sqxtun          v1.8b,  v5.8h
 256         sub             x0,  x0,  x1, lsl #2
 257
 258         uaddw           v6.8h,  v6.8h,  v2.8b
 259         uaddw           v7.8h,  v7.8h,  v3.8b
 260         st1             {v0.s}[0],  [x0], x1
 261         sqxtun          v2.8b,  v6.8h
 262         sqxtun          v3.8b,  v7.8h
 263
 264         st1             {v1.s}[0],  [x0], x1
 265         st1             {v2.s}[0],  [x0], x1
 266         st1             {v3.s}[0],  [x0], x1
 267
 268         ret
 269 endfunc
 270 .endm
 271
 272 itxfm_func4x4 idct,  idct
 273 itxfm_func4x4 iadst, idct
 274 itxfm_func4x4 idct,  iadst
 275 itxfm_func4x4 iadst, iadst
 276 itxfm_func4x4 iwht,  iwht
 277
 278
 279 .macro idct8
 280         dmbutterfly0    v16, v20, v16, v20, v2, v3, v4, v5, v6, v7 // v16 = t0a, v20 = t1a
 281         dmbutterfly     v18, v22, v0.h[1], v0.h[2], v2, v3, v4, v5 // v18 = t2a, v22 = t3a
 282         dmbutterfly     v17, v23, v0.h[3], v0.h[4], v2, v3, v4, v5 // v17 = t4a, v23 = t7a
 283         dmbutterfly     v21, v19, v0.h[5], v0.h[6], v2, v3, v4, v5 // v21 = t5a, v19 = t6a
 284
 285         butterfly_8h    v24, v25, v16, v22 // v24 = t0, v25 = t3
 286         butterfly_8h    v28, v29, v17, v21 // v28 = t4, v29 = t5a
 287         butterfly_8h    v30, v31, v23, v19 // v30 = t7, v31 = t6a
 288         butterfly_8h    v26, v27, v20, v18 // v26 = t1, v27 = t2
 289
 290         dmbutterfly0    v31, v29, v31, v29, v2, v3, v4, v5, v6, v7 // v31 = t6, v29 = t5
 291
 292         butterfly_8h    v16, v23, v24, v30 // v16 = out[0], v23 = out[7]
 293         butterfly_8h    v17, v22, v26, v31 // v17 = out[1], v22 = out[6]
 294         butterfly_8h    v18, v21, v27, v29 // q13 = out[2], q10 = out[5]
 295         butterfly_8h    v19, v20, v25, v28 // v17 = out[3], q12 = out[4]
 296 .endm
 297
 298 .macro iadst8
 299         dmbutterfly_l   v24, v25, v26, v27, v23, v16, v1.h[1], v1.h[0]   // v24,v25 = t1a, v26,v27 = t0a
 300         dmbutterfly_l   v28, v29, v30, v31, v21, v18, v1.h[3], v1.h[2]   // v28,v29 = t3a, v30,v31 = t2a
 301         dmbutterfly_l   v2,  v3,  v4,  v5,  v19, v20, v1.h[5], v1.h[4]   // v2,v3   = t5a, v4,v5   = t4a
 302         dmbutterfly_l   v16, v18, v21, v23, v17, v22, v1.h[7], v1.h[6]   // v16,v18 = t7a, v21,v23 = t6a
 303
 304         dbutterfly_n    v4,  v5,  v26, v27, v4,  v5,  v6,  v7, v26, v27  // v4  = t0, v5  = t4
 305         dbutterfly_n    v2,  v3,  v24, v25, v2,  v3,  v6,  v7, v26, v27  // v2  = t1, v3  = t5
 306         dbutterfly_n    v24, v25, v30, v31, v21, v23, v6,  v7, v26, v27  // v24 = t2, v25 = t6
 307         dbutterfly_n    v30, v31, v28, v29, v16, v18, v6,  v7, v26, v27  // v30 = t3, v31 = t7
 308
 309         butterfly_8h    v16, v6,  v4, v24 // v16 = out[0],  v6 = t2
 310         butterfly_8h    v23, v7,  v2, v30 // v23 = -out[7], v7 = t3
 311         neg             v23.8h,   v23.8h  // v23 = out[7]
 312
 313         dmbutterfly0    v19, v20, v6, v7, v24, v26, v27, v28, v29, v30   // v19 = -out[3], v20 = out[4]
 314         neg             v19.8h,   v19.8h  // v19 = out[3]
 315
 316         dmbutterfly_l   v26, v27, v28, v29, v5,  v3,  v0.h[1], v0.h[2]   // v26,v27 = t5a, v28,v29 = t4a
 317         dmbutterfly_l   v2,  v3,  v4,  v5,  v31, v25, v0.h[2], v0.h[1]   // v2,v3   = t6a, v4,v5   = t7a
 318
 319         dbutterfly_n    v17, v30, v28, v29, v2,  v3,  v6,  v7,  v24, v25 // v17 = -out[1], v30 = t6
 320         dbutterfly_n    v22, v31, v26, v27, v4,  v5,  v6,  v7,  v24, v25 // v22 = out[6],  v31 = t7
 321         neg             v17.8h,   v17.8h  // v17 = out[1]
 322
 323         dmbutterfly0    v18, v21, v30, v31, v2,  v3,  v4,  v5,  v6,  v7  // v18 = out[2], v21 = -out[5]
 324         neg             v21.8h,   v21.8h  // v21 = out[5]
 325 .endm
 326
 327
 328 .macro itxfm_func8x8 txfm1, txfm2
 329 function ff_vp9_\txfm1\()_\txfm2\()_8x8_add_neon, export=1
 330         // The iadst also uses a few coefficients from
 331         // idct, so those always need to be loaded.
 332 .ifc \txfm1\()_\txfm2,idct_idct
 333         movrel          x4,  idct_coeffs
 334         ld1             {v0.8h}, [x4]
 335 .else
 336         movrel          x4, iadst8_coeffs
 337         ld1             {v1.8h}, [x4], #16
 338         ld1             {v0.8h}, [x4]
 339 .endif
 340
 341         movi            v2.16b, #0
 342         movi            v3.16b, #0
 343         movi            v4.16b, #0
 344         movi            v5.16b, #0
 345
 346 .ifc \txfm1\()_\txfm2,idct_idct
 347         cmp             w3,  #1
 348         b.ne            1f
 349         // DC-only for idct/idct
 350         ld1r            {v2.4h},  [x2]
 351         smull           v2.4s,  v2.4h, v0.h[0]
 352         rshrn           v2.4h,  v2.4s, #14
 353         smull           v2.4s,  v2.4h, v0.h[0]
 354         rshrn           v2.4h,  v2.4s, #14
 355         st1             {v3.h}[0],  [x2]
 356         dup             v16.8h,  v2.h[0]
 357         mov             v17.16b, v16.16b
 358         mov             v18.16b, v16.16b
 359         mov             v19.16b, v16.16b
 360         mov             v20.16b, v16.16b
 361         mov             v21.16b, v16.16b
 362         mov             v22.16b, v16.16b
 363         mov             v23.16b, v16.16b
 364         b               2f
 365 .endif
 366 1:
 367         ld1             {v16.16b,v17.16b,v18.16b,v19.16b},  [x2], #64
 368         ld1             {v20.16b,v21.16b,v22.16b,v23.16b},  [x2], #64
 369         sub             x2,  x2,  #128
 370         st1             {v2.16b,v3.16b,v4.16b,v5.16b},  [x2], #64
 371         st1             {v2.16b,v3.16b,v4.16b,v5.16b},  [x2], #64
 372
 373         \txfm1\()8
 374
 375         // Transpose 8x8 with 16 bit elements
 376         transpose_8x8H  v16, v17, v18, v19, v20, v21, v22, v23, v24, v25
 377
 378         \txfm2\()8
 379 2:
 380         mov             x3,  x0
 381         // Add into the destination
 382         ld1             {v0.8b},  [x0], x1
 383         srshr           v16.8h, v16.8h, #5
 384         ld1             {v1.8b},  [x0], x1
 385         srshr           v17.8h, v17.8h, #5
 386         ld1             {v2.8b},  [x0], x1
 387         srshr           v18.8h, v18.8h, #5
 388         uaddw           v16.8h, v16.8h, v0.8b
 389         ld1             {v3.8b},  [x0], x1
 390         srshr           v19.8h, v19.8h, #5
 391         uaddw           v17.8h, v17.8h, v1.8b
 392         ld1             {v4.8b},  [x0], x1
 393         srshr           v20.8h, v20.8h, #5
 394         uaddw           v18.8h, v18.8h, v2.8b
 395         sqxtun          v0.8b,  v16.8h
 396         ld1             {v5.8b},  [x0], x1
 397         srshr           v21.8h, v21.8h, #5
 398         uaddw           v19.8h, v19.8h, v3.8b
 399         sqxtun          v1.8b,  v17.8h
 400         ld1             {v6.8b},  [x0], x1
 401         srshr           v22.8h, v22.8h, #5
 402         uaddw           v20.8h, v20.8h, v4.8b
 403         sqxtun          v2.8b,  v18.8h
 404         ld1             {v7.8b},  [x0], x1
 405         srshr           v23.8h, v23.8h, #5
 406         uaddw           v21.8h, v21.8h, v5.8b
 407         sqxtun          v3.8b,  v19.8h
 408
 409         st1             {v0.8b},  [x3], x1
 410         uaddw           v22.8h, v22.8h, v6.8b
 411         st1             {v1.8b},  [x3], x1
 412         sqxtun          v4.8b,  v20.8h
 413         st1             {v2.8b},  [x3], x1
 414         uaddw           v23.8h, v23.8h, v7.8b
 415         st1             {v3.8b},  [x3], x1
 416         sqxtun          v5.8b,  v21.8h
 417         st1             {v4.8b},  [x3], x1
 418         sqxtun          v6.8b,  v22.8h
 419         st1             {v5.8b},  [x3], x1
 420         sqxtun          v7.8b,  v23.8h
 421
 422         st1             {v6.8b},  [x3], x1
 423         st1             {v7.8b},  [x3], x1
 424
 425         ret
 426 endfunc
 427 .endm
 428
 429 itxfm_func8x8 idct,  idct
 430 itxfm_func8x8 iadst, idct
 431 itxfm_func8x8 idct,  iadst
 432 itxfm_func8x8 iadst, iadst
 433
 434
 435 function idct16x16_dc_add_neon
 436         movrel          x4, idct_coeffs
 437         ld1             {v0.4h}, [x4]
 438
 439         movi            v1.4h, #0
 440
 441         ld1r            {v2.4h}, [x2]
 442         smull           v2.4s,  v2.4h, v0.h[0]
 443         rshrn           v2.4h,  v2.4s, #14
 444         smull           v2.4s,  v2.4h, v0.h[0]
 445         rshrn           v2.4h,  v2.4s, #14
 446         dup             v2.8h,  v2.h[0]
 447         st1             {v1.h}[0], [x2]
 448
 449         srshr           v2.8h, v2.8h, #6
 450
 451         mov             x4, #16
 452 1:
 453         // Loop to add the constant from v2 into all 16x16 outputs
 454         ld1             {v3.16b},  [x0]
 455         uaddw           v4.8h,  v2.8h,  v3.8b
 456         uaddw2          v5.8h,  v2.8h,  v3.16b
 457         sqxtun          v4.8b,  v4.8h
 458         sqxtun2         v4.16b, v5.8h
 459         st1             {v4.16b},  [x0], x1
 460         subs            x4,  x4,  #1
 461         b.ne            1b
 462
 463         ret
 464 endfunc
 465
 466 .macro idct16
 467         dmbutterfly0    v16, v24, v16, v24, v2, v3, v4, v5, v6, v7 // v16 = t0a,  v24 = t1a
 468         dmbutterfly     v20, v28, v0.h[1], v0.h[2], v2, v3, v4, v5 // v20 = t2a,  v28 = t3a
 469         dmbutterfly     v18, v30, v0.h[3], v0.h[4], v2, v3, v4, v5 // v18 = t4a,  v30 = t7a
 470         dmbutterfly     v26, v22, v0.h[5], v0.h[6], v2, v3, v4, v5 // v26 = t5a,  v22 = t6a
 471         dmbutterfly     v17, v31, v0.h[7], v1.h[0], v2, v3, v4, v5 // v17 = t8a,  v31 = t15a
 472         dmbutterfly     v25, v23, v1.h[1], v1.h[2], v2, v3, v4, v5 // v25 = t9a,  v23 = t14a
 473         dmbutterfly     v21, v27, v1.h[3], v1.h[4], v2, v3, v4, v5 // v21 = t10a, v27 = t13a
 474         dmbutterfly     v29, v19, v1.h[5], v1.h[6], v2, v3, v4, v5 // v29 = t11a, v19 = t12a
 475
 476         butterfly_8h    v4,  v28, v16, v28               // v4  = t0,   v28 = t3
 477         butterfly_8h    v5,  v20, v24, v20               // v5  = t1,   v20 = t2
 478         butterfly_8h    v6,  v26, v18, v26               // v6  = t4,   v26 = t5
 479         butterfly_8h    v7,  v22, v30, v22               // v7  = t7,   v22 = t6
 480         butterfly_8h    v16, v25, v17, v25               // v16 = t8,   v25 = t9
 481         butterfly_8h    v24, v21, v29, v21               // v24 = t11,  v21 = t10
 482         butterfly_8h    v17, v27, v19, v27               // v17 = t12,  v27 = t13
 483         butterfly_8h    v29, v23, v31, v23               // v29 = t15,  v23 = t14
 484
 485         dmbutterfly0    v22, v26, v22, v26, v2, v3, v18, v19, v30, v31        // v22 = t6a,  v26 = t5a
 486         dmbutterfly     v23, v25, v0.h[1], v0.h[2], v18, v19, v30, v31        // v23 = t9a,  v25 = t14a
 487         dmbutterfly     v27, v21, v0.h[1], v0.h[2], v18, v19, v30, v31, neg=1 // v27 = t13a, v21 = t10a
 488
 489         butterfly_8h    v18, v7,  v4,  v7                // v18 = t0a,  v7  = t7a
 490         butterfly_8h    v19, v22, v5,  v22               // v19 = t1a,  v22 = t6
 491         butterfly_8h    v4,  v26, v20, v26               // v4  = t2a,  v26 = t5
 492         butterfly_8h    v5,  v6,  v28, v6                // v5  = t3a,  v6  = t4
 493         butterfly_8h    v20, v28, v16, v24               // v20 = t8a,  v28 = t11a
 494         butterfly_8h    v24, v21, v23, v21               // v24 = t9,   v21 = t10
 495         butterfly_8h    v23, v27, v25, v27               // v23 = t14,  v27 = t13
 496         butterfly_8h    v25, v29, v29, v17               // v25 = t15a, v29 = t12a
 497
 498         dmbutterfly0    v2,  v3,  v27, v21, v2,  v3,  v16, v17, v30, v31 // v2  = t13a, v3  = t10a
 499         dmbutterfly0    v28, v27, v29, v28, v21, v29, v16, v17, v30, v31 // v28 = t12,  v27 = t11
 500
 501         butterfly_8h    v16, v31, v18, v25               // v16 = out[0], v31 = out[15]
 502         butterfly_8h    v17, v30, v19, v23               // v17 = out[1], v30 = out[14]
 503         butterfly_8h_r  v25, v22, v22, v24               // v25 = out[9], v22 = out[6]
 504         butterfly_8h    v23, v24, v7,  v20               // v23 = out[7], v24 = out[8]
 505         butterfly_8h    v18, v29, v4,  v2                // v18 = out[2], v29 = out[13]
 506         butterfly_8h    v19, v28, v5,  v28               // v19 = out[3], v28 = out[12]
 507         butterfly_8h    v20, v27, v6,  v27               // v20 = out[4], v27 = out[11]
 508         butterfly_8h    v21, v26, v26, v3                // v21 = out[5], v26 = out[10]
 509 .endm
 510
 511 .macro iadst16
 512         ld1             {v0.8h,v1.8h}, [x11]
 513
 514         dmbutterfly_l   v6,  v7,  v4,  v5,  v31, v16, v0.h[1], v0.h[0]   // v6,v7   = t1,   v4,v5   = t0
 515         dmbutterfly_l   v10, v11, v8,  v9,  v23, v24, v1.h[1], v1.h[0]   // v10,v11 = t9,   v8,v9   = t8
 516         dbutterfly_n    v31, v24, v6,  v7,  v10, v11, v12, v13, v10, v11 // v31     = t1a,  v24     = t9a
 517         dmbutterfly_l   v14, v15, v12, v13, v29, v18, v0.h[3], v0.h[2]   // v14,v15 = t3,   v12,v13 = t2
 518         dbutterfly_n    v16, v23, v4,  v5,  v8,  v9,  v6,  v7,  v8,  v9  // v16     = t0a,  v23     = t8a
 519
 520         dmbutterfly_l   v6,  v7,  v4,  v5,  v21, v26, v1.h[3], v1.h[2]   // v6,v7   = t11,  v4,v5   = t10
 521         dbutterfly_n    v29, v26, v14, v15, v6,  v7,  v8,  v9,  v6,  v7  // v29     = t3a,  v26     = t11a
 522         dmbutterfly_l   v10, v11, v8,  v9,  v27, v20, v0.h[5], v0.h[4]   // v10,v11 = t5,   v8,v9   = t4
 523         dbutterfly_n    v18, v21, v12, v13, v4,  v5,  v6,  v7,  v4,  v5  // v18     = t2a,  v21     = t10a
 524
 525         dmbutterfly_l   v14, v15, v12, v13, v19, v28, v1.h[5], v1.h[4]   // v14,v15 = t13,  v12,v13 = t12
 526         dbutterfly_n    v20, v28, v10, v11, v14, v15, v4,  v5,  v14, v15 // v20     = t5a,  v28     = t13a
 527         dmbutterfly_l   v6,  v7,  v4,  v5,  v25, v22, v0.h[7], v0.h[6]   // v6,v7   = t7,   v4,v5   = t6
 528         dbutterfly_n    v27, v19, v8,  v9,  v12, v13, v10, v11, v12, v13 // v27     = t4a,  v19     = t12a
 529
 530         dmbutterfly_l   v10, v11, v8,  v9,  v17, v30, v1.h[7], v1.h[6]   // v10,v11 = t15,  v8,v9   = t14
 531         ld1             {v0.8h}, [x10]
 532         dbutterfly_n    v22, v30, v6,  v7,  v10, v11, v12, v13, v10, v11 // v22     = t7a,  v30     = t15a
 533         dmbutterfly_l   v14, v15, v12, v13, v23, v24, v0.h[3], v0.h[4]   // v14,v15 = t9,   v12,v13 = t8
 534         dbutterfly_n    v25, v17, v4,  v5,  v8,  v9,  v6,  v7,  v8,  v9  // v25     = t6a,  v17     = t14a
 535
 536         dmbutterfly_l   v4,  v5,  v6,  v7,  v28, v19, v0.h[4], v0.h[3]   // v4,v5   = t12,  v6,v7   = t13
 537         dbutterfly_n    v23, v19, v12, v13, v4,  v5,  v8,  v9,  v4,  v5  // v23     = t8a,  v19     = t12a
 538         dmbutterfly_l   v10, v11, v8,  v9,  v21, v26, v0.h[5], v0.h[6]   // v10,v11 = t11,  v8,v9   = t10
 539         butterfly_8h_r  v4,  v27, v16, v27               // v4  = t4,   v27 = t0
 540         dbutterfly_n    v24, v28, v14, v15, v6,  v7,  v12, v13, v6,  v7  // v24     = t9a,  v28     = t13a
 541
 542         dmbutterfly_l   v12, v13, v14, v15, v30, v17, v0.h[6], v0.h[5]   // v12,v13 = t14,  v14,v15 = t15
 543         butterfly_8h_r  v5,  v20, v31, v20               // v5  = t5, v20 = t1
 544         dbutterfly_n    v21, v17, v8,  v9,  v12, v13, v6,  v7,  v12, v13 // v21     = t10a, v17     = t14a
 545         dbutterfly_n    v26, v30, v10, v11, v14, v15, v8,  v9,  v14, v15 // v26     = t11a, v30     = t15a
 546
 547         butterfly_8h_r  v6,  v25, v18, v25               // v6  = t6, v25 = t2
 548         butterfly_8h_r  v7,  v22, v29, v22               // v7  = t7, v22 = t3
 549
 550         dmbutterfly_l   v10, v11, v8,  v9,  v19, v28, v0.h[1], v0.h[2]   // v10,v11 = t13,  v8,v9   = t12
 551         dmbutterfly_l   v12, v13, v14, v15, v30, v17, v0.h[2], v0.h[1]   // v12,v13 = t14,  v14,v15 = t15
 552
 553         dbutterfly_n    v18, v30, v8,  v9,  v12, v13, v16, v17, v12, v13 // v18   = out[2], v30     = t14a
 554         dbutterfly_n    v29, v17, v10, v11, v14, v15, v12, v13, v14, v15 // v29 = -out[13], v17     = t15a
 555         neg             v29.8h, v29.8h                   // v29 = out[13]
 556
 557         dmbutterfly_l   v10, v11, v8,  v9,  v4,  v5,  v0.h[1], v0.h[2]   // v10,v11 = t5a,  v8,v9   = t4a
 558         dmbutterfly_l   v12, v13, v14, v15, v7,  v6,  v0.h[2], v0.h[1]   // v12,v13 = t6a,  v14,v15 = t7a
 559
 560         butterfly_8h    v2,  v6,  v27, v25               // v2 = out[0], v6 = t2a
 561         butterfly_8h    v3,  v7,  v23, v21               // v3 =-out[1], v7 = t10
 562
 563         dbutterfly_n    v19, v31, v8,  v9,  v12, v13, v4,  v5,  v8,  v9  // v19 = -out[3],  v31 = t6
 564         neg             v19.8h, v19.8h                   // v19 = out[3]
 565         dbutterfly_n    v28, v16, v10, v11, v14, v15, v4,  v5,  v10, v11 // v28 = out[12],  v16 = t7
 566
 567         butterfly_8h    v5,  v8,  v20, v22               // v5 =-out[15],v8 = t3a
 568         butterfly_8h    v4,  v9,  v24, v26               // v4 = out[14],v9 = t11
 569
 570         dmbutterfly0    v23, v24, v6,  v8,  v10, v11, v12, v13, v14, v15, 1 // v23 = out[7], v24 = out[8]
 571         dmbutterfly0    v21, v26, v30, v17, v10, v11, v12, v13, v14, v15, 1 // v21 = out[5], v26 = out[10]
 572         dmbutterfly0    v20, v27, v16, v31, v10, v11, v12, v13, v14, v15    // v20 = out[4], v27 = out[11]
 573         dmbutterfly0    v22, v25, v9,  v7,  v10, v11, v12, v13, v14, v15    // v22 = out[6], v25 = out[9]
 574
 575         neg             v31.8h,  v5.8h                    // v31 = out[15]
 576         neg             v17.8h,  v3.8h                    // v17 = out[1]
 577
 578         mov             v16.16b, v2.16b
 579         mov             v30.16b, v4.16b
 580 .endm
 581
 582 // Helper macros; we can't use these expressions directly within
 583 // e.g. .irp due to the extra concatenation \(). Therefore wrap
 584 // them in macros to allow using .irp below.
 585 .macro load i, src, inc
 586         ld1             {v\i\().8h},  [\src], \inc
 587 .endm
 588 .macro store i, dst, inc
 589         st1             {v\i\().8h},  [\dst], \inc
 590 .endm
 591 .macro movi_v i, size, imm
 592         movi            v\i\()\size,  \imm
 593 .endm
 594 .macro load_clear i, src, inc
 595         ld1             {v\i\().8h}, [\src]
 596         st1             {v2.8h},  [\src], \inc
 597 .endm
 598
 599 // Read a vertical 8x16 slice out of a 16x16 matrix, do a transform on it,
 600 // transpose into a horizontal 16x8 slice and store.
 601 // x0 = dst (temp buffer)
 602 // x1 = slice offset
 603 // x2 = src
 604 // x9 = input stride
 605 .macro itxfm16_1d_funcs txfm
 606 function \txfm\()16_1d_8x16_pass1_neon
 607         movi            v2.8h, #0
 608 .irp i, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31
 609         load_clear      \i,  x2,  x9
 610 .endr
 611
 612         \txfm\()16
 613
 614         // Do two 8x8 transposes. Originally, v16-v31 contain the
 615         // 16 rows. Afterwards, v16-v23 and v24-v31 contain the two
 616         // transposed 8x8 blocks.
 617         transpose_8x8H  v16, v17, v18, v19, v20, v21, v22, v23, v2, v3
 618         transpose_8x8H  v24, v25, v26, v27, v28, v29, v30, v31, v2, v3
 619
 620         // Store the transposed 8x8 blocks horizontally.
 621         cmp             x1,  #8
 622         b.eq            1f
 623 .irp i, 16, 24, 17, 25, 18, 26, 19, 27, 20, 28, 21, 29, 22, 30, 23, 31
 624         store           \i,  x0,  #16
 625 .endr
 626         ret
 627 1:
 628         // Special case: For the last input column (x1 == 8),
 629         // which would be stored as the last row in the temp buffer,
 630         // don't store the first 8x8 block, but keep it in registers
 631         // for the first slice of the second pass (where it is the
 632         // last 8x8 block).
 633 .irp i, 24, 25, 26, 27, 28, 29, 30, 31
 634         add             x0,  x0,  #16
 635         store           \i,  x0,  #16
 636 .endr
 637         mov             v24.16b, v16.16b
 638         mov             v25.16b, v17.16b
 639         mov             v26.16b, v18.16b
 640         mov             v27.16b, v19.16b
 641         mov             v28.16b, v20.16b
 642         mov             v29.16b, v21.16b
 643         mov             v30.16b, v22.16b
 644         mov             v31.16b, v23.16b
 645         ret
 646 endfunc
 647
 648 // Read a vertical 8x16 slice out of a 16x16 matrix, do a transform on it,
 649 // load the destination pixels (from a similar 8x16 slice), add and store back.
 650 // x0 = dst
 651 // x1 = dst stride
 652 // x2 = src (temp buffer)
 653 // x3 = slice offset
 654 // x9 = temp buffer stride
 655 function \txfm\()16_1d_8x16_pass2_neon
 656 .irp i, 16, 17, 18, 19, 20, 21, 22, 23
 657         load            \i,  x2,  x9
 658 .endr
 659         cbz             x3,  1f
 660 .irp i, 24, 25, 26, 27, 28, 29, 30, 31
 661         load            \i,  x2,  x9
 662 .endr
 663 1:
 664
 665         add             x3,  x0,  x1
 666         lsl             x1,  x1,  #1
 667         \txfm\()16
 668
 669 .macro load_add_store coef0, coef1, coef2, coef3, coef4, coef5, coef6, coef7, tmp1, tmp2
 670         srshr           \coef0, \coef0, #6
 671         ld1             {v2.8b},  [x0], x1
 672         srshr           \coef1, \coef1, #6
 673         ld1             {v3.8b},  [x3], x1
 674         srshr           \coef2, \coef2, #6
 675         ld1             {v4.8b},  [x0], x1
 676         srshr           \coef3, \coef3, #6
 677         uaddw           \coef0, \coef0, v2.8b
 678         ld1             {v5.8b},  [x3], x1
 679         uaddw           \coef1, \coef1, v3.8b
 680         srshr           \coef4, \coef4, #6
 681         ld1             {v6.8b},  [x0], x1
 682         srshr           \coef5, \coef5, #6
 683         ld1             {v7.8b},  [x3], x1
 684         sqxtun          v2.8b,  \coef0
 685         srshr           \coef6, \coef6, #6
 686         sqxtun          v3.8b,  \coef1
 687         srshr           \coef7, \coef7, #6
 688         uaddw           \coef2, \coef2, v4.8b
 689         ld1             {\tmp1},  [x0], x1
 690         uaddw           \coef3, \coef3, v5.8b
 691         ld1             {\tmp2},  [x3], x1
 692         sqxtun          v4.8b,  \coef2
 693         sub             x0,  x0,  x1, lsl #2
 694         sub             x3,  x3,  x1, lsl #2
 695         sqxtun          v5.8b,  \coef3
 696         uaddw           \coef4, \coef4, v6.8b
 697         st1             {v2.8b},  [x0], x1
 698         uaddw           \coef5, \coef5, v7.8b
 699         st1             {v3.8b},  [x3], x1
 700         sqxtun          v6.8b,  \coef4
 701         st1             {v4.8b},  [x0], x1
 702         sqxtun          v7.8b,  \coef5
 703         st1             {v5.8b},  [x3], x1
 704         uaddw           \coef6, \coef6, \tmp1
 705         st1             {v6.8b},  [x0], x1
 706         uaddw           \coef7, \coef7, \tmp2
 707         st1             {v7.8b},  [x3], x1
 708         sqxtun          \tmp1,  \coef6
 709         sqxtun          \tmp2,  \coef7
 710         st1             {\tmp1},  [x0], x1
 711         st1             {\tmp2},  [x3], x1
 712 .endm
 713         load_add_store  v16.8h, v17.8h, v18.8h, v19.8h, v20.8h, v21.8h, v22.8h, v23.8h, v16.8b, v17.8b
 714         load_add_store  v24.8h, v25.8h, v26.8h, v27.8h, v28.8h, v29.8h, v30.8h, v31.8h, v16.8b, v17.8b
 715 .purgem load_add_store
 716
 717         ret
 718 endfunc
 719 .endm
 720
 721 itxfm16_1d_funcs idct
 722 itxfm16_1d_funcs iadst
 723
 724 .macro itxfm_func16x16 txfm1, txfm2
 725 function ff_vp9_\txfm1\()_\txfm2\()_16x16_add_neon, export=1
 726 .ifc \txfm1\()_\txfm2,idct_idct
 727         cmp             w3,  #1
 728         b.eq            idct16x16_dc_add_neon
 729 .endif
 730         mov             x15, x30
 731         // iadst16 requires clobbering v8-v15, but idct16 doesn't need to.
 732 .ifnc \txfm1\()_\txfm2,idct_idct
 733         stp             d14, d15, [sp, #-0x10]!
 734         stp             d12, d13, [sp, #-0x10]!
 735         stp             d10, d11, [sp, #-0x10]!
 736         stp             d8,  d9,  [sp, #-0x10]!
 737 .endif
 738
 739         sub             sp,  sp,  #512
 740
 741         mov             x4,  x0
 742         mov             x5,  x1
 743         mov             x6,  x2
 744
 745         movrel          x10, idct_coeffs
 746 .ifnc \txfm1\()_\txfm2,idct_idct
 747         movrel          x11, iadst16_coeffs
 748 .endif
 749 .ifc \txfm1,idct
 750         ld1             {v0.8h,v1.8h}, [x10]
 751 .endif
 752         mov             x9, #32
 753
 754 .irp i, 0, 8
 755         add             x0,  sp,  #(\i*32)
 756 .ifc \txfm1\()_\txfm2,idct_idct
 757 .if \i == 8
 758         cmp             w3,  #38
 759         b.le            1f
 760 .endif
 761 .endif
 762         mov             x1,  #\i
 763         add             x2,  x6,  #(\i*2)
 764         bl              \txfm1\()16_1d_8x16_pass1_neon
 765 .endr
 766 .ifc \txfm1\()_\txfm2,iadst_idct
 767         ld1             {v0.8h,v1.8h}, [x10]
 768 .endif
 769
 770 .ifc \txfm1\()_\txfm2,idct_idct
 771         b               3f
 772 1:
 773         // Set v24-v31 to zero, for the in-register passthrough of
 774         // coefficients to pass 2. Since we only do two slices, this can
 775         // only ever happen for the second slice. So we only need to store
 776         // zeros to the temp buffer for the second half of the buffer.
 777         // Move x0 to the second half, and use x9 == 32 as increment.
 778         add             x0,  x0,  #16
 779 .irp i, 24, 25, 26, 27, 28, 29, 30, 31
 780         movi_v          \i,  .16b, #0
 781         st1             {v24.8h},  [x0], x9
 782 .endr
 783 3:
 784 .endif
 785
 786 .irp i, 0, 8
 787         add             x0,  x4,  #(\i)
 788         mov             x1,  x5
 789         add             x2,  sp,  #(\i*2)
 790         mov             x3,  #\i
 791         bl              \txfm2\()16_1d_8x16_pass2_neon
 792 .endr
 793
 794         add             sp,  sp,  #512
 795 .ifnc \txfm1\()_\txfm2,idct_idct
 796         ldp             d8,  d9,  [sp], 0x10
 797         ldp             d10, d11, [sp], 0x10
 798         ldp             d12, d13, [sp], 0x10
 799         ldp             d14, d15, [sp], 0x10
 800 .endif
 801         br              x15
 802 endfunc
 803 .endm
 804
 805 itxfm_func16x16 idct,  idct
 806 itxfm_func16x16 iadst, idct
 807 itxfm_func16x16 idct,  iadst
 808 itxfm_func16x16 iadst, iadst
 809
 810
 811 function idct32x32_dc_add_neon
 812         movrel          x4, idct_coeffs
 813         ld1             {v0.4h}, [x4]
 814
 815         movi            v1.4h, #0
 816
 817         ld1r            {v2.4h}, [x2]
 818         smull           v2.4s,  v2.4h,  v0.h[0]
 819         rshrn           v2.4h,  v2.4s,  #14
 820         smull           v2.4s,  v2.4h,  v0.h[0]
 821         rshrn           v2.4h,  v2.4s,  #14
 822         dup             v2.8h,  v2.h[0]
 823         st1             {v1.h}[0], [x2]
 824
 825         srshr           v0.8h, v2.8h, #6
 826
 827         mov             x4, #32
 828 1:
 829         // Loop to add the constant v0 into all 32x32 outputs
 830         ld1             {v1.16b,v2.16b},  [x0]
 831         uaddw           v3.8h,  v0.8h,  v1.8b
 832         uaddw2          v4.8h,  v0.8h,  v1.16b
 833         uaddw           v5.8h,  v0.8h,  v2.8b
 834         uaddw2          v6.8h,  v0.8h,  v2.16b
 835         sqxtun          v3.8b,  v3.8h
 836         sqxtun2         v3.16b, v4.8h
 837         sqxtun          v4.8b,  v5.8h
 838         sqxtun2         v4.16b, v6.8h
 839         st1             {v3.16b,v4.16b},  [x0], x1
 840         subs            x4,  x4,  #1
 841         b.ne            1b
 842
 843         ret
 844 endfunc
 845
 846 .macro idct32_odd
 847         ld1             {v0.8h,v1.8h}, [x11]
 848
 849         dmbutterfly     v16, v31, v0.h[0], v0.h[1], v4, v5, v6, v7 // v16 = t16a, v31 = t31a
 850         dmbutterfly     v24, v23, v0.h[2], v0.h[3], v4, v5, v6, v7 // v24 = t17a, v23 = t30a
 851         dmbutterfly     v20, v27, v0.h[4], v0.h[5], v4, v5, v6, v7 // v20 = t18a, v27 = t29a
 852         dmbutterfly     v28, v19, v0.h[6], v0.h[7], v4, v5, v6, v7 // v28 = t19a, v19 = t28a
 853         dmbutterfly     v18, v29, v1.h[0], v1.h[1], v4, v5, v6, v7 // v18 = t20a, v29 = t27a
 854         dmbutterfly     v26, v21, v1.h[2], v1.h[3], v4, v5, v6, v7 // v26 = t21a, v21 = t26a
 855         dmbutterfly     v22, v25, v1.h[4], v1.h[5], v4, v5, v6, v7 // v22 = t22a, v25 = t25a
 856         dmbutterfly     v30, v17, v1.h[6], v1.h[7], v4, v5, v6, v7 // v30 = t23a, v17 = t24a
 857
 858         ld1             {v0.8h}, [x10]
 859
 860         butterfly_8h    v4,  v24, v16, v24 // v4  = t16, v24 = t17
 861         butterfly_8h    v5,  v20, v28, v20 // v5  = t19, v20 = t18
 862         butterfly_8h    v6,  v26, v18, v26 // v6  = t20, v26 = t21
 863         butterfly_8h    v7,  v22, v30, v22 // v7  = t23, v22 = t22
 864         butterfly_8h    v28, v25, v17, v25 // v28 = t24, v25 = t25
 865         butterfly_8h    v30, v21, v29, v21 // v30 = t27, v21 = t26
 866         butterfly_8h    v29, v23, v31, v23 // v29 = t31, v23 = t30
 867         butterfly_8h    v31, v27, v19, v27 // v31 = t28, v27 = t29
 868
 869         dmbutterfly     v23, v24, v0.h[3], v0.h[4], v16, v17, v18, v19        // v23 = t17a, v24 = t30a
 870         dmbutterfly     v27, v20, v0.h[3], v0.h[4], v16, v17, v18, v19, neg=1 // v27 = t29a, v20 = t18a
 871         dmbutterfly     v21, v26, v0.h[5], v0.h[6], v16, v17, v18, v19        // v21 = t21a, v26 = t26a
 872         dmbutterfly     v25, v22, v0.h[5], v0.h[6], v16, v17, v18, v19, neg=1 // v25 = t25a, v22 = t22a
 873
 874         butterfly_8h    v16, v5,  v4,  v5  // v16 = t16a, v5  = t19a
 875         butterfly_8h    v17, v20, v23, v20 // v17 = t17,  v20 = t18
 876         butterfly_8h    v18, v6,  v7,  v6  // v18 = t23a, v6  = t20a
 877         butterfly_8h    v19, v21, v22, v21 // v19 = t22,  v21 = t21
 878         butterfly_8h    v4,  v28, v28, v30 // v4  = t24a, v28 = t27a
 879         butterfly_8h    v23, v26, v25, v26 // v23 = t25,  v26 = t26
 880         butterfly_8h    v7,  v3,  v29, v31 // v7  = t31a, v3  = t28a
 881         butterfly_8h    v22, v27, v24, v27 // v22 = t30,  v27 = t29
 882
 883         dmbutterfly     v27, v20, v0.h[1], v0.h[2], v24, v25, v30, v31        // v27 = t18a, v20 = t29a
 884         dmbutterfly     v3,  v5,  v0.h[1], v0.h[2], v24, v25, v30, v31        // v3  = t19,  v5  = t28
 885         dmbutterfly     v28, v6,  v0.h[1], v0.h[2], v24, v25, v30, v31, neg=1 // v28 = t27,  v6  = t20
 886         dmbutterfly     v26, v21, v0.h[1], v0.h[2], v24, v25, v30, v31, neg=1 // v26 = t26a, v21 = t21a
 887
 888         butterfly_8h    v31, v24, v7,  v4  // v31 = t31,  v24 = t24
 889         butterfly_8h    v30, v25, v22, v23 // v30 = t30a, v25 = t25a
 890         butterfly_8h_r  v23, v16, v16, v18 // v23 = t23,  v16 = t16
 891         butterfly_8h_r  v22, v17, v17, v19 // v22 = t22a, v17 = t17a
 892         butterfly_8h    v18, v21, v27, v21 // v18 = t18,  v21 = t21
 893         butterfly_8h_r  v27, v28, v5,  v28 // v27 = t27a, v28 = t28a
 894         butterfly_8h    v29, v26, v20, v26 // v29 = t29,  v26 = t26
 895         butterfly_8h    v19, v20, v3,  v6  // v19 = t19a, v20 = t20
 896
 897         dmbutterfly0    v27, v20, v27, v20, v2, v3, v4, v5, v6, v7 // v27 = t27,  v20 = t20
 898         dmbutterfly0    v26, v21, v26, v21, v2, v3, v4, v5, v6, v7 // v26 = t26a, v21 = t21a
 899         dmbutterfly0    v25, v22, v25, v22, v2, v3, v4, v5, v6, v7 // v25 = t25,  v22 = t22
 900         dmbutterfly0    v24, v23, v24, v23, v2, v3, v4, v5, v6, v7 // v24 = t24a, v23 = t23a
 901 .endm
 902
 903 // Do an 32-point IDCT of a 8x32 slice out of a 32x32 matrix.
 904 // The 32-point IDCT can be decomposed into two 16-point IDCTs;
 905 // a normal IDCT16 with every other input component (the even ones, with
 906 // each output written twice), followed by a separate 16-point IDCT
 907 // of the odd inputs, added/subtracted onto the outputs of the first idct16.
 908 // x0 = dst (temp buffer)
 909 // x1 = unused
 910 // x2 = src
 911 // x9 = double input stride
 912 // x10 = idct_coeffs
 913 // x11 = idct_coeffs + 32
 914 function idct32_1d_8x32_pass1_neon
 915         ld1             {v0.8h,v1.8h}, [x10]
 916
 917         movi            v4.8h, #0
 918
 919         // v16 = IN(0), v17 = IN(2) ... v31 = IN(30)
 920 .irp i, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31
 921         ld1             {v\i\().8h}, [x2]
 922         st1             {v4.8h},  [x2], x9
 923 .endr
 924
 925         idct16
 926
 927         // Do two 8x8 transposes. Originally, v16-v31 contain the
 928         // 16 rows. Afterwards, v16-v23 and v24-v31 contain the
 929         // two transposed 8x8 blocks.
 930         transpose_8x8H  v16, v17, v18, v19, v20, v21, v22, v23, v2, v3
 931         transpose_8x8H  v24, v25, v26, v27, v28, v29, v30, v31, v2, v3
 932
 933         // Store the registers a, b horizontally, followed by the
 934         // same registers b, a mirrored.
 935 .macro store_rev a, b
 936         // There's no rev128 instruction, but we reverse each 64 bit
 937         // half, and then flip them using an ext with 8 bytes offset.
 938         rev64           v1.8h, v\b\().8h
 939         st1             {v\a\().8h},  [x0], #16
 940         rev64           v0.8h, v\a\().8h
 941         ext             v1.16b, v1.16b, v1.16b, #8
 942         st1             {v\b\().8h},  [x0], #16
 943         ext             v0.16b, v0.16b, v0.16b, #8
 944         st1             {v1.8h},  [x0], #16
 945         st1             {v0.8h},  [x0], #16
 946 .endm
 947         store_rev       16, 24
 948         store_rev       17, 25
 949         store_rev       18, 26
 950         store_rev       19, 27
 951         store_rev       20, 28
 952         store_rev       21, 29
 953         store_rev       22, 30
 954         store_rev       23, 31
 955         sub             x0,  x0,  #512
 956 .purgem store_rev
 957
 958         // Move x2 back to the start of the input, and move
 959         // to the first odd row
 960         sub             x2,  x2,  x9, lsl #4
 961         add             x2,  x2,  #64
 962
 963         movi            v4.8h, #0
 964         // v16 = IN(1), v17 = IN(3) ... v31 = IN(31)
 965 .irp i, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31
 966         ld1             {v\i\().8h}, [x2]
 967         st1             {v4.8h},  [x2], x9
 968 .endr
 969
 970         idct32_odd
 971
 972         transpose_8x8H v31, v30, v29, v28, v27, v26, v25, v24, v2, v3
 973         transpose_8x8H v23, v22, v21, v20, v19, v18, v17, v16, v2, v3
 974
 975         // Store the registers a, b horizontally,
 976         // adding into the output first, and the mirrored,
 977         // subtracted from the output.
 978 .macro store_rev a, b
 979         ld1             {v4.8h},  [x0]
 980         rev64           v1.8h, v\b\().8h
 981         add             v4.8h, v4.8h, v\a\().8h
 982         rev64           v0.8h, v\a\().8h
 983         st1             {v4.8h},  [x0], #16
 984         ext             v1.16b, v1.16b, v1.16b, #8
 985         ld1             {v5.8h},  [x0]
 986         ext             v0.16b, v0.16b, v0.16b, #8
 987         add             v5.8h, v5.8h, v\b\().8h
 988         st1             {v5.8h},  [x0], #16
 989         ld1             {v6.8h},  [x0]
 990         sub             v6.8h, v6.8h, v1.8h
 991         st1             {v6.8h},  [x0], #16
 992         ld1             {v7.8h},  [x0]
 993         sub             v7.8h, v7.8h, v0.8h
 994         st1             {v7.8h},  [x0], #16
 995 .endm
 996
 997         store_rev       31, 23
 998         store_rev       30, 22
 999         store_rev       29, 21
1000         store_rev       28, 20
1001         store_rev       27, 19
1002         store_rev       26, 18
1003         store_rev       25, 17
1004         store_rev       24, 16
1005 .purgem store_rev
1006         ret
1007 endfunc
1008
1009 // This is mostly the same as 8x32_pass1, but without the transpose,
1010 // and use the source as temp buffer between the two idct passes, and
1011 // add into the destination.
1012 // x0 = dst
1013 // x1 = dst stride
1014 // x2 = src (temp buffer)
1015 // x7 = negative double temp buffer stride
1016 // x9 = double temp buffer stride
1017 // x10 = idct_coeffs
1018 // x11 = idct_coeffs + 32
1019 function idct32_1d_8x32_pass2_neon
1020         ld1             {v0.8h,v1.8h}, [x10]
1021
1022         // v16 = IN(0), v17 = IN(2) ... v31 = IN(30)
1023 .irp i, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31
1024         ld1             {v\i\().8h}, [x2], x9
1025 .endr
1026         sub             x2,  x2,  x9, lsl #4
1027
1028         idct16
1029
1030 .irp i, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31
1031         st1             {v\i\().8h}, [x2], x9
1032 .endr
1033
1034         sub             x2,  x2,  x9, lsl #4
1035         add             x2,  x2,  #64
1036
1037         // v16 = IN(1), v17 = IN(3) ... v31 = IN(31)
1038 .irp i, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31
1039         ld1             {v\i\().8h}, [x2], x9
1040 .endr
1041         sub             x2,  x2,  x9, lsl #4
1042         sub             x2,  x2,  #64
1043
1044         idct32_odd
1045
1046 .macro load_acc_store a, b, c, d, neg=0
1047 .if \neg == 0
1048         ld1             {v4.8h},  [x2], x9
1049         ld1             {v5.8h},  [x2], x9
1050         add             v4.8h, v4.8h, v\a\().8h
1051         ld1             {v6.8h},  [x2], x9
1052         add             v5.8h, v5.8h, v\b\().8h
1053         ld1             {v7.8h},  [x2], x9
1054         add             v6.8h, v6.8h, v\c\().8h
1055         add             v7.8h, v7.8h, v\d\().8h
1056 .else
1057         ld1             {v4.8h},  [x2], x7
1058         ld1             {v5.8h},  [x2], x7
1059         sub             v4.8h, v4.8h, v\a\().8h
1060         ld1             {v6.8h},  [x2], x7
1061         sub             v5.8h, v5.8h, v\b\().8h
1062         ld1             {v7.8h},  [x2], x7
1063         sub             v6.8h, v6.8h, v\c\().8h
1064         sub             v7.8h, v7.8h, v\d\().8h
1065 .endif
1066         ld1             {v0.8b}, [x0], x1
1067         ld1             {v1.8b}, [x0], x1
1068         srshr           v4.8h, v4.8h, #6
1069         ld1             {v2.8b}, [x0], x1
1070         srshr           v5.8h, v5.8h, #6
1071         uaddw           v4.8h, v4.8h, v0.8b
1072         ld1             {v3.8b}, [x0], x1
1073         srshr           v6.8h, v6.8h, #6
1074         uaddw           v5.8h, v5.8h, v1.8b
1075         srshr           v7.8h, v7.8h, #6
1076         sub             x0,  x0,  x1, lsl #2
1077         uaddw           v6.8h, v6.8h, v2.8b
1078         sqxtun          v4.8b, v4.8h
1079         uaddw           v7.8h, v7.8h, v3.8b
1080         sqxtun          v5.8b, v5.8h
1081         st1             {v4.8b}, [x0], x1
1082         sqxtun          v6.8b, v6.8h
1083         st1             {v5.8b}, [x0], x1
1084         sqxtun          v7.8b, v7.8h
1085         st1             {v6.8b}, [x0], x1
1086         st1             {v7.8b}, [x0], x1
1087 .endm
1088         load_acc_store  31, 30, 29, 28
1089         load_acc_store  27, 26, 25, 24
1090         load_acc_store  23, 22, 21, 20
1091         load_acc_store  19, 18, 17, 16
1092         sub             x2,  x2,  x9
1093         load_acc_store  16, 17, 18, 19, 1
1094         load_acc_store  20, 21, 22, 23, 1
1095         load_acc_store  24, 25, 26, 27, 1
1096         load_acc_store  28, 29, 30, 31, 1
1097 .purgem load_acc_store
1098         ret
1099 endfunc
1100
1101 const min_eob_idct_idct_32, align=4
1102         .short  0, 34, 135, 336
1103 endconst
1104
1105 function ff_vp9_idct_idct_32x32_add_neon, export=1
1106         cmp             w3,  #1
1107         b.eq            idct32x32_dc_add_neon
1108
1109         movrel          x10, idct_coeffs
1110         add             x11, x10, #32
1111         movrel          x12, min_eob_idct_idct_32, 2
1112
1113         mov             x15, x30
1114
1115         stp             d14, d15, [sp, #-0x10]!
1116         stp             d12, d13, [sp, #-0x10]!
1117         stp             d10, d11, [sp, #-0x10]!
1118         stp             d8,  d9,  [sp, #-0x10]!
1119
1120         sub             sp,  sp,  #2048
1121
1122         mov             x4,  x0
1123         mov             x5,  x1
1124         mov             x6,  x2
1125
1126         // Double stride of the input, since we only read every other line
1127         mov             x9,  #128
1128         neg             x7,  x9
1129
1130 .irp i, 0, 8, 16, 24
1131         add             x0,  sp,  #(\i*64)
1132 .if \i > 0
1133         ldrh            w1,  [x12], #2
1134         cmp             w3,  w1
1135         mov             x1,  #(32 - \i)/4
1136         b.le            1f
1137 .endif
1138         add             x2,  x6,  #(\i*2)
1139         bl              idct32_1d_8x32_pass1_neon
1140 .endr
1141         b               3f
1142
1143 1:
1144         // Write zeros to the temp buffer for pass 2
1145         movi            v16.8h,  #0
1146         movi            v17.8h,  #0
1147         movi            v18.8h,  #0
1148         movi            v19.8h,  #0
1149 2:
1150         subs            x1,  x1,  #1
1151 .rept 4
1152         st1             {v16.8h-v19.8h},  [x0], #64
1153 .endr
1154         b.ne            2b
1155 3:
1156 .irp i, 0, 8, 16, 24
1157         add             x0,  x4,  #(\i)
1158         mov             x1,  x5
1159         add             x2,  sp,  #(\i*2)
1160         bl              idct32_1d_8x32_pass2_neon
1161 .endr
1162
1163         add             sp,  sp,  #2048
1164
1165         ldp             d8,  d9,  [sp], 0x10
1166         ldp             d10, d11, [sp], 0x10
1167         ldp             d12, d13, [sp], 0x10
1168         ldp             d14, d15, [sp], 0x10
1169
1170         br              x15
1171 endfunc