]> git.sesse.net Git - ffmpeg/blob - libavcodec/mips/simple_idct_msa.c
Merge commit 'e2399e0c1aeb110456405d23e211066fab6cb041'
[ffmpeg] / libavcodec / mips / simple_idct_msa.c
1 /*
2  * Copyright (c) 2015 Parag Salasakar (Parag.Salasakar@imgtec.com)
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/mips/generic_macros_msa.h"
22 #include "idctdsp_mips.h"
23
24 static void simple_idct_msa(int16_t *block)
25 {
26     int32_t const_val;
27     v8i16 weights = { 0, 22725, 21407, 19266, 16383, 12873, 8867, 4520 };
28     v8i16 in0, in1, in2, in3, in4, in5, in6, in7;
29     v8i16 w1, w3, w5, w7;
30     v8i16 const0, const1, const2, const3, const4, const5, const6, const7;
31     v4i32 temp0_r, temp1_r, temp2_r, temp3_r;
32     v4i32 temp0_l, temp1_l, temp2_l, temp3_l;
33     v4i32 a0_r, a1_r, a2_r, a3_r, a0_l, a1_l, a2_l, a3_l;
34     v4i32 b0_r, b1_r, b2_r, b3_r, b0_l, b1_l, b2_l, b3_l;
35     v4i32 w2, w4, w6;
36     v8i16 select_vec, temp;
37     v8i16 zero = { 0 };
38     v4i32 const_val0 = __msa_ldi_w(1);
39     v4i32 const_val1 = __msa_ldi_w(1);
40
41     LD_SH8(block, 8, in0, in1, in2, in3, in4, in5, in6, in7);
42     const_val0 <<= 10;
43     const_val = 16383 * ((1 << 19) / 16383);
44     const_val1 = __msa_insert_w(const_val0, 0, const_val);
45     const_val1 = __msa_splati_w(const_val1, 0);
46     TRANSPOSE8x8_SH_SH(in0, in1, in2, in3, in4, in5, in6, in7,
47                        in0, in1, in2, in3, in4, in5, in6, in7);
48     select_vec = in1 | in2 | in3 | in4 | in5 | in6 | in7;
49     select_vec = __msa_clti_u_h((v8u16) select_vec, 1);
50     UNPCK_SH_SW(in0, a0_r, a0_l);
51     UNPCK_SH_SW(in2, temp3_r, temp3_l);
52     temp = in0 << 3;
53     w2 = (v4i32) __msa_splati_h(weights, 2);
54     w2 = (v4i32) __msa_ilvr_h(zero, (v8i16) w2);
55     w4 = (v4i32) __msa_splati_h(weights, 4);
56     w4 = (v4i32) __msa_ilvr_h(zero, (v8i16) w4);
57     w6 = (v4i32) __msa_splati_h(weights, 6);
58     w6 = (v4i32) __msa_ilvr_h(zero, (v8i16) w6);
59     MUL2(a0_r, w4, a0_l, w4, a0_r, a0_l);
60     ADD2(a0_r, const_val0, a0_l, const_val0, temp0_r, temp0_l);
61     MUL4(w2, temp3_r, w2, temp3_l, w6, temp3_r, w6, temp3_l,
62          temp1_r, temp1_l, temp2_r, temp2_l);
63     BUTTERFLY_8(temp0_r, temp0_l, temp0_r, temp0_l,
64                 temp2_l, temp2_r, temp1_l, temp1_r,
65                 a0_r, a0_l, a1_r, a1_l, a2_l, a2_r, a3_l, a3_r);
66     UNPCK_SH_SW(in4, temp0_r, temp0_l);
67     UNPCK_SH_SW(in6, temp3_r, temp3_l);
68     MUL2(temp0_r, w4, temp0_l, w4, temp0_r, temp0_l);
69     MUL4(w2, temp3_r, w2, temp3_l, w6, temp3_r, w6, temp3_l,
70          temp2_r, temp2_l, temp1_r, temp1_l);
71     ADD2(a0_r, temp0_r, a0_l, temp0_l, a0_r, a0_l);
72     SUB4(a1_r, temp0_r, a1_l, temp0_l, a2_r, temp0_r, a2_l, temp0_l,
73          a1_r, a1_l, a2_r, a2_l);
74     ADD4(a3_r, temp0_r, a3_l, temp0_l, a0_r, temp1_r, a0_l, temp1_l,
75          a3_r, a3_l, a0_r, a0_l);
76     SUB2(a1_r, temp2_r, a1_l, temp2_l, a1_r, a1_l);
77     ADD2(a2_r, temp2_r, a2_l, temp2_l, a2_r, a2_l);
78     SUB2(a3_r, temp1_r, a3_l, temp1_l, a3_r, a3_l);
79     ILVRL_H2_SW(in1, in3, b3_r, b3_l);
80     SPLATI_H4_SH(weights, 1, 3, 5, 7, w1, w3, w5, w7);
81     ILVRL_H2_SW(in5, in7, temp0_r, temp0_l);
82     ILVR_H4_SH(w1, w3, w3, -w7, w5, -w1, w7, -w5,
83                const0, const1, const2, const3);
84     ILVR_H2_SH(w5, w7, w7, w3, const4, const6);
85     const5 = __msa_ilvod_h(-w1, -w5);
86     const7 = __msa_ilvod_h(w3, -w1);
87     DOTP_SH4_SW(b3_r, b3_r, b3_r, b3_r, const0, const1, const2, const3,
88                 b0_r, b1_r, b2_r, b3_r);
89     DPADD_SH4_SW(temp0_r, temp0_r, temp0_r, temp0_r,
90                  const4, const5, const6, const7, b0_r, b1_r, b2_r, b3_r);
91     DOTP_SH4_SW(b3_l, b3_l, b3_l, b3_l, const0, const1, const2, const3,
92                 b0_l, b1_l, b2_l, b3_l);
93     DPADD_SH4_SW(temp0_l, temp0_l, temp0_l, temp0_l,
94                  const4, const5, const6, const7, b0_l, b1_l, b2_l, b3_l);
95     BUTTERFLY_16(a0_r, a0_l, a1_r, a1_l, a2_r, a2_l, a3_r, a3_l,
96                  b3_l, b3_r, b2_l, b2_r, b1_l, b1_r, b0_l, b0_r,
97                  temp0_r, temp0_l, temp1_r, temp1_l,
98                  temp2_r, temp2_l, temp3_r, temp3_l,
99                  a3_l, a3_r, a2_l, a2_r, a1_l, a1_r, a0_l, a0_r);
100     SRA_4V(temp0_r, temp0_l, temp1_r, temp1_l, 11);
101     SRA_4V(temp2_r, temp2_l, temp3_r, temp3_l, 11);
102     PCKEV_H4_SW(temp0_l, temp0_r, temp1_l, temp1_r,
103                 temp2_l, temp2_r, temp3_l, temp3_r,
104                 temp0_r, temp1_r, temp2_r, temp3_r);
105     in0 = (v8i16) __msa_bmnz_v((v16u8) temp0_r, (v16u8) temp,
106                                (v16u8) select_vec);
107     in1 = (v8i16) __msa_bmnz_v((v16u8) temp1_r, (v16u8) temp,
108                                (v16u8) select_vec);
109     in2 = (v8i16) __msa_bmnz_v((v16u8) temp2_r, (v16u8) temp,
110                                (v16u8) select_vec);
111     in3 = (v8i16) __msa_bmnz_v((v16u8) temp3_r, (v16u8) temp,
112                                (v16u8) select_vec);
113     SRA_4V(a3_r, a3_l, a2_r, a2_l, 11);
114     SRA_4V(a1_r, a1_l, a0_r, a0_l, 11);
115     PCKEV_H4_SW(a0_l, a0_r, a1_l, a1_r, a2_l, a2_r, a3_l, a3_r,
116                 a0_r, a1_r, a2_r, a3_r);
117     in4 = (v8i16) __msa_bmnz_v((v16u8) a3_r, (v16u8) temp, (v16u8) select_vec);
118     in5 = (v8i16) __msa_bmnz_v((v16u8) a2_r, (v16u8) temp, (v16u8) select_vec);
119     in6 = (v8i16) __msa_bmnz_v((v16u8) a1_r, (v16u8) temp, (v16u8) select_vec);
120     in7 = (v8i16) __msa_bmnz_v((v16u8) a0_r, (v16u8) temp, (v16u8) select_vec);
121     TRANSPOSE8x8_SH_SH(in0, in1, in2, in3, in4, in5, in6, in7,
122                        in0, in1, in2, in3, in4, in5, in6, in7);
123
124     UNPCK_SH_SW(in0, a0_r, a0_l);
125     UNPCK_SH_SW(in2, temp3_r, temp3_l);
126     w2 = (v4i32) __msa_splati_h(weights, 2);
127     w2 = (v4i32) __msa_ilvr_h(zero, (v8i16) w2);
128     w4 = (v4i32) __msa_splati_h(weights, 4);
129     w4 = (v4i32) __msa_ilvr_h(zero, (v8i16) w4);
130     w6 = (v4i32) __msa_splati_h(weights, 6);
131     w6 = (v4i32) __msa_ilvr_h(zero, (v8i16) w6);
132     MUL2(a0_r, w4, a0_l, w4, a0_r, a0_l);
133     ADD2(a0_r, const_val1, a0_l, const_val1, temp0_r, temp0_l);
134     MUL4(w2, temp3_r, w2, temp3_l, w6, temp3_r, w6, temp3_l,
135          temp1_r, temp1_l, temp2_r, temp2_l);
136     BUTTERFLY_8(temp0_r, temp0_l, temp0_r, temp0_l,
137                 temp2_l, temp2_r, temp1_l, temp1_r,
138                 a0_r, a0_l, a1_r, a1_l, a2_l, a2_r, a3_l, a3_r);
139     UNPCK_SH_SW(in4, temp0_r, temp0_l);
140     UNPCK_SH_SW(in6, temp3_r, temp3_l);
141     MUL2(temp0_r, w4, temp0_l, w4, temp0_r, temp0_l);
142     MUL4(w2, temp3_r, w2, temp3_l, w6, temp3_r, w6, temp3_l,
143          temp2_r, temp2_l, temp1_r, temp1_l);
144     ADD2(a0_r, temp0_r, a0_l, temp0_l, a0_r, a0_l);
145     SUB4(a1_r, temp0_r, a1_l, temp0_l, a2_r, temp0_r, a2_l, temp0_l,
146          a1_r, a1_l, a2_r, a2_l);
147     ADD4(a3_r, temp0_r, a3_l, temp0_l, a0_r, temp1_r, a0_l, temp1_l,
148          a3_r, a3_l, a0_r, a0_l);
149     SUB2(a1_r, temp2_r, a1_l, temp2_l, a1_r, a1_l);
150     ADD2(a2_r, temp2_r, a2_l, temp2_l, a2_r, a2_l);
151     SUB2(a3_r, temp1_r, a3_l, temp1_l, a3_r, a3_l);
152     ILVRL_H2_SW(in1, in3, b3_r, b3_l);
153     SPLATI_H4_SH(weights, 1, 3, 5, 7, w1, w3, w5, w7);
154     ILVR_H4_SH(w1, w3, w3, -w7, w5, -w1, w7, -w5,
155                const0, const1, const2, const3);
156     DOTP_SH4_SW(b3_r, b3_r, b3_r, b3_r, const0, const1, const2, const3,
157                 b0_r, b1_r, b2_r, b3_r);
158     DOTP_SH4_SW(b3_l, b3_l, b3_l, b3_l, const0, const1, const2, const3,
159                 b0_l, b1_l, b2_l, b3_l);
160     ILVRL_H2_SW(in5, in7, temp0_r, temp0_l);
161     ILVR_H2_SH(w5, w7, w7, w3, const4, const6);
162     const5 = __msa_ilvod_h(-w1, -w5);
163     const7 = __msa_ilvod_h(w3, -w1);
164     DPADD_SH4_SW(temp0_r, temp0_r, temp0_r, temp0_r,
165                  const4, const5, const6, const7, b0_r, b1_r, b2_r, b3_r);
166     DPADD_SH4_SW(temp0_l, temp0_l, temp0_l, temp0_l,
167                  const4, const5, const6, const7, b0_l, b1_l, b2_l, b3_l);
168     BUTTERFLY_16(a0_r, a0_l, a1_r, a1_l, a2_r, a2_l, a3_r, a3_l,
169                  b3_l, b3_r, b2_l, b2_r, b1_l, b1_r, b0_l, b0_r,
170                  temp0_r, temp0_l, temp1_r, temp1_l,
171                  temp2_r, temp2_l, temp3_r, temp3_l,
172                  a3_l, a3_r, a2_l, a2_r, a1_l, a1_r, a0_l, a0_r);
173     SRA_4V(temp0_r, temp0_l, temp1_r, temp1_l, 20);
174     SRA_4V(temp2_r, temp2_l, temp3_r, temp3_l, 20);
175     PCKEV_H4_SW(temp0_l, temp0_r, temp1_l, temp1_r, temp2_l, temp2_r,
176                 temp3_l, temp3_r, temp0_r, temp1_r, temp2_r, temp3_r);
177     SRA_4V(a3_r, a3_l, a2_r, a2_l, 20);
178     SRA_4V(a1_r, a1_l, a0_r, a0_l, 20);
179     PCKEV_H4_SW(a0_l, a0_r, a1_l, a1_r, a2_l, a2_r, a3_l, a3_r,
180                 a0_r, a1_r, a2_r, a3_r);
181     ST_SW8(temp0_r, temp1_r, temp2_r, temp3_r, a3_r, a2_r, a1_r, a0_r,
182            block, 8);
183 }
184
185 static void simple_idct_put_msa(uint8_t *dst, int32_t dst_stride,
186                                 int16_t *block)
187 {
188     int32_t const_val;
189     uint64_t tmp0, tmp1, tmp2, tmp3;
190     v8i16 weights = { 0, 22725, 21407, 19266, 16383, 12873, 8867, 4520 };
191     v8i16 in0, in1, in2, in3, in4, in5, in6, in7;
192     v8i16 w1, w3, w5, w7;
193     v8i16 const0, const1, const2, const3, const4, const5, const6, const7;
194     v4i32 temp0_r, temp1_r, temp2_r, temp3_r;
195     v4i32 temp0_l, temp1_l, temp2_l, temp3_l;
196     v4i32 a0_r, a1_r, a2_r, a3_r, a0_l, a1_l, a2_l, a3_l;
197     v4i32 b0_r, b1_r, b2_r, b3_r, b0_l, b1_l, b2_l, b3_l;
198     v4i32 w2, w4, w6;
199     v8i16 select_vec, temp;
200     v8i16 zero = { 0 };
201     v4i32 const_val0 = __msa_ldi_w(1);
202     v4i32 const_val1 = __msa_ldi_w(1);
203
204     LD_SH8(block, 8, in0, in1, in2, in3, in4, in5, in6, in7);
205     const_val0 <<= 10;
206     const_val = 16383 * ((1 << 19) / 16383);
207     const_val1 = __msa_insert_w(const_val0, 0, const_val);
208     const_val1 = __msa_splati_w(const_val1, 0);
209     TRANSPOSE8x8_SH_SH(in0, in1, in2, in3, in4, in5, in6, in7,
210                        in0, in1, in2, in3, in4, in5, in6, in7);
211     select_vec = in1 | in2 | in3 | in4 | in5 | in6 | in7;
212     select_vec = __msa_clti_u_h((v8u16) select_vec, 1);
213     UNPCK_SH_SW(in0, a0_r, a0_l);
214     UNPCK_SH_SW(in2, temp3_r, temp3_l);
215     temp = in0 << 3;
216     w2 = (v4i32) __msa_splati_h(weights, 2);
217     w2 = (v4i32) __msa_ilvr_h(zero, (v8i16) w2);
218     w4 = (v4i32) __msa_splati_h(weights, 4);
219     w4 = (v4i32) __msa_ilvr_h(zero, (v8i16) w4);
220     w6 = (v4i32) __msa_splati_h(weights, 6);
221     w6 = (v4i32) __msa_ilvr_h(zero, (v8i16) w6);
222     MUL2(a0_r, w4, a0_l, w4, a0_r, a0_l);
223     ADD2(a0_r, const_val0, a0_l, const_val0, temp0_r, temp0_l);
224     MUL2(w2, temp3_r, w2, temp3_l, temp1_r, temp1_l);
225     MUL2(w6, temp3_r, w6, temp3_l, temp2_r, temp2_l);
226     BUTTERFLY_8(temp0_r, temp0_l, temp0_r, temp0_l,
227                 temp2_l, temp2_r, temp1_l, temp1_r,
228                 a0_r, a0_l, a1_r, a1_l, a2_l, a2_r, a3_l, a3_r);
229     UNPCK_SH_SW(in4, temp0_r, temp0_l);
230     UNPCK_SH_SW(in6, temp3_r, temp3_l);
231     MUL2(temp0_r, w4, temp0_l, w4, temp0_r, temp0_l);
232     MUL2(w2, temp3_r, w2, temp3_l, temp2_r, temp2_l);
233     MUL2(w6, temp3_r, w6, temp3_l, temp1_r, temp1_l);
234     ADD2(a0_r, temp0_r, a0_l, temp0_l, a0_r, a0_l);
235     SUB2(a1_r, temp0_r, a1_l, temp0_l, a1_r, a1_l);
236     SUB2(a2_r, temp0_r, a2_l, temp0_l, a2_r, a2_l);
237     ADD2(a3_r, temp0_r, a3_l, temp0_l, a3_r, a3_l);
238     ADD2(a0_r, temp1_r, a0_l, temp1_l, a0_r, a0_l);
239     SUB2(a1_r, temp2_r, a1_l, temp2_l, a1_r, a1_l);
240     ADD2(a2_r, temp2_r, a2_l, temp2_l, a2_r, a2_l);
241     SUB2(a3_r, temp1_r, a3_l, temp1_l, a3_r, a3_l);
242     ILVRL_H2_SW(in1, in3, b3_r, b3_l);
243     SPLATI_H4_SH(weights, 1, 3, 5, 7, w1, w3, w5, w7);
244     ILVRL_H2_SW(in5, in7, temp0_r, temp0_l);
245     ILVR_H4_SH(w1, w3, w3, -w7, w5, -w1, w7, -w5,
246                const0, const1, const2, const3);
247     ILVR_H2_SH(w5, w7, w7, w3, const4, const6);
248     const5 = __msa_ilvod_h(-w1, -w5);
249     const7 = __msa_ilvod_h(w3, -w1);
250     DOTP_SH4_SW(b3_r, b3_r, b3_r, b3_r, const0, const1, const2, const3,
251                 b0_r, b1_r, b2_r, b3_r);
252     DPADD_SH4_SW(temp0_r, temp0_r, temp0_r, temp0_r,
253                  const4, const5, const6, const7, b0_r, b1_r, b2_r, b3_r);
254     DOTP_SH4_SW(b3_l, b3_l, b3_l, b3_l, const0, const1, const2, const3,
255                 b0_l, b1_l, b2_l, b3_l);
256     DPADD_SH4_SW(temp0_l, temp0_l, temp0_l, temp0_l,
257                  const4, const5, const6, const7, b0_l, b1_l, b2_l, b3_l);
258     BUTTERFLY_16(a0_r, a0_l, a1_r, a1_l, a2_r, a2_l, a3_r, a3_l,
259                  b3_l, b3_r, b2_l, b2_r, b1_l, b1_r, b0_l, b0_r,
260                  temp0_r, temp0_l, temp1_r, temp1_l,
261                  temp2_r, temp2_l, temp3_r, temp3_l,
262                  a3_l, a3_r, a2_l, a2_r, a1_l, a1_r, a0_l, a0_r);
263     SRA_4V(temp0_r, temp0_l, temp1_r, temp1_l, 11);
264     SRA_4V(temp2_r, temp2_l, temp3_r, temp3_l, 11);
265     PCKEV_H4_SW(temp0_l, temp0_r, temp1_l, temp1_r,
266                 temp2_l, temp2_r, temp3_l, temp3_r,
267                 temp0_r, temp1_r, temp2_r, temp3_r);
268     in0 = (v8i16) __msa_bmnz_v((v16u8) temp0_r, (v16u8) temp,
269                                (v16u8) select_vec);
270     in1 = (v8i16) __msa_bmnz_v((v16u8) temp1_r, (v16u8) temp,
271                                (v16u8) select_vec);
272     in2 = (v8i16) __msa_bmnz_v((v16u8) temp2_r, (v16u8) temp,
273                                (v16u8) select_vec);
274     in3 = (v8i16) __msa_bmnz_v((v16u8) temp3_r, (v16u8) temp,
275                                (v16u8) select_vec);
276     SRA_4V(a3_r, a3_l, a2_r, a2_l, 11);
277     SRA_4V(a1_r, a1_l, a0_r, a0_l, 11);
278     PCKEV_H4_SW(a0_l, a0_r, a1_l, a1_r, a2_l, a2_r, a3_l, a3_r,
279                 a0_r, a1_r, a2_r, a3_r);
280     in4 = (v8i16) __msa_bmnz_v((v16u8) a3_r, (v16u8) temp, (v16u8) select_vec);
281     in5 = (v8i16) __msa_bmnz_v((v16u8) a2_r, (v16u8) temp, (v16u8) select_vec);
282     in6 = (v8i16) __msa_bmnz_v((v16u8) a1_r, (v16u8) temp, (v16u8) select_vec);
283     in7 = (v8i16) __msa_bmnz_v((v16u8) a0_r, (v16u8) temp, (v16u8) select_vec);
284     TRANSPOSE8x8_SH_SH(in0, in1, in2, in3, in4, in5, in6, in7,
285                        in0, in1, in2, in3, in4, in5, in6, in7);
286     UNPCK_SH_SW(in0, a0_r, a0_l);
287     UNPCK_SH_SW(in2, temp3_r, temp3_l);
288     w2 = (v4i32) __msa_splati_h(weights, 2);
289     w2 = (v4i32) __msa_ilvr_h(zero, (v8i16) w2);
290     w4 = (v4i32) __msa_splati_h(weights, 4);
291     w4 = (v4i32) __msa_ilvr_h(zero, (v8i16) w4);
292     w6 = (v4i32) __msa_splati_h(weights, 6);
293     w6 = (v4i32) __msa_ilvr_h(zero, (v8i16) w6);
294     MUL2(a0_r, w4, a0_l, w4, a0_r, a0_l);
295     ADD2(a0_r, const_val1, a0_l, const_val1, temp0_r, temp0_l);
296     MUL2(w2, temp3_r, w2, temp3_l, temp1_r, temp1_l);
297     MUL2(w6, temp3_r, w6, temp3_l, temp2_r, temp2_l);
298     BUTTERFLY_8(temp0_r, temp0_l, temp0_r, temp0_l,
299                 temp2_l, temp2_r, temp1_l, temp1_r,
300                 a0_r, a0_l, a1_r, a1_l, a2_l, a2_r, a3_l, a3_r);
301     UNPCK_SH_SW(in4, temp0_r, temp0_l);
302     UNPCK_SH_SW(in6, temp3_r, temp3_l);
303     MUL2(temp0_r, w4, temp0_l, w4, temp0_r, temp0_l);
304     MUL2(w2, temp3_r, w2, temp3_l, temp2_r, temp2_l);
305     MUL2(w6, temp3_r, w6, temp3_l, temp1_r, temp1_l);
306     ADD2(a0_r, temp0_r, a0_l, temp0_l, a0_r, a0_l);
307     SUB2(a1_r, temp0_r, a1_l, temp0_l, a1_r, a1_l);
308     SUB2(a2_r, temp0_r, a2_l, temp0_l, a2_r, a2_l);
309     ADD2(a3_r, temp0_r, a3_l, temp0_l, a3_r, a3_l);
310     ADD2(a0_r, temp1_r, a0_l, temp1_l, a0_r, a0_l);
311     SUB2(a1_r, temp2_r, a1_l, temp2_l, a1_r, a1_l);
312     ADD2(a2_r, temp2_r, a2_l, temp2_l, a2_r, a2_l);
313     SUB2(a3_r, temp1_r, a3_l, temp1_l, a3_r, a3_l);
314     ILVRL_H2_SW(in1, in3, b3_r, b3_l);
315     SPLATI_H4_SH(weights, 1, 3, 5, 7, w1, w3, w5, w7);
316     ILVR_H4_SH(w1, w3, w3, -w7, w5, -w1, w7, -w5,
317                const0, const1, const2, const3);
318     DOTP_SH4_SW(b3_r, b3_r, b3_r, b3_r, const0, const1, const2, const3,
319                 b0_r, b1_r, b2_r, b3_r);
320     DOTP_SH4_SW(b3_l, b3_l, b3_l, b3_l, const0, const1, const2, const3,
321                 b0_l, b1_l, b2_l, b3_l);
322     ILVRL_H2_SW(in5, in7, temp0_r, temp0_l);
323     ILVR_H2_SH(w5, w7, w7, w3, const4, const6);
324     const5 = __msa_ilvod_h(-w1, -w5);
325     const7 = __msa_ilvod_h(w3, -w1);
326     DPADD_SH4_SW(temp0_r, temp0_r, temp0_r, temp0_r,
327                  const4, const5, const6, const7, b0_r, b1_r, b2_r, b3_r);
328     DPADD_SH4_SW(temp0_l, temp0_l, temp0_l, temp0_l,
329                  const4, const5, const6, const7, b0_l, b1_l, b2_l, b3_l);
330     BUTTERFLY_16(a0_r, a0_l, a1_r, a1_l, a2_r, a2_l, a3_r, a3_l,
331                  b3_l, b3_r, b2_l, b2_r, b1_l, b1_r, b0_l, b0_r,
332                  temp0_r, temp0_l, temp1_r, temp1_l,
333                  temp2_r, temp2_l, temp3_r, temp3_l,
334                  a3_l, a3_r, a2_l, a2_r, a1_l, a1_r, a0_l, a0_r);
335     SRA_4V(temp0_r, temp0_l, temp1_r, temp1_l, 20);
336     SRA_4V(temp2_r, temp2_l, temp3_r, temp3_l, 20);
337     SRA_4V(a3_r, a3_l, a2_r, a2_l, 20);
338     SRA_4V(a1_r, a1_l, a0_r, a0_l, 20);
339     PCKEV_H4_SW(temp0_l, temp0_r, temp1_l, temp1_r, temp2_l, temp2_r,
340                 temp3_l, temp3_r, temp0_r, temp1_r, temp2_r, temp3_r);
341     PCKEV_H4_SW(a0_l, a0_r, a1_l, a1_r, a2_l, a2_r, a3_l, a3_r,
342                 a0_r, a1_r, a2_r, a3_r);
343     temp0_r = (v4i32) CLIP_SH_0_255(temp0_r);
344     temp1_r = (v4i32) CLIP_SH_0_255(temp1_r);
345     temp2_r = (v4i32) CLIP_SH_0_255(temp2_r);
346     temp3_r = (v4i32) CLIP_SH_0_255(temp3_r);
347     PCKEV_B4_SW(temp0_r, temp0_r, temp1_r, temp1_r,
348                 temp2_r, temp2_r, temp3_r, temp3_r,
349                 temp0_r, temp1_r, temp2_r, temp3_r);
350     tmp0 = __msa_copy_u_d((v2i64) temp0_r, 1);
351     tmp1 = __msa_copy_u_d((v2i64) temp1_r, 1);
352     tmp2 = __msa_copy_u_d((v2i64) temp2_r, 1);
353     tmp3 = __msa_copy_u_d((v2i64) temp3_r, 1);
354     SD4(tmp0, tmp1, tmp2, tmp3, dst, dst_stride);
355     dst += 4 * dst_stride;
356     a0_r = (v4i32) CLIP_SH_0_255(a0_r);
357     a1_r = (v4i32) CLIP_SH_0_255(a1_r);
358     a2_r = (v4i32) CLIP_SH_0_255(a2_r);
359     a3_r = (v4i32) CLIP_SH_0_255(a3_r);
360     PCKEV_B4_SW(a0_r, a0_r, a1_r, a1_r,
361                 a2_r, a2_r, a3_r, a3_r, a0_r, a1_r, a2_r, a3_r);
362     tmp3 = __msa_copy_u_d((v2i64) a0_r, 1);
363     tmp2 = __msa_copy_u_d((v2i64) a1_r, 1);
364     tmp1 = __msa_copy_u_d((v2i64) a2_r, 1);
365     tmp0 = __msa_copy_u_d((v2i64) a3_r, 1);
366     SD4(tmp0, tmp1, tmp2, tmp3, dst, dst_stride);
367     dst += 4 * dst_stride;
368 }
369
370 static void simple_idct_add_msa(uint8_t *dst, int32_t dst_stride,
371                                 int16_t *block)
372 {
373     int32_t const_val;
374     uint64_t tmp0, tmp1, tmp2, tmp3;
375     v8i16 weights = { 0, 22725, 21407, 19266, 16383, 12873, 8867, 4520 };
376     v8i16 in0, in1, in2, in3, in4, in5, in6, in7;
377     v8i16 w1, w3, w5, w7;
378     v8i16 const0, const1, const2, const3, const4, const5, const6, const7;
379     v4i32 temp0_r, temp1_r, temp2_r, temp3_r;
380     v4i32 temp4_r, temp5_r, temp6_r, temp7_r, temp8_r;
381     v4i32 temp0_l, temp1_l, temp2_l, temp3_l;
382     v4i32 temp4_l, temp5_l, temp6_l, temp7_l, temp8_l;
383     v4i32 a0_r, a1_r, a2_r, a3_r, a0_l, a1_l, a2_l, a3_l;
384     v4i32 b0_r, b1_r, b2_r, b3_r, b0_l, b1_l, b2_l, b3_l;
385     v4i32 w2, w4, w6;
386     v8i16 select_vec, temp;
387     v8i16 zero = { 0 };
388     v4i32 const_val0 = __msa_ldi_w(1);
389     v4i32 const_val1 = __msa_ldi_w(1);
390
391     const_val0 <<= 10;
392     const_val = 16383 * ((1 << 19) / 16383);
393     const_val1 = __msa_insert_w(const_val0, 0, const_val);
394     const_val1 = __msa_splati_w(const_val1, 0);
395     LD_SH8(block, 8, in0, in1, in2, in3, in4, in5, in6, in7);
396     TRANSPOSE8x8_SH_SH(in0, in1, in2, in3, in4, in5, in6, in7,
397                        in0, in1, in2, in3, in4, in5, in6, in7);
398
399     select_vec = in1 | in2 | in3 | in4 | in5 | in6 | in7;
400     select_vec = __msa_clti_u_h((v8u16) select_vec, 1);
401     UNPCK_SH_SW(in0, a0_r, a0_l);
402     UNPCK_SH_SW(in2, temp3_r, temp3_l);
403     ILVRL_H2_SW(in1, in3, b3_r, b3_l);
404     UNPCK_SH_SW(in4, temp4_r, temp4_l);
405     UNPCK_SH_SW(in6, temp7_r, temp7_l);
406     ILVRL_H2_SW(in5, in7, temp8_r, temp8_l);
407     temp = in0 << 3;
408     SPLATI_H4_SH(weights, 1, 3, 5, 7, w1, w3, w5, w7);
409     ILVR_H4_SH(w1, w3, w3, -w7, w5, -w1, w7, -w5,
410                const0, const1, const2, const3);
411     ILVR_H2_SH(w5, w7, w7, w3, const4, const6);
412     const5 = __msa_ilvod_h(-w1, -w5);
413     const7 = __msa_ilvod_h(w3, -w1);
414     DOTP_SH4_SW(b3_r, b3_r, b3_r, b3_r, const0, const1, const2, const3,
415                 b0_r, b1_r, b2_r, b3_r);
416     DPADD_SH4_SW(temp8_r, temp8_r, temp8_r, temp8_r,
417                  const4, const5, const6, const7, b0_r, b1_r, b2_r, b3_r);
418     DOTP_SH4_SW(b3_l, b3_l, b3_l, b3_l, const0, const1, const2, const3,
419                 b0_l, b1_l, b2_l, b3_l);
420     DPADD_SH4_SW(temp8_l, temp8_l, temp8_l, temp8_l,
421                  const4, const5, const6, const7, b0_l, b1_l, b2_l, b3_l);
422     w2 = (v4i32) __msa_splati_h(weights, 2);
423     w2 = (v4i32) __msa_ilvr_h(zero, (v8i16) w2);
424     w4 = (v4i32) __msa_splati_h(weights, 4);
425     w4 = (v4i32) __msa_ilvr_h(zero, (v8i16) w4);
426     w6 = (v4i32) __msa_splati_h(weights, 6);
427     w6 = (v4i32) __msa_ilvr_h(zero, (v8i16) w6);
428     MUL2(a0_r, w4, a0_l, w4, a0_r, a0_l);
429     ADD2(a0_r, const_val0, a0_l, const_val0, temp0_r, temp0_l);
430     MUL2(w2, temp3_r, w2, temp3_l, temp1_r, temp1_l);
431     MUL2(w6, temp3_r, w6, temp3_l, temp2_r, temp2_l);
432     BUTTERFLY_8(temp0_r, temp0_l, temp0_r, temp0_l,
433                 temp2_l, temp2_r, temp1_l, temp1_r,
434                 a0_r, a0_l, a1_r, a1_l, a2_l, a2_r, a3_l, a3_r);
435     MUL2(temp4_r, w4, temp4_l, w4, temp4_r, temp4_l);
436     MUL2(temp7_r, w2, temp7_l, w2, temp6_r, temp6_l);
437     MUL2(temp7_r, w6, temp7_l, w6, temp5_r, temp5_l);
438     ADD2(a0_r, temp4_r, a0_l, temp4_l, a0_r, a0_l);
439     SUB2(a1_r, temp4_r, a1_l, temp4_l, a1_r, a1_l);
440     SUB2(a2_r, temp4_r, a2_l, temp4_l, a2_r, a2_l);
441     ADD2(a3_r, temp4_r, a3_l, temp4_l, a3_r, a3_l);
442     ADD2(a0_r, temp5_r, a0_l, temp5_l, a0_r, a0_l);
443     SUB2(a1_r, temp6_r, a1_l, temp6_l, a1_r, a1_l);
444     ADD2(a2_r, temp6_r, a2_l, temp6_l, a2_r, a2_l);
445     SUB2(a3_r, temp5_r, a3_l, temp5_l, a3_r, a3_l);
446     BUTTERFLY_16(a0_r, a0_l, a1_r, a1_l, a2_r, a2_l, a3_r, a3_l,
447                  b3_l, b3_r, b2_l, b2_r, b1_l, b1_r, b0_l, b0_r,
448                  temp0_r, temp0_l, temp1_r, temp1_l,
449                  temp2_r, temp2_l, temp3_r, temp3_l,
450                  a3_l, a3_r, a2_l, a2_r, a1_l, a1_r, a0_l, a0_r);
451     SRA_4V(temp0_r, temp0_l, temp1_r, temp1_l, 11);
452     SRA_4V(temp2_r, temp2_l, temp3_r, temp3_l, 11);
453     PCKEV_H4_SW(temp0_l, temp0_r, temp1_l, temp1_r,
454                 temp2_l, temp2_r, temp3_l, temp3_r,
455                 temp0_r, temp1_r, temp2_r, temp3_r);
456     in0 = (v8i16) __msa_bmnz_v((v16u8) temp0_r, (v16u8) temp,
457                                (v16u8) select_vec);
458     in1 = (v8i16) __msa_bmnz_v((v16u8) temp1_r, (v16u8) temp,
459                                (v16u8) select_vec);
460     in2 = (v8i16) __msa_bmnz_v((v16u8) temp2_r, (v16u8) temp,
461                                (v16u8) select_vec);
462     in3 = (v8i16) __msa_bmnz_v((v16u8) temp3_r, (v16u8) temp,
463                                (v16u8) select_vec);
464     SRA_4V(a3_r, a3_l, a2_r, a2_l, 11);
465     SRA_4V(a1_r, a1_l, a0_r, a0_l, 11);
466     PCKEV_H4_SW(a0_l, a0_r, a1_l, a1_r, a2_l, a2_r, a3_l, a3_r,
467                 a0_r, a1_r, a2_r, a3_r);
468     in4 = (v8i16) __msa_bmnz_v((v16u8) a3_r, (v16u8) temp, (v16u8) select_vec);
469     in5 = (v8i16) __msa_bmnz_v((v16u8) a2_r, (v16u8) temp, (v16u8) select_vec);
470     in6 = (v8i16) __msa_bmnz_v((v16u8) a1_r, (v16u8) temp, (v16u8) select_vec);
471     in7 = (v8i16) __msa_bmnz_v((v16u8) a0_r, (v16u8) temp, (v16u8) select_vec);
472     TRANSPOSE8x8_SH_SH(in0, in1, in2, in3, in4, in5, in6, in7,
473                        in0, in1, in2, in3, in4, in5, in6, in7);
474
475     UNPCK_SH_SW(in0, a0_r, a0_l);
476     UNPCK_SH_SW(in2, temp3_r, temp3_l);
477     MUL2(a0_r, w4, a0_l, w4, a0_r, a0_l);
478     ADD2(a0_r, const_val1, a0_l, const_val1, temp0_r, temp0_l);
479     MUL2(w2, temp3_r, w2, temp3_l, temp1_r, temp1_l);
480     MUL2(w6, temp3_r, w6, temp3_l, temp2_r, temp2_l);
481     BUTTERFLY_8(temp0_r, temp0_l, temp0_r, temp0_l,
482                 temp2_l, temp2_r, temp1_l, temp1_r,
483                 a0_r, a0_l, a1_r, a1_l, a2_l, a2_r, a3_l, a3_r);
484     UNPCK_SH_SW(in4, temp0_r, temp0_l);
485     UNPCK_SH_SW(in6, temp3_r, temp3_l);
486     MUL2(temp0_r, w4, temp0_l, w4, temp0_r, temp0_l);
487     MUL2(w2, temp3_r, w2, temp3_l, temp2_r, temp2_l);
488     MUL2(w6, temp3_r, w6, temp3_l, temp1_r, temp1_l);
489     ADD2(a0_r, temp0_r, a0_l, temp0_l, a0_r, a0_l);
490     SUB2(a1_r, temp0_r, a1_l, temp0_l, a1_r, a1_l);
491     SUB2(a2_r, temp0_r, a2_l, temp0_l, a2_r, a2_l);
492     ADD2(a3_r, temp0_r, a3_l, temp0_l, a3_r, a3_l);
493     ADD2(a0_r, temp1_r, a0_l, temp1_l, a0_r, a0_l);
494     SUB2(a1_r, temp2_r, a1_l, temp2_l, a1_r, a1_l);
495     ADD2(a2_r, temp2_r, a2_l, temp2_l, a2_r, a2_l);
496     SUB2(a3_r, temp1_r, a3_l, temp1_l, a3_r, a3_l);
497     ILVRL_H2_SW(in1, in3, b3_r, b3_l);
498     ILVRL_H2_SW(in5, in7, temp0_r, temp0_l);
499     DOTP_SH4_SW(b3_r, b3_r, b3_r, b3_r, const0, const1, const2, const3,
500                 b0_r, b1_r, b2_r, b3_r);
501     DOTP_SH4_SW(b3_l, b3_l, b3_l, b3_l, const0, const1, const2, const3,
502                 b0_l, b1_l, b2_l, b3_l);
503     DPADD_SH4_SW(temp0_r, temp0_r, temp0_r, temp0_r,
504                  const4, const5, const6, const7, b0_r, b1_r, b2_r, b3_r);
505     DPADD_SH4_SW(temp0_l, temp0_l, temp0_l, temp0_l,
506                  const4, const5, const6, const7, b0_l, b1_l, b2_l, b3_l);
507     BUTTERFLY_16(a0_r, a0_l, a1_r, a1_l, a2_r, a2_l, a3_r, a3_l,
508                  b3_l, b3_r, b2_l, b2_r, b1_l, b1_r, b0_l, b0_r,
509                  temp0_r, temp0_l, temp1_r, temp1_l,
510                  temp2_r, temp2_l, temp3_r, temp3_l,
511                  a3_l, a3_r, a2_l, a2_r, a1_l, a1_r, a0_l, a0_r);
512     SRA_4V(temp0_r, temp0_l, temp1_r, temp1_l, 20);
513     SRA_4V(temp2_r, temp2_l, temp3_r, temp3_l, 20);
514     LD_SH4(dst, dst_stride, in0, in1, in2, in3);
515     PCKEV_H4_SW(temp0_l, temp0_r, temp1_l, temp1_r, temp2_l, temp2_r,
516                 temp3_l, temp3_r, temp0_r, temp1_r, temp2_r, temp3_r);
517     ILVR_B4_SW(zero, in0, zero, in1, zero, in2, zero, in3,
518                temp0_l, temp1_l, temp2_l, temp3_l);
519     temp0_r = (v4i32) ((v8i16) (temp0_r) + (v8i16) (temp0_l));
520     temp1_r = (v4i32) ((v8i16) (temp1_r) + (v8i16) (temp1_l));
521     temp2_r = (v4i32) ((v8i16) (temp2_r) + (v8i16) (temp2_l));
522     temp3_r = (v4i32) ((v8i16) (temp3_r) + (v8i16) (temp3_l));
523     temp0_r = (v4i32) CLIP_SH_0_255(temp0_r);
524     temp1_r = (v4i32) CLIP_SH_0_255(temp1_r);
525     temp2_r = (v4i32) CLIP_SH_0_255(temp2_r);
526     temp3_r = (v4i32) CLIP_SH_0_255(temp3_r);
527     PCKEV_B4_SW(temp0_r, temp0_r, temp1_r, temp1_r,
528                 temp2_r, temp2_r, temp3_r, temp3_r,
529                 temp0_r, temp1_r, temp2_r, temp3_r);
530     tmp0 = __msa_copy_u_d((v2i64) temp0_r, 1);
531     tmp1 = __msa_copy_u_d((v2i64) temp1_r, 1);
532     tmp2 = __msa_copy_u_d((v2i64) temp2_r, 1);
533     tmp3 = __msa_copy_u_d((v2i64) temp3_r, 1);
534     SD4(tmp0, tmp1, tmp2, tmp3, dst, dst_stride);
535
536     SRA_4V(a3_r, a3_l, a2_r, a2_l, 20);
537     SRA_4V(a1_r, a1_l, a0_r, a0_l, 20);
538     LD_SH4(dst + 4 * dst_stride, dst_stride, in4, in5, in6, in7);
539     PCKEV_H4_SW(a0_l, a0_r, a1_l, a1_r, a2_l, a2_r, a3_l, a3_r,
540                 a0_r, a1_r, a2_r, a3_r);
541     ILVR_B4_SW(zero, in4, zero, in5, zero, in6, zero, in7,
542                a3_l, a2_l, a1_l, a0_l);
543     a3_r = (v4i32) ((v8i16) (a3_r) + (v8i16) (a3_l));
544     a2_r = (v4i32) ((v8i16) (a2_r) + (v8i16) (a2_l));
545     a1_r = (v4i32) ((v8i16) (a1_r) + (v8i16) (a1_l));
546     a0_r = (v4i32) ((v8i16) (a0_r) + (v8i16) (a0_l));
547     a3_r = (v4i32) CLIP_SH_0_255(a3_r);
548     a2_r = (v4i32) CLIP_SH_0_255(a2_r);
549     a1_r = (v4i32) CLIP_SH_0_255(a1_r);
550     a0_r = (v4i32) CLIP_SH_0_255(a0_r);
551     PCKEV_B4_SW(a0_r, a0_r, a1_r, a1_r,
552                 a2_r, a2_r, a3_r, a3_r, a0_r, a1_r, a2_r, a3_r);
553     tmp0 = __msa_copy_u_d((v2i64) a3_r, 1);
554     tmp1 = __msa_copy_u_d((v2i64) a2_r, 1);
555     tmp2 = __msa_copy_u_d((v2i64) a1_r, 1);
556     tmp3 = __msa_copy_u_d((v2i64) a0_r, 1);
557     SD4(tmp0, tmp1, tmp2, tmp3, dst + 4 * dst_stride, dst_stride);
558 }
559
560 void ff_simple_idct_msa(int16_t *block)
561 {
562     simple_idct_msa(block);
563 }
564
565 void ff_simple_idct_put_msa(uint8_t *dst, ptrdiff_t dst_stride, int16_t *block)
566 {
567     simple_idct_put_msa(dst, dst_stride, block);
568 }
569
570 void ff_simple_idct_add_msa(uint8_t *dst, ptrdiff_t dst_stride, int16_t *block)
571 {
572     simple_idct_add_msa(dst, dst_stride, block);
573 }