git.sesse.net Git - ffmpeg/blob - libavcodec/mips/me_cmp_msa.c

   1 /*
   2  * Copyright (c) 2015 Parag Salasakar (Parag.Salasakar@imgtec.com)
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 #include "libavutil/mips/generic_macros_msa.h"
  22 #include "me_cmp_mips.h"
  23
  24 static uint32_t sad_8width_msa(uint8_t *src, int32_t src_stride,
  25                                uint8_t *ref, int32_t ref_stride,
  26                                int32_t height)
  27 {
  28     int32_t ht_cnt;
  29     v16u8 src0, src1, src2, src3, ref0, ref1, ref2, ref3;
  30     v8u16 sad = { 0 };
  31
  32     for (ht_cnt = (height >> 2); ht_cnt--;) {
  33         LD_UB4(src, src_stride, src0, src1, src2, src3);
  34         src += (4 * src_stride);
  35         LD_UB4(ref, ref_stride, ref0, ref1, ref2, ref3);
  36         ref += (4 * ref_stride);
  37
  38         PCKEV_D4_UB(src1, src0, src3, src2, ref1, ref0, ref3, ref2,
  39                     src0, src1, ref0, ref1);
  40         sad += SAD_UB2_UH(src0, src1, ref0, ref1);
  41     }
  42
  43     return (HADD_UH_U32(sad));
  44 }
  45
  46 static uint32_t sad_16width_msa(uint8_t *src, int32_t src_stride,
  47                                 uint8_t *ref, int32_t ref_stride,
  48                                 int32_t height)
  49 {
  50     int32_t ht_cnt;
  51     v16u8 src0, src1, ref0, ref1;
  52     v8u16 sad = { 0 };
  53
  54     for (ht_cnt = (height >> 2); ht_cnt--;) {
  55         LD_UB2(src, src_stride, src0, src1);
  56         src += (2 * src_stride);
  57         LD_UB2(ref, ref_stride, ref0, ref1);
  58         ref += (2 * ref_stride);
  59         sad += SAD_UB2_UH(src0, src1, ref0, ref1);
  60
  61         LD_UB2(src, src_stride, src0, src1);
  62         src += (2 * src_stride);
  63         LD_UB2(ref, ref_stride, ref0, ref1);
  64         ref += (2 * ref_stride);
  65         sad += SAD_UB2_UH(src0, src1, ref0, ref1);
  66     }
  67
  68     return (HADD_UH_U32(sad));
  69 }
  70
  71 static uint32_t sad_horiz_bilinear_filter_8width_msa(uint8_t *src,
  72                                                      int32_t src_stride,
  73                                                      uint8_t *ref,
  74                                                      int32_t ref_stride,
  75                                                      int32_t height)
  76 {
  77     int32_t ht_cnt;
  78     v16u8 src0, src1, src2, src3, comp0, comp1;
  79     v16u8 ref0, ref1, ref2, ref3, ref4, ref5;
  80     v8u16 sad = { 0 };
  81
  82     for (ht_cnt = (height >> 3); ht_cnt--;) {
  83         LD_UB4(src, src_stride, src0, src1, src2, src3);
  84         src += (4 * src_stride);
  85         LD_UB4(ref, ref_stride, ref0, ref1, ref2, ref3);
  86         ref += (4 * ref_stride);
  87
  88         PCKEV_D2_UB(src1, src0, src3, src2, src0, src1);
  89         PCKEV_D2_UB(ref1, ref0, ref3, ref2, ref4, ref5);
  90         SLDI_B4_UB(ref0, ref0, ref1, ref1, ref2, ref2, ref3, ref3, 1,
  91                    ref0, ref1, ref2, ref3);
  92         PCKEV_D2_UB(ref1, ref0, ref3, ref2, ref0, ref1);
  93         AVER_UB2_UB(ref4, ref0, ref5, ref1, comp0, comp1);
  94         sad += SAD_UB2_UH(src0, src1, comp0, comp1);
  95
  96         LD_UB4(src, src_stride, src0, src1, src2, src3);
  97         src += (4 * src_stride);
  98         LD_UB4(ref, ref_stride, ref0, ref1, ref2, ref3);
  99         ref += (4 * ref_stride);
 100
 101         PCKEV_D2_UB(src1, src0, src3, src2, src0, src1);
 102         PCKEV_D2_UB(ref1, ref0, ref3, ref2, ref4, ref5);
 103         SLDI_B4_UB(ref0, ref0, ref1, ref1, ref2, ref2, ref3, ref3, 1,
 104                    ref0, ref1, ref2, ref3);
 105         PCKEV_D2_UB(ref1, ref0, ref3, ref2, ref0, ref1);
 106         AVER_UB2_UB(ref4, ref0, ref5, ref1, comp0, comp1);
 107         sad += SAD_UB2_UH(src0, src1, comp0, comp1);
 108     }
 109
 110     return (HADD_UH_U32(sad));
 111 }
 112
 113 static uint32_t sad_horiz_bilinear_filter_16width_msa(uint8_t *src,
 114                                                       int32_t src_stride,
 115                                                       uint8_t *ref,
 116                                                       int32_t ref_stride,
 117                                                       int32_t height)
 118 {
 119     int32_t ht_cnt;
 120     v16u8 src0, src1, src2, src3, comp0, comp1;
 121     v16u8 ref00, ref10, ref20, ref30, ref01, ref11, ref21, ref31;
 122     v8u16 sad = { 0 };
 123
 124     for (ht_cnt = (height >> 3); ht_cnt--;) {
 125         LD_UB4(src, src_stride, src0, src1, src2, src3);
 126         src += (4 * src_stride);
 127         LD_UB4(ref, ref_stride, ref00, ref10, ref20, ref30);
 128         LD_UB4(ref + 1, ref_stride, ref01, ref11, ref21, ref31);
 129         ref += (4 * ref_stride);
 130
 131         AVER_UB2_UB(ref01, ref00, ref11, ref10, comp0, comp1);
 132         sad += SAD_UB2_UH(src0, src1, comp0, comp1);
 133         AVER_UB2_UB(ref21, ref20, ref31, ref30, comp0, comp1);
 134         sad += SAD_UB2_UH(src2, src3, comp0, comp1);
 135
 136         LD_UB4(src, src_stride, src0, src1, src2, src3);
 137         src += (4 * src_stride);
 138         LD_UB4(ref, ref_stride, ref00, ref10, ref20, ref30);
 139         LD_UB4(ref + 1, ref_stride, ref01, ref11, ref21, ref31);
 140         ref += (4 * ref_stride);
 141
 142         AVER_UB2_UB(ref01, ref00, ref11, ref10, comp0, comp1);
 143         sad += SAD_UB2_UH(src0, src1, comp0, comp1);
 144         AVER_UB2_UB(ref21, ref20, ref31, ref30, comp0, comp1);
 145         sad += SAD_UB2_UH(src2, src3, comp0, comp1);
 146     }
 147
 148     return (HADD_UH_U32(sad));
 149 }
 150
 151 static uint32_t sad_vert_bilinear_filter_8width_msa(uint8_t *src,
 152                                                     int32_t src_stride,
 153                                                     uint8_t *ref,
 154                                                     int32_t ref_stride,
 155                                                     int32_t height)
 156 {
 157     int32_t ht_cnt;
 158     v16u8 src0, src1, src2, src3, comp0, comp1;
 159     v16u8 ref0, ref1, ref2, ref3, ref4;
 160     v8u16 sad = { 0 };
 161
 162     for (ht_cnt = (height >> 3); ht_cnt--;) {
 163         LD_UB4(src, src_stride, src0, src1, src2, src3);
 164         src += (4 * src_stride);
 165         LD_UB5(ref, ref_stride, ref0, ref1, ref2, ref3, ref4);
 166         ref += (4 * ref_stride);
 167
 168         PCKEV_D2_UB(src1, src0, src3, src2, src0, src1);
 169         PCKEV_D2_UB(ref1, ref0, ref2, ref1, ref0, ref1);
 170         PCKEV_D2_UB(ref3, ref2, ref4, ref3, ref2, ref3);
 171         AVER_UB2_UB(ref1, ref0, ref3, ref2, comp0, comp1);
 172         sad += SAD_UB2_UH(src0, src1, comp0, comp1);
 173
 174         LD_UB4(src, src_stride, src0, src1, src2, src3);
 175         src += (4 * src_stride);
 176         LD_UB5(ref, ref_stride, ref0, ref1, ref2, ref3, ref4);
 177         ref += (4 * ref_stride);
 178
 179         PCKEV_D2_UB(src1, src0, src3, src2, src0, src1);
 180         PCKEV_D2_UB(ref1, ref0, ref2, ref1, ref0, ref1);
 181         PCKEV_D2_UB(ref3, ref2, ref4, ref3, ref2, ref3);
 182         AVER_UB2_UB(ref1, ref0, ref3, ref2, comp0, comp1);
 183         sad += SAD_UB2_UH(src0, src1, comp0, comp1);
 184     }
 185
 186     return (HADD_UH_U32(sad));
 187 }
 188
 189 static uint32_t sad_vert_bilinear_filter_16width_msa(uint8_t *src,
 190                                                      int32_t src_stride,
 191                                                      uint8_t *ref,
 192                                                      int32_t ref_stride,
 193                                                      int32_t height)
 194 {
 195     int32_t ht_cnt;
 196     v16u8 src0, src1, src2, src3, comp0, comp1;
 197     v16u8 ref0, ref1, ref2, ref3, ref4;
 198     v8u16 sad = { 0 };
 199
 200     for (ht_cnt = (height >> 3); ht_cnt--;) {
 201         LD_UB5(ref, ref_stride, ref4, ref0, ref1, ref2, ref3);
 202         ref += (5 * ref_stride);
 203         LD_UB4(src, src_stride, src0, src1, src2, src3);
 204         src += (4 * src_stride);
 205
 206         AVER_UB2_UB(ref0, ref4, ref1, ref0, comp0, comp1);
 207         sad += SAD_UB2_UH(src0, src1, comp0, comp1);
 208         AVER_UB2_UB(ref2, ref1, ref3, ref2, comp0, comp1);
 209         sad += SAD_UB2_UH(src2, src3, comp0, comp1);
 210
 211         ref4 = ref3;
 212
 213         LD_UB4(ref, ref_stride, ref0, ref1, ref2, ref3);
 214         ref += (3 * ref_stride);
 215         LD_UB4(src, src_stride, src0, src1, src2, src3);
 216         src += (4 * src_stride);
 217
 218         AVER_UB2_UB(ref0, ref4, ref1, ref0, comp0, comp1);
 219         sad += SAD_UB2_UH(src0, src1, comp0, comp1);
 220         AVER_UB2_UB(ref2, ref1, ref3, ref2, comp0, comp1);
 221         sad += SAD_UB2_UH(src2, src3, comp0, comp1);
 222     }
 223
 224     return (HADD_UH_U32(sad));
 225 }
 226
 227 static uint32_t sad_hv_bilinear_filter_8width_msa(uint8_t *src,
 228                                                   int32_t src_stride,
 229                                                   uint8_t *ref,
 230                                                   int32_t ref_stride,
 231                                                   int32_t height)
 232 {
 233     int32_t ht_cnt;
 234     v16u8 src0, src1, src2, src3, temp0, temp1, diff;
 235     v16u8 ref0, ref1, ref2, ref3, ref4;
 236     v16i8 mask = { 0, 1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8 };
 237     v8u16 comp0, comp1, comp2, comp3;
 238     v8u16 sad = { 0 };
 239
 240     for (ht_cnt = (height >> 2); ht_cnt--;) {
 241         LD_UB5(ref, ref_stride, ref4, ref0, ref1, ref2, ref3);
 242         ref += (4 * ref_stride);
 243         LD_UB4(src, src_stride, src0, src1, src2, src3);
 244         src += (4 * src_stride);
 245
 246         PCKEV_D2_UB(src1, src0, src3, src2, src0, src1);
 247
 248         VSHF_B2_UB(ref4, ref4, ref0, ref0, mask, mask, temp0, temp1);
 249         comp0 = __msa_hadd_u_h(temp0, temp0);
 250         comp1 = __msa_hadd_u_h(temp1, temp1);
 251         comp0 += comp1;
 252         comp0 = (v8u16) __msa_srari_h((v8i16) comp0, 2);
 253         comp0 = (v8u16) __msa_pckev_b((v16i8) comp0, (v16i8) comp0);
 254
 255         temp0 = (v16u8) __msa_vshf_b(mask, (v16i8) ref1, (v16i8) ref1);
 256         comp2 = __msa_hadd_u_h(temp0, temp0);
 257         comp1 += comp2;
 258         comp1 = (v8u16) __msa_srari_h((v8i16) comp1, 2);
 259         comp1 = (v8u16) __msa_pckev_b((v16i8) comp1, (v16i8) comp1);
 260         comp1 = (v8u16) __msa_pckev_d((v2i64) comp1, (v2i64) comp0);
 261         diff = (v16u8) __msa_asub_u_b(src0, (v16u8) comp1);
 262         sad += __msa_hadd_u_h(diff, diff);
 263
 264         temp1 = (v16u8) __msa_vshf_b(mask, (v16i8) ref2, (v16i8) ref2);
 265         comp3 = __msa_hadd_u_h(temp1, temp1);
 266         comp2 += comp3;
 267         comp2 = (v8u16) __msa_srari_h((v8i16) comp2, 2);
 268         comp2 = (v8u16) __msa_pckev_b((v16i8) comp2, (v16i8) comp2);
 269
 270         temp0 = (v16u8) __msa_vshf_b(mask, (v16i8) ref3, (v16i8) ref3);
 271         comp0 = __msa_hadd_u_h(temp0, temp0);
 272         comp3 += comp0;
 273         comp3 = (v8u16) __msa_srari_h((v8i16) comp3, 2);
 274         comp3 = (v8u16) __msa_pckev_b((v16i8) comp3, (v16i8) comp3);
 275         comp3 = (v8u16) __msa_pckev_d((v2i64) comp3, (v2i64) comp2);
 276         diff = (v16u8) __msa_asub_u_b(src1, (v16u8) comp3);
 277         sad += __msa_hadd_u_h(diff, diff);
 278     }
 279
 280     return (HADD_UH_U32(sad));
 281 }
 282
 283 static uint32_t sad_hv_bilinear_filter_16width_msa(uint8_t *src,
 284                                                    int32_t src_stride,
 285                                                    uint8_t *ref,
 286                                                    int32_t ref_stride,
 287                                                    int32_t height)
 288 {
 289     int32_t ht_cnt;
 290     v16u8 src0, src1, src2, src3, comp, diff;
 291     v16u8 temp0, temp1, temp2, temp3;
 292     v16u8 ref00, ref01, ref02, ref03, ref04, ref10, ref11, ref12, ref13, ref14;
 293     v8u16 comp0, comp1, comp2, comp3;
 294     v8u16 sad = { 0 };
 295
 296     for (ht_cnt = (height >> 3); ht_cnt--;) {
 297         LD_UB4(src, src_stride, src0, src1, src2, src3);
 298         src += (4 * src_stride);
 299         LD_UB5(ref, ref_stride, ref04, ref00, ref01, ref02, ref03);
 300         LD_UB5(ref + 1, ref_stride, ref14, ref10, ref11, ref12, ref13);
 301         ref += (5 * ref_stride);
 302
 303         ILVRL_B2_UB(ref14, ref04, temp0, temp1);
 304         comp0 = __msa_hadd_u_h(temp0, temp0);
 305         comp1 = __msa_hadd_u_h(temp1, temp1);
 306         ILVRL_B2_UB(ref10, ref00, temp2, temp3);
 307         comp2 = __msa_hadd_u_h(temp2, temp2);
 308         comp3 = __msa_hadd_u_h(temp3, temp3);
 309         comp0 += comp2;
 310         comp1 += comp3;
 311         SRARI_H2_UH(comp0, comp1, 2);
 312         comp = (v16u8) __msa_pckev_b((v16i8) comp1, (v16i8) comp0);
 313         diff = __msa_asub_u_b(src0, comp);
 314         sad += __msa_hadd_u_h(diff, diff);
 315
 316         ILVRL_B2_UB(ref11, ref01, temp0, temp1);
 317         comp0 = __msa_hadd_u_h(temp0, temp0);
 318         comp1 = __msa_hadd_u_h(temp1, temp1);
 319         comp2 += comp0;
 320         comp3 += comp1;
 321         SRARI_H2_UH(comp2, comp3, 2);
 322         comp = (v16u8) __msa_pckev_b((v16i8) comp3, (v16i8) comp2);
 323         diff = __msa_asub_u_b(src1, comp);
 324         sad += __msa_hadd_u_h(diff, diff);
 325
 326         ILVRL_B2_UB(ref12, ref02, temp2, temp3);
 327         comp2 = __msa_hadd_u_h(temp2, temp2);
 328         comp3 = __msa_hadd_u_h(temp3, temp3);
 329         comp0 += comp2;
 330         comp1 += comp3;
 331         SRARI_H2_UH(comp0, comp1, 2);
 332         comp = (v16u8) __msa_pckev_b((v16i8) comp1, (v16i8) comp0);
 333         diff = __msa_asub_u_b(src2, comp);
 334         sad += __msa_hadd_u_h(diff, diff);
 335
 336         ILVRL_B2_UB(ref13, ref03, temp0, temp1);
 337         comp0 = __msa_hadd_u_h(temp0, temp0);
 338         comp1 = __msa_hadd_u_h(temp1, temp1);
 339         comp2 += comp0;
 340         comp3 += comp1;
 341         SRARI_H2_UH(comp2, comp3, 2);
 342         comp = (v16u8) __msa_pckev_b((v16i8) comp3, (v16i8) comp2);
 343         diff = __msa_asub_u_b(src3, comp);
 344         sad += __msa_hadd_u_h(diff, diff);
 345
 346         LD_UB4(src, src_stride, src0, src1, src2, src3);
 347         src += (4 * src_stride);
 348         LD_UB4(ref, ref_stride, ref00, ref01, ref02, ref03);
 349         LD_UB4(ref + 1, ref_stride, ref10, ref11, ref12, ref13);
 350         ref += (3 * ref_stride);
 351
 352         ILVRL_B2_UB(ref10, ref00, temp2, temp3);
 353         comp2 = __msa_hadd_u_h(temp2, temp2);
 354         comp3 = __msa_hadd_u_h(temp3, temp3);
 355         comp0 += comp2;
 356         comp1 += comp3;
 357         SRARI_H2_UH(comp0, comp1, 2);
 358         comp = (v16u8) __msa_pckev_b((v16i8) comp1, (v16i8) comp0);
 359         diff = __msa_asub_u_b(src0, comp);
 360         sad += __msa_hadd_u_h(diff, diff);
 361
 362         ILVRL_B2_UB(ref11, ref01, temp0, temp1);
 363         comp0 = __msa_hadd_u_h(temp0, temp0);
 364         comp1 = __msa_hadd_u_h(temp1, temp1);
 365         comp2 += comp0;
 366         comp3 += comp1;
 367         SRARI_H2_UH(comp2, comp3, 2);
 368         comp = (v16u8) __msa_pckev_b((v16i8) comp3, (v16i8) comp2);
 369         diff = __msa_asub_u_b(src1, comp);
 370         sad += __msa_hadd_u_h(diff, diff);
 371
 372         ILVRL_B2_UB(ref12, ref02, temp2, temp3);
 373         comp2 = __msa_hadd_u_h(temp2, temp2);
 374         comp3 = __msa_hadd_u_h(temp3, temp3);
 375         comp0 += comp2;
 376         comp1 += comp3;
 377         SRARI_H2_UH(comp0, comp1, 2);
 378         comp = (v16u8) __msa_pckev_b((v16i8) comp1, (v16i8) comp0);
 379         diff = __msa_asub_u_b(src2, comp);
 380         sad += __msa_hadd_u_h(diff, diff);
 381
 382         ILVRL_B2_UB(ref13, ref03, temp0, temp1);
 383         comp0 = __msa_hadd_u_h(temp0, temp0);
 384         comp1 = __msa_hadd_u_h(temp1, temp1);
 385         comp2 += comp0;
 386         comp3 += comp1;
 387         SRARI_H2_UH(comp2, comp3, 2);
 388         comp = (v16u8) __msa_pckev_b((v16i8) comp3, (v16i8) comp2);
 389         diff = __msa_asub_u_b(src3, comp);
 390         sad += __msa_hadd_u_h(diff, diff);
 391     }
 392
 393     return (HADD_UH_U32(sad));
 394 }
 395
 396 #define CALC_MSE_B(src, ref, var)                                    \
 397 {                                                                    \
 398     v16u8 src_l0_m, src_l1_m;                                        \
 399     v8i16 res_l0_m, res_l1_m;                                        \
 400                                                                      \
 401     ILVRL_B2_UB(src, ref, src_l0_m, src_l1_m);                       \
 402     HSUB_UB2_SH(src_l0_m, src_l1_m, res_l0_m, res_l1_m);             \
 403     DPADD_SH2_SW(res_l0_m, res_l1_m, res_l0_m, res_l1_m, var, var);  \
 404 }
 405
 406 static uint32_t sse_4width_msa(uint8_t *src_ptr, int32_t src_stride,
 407                                uint8_t *ref_ptr, int32_t ref_stride,
 408                                int32_t height)
 409 {
 410     int32_t ht_cnt;
 411     uint32_t sse;
 412     uint32_t src0, src1, src2, src3;
 413     uint32_t ref0, ref1, ref2, ref3;
 414     v16u8 src = { 0 };
 415     v16u8 ref = { 0 };
 416     v4i32 var = { 0 };
 417
 418     for (ht_cnt = (height >> 2); ht_cnt--;) {
 419         LW4(src_ptr, src_stride, src0, src1, src2, src3);
 420         src_ptr += (4 * src_stride);
 421         LW4(ref_ptr, ref_stride, ref0, ref1, ref2, ref3);
 422         ref_ptr += (4 * ref_stride);
 423
 424         INSERT_W4_UB(src0, src1, src2, src3, src);
 425         INSERT_W4_UB(ref0, ref1, ref2, ref3, ref);
 426         CALC_MSE_B(src, ref, var);
 427     }
 428
 429     sse = HADD_SW_S32(var);
 430
 431     return sse;
 432 }
 433
 434 static uint32_t sse_8width_msa(uint8_t *src_ptr, int32_t src_stride,
 435                                uint8_t *ref_ptr, int32_t ref_stride,
 436                                int32_t height)
 437 {
 438     int32_t ht_cnt;
 439     uint32_t sse;
 440     v16u8 src0, src1, src2, src3;
 441     v16u8 ref0, ref1, ref2, ref3;
 442     v4i32 var = { 0 };
 443
 444     for (ht_cnt = (height >> 2); ht_cnt--;) {
 445         LD_UB4(src_ptr, src_stride, src0, src1, src2, src3);
 446         src_ptr += (4 * src_stride);
 447         LD_UB4(ref_ptr, ref_stride, ref0, ref1, ref2, ref3);
 448         ref_ptr += (4 * ref_stride);
 449
 450         PCKEV_D4_UB(src1, src0, src3, src2, ref1, ref0, ref3, ref2,
 451                     src0, src1, ref0, ref1);
 452         CALC_MSE_B(src0, ref0, var);
 453         CALC_MSE_B(src1, ref1, var);
 454     }
 455
 456     sse = HADD_SW_S32(var);
 457
 458     return sse;
 459 }
 460
 461 static uint32_t sse_16width_msa(uint8_t *src_ptr, int32_t src_stride,
 462                                 uint8_t *ref_ptr, int32_t ref_stride,
 463                                 int32_t height)
 464 {
 465     int32_t ht_cnt;
 466     uint32_t sse;
 467     v16u8 src, ref;
 468     v4i32 var = { 0 };
 469
 470     for (ht_cnt = (height >> 2); ht_cnt--;) {
 471         src = LD_UB(src_ptr);
 472         src_ptr += src_stride;
 473         ref = LD_UB(ref_ptr);
 474         ref_ptr += ref_stride;
 475         CALC_MSE_B(src, ref, var);
 476
 477         src = LD_UB(src_ptr);
 478         src_ptr += src_stride;
 479         ref = LD_UB(ref_ptr);
 480         ref_ptr += ref_stride;
 481         CALC_MSE_B(src, ref, var);
 482
 483         src = LD_UB(src_ptr);
 484         src_ptr += src_stride;
 485         ref = LD_UB(ref_ptr);
 486         ref_ptr += ref_stride;
 487         CALC_MSE_B(src, ref, var);
 488
 489         src = LD_UB(src_ptr);
 490         src_ptr += src_stride;
 491         ref = LD_UB(ref_ptr);
 492         ref_ptr += ref_stride;
 493         CALC_MSE_B(src, ref, var);
 494     }
 495
 496     sse = HADD_SW_S32(var);
 497
 498     return sse;
 499 }
 500
 501 static int32_t hadamard_diff_8x8_msa(uint8_t *src, int32_t src_stride,
 502                                      uint8_t *ref, int32_t ref_stride)
 503 {
 504     v16u8 src0, src1, src2, src3, src4, src5, src6, src7;
 505     v16u8 ref0, ref1, ref2, ref3, ref4, ref5, ref6, ref7;
 506     v8u16 diff0, diff1, diff2, diff3, diff4, diff5, diff6, diff7;
 507     v8u16 temp0, temp1, temp2, temp3, temp4, temp5, temp6, temp7;
 508     v8i16 sum = { 0 };
 509     v8i16 zero = { 0 };
 510
 511     LD_UB8(src, src_stride, src0, src1, src2, src3, src4, src5, src6, src7);
 512     LD_UB8(ref, ref_stride, ref0, ref1, ref2, ref3, ref4, ref5, ref6, ref7);
 513     ILVR_B8_UH(src0, ref0, src1, ref1, src2, ref2, src3, ref3,
 514                src4, ref4, src5, ref5, src6, ref6, src7, ref7,
 515                diff0, diff1, diff2, diff3, diff4, diff5, diff6, diff7);
 516     HSUB_UB4_UH(diff0, diff1, diff2, diff3, diff0, diff1, diff2, diff3);
 517     HSUB_UB4_UH(diff4, diff5, diff6, diff7, diff4, diff5, diff6, diff7);
 518     TRANSPOSE8x8_UH_UH(diff0, diff1, diff2, diff3, diff4, diff5, diff6, diff7,
 519                        diff0, diff1, diff2, diff3, diff4, diff5, diff6, diff7);
 520     BUTTERFLY_8(diff0, diff2, diff4, diff6, diff7, diff5, diff3, diff1,
 521                 temp0, temp2, temp4, temp6, temp7, temp5, temp3, temp1);
 522     BUTTERFLY_8(temp0, temp1, temp4, temp5, temp7, temp6, temp3, temp2,
 523                 diff0, diff1, diff4, diff5, diff7, diff6, diff3, diff2);
 524     BUTTERFLY_8(diff0, diff1, diff2, diff3, diff7, diff6, diff5, diff4,
 525                 temp0, temp1, temp2, temp3, temp7, temp6, temp5, temp4);
 526     TRANSPOSE8x8_UH_UH(temp0, temp1, temp2, temp3, temp4, temp5, temp6, temp7,
 527                        temp0, temp1, temp2, temp3, temp4, temp5, temp6, temp7);
 528     BUTTERFLY_8(temp0, temp2, temp4, temp6, temp7, temp5, temp3, temp1,
 529                 diff0, diff2, diff4, diff6, diff7, diff5, diff3, diff1);
 530     BUTTERFLY_8(diff0, diff1, diff4, diff5, diff7, diff6, diff3, diff2,
 531                 temp0, temp1, temp4, temp5, temp7, temp6, temp3, temp2);
 532     ADD4(temp0, temp4, temp1, temp5, temp2, temp6, temp3, temp7,
 533          diff0, diff1, diff2, diff3);
 534     sum = __msa_asub_s_h((v8i16) temp3, (v8i16) temp7);
 535     sum += __msa_asub_s_h((v8i16) temp2, (v8i16) temp6);
 536     sum += __msa_asub_s_h((v8i16) temp1, (v8i16) temp5);
 537     sum += __msa_asub_s_h((v8i16) temp0, (v8i16) temp4);
 538     sum += __msa_add_a_h((v8i16) diff0, zero);
 539     sum += __msa_add_a_h((v8i16) diff1, zero);
 540     sum += __msa_add_a_h((v8i16) diff2, zero);
 541     sum += __msa_add_a_h((v8i16) diff3, zero);
 542
 543     return (HADD_UH_U32(sum));
 544 }
 545
 546 static int32_t hadamard_intra_8x8_msa(uint8_t *src, int32_t src_stride,
 547                                       uint8_t *ref, int32_t ref_stride)
 548 {
 549     int32_t sum_res = 0;
 550     v16u8 src0, src1, src2, src3, src4, src5, src6, src7;
 551     v8u16 diff0, diff1, diff2, diff3, diff4, diff5, diff6, diff7;
 552     v8u16 temp0, temp1, temp2, temp3, temp4, temp5, temp6, temp7;
 553     v8i16 sum = { 0 };
 554     v16i8 zero = { 0 };
 555
 556     LD_UB8(src, src_stride, src0, src1, src2, src3, src4, src5, src6, src7);
 557     TRANSPOSE8x8_UB_UB(src0, src1, src2, src3, src4, src5, src6, src7,
 558                        src0, src1, src2, src3, src4, src5, src6, src7);
 559     ILVR_B8_UH(zero, src0, zero, src1, zero, src2, zero, src3,
 560                zero, src4, zero, src5, zero, src6, zero, src7,
 561                diff0, diff1, diff2, diff3, diff4, diff5, diff6, diff7);
 562     BUTTERFLY_8(diff0, diff2, diff4, diff6, diff7, diff5, diff3, diff1,
 563                 temp0, temp2, temp4, temp6, temp7, temp5, temp3, temp1);
 564     BUTTERFLY_8(temp0, temp1, temp4, temp5, temp7, temp6, temp3, temp2,
 565                 diff0, diff1, diff4, diff5, diff7, diff6, diff3, diff2);
 566     BUTTERFLY_8(diff0, diff1, diff2, diff3, diff7, diff6, diff5, diff4,
 567                 temp0, temp1, temp2, temp3, temp7, temp6, temp5, temp4);
 568     TRANSPOSE8x8_UH_UH(temp0, temp1, temp2, temp3, temp4, temp5, temp6, temp7,
 569                        temp0, temp1, temp2, temp3, temp4, temp5, temp6, temp7);
 570     BUTTERFLY_8(temp0, temp2, temp4, temp6, temp7, temp5, temp3, temp1,
 571                 diff0, diff2, diff4, diff6, diff7, diff5, diff3, diff1);
 572     BUTTERFLY_8(diff0, diff1, diff4, diff5, diff7, diff6, diff3, diff2,
 573                 temp0, temp1, temp4, temp5, temp7, temp6, temp3, temp2);
 574     ADD4(temp0, temp4, temp1, temp5, temp2, temp6, temp3, temp7,
 575          diff0, diff1, diff2, diff3);
 576     sum = __msa_asub_s_h((v8i16) temp3, (v8i16) temp7);
 577     sum += __msa_asub_s_h((v8i16) temp2, (v8i16) temp6);
 578     sum += __msa_asub_s_h((v8i16) temp1, (v8i16) temp5);
 579     sum += __msa_asub_s_h((v8i16) temp0, (v8i16) temp4);
 580     sum += __msa_add_a_h((v8i16) diff0, (v8i16) zero);
 581     sum += __msa_add_a_h((v8i16) diff1, (v8i16) zero);
 582     sum += __msa_add_a_h((v8i16) diff2, (v8i16) zero);
 583     sum += __msa_add_a_h((v8i16) diff3, (v8i16) zero);
 584     sum_res = (HADD_UH_U32(sum));
 585     sum_res -= abs(temp0[0] + temp4[0]);
 586
 587     return sum_res;
 588 }
 589
 590 int ff_pix_abs16_msa(MpegEncContext *v, uint8_t *src, uint8_t *ref,
 591                      ptrdiff_t stride, int height)
 592 {
 593     return sad_16width_msa(src, stride, ref, stride, height);
 594 }
 595
 596 int ff_pix_abs8_msa(MpegEncContext *v, uint8_t *src, uint8_t *ref,
 597                     ptrdiff_t stride, int height)
 598 {
 599     return sad_8width_msa(src, stride, ref, stride, height);
 600 }
 601
 602 int ff_pix_abs16_x2_msa(MpegEncContext *v, uint8_t *pix1, uint8_t *pix2,
 603                         ptrdiff_t stride, int h)
 604 {
 605     return sad_horiz_bilinear_filter_16width_msa(pix1, stride, pix2, stride, h);
 606 }
 607
 608 int ff_pix_abs16_y2_msa(MpegEncContext *v, uint8_t *pix1, uint8_t *pix2,
 609                         ptrdiff_t stride, int h)
 610 {
 611     return sad_vert_bilinear_filter_16width_msa(pix1, stride, pix2, stride, h);
 612 }
 613
 614 int ff_pix_abs16_xy2_msa(MpegEncContext *v, uint8_t *pix1, uint8_t *pix2,
 615                          ptrdiff_t stride, int h)
 616 {
 617     return sad_hv_bilinear_filter_16width_msa(pix1, stride, pix2, stride, h);
 618 }
 619
 620 int ff_pix_abs8_x2_msa(MpegEncContext *v, uint8_t *pix1, uint8_t *pix2,
 621                        ptrdiff_t stride, int h)
 622 {
 623     return sad_horiz_bilinear_filter_8width_msa(pix1, stride, pix2, stride, h);
 624 }
 625
 626 int ff_pix_abs8_y2_msa(MpegEncContext *v, uint8_t *pix1, uint8_t *pix2,
 627                        ptrdiff_t stride, int h)
 628 {
 629     return sad_vert_bilinear_filter_8width_msa(pix1, stride, pix2, stride, h);
 630 }
 631
 632 int ff_pix_abs8_xy2_msa(MpegEncContext *v, uint8_t *pix1, uint8_t *pix2,
 633                         ptrdiff_t stride, int h)
 634 {
 635     return sad_hv_bilinear_filter_8width_msa(pix1, stride, pix2, stride, h);
 636 }
 637
 638 int ff_sse16_msa(MpegEncContext *v, uint8_t *src, uint8_t *ref,
 639                  ptrdiff_t stride, int height)
 640 {
 641     return sse_16width_msa(src, stride, ref, stride, height);
 642 }
 643
 644 int ff_sse8_msa(MpegEncContext *v, uint8_t *src, uint8_t *ref,
 645                 ptrdiff_t stride, int height)
 646 {
 647     return sse_8width_msa(src, stride, ref, stride, height);
 648 }
 649
 650 int ff_sse4_msa(MpegEncContext *v, uint8_t *src, uint8_t *ref,
 651                 ptrdiff_t stride, int height)
 652 {
 653     return sse_4width_msa(src, stride, ref, stride, height);
 654 }
 655
 656 int ff_hadamard8_diff8x8_msa(MpegEncContext *s, uint8_t *dst, uint8_t *src,
 657                              ptrdiff_t stride, int h)
 658 {
 659     return hadamard_diff_8x8_msa(src, stride, dst, stride);
 660 }
 661
 662 int ff_hadamard8_intra8x8_msa(MpegEncContext *s, uint8_t *dst, uint8_t *src,
 663                               ptrdiff_t stride, int h)
 664 {
 665     return hadamard_intra_8x8_msa(src, stride, dst, stride);
 666 }
 667
 668 /* Hadamard Transform functions */
 669 #define WRAPPER8_16_SQ(name8, name16)                      \
 670 int name16(MpegEncContext *s, uint8_t *dst, uint8_t *src,  \
 671            ptrdiff_t stride, int h)                        \
 672 {                                                          \
 673     int score = 0;                                         \
 674     score += name8(s, dst, src, stride, 8);                \
 675     score += name8(s, dst + 8, src + 8, stride, 8);        \
 676     if(h == 16) {                                          \
 677         dst += 8 * stride;                                 \
 678         src += 8 * stride;                                 \
 679         score +=name8(s, dst, src, stride, 8);             \
 680         score +=name8(s, dst + 8, src + 8, stride, 8);     \
 681     }                                                      \
 682     return score;                                          \
 683 }
 684
 685 WRAPPER8_16_SQ(ff_hadamard8_diff8x8_msa, ff_hadamard8_diff16_msa);
 686 WRAPPER8_16_SQ(ff_hadamard8_intra8x8_msa, ff_hadamard8_intra16_msa);