git.sesse.net Git - ffmpeg/blob - libswresample/x86/resample_mmx.h

   1 /*
   2  * Copyright (c) 2012 Michael Niedermayer <michaelni@gmx.at>
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 #include "libavutil/x86/asm.h"
  22 #include "libavutil/cpu.h"
  23 #include "libswresample/swresample_internal.h"
  24
  25 int swri_resample_int16_mmx2 (struct ResampleContext *c, int16_t *dst, const int16_t *src, int *consumed, int src_size, int dst_size, int update_ctx);
  26 int swri_resample_int16_sse2 (struct ResampleContext *c, int16_t *dst, const int16_t *src, int *consumed, int src_size, int dst_size, int update_ctx);
  27 int swri_resample_float_sse  (struct ResampleContext *c,   float *dst, const   float *src, int *consumed, int src_size, int dst_size, int update_ctx);
  28 int swri_resample_double_sse2(struct ResampleContext *c,  double *dst, const  double *src, int *consumed, int src_size, int dst_size, int update_ctx);
  29
  30 DECLARE_ALIGNED(16, const uint64_t, ff_resample_int16_rounder)[2]    = { 0x0000000000004000ULL, 0x0000000000000000ULL};
  31
  32 #define COMMON_CORE_INT16_MMX2 \
  33     x86_reg len= -2*c->filter_length;\
  34 __asm__ volatile(\
  35     "movq "MANGLE(ff_resample_int16_rounder)", %%mm0 \n\t"\
  36     "1:                         \n\t"\
  37     "movq    (%1, %0), %%mm1    \n\t"\
  38     "pmaddwd (%2, %0), %%mm1    \n\t"\
  39     "paddd  %%mm1, %%mm0        \n\t"\
  40     "add       $8, %0           \n\t"\
  41     " js 1b                     \n\t"\
  42     "pshufw $0x0E, %%mm0, %%mm1 \n\t"\
  43     "paddd %%mm1, %%mm0         \n\t"\
  44     "psrad    $15, %%mm0        \n\t"\
  45     "packssdw %%mm0, %%mm0      \n\t"\
  46     "movd %%mm0, (%3)           \n\t"\
  47     : "+r" (len)\
  48     : "r" (((uint8_t*)(src+sample_index))-len),\
  49       "r" (((uint8_t*)filter)-len),\
  50       "r" (dst+dst_index)\
  51       NAMED_CONSTRAINTS_ADD(ff_resample_int16_rounder)\
  52 );
  53
  54 #define LINEAR_CORE_INT16_MMX2 \
  55     x86_reg len= -2*c->filter_length;\
  56 __asm__ volatile(\
  57     "pxor          %%mm0, %%mm0 \n\t"\
  58     "pxor          %%mm2, %%mm2 \n\t"\
  59     "1:                         \n\t"\
  60     "movq       (%3, %0), %%mm1 \n\t"\
  61     "movq          %%mm1, %%mm3 \n\t"\
  62     "pmaddwd    (%4, %0), %%mm1 \n\t"\
  63     "pmaddwd    (%5, %0), %%mm3 \n\t"\
  64     "paddd         %%mm1, %%mm0 \n\t"\
  65     "paddd         %%mm3, %%mm2 \n\t"\
  66     "add              $8, %0    \n\t"\
  67     " js 1b                     \n\t"\
  68     "pshufw $0x0E, %%mm0, %%mm1 \n\t"\
  69     "pshufw $0x0E, %%mm2, %%mm3 \n\t"\
  70     "paddd         %%mm1, %%mm0 \n\t"\
  71     "paddd         %%mm3, %%mm2 \n\t"\
  72     "movd          %%mm0, %1    \n\t"\
  73     "movd          %%mm2, %2    \n\t"\
  74     : "+r" (len),\
  75       "=r" (val),\
  76       "=r" (v2)\
  77     : "r" (((uint8_t*)(src+sample_index))-len),\
  78       "r" (((uint8_t*)filter)-len),\
  79       "r" (((uint8_t*)(filter+c->filter_alloc))-len)\
  80 );
  81
  82 #define COMMON_CORE_INT16_SSE2 \
  83     x86_reg len= -2*c->filter_length;\
  84 __asm__ volatile(\
  85     "movdqa "MANGLE(ff_resample_int16_rounder)", %%xmm0 \n\t"\
  86     "1:                           \n\t"\
  87     "movdqu  (%1, %0), %%xmm1     \n\t"\
  88     "pmaddwd (%2, %0), %%xmm1     \n\t"\
  89     "paddd  %%xmm1, %%xmm0        \n\t"\
  90     "add       $16, %0            \n\t"\
  91     " js 1b                       \n\t"\
  92     "pshufd $0x0E, %%xmm0, %%xmm1 \n\t"\
  93     "paddd %%xmm1, %%xmm0         \n\t"\
  94     "pshufd $0x01, %%xmm0, %%xmm1 \n\t"\
  95     "paddd %%xmm1, %%xmm0         \n\t"\
  96     "psrad    $15, %%xmm0         \n\t"\
  97     "packssdw %%xmm0, %%xmm0      \n\t"\
  98     "movd %%xmm0, (%3)            \n\t"\
  99     : "+r" (len)\
 100     : "r" (((uint8_t*)(src+sample_index))-len),\
 101       "r" (((uint8_t*)filter)-len),\
 102       "r" (dst+dst_index)\
 103       NAMED_CONSTRAINTS_ADD(ff_resample_int16_rounder)\
 104 );
 105
 106 #define LINEAR_CORE_INT16_SSE2 \
 107     x86_reg len= -2*c->filter_length;\
 108 __asm__ volatile(\
 109     "pxor          %%xmm0, %%xmm0 \n\t"\
 110     "pxor          %%xmm2, %%xmm2 \n\t"\
 111     "1:                           \n\t"\
 112     "movdqu      (%3, %0), %%xmm1 \n\t"\
 113     "movdqa        %%xmm1, %%xmm3 \n\t"\
 114     "pmaddwd     (%4, %0), %%xmm1 \n\t"\
 115     "pmaddwd     (%5, %0), %%xmm3 \n\t"\
 116     "paddd         %%xmm1, %%xmm0 \n\t"\
 117     "paddd         %%xmm3, %%xmm2 \n\t"\
 118     "add              $16, %0     \n\t"\
 119     " js 1b                       \n\t"\
 120     "pshufd $0x0E, %%xmm0, %%xmm1 \n\t"\
 121     "pshufd $0x0E, %%xmm2, %%xmm3 \n\t"\
 122     "paddd         %%xmm1, %%xmm0 \n\t"\
 123     "paddd         %%xmm3, %%xmm2 \n\t"\
 124     "pshufd $0x01, %%xmm0, %%xmm1 \n\t"\
 125     "pshufd $0x01, %%xmm2, %%xmm3 \n\t"\
 126     "paddd         %%xmm1, %%xmm0 \n\t"\
 127     "paddd         %%xmm3, %%xmm2 \n\t"\
 128     "movd          %%xmm0, %1     \n\t"\
 129     "movd          %%xmm2, %2     \n\t"\
 130     : "+r" (len),\
 131       "=r" (val),\
 132       "=r" (v2)\
 133     : "r" (((uint8_t*)(src+sample_index))-len),\
 134       "r" (((uint8_t*)filter)-len),\
 135       "r" (((uint8_t*)(filter+c->filter_alloc))-len)\
 136     XMM_CLOBBERS_ONLY("%xmm0", "%xmm1", "%xmm2", "%xmm3")\
 137 );
 138
 139 #define COMMON_CORE_FLT_SSE \
 140     x86_reg len= -4*c->filter_length;\
 141 __asm__ volatile(\
 142     "xorps     %%xmm0, %%xmm0     \n\t"\
 143     "1:                           \n\t"\
 144     "movups  (%1, %0), %%xmm1     \n\t"\
 145     "mulps   (%2, %0), %%xmm1     \n\t"\
 146     "addps     %%xmm1, %%xmm0     \n\t"\
 147     "add       $16, %0            \n\t"\
 148     " js 1b                       \n\t"\
 149     "movhlps   %%xmm0, %%xmm1     \n\t"\
 150     "addps     %%xmm1, %%xmm0     \n\t"\
 151     "movss     %%xmm0, %%xmm1     \n\t"\
 152     "shufps $1, %%xmm0, %%xmm0    \n\t"\
 153     "addps     %%xmm1, %%xmm0     \n\t"\
 154     "movss     %%xmm0, (%3)       \n\t"\
 155     : "+r" (len)\
 156     : "r" (((uint8_t*)(src+sample_index))-len),\
 157       "r" (((uint8_t*)filter)-len),\
 158       "r" (dst+dst_index)\
 159 );
 160
 161 #define LINEAR_CORE_FLT_SSE \
 162     x86_reg len= -4*c->filter_length;\
 163 __asm__ volatile(\
 164     "xorps      %%xmm0, %%xmm0    \n\t"\
 165     "xorps      %%xmm2, %%xmm2    \n\t"\
 166     "1:                           \n\t"\
 167     "movups   (%3, %0), %%xmm1    \n\t"\
 168     "movaps     %%xmm1, %%xmm3    \n\t"\
 169     "mulps    (%4, %0), %%xmm1    \n\t"\
 170     "mulps    (%5, %0), %%xmm3    \n\t"\
 171     "addps      %%xmm1, %%xmm0    \n\t"\
 172     "addps      %%xmm3, %%xmm2    \n\t"\
 173     "add           $16, %0        \n\t"\
 174     " js 1b                       \n\t"\
 175     "movhlps    %%xmm0, %%xmm1    \n\t"\
 176     "movhlps    %%xmm2, %%xmm3    \n\t"\
 177     "addps      %%xmm1, %%xmm0    \n\t"\
 178     "addps      %%xmm3, %%xmm2    \n\t"\
 179     "movss      %%xmm0, %%xmm1    \n\t"\
 180     "movss      %%xmm2, %%xmm3    \n\t"\
 181     "shufps $1, %%xmm0, %%xmm0    \n\t"\
 182     "shufps $1, %%xmm2, %%xmm2    \n\t"\
 183     "addps      %%xmm1, %%xmm0    \n\t"\
 184     "addps      %%xmm3, %%xmm2    \n\t"\
 185     "movss      %%xmm0, %1        \n\t"\
 186     "movss      %%xmm2, %2        \n\t"\
 187     : "+r" (len),\
 188       "=m" (val),\
 189       "=m" (v2)\
 190     : "r" (((uint8_t*)(src+sample_index))-len),\
 191       "r" (((uint8_t*)filter)-len),\
 192       "r" (((uint8_t*)(filter+c->filter_alloc))-len)\
 193     XMM_CLOBBERS_ONLY("%xmm0", "%xmm1", "%xmm2", "%xmm3")\
 194 );
 195
 196 #define COMMON_CORE_DBL_SSE2 \
 197     x86_reg len= -8*c->filter_length;\
 198 __asm__ volatile(\
 199     "xorpd     %%xmm0, %%xmm0     \n\t"\
 200     "1:                           \n\t"\
 201     "movupd  (%1, %0), %%xmm1     \n\t"\
 202     "mulpd   (%2, %0), %%xmm1     \n\t"\
 203     "addpd     %%xmm1, %%xmm0     \n\t"\
 204     "add       $16, %0            \n\t"\
 205     " js 1b                       \n\t"\
 206     "movhlps   %%xmm0, %%xmm1     \n\t"\
 207     "addpd     %%xmm1, %%xmm0     \n\t"\
 208     "movsd     %%xmm0, (%3)       \n\t"\
 209     : "+r" (len)\
 210     : "r" (((uint8_t*)(src+sample_index))-len),\
 211       "r" (((uint8_t*)filter)-len),\
 212       "r" (dst+dst_index)\
 213 );
 214
 215 #define LINEAR_CORE_DBL_SSE2 \
 216     x86_reg len= -8*c->filter_length;\
 217 __asm__ volatile(\
 218     "xorpd      %%xmm0, %%xmm0    \n\t"\
 219     "xorpd      %%xmm2, %%xmm2    \n\t"\
 220     "1:                           \n\t"\
 221     "movupd   (%3, %0), %%xmm1    \n\t"\
 222     "movapd     %%xmm1, %%xmm3    \n\t"\
 223     "mulpd    (%4, %0), %%xmm1    \n\t"\
 224     "mulpd    (%5, %0), %%xmm3    \n\t"\
 225     "addpd      %%xmm1, %%xmm0    \n\t"\
 226     "addpd      %%xmm3, %%xmm2    \n\t"\
 227     "add           $16, %0        \n\t"\
 228     " js 1b                       \n\t"\
 229     "movhlps    %%xmm0, %%xmm1    \n\t"\
 230     "movhlps    %%xmm2, %%xmm3    \n\t"\
 231     "addpd      %%xmm1, %%xmm0    \n\t"\
 232     "addpd      %%xmm3, %%xmm2    \n\t"\
 233     "movsd      %%xmm0, %1        \n\t"\
 234     "movsd      %%xmm2, %2        \n\t"\
 235     : "+r" (len),\
 236       "=m" (val),\
 237       "=m" (v2)\
 238     : "r" (((uint8_t*)(src+sample_index))-len),\
 239       "r" (((uint8_t*)filter)-len),\
 240       "r" (((uint8_t*)(filter+c->filter_alloc))-len)\
 241     XMM_CLOBBERS_ONLY("%xmm0", "%xmm1", "%xmm2", "%xmm3")\
 242 );