git.sesse.net Git - vlc/blob - plugins/imdct/ac3_imdct_sse.c

   1 /*****************************************************************************
   2  * ac3_imdct_sse.c: accelerated SSE ac3 DCT
   3  *****************************************************************************
   4  * Copyright (C) 1999, 2000 VideoLAN
   5  * $Id: ac3_imdct_sse.c,v 1.2 2001/05/16 14:51:29 reno Exp $
   6  *
   7  * Authors: Renaud Dartus <reno@videolan.org>
   8  *          Aaron Holtzman <aholtzma@engr.uvic.ca>
   9  *
  10  * This program is free software; you can redistribute it and/or modify
  11  * it under the terms of the GNU General Public License as published by
  12  * the Free Software Foundation; either version 2 of the License, or
  13  * (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with this program; if not, write to the Free Software
  22  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
  23  *****************************************************************************/
  24
  25 #define MODULE_NAME imdctsse
  26 #include "modules_inner.h"
  27
  28 /*****************************************************************************
  29  * Preamble
  30  *****************************************************************************/
  31 #include "defs.h"
  32
  33 #include <math.h>
  34 #include <stdio.h>
  35
  36 #include "config.h"
  37 #include "common.h"
  38 #include "threads.h"
  39 #include "mtime.h"
  40
  41 #include "ac3_imdct.h"
  42 #include "ac3_imdct_common.h"
  43 #include "ac3_retables.h"
  44
  45 void _M( fft_64p )  ( complex_t *x );
  46 void _M( fft_128p ) ( complex_t *a );
  47
  48 static void imdct512_pre_ifft_twiddle_sse (const int *pmt, complex_t *buf, float *data, float *xcos_sin_sse);
  49 static void imdct512_post_ifft_twiddle_sse (complex_t *buf, float *xcos_sin_sse);
  50 static void imdct512_window_delay_sse (complex_t *buf, float *data_ptr, float *window_prt, float *delay_prt);
  51 static void imdct512_window_delay_nol_sse (complex_t *buf, float *data_ptr, float *window_prt, float *delay_prt);
  52
  53
  54 void _M( imdct_init ) (imdct_t * p_imdct)
  55 {
  56     int i;
  57     float scale = 181.019;
  58
  59     for (i=0; i < 128; i++)
  60     {
  61         float xcos_i = cos(2.0f * M_PI * (8*i+1)/(8*N)) * scale;
  62         float xsin_i = sin(2.0f * M_PI * (8*i+1)/(8*N)) * scale;
  63         p_imdct->xcos_sin_sse[i * 4]     = xcos_i;
  64         p_imdct->xcos_sin_sse[i * 4 + 1] = -xsin_i;
  65         p_imdct->xcos_sin_sse[i * 4 + 2] = -xsin_i;
  66         p_imdct->xcos_sin_sse[i * 4 + 3] = -xcos_i;
  67     }
  68 }
  69
  70 void _M( imdct_do_512 ) (imdct_t * p_imdct, float data[], float delay[])
  71 {
  72     imdct512_pre_ifft_twiddle_sse (pm128, p_imdct->buf, data, p_imdct->xcos_sin_sse);
  73     _M( fft_128p ) ( p_imdct->buf );
  74     imdct512_post_ifft_twiddle_sse (p_imdct->buf, p_imdct->xcos_sin_sse);
  75     imdct512_window_delay_sse (p_imdct->buf, data, window, delay);
  76 }
  77
  78
  79 void _M( imdct_do_512_nol ) (imdct_t * p_imdct, float data[], float delay[])
  80 {
  81     imdct512_pre_ifft_twiddle_sse (pm128, p_imdct->buf, data, p_imdct->xcos_sin_sse);
  82     _M( fft_128p ) ( p_imdct->buf );
  83     imdct512_post_ifft_twiddle_sse (p_imdct->buf, p_imdct->xcos_sin_sse);
  84     imdct512_window_delay_nol_sse (p_imdct->buf, data, window, delay);
  85 }
  86
  87 static void imdct512_pre_ifft_twiddle_sse (const int *pmt, complex_t *buf, float *data, float *xcos_sin_sse)
  88 {
  89     __asm__ __volatile__ (
  90     "pushl %%ebp\n"
  91     "movl  %%esp, %%ebp\n"
  92     "addl  $-4, %%esp\n" /* local variable, loop counter */
  93
  94     "pushl %%eax\n"
  95     "pushl %%ebx\n"
  96     "pushl %%ecx\n"
  97     "pushl %%edx\n"
  98     "pushl %%edi\n"
  99     "pushl %%esi\n"
 100
 101     "movl  8(%%ebp), %%eax\n"     /* pmt */
 102     "movl 12(%%ebp), %%ebx\n"    /* buf */
 103     "movl 16(%%ebp), %%ecx\n"    /* data */
 104     "movl 20(%%ebp), %%edx\n"     /* xcos_sin_sse */
 105     "movl $64, -4(%%ebp)\n"
 106
 107 ".loop:\n"
 108     "movl  (%%eax), %%esi\n"
 109     "movl 4(%%eax), %%edi\n"
 110     "movss (%%ecx, %%esi, 8), %%xmm1\n" /* 2j */
 111     "movss (%%ecx, %%edi, 8), %%xmm3\n" /* 2(j+1) */
 112
 113     "shll $1, %%esi\n"
 114     "shll $1, %%edi\n"
 115
 116     "movups (%%edx, %%esi, 8), %%xmm0\n" /* -c_j | -s_j | -s_j | c_j */
 117     "movups (%%edx, %%edi, 8), %%xmm2\n" /* -c_j+1 | -s_j+1 | -s_j+1 | c_j+1 */
 118
 119     "negl %%esi\n"
 120     "negl %%edi\n"
 121
 122     "movss 1020(%%ecx, %%esi, 4), %%xmm4\n" /* 255-2j */
 123     "addl $8, %%eax\n"
 124     "movss 1020(%%ecx, %%edi, 4), %%xmm5\n" /* 255-2(j+1) */
 125
 126     "shufps $0, %%xmm1, %%xmm4\n" /* 2j | 2j | 255-2j | 255-2j */
 127     "shufps $0, %%xmm3, %%xmm5\n" /* 2(j+1) | 2(j+1) | 255-2(j+1) | 255-2(j+1) */
 128     "mulps   %%xmm4, %%xmm0\n"
 129     "mulps   %%xmm5, %%xmm2\n"
 130     "movhlps %%xmm0, %%xmm1\n"
 131     "movhlps %%xmm2, %%xmm3\n"
 132     "addl    $16, %%ebx\n"
 133     "addps   %%xmm1, %%xmm0\n"
 134     "addps   %%xmm3, %%xmm2\n"
 135     "movlhps %%xmm2, %%xmm0\n"
 136
 137     "movups  %%xmm0, -16(%%ebx)\n"
 138     "decl -4(%%ebp)\n"
 139        "jnz .loop\n"
 140
 141     "popl %%esi\n"
 142     "popl %%edi\n"
 143     "popl %%edx\n"
 144     "popl %%ecx\n"
 145     "popl %%ebx\n"
 146     "popl %%eax\n"
 147
 148     "addl $4, %%esp\n"
 149     "popl %%ebp\n"
 150     ::);
 151 }
 152
 153 static void imdct512_post_ifft_twiddle_sse (complex_t *buf, float *xcos_sin_sse)
 154 {
 155     __asm__ __volatile__ (
 156     "pushl %%ebx\n"
 157     "movl $32, %%ebx\n"                 /* loop counter */
 158
 159 ".loop1:\n"
 160     "movups    (%%eax), %%xmm0\n"          /*  im1 | re1 | im0 | re0 */
 161
 162     "movups  (%%ecx), %%xmm2\n"         /* -c | -s | -s | c */
 163     "movhlps  %%xmm0, %%xmm1\n"         /* im1 | re1 */
 164     "movups  16(%%ecx), %%xmm3\n"       /* -c1 | -s1 | -s1 | c1 */
 165
 166     "shufps $0x50, %%xmm0, %%xmm0\n"    /* im0 | im0 | re0 | re0 */
 167     "shufps $0x50, %%xmm1, %%xmm1\n"    /* im1 | im1 | re1 | re1 */
 168
 169     "movups  16(%%eax), %%xmm4\n"       /* im3 | re3 | im2 | re2 */
 170
 171     "shufps $0x27, %%xmm2, %%xmm2\n"    /* c | -s | -s | -c */
 172     "movhlps  %%xmm4, %%xmm5\n"         /* im3 | re3 */
 173     "shufps $0x27, %%xmm3, %%xmm3\n"    /* c1 | -s1 | -s1 | -c1 */
 174
 175     "movups  32(%%ecx), %%xmm6\n"       /* -c2 | -s2 | -s2 | c2 */
 176     "movups  48(%%ecx), %%xmm7\n"       /* -c3 | -s3 | -s3 | c3 */
 177
 178     "shufps $0x50, %%xmm4, %%xmm4\n"    /* im2 | im2 | re2 | re2 */
 179     "shufps $0x50, %%xmm5, %%xmm5\n"    /* im3 | im3 | re3 | re3 */
 180
 181     "mulps %%xmm2, %%xmm0\n"
 182     "mulps %%xmm3, %%xmm1\n"
 183
 184     "shufps $0x27, %%xmm6, %%xmm6\n"    /* c2 | -s2 | -s2 | -c2 */
 185     "shufps $0x27, %%xmm7, %%xmm7\n"    /* c3 | -s3 | -s3 | -c3 */
 186
 187     "movhlps %%xmm0, %%xmm2\n"
 188     "movhlps %%xmm1, %%xmm3\n"
 189
 190     "mulps %%xmm6, %%xmm4\n"
 191     "mulps %%xmm7, %%xmm5\n"
 192
 193     "addps %%xmm2, %%xmm0\n"
 194     "addps %%xmm3, %%xmm1\n"
 195
 196     "movhlps %%xmm4, %%xmm6\n"
 197     "movhlps %%xmm5, %%xmm7\n"
 198
 199     "addps %%xmm6, %%xmm4\n"
 200     "addps %%xmm7, %%xmm5\n"
 201
 202     "movlhps %%xmm1, %%xmm0\n"
 203     "movlhps %%xmm5, %%xmm4\n"
 204
 205     "movups %%xmm0, (%%eax)\n"
 206     "movups %%xmm4, 16(%%eax)\n"
 207     "addl $64, %%ecx\n"
 208     "addl $32, %%eax\n"
 209     "decl %%ebx\n"
 210     "jnz .loop1\n"
 211
 212     "popl %%ebx\n"
 213     : "=a" (buf)
 214     : "a" (buf), "c" (xcos_sin_sse) );
 215 }
 216
 217 static void imdct512_window_delay_sse (complex_t *buf, float *data_ptr, float *window_prt, float *delay_prt)
 218 {
 219     __asm__ __volatile__ (
 220     "pushl %%ebp\n"
 221     "movl  %%esp, %%ebp\n"
 222
 223     "pushl %%eax\n"
 224     "pushl %%ebx\n"
 225     "pushl %%ecx\n"
 226     "pushl %%edx\n"
 227     "pushl %%esi\n"
 228     "pushl %%edi\n"
 229
 230     "movl 20(%%ebp), %%ebx\n"   /* delay */
 231     "movl 16(%%ebp), %%edx\n"   /* window */
 232
 233     "movl 8(%%ebp), %%eax\n"    /* buf */
 234     "movl $16, %%ecx\n"         /* loop count */
 235     "leal 516(%%eax), %%esi\n"  /* buf[64].im */
 236     "leal 504(%%eax), %%edi\n"  /* buf[63].re */
 237     "movl  12(%%ebp), %%eax\n"  /* data */
 238
 239 ".first_128_samples:\n"
 240     "movss   (%%esi), %%xmm0\n"
 241     "movss  8(%%esi), %%xmm2\n"
 242     "movss   (%%edi), %%xmm1\n"
 243     "movss -8(%%edi), %%xmm3\n"
 244
 245     "movlhps %%xmm2, %%xmm0\n"      /* 0.0 | im1 | 0.0 | im0 */
 246     "movlhps %%xmm3, %%xmm1\n"      /* 0.0 | re1 | 0.0 | re0 */
 247
 248     "movups (%%edx), %%xmm4\n"      /* w3 | w2 | w1 | w0 */
 249     "movups (%%ebx), %%xmm5\n"      /* d3 | d2 | d1 | d0 */
 250     "shufps $0xb1, %%xmm1, %%xmm1\n"/* re1 | 0.0 | re0 | 0.0 */
 251
 252     "movss  16(%%esi), %%xmm6\n"    /* im2 */
 253     "movss  24(%%esi), %%xmm7\n"    /* im3 */
 254     "subps     %%xmm1, %%xmm0\n"    /* -re1 | im1 | -re0 | im0 */
 255     "movss -16(%%edi), %%xmm2\n"    /* re2 */
 256     "movss -24(%%edi), %%xmm3\n"    /* re3 */
 257     "mulps     %%xmm4, %%xmm0\n"
 258     "movlhps   %%xmm7, %%xmm6\n"    /* 0.0 | im3 | 0.0 | im2 */
 259     "movlhps   %%xmm3, %%xmm2\n"    /* 0.0 | re3 | 0.0 | re2 */
 260     "addps %%xmm5, %%xmm0\n"
 261     "shufps $0xb1, %%xmm2, %%xmm2\n"/* re3 | 0.0 | re2 | 0.0 */
 262     "movups 16(%%edx), %%xmm4\n"    /* w7 | w6 | w5 | w4 */
 263     "movups 16(%%ebx), %%xmm5\n"    /* d7 | d6 | d5 | d4 */
 264     "subps %%xmm2, %%xmm6\n"        /* -re3 | im3 | -re2 | im2 */
 265     "addl $32, %%edx\n"
 266     "movups %%xmm0, (%%eax)\n"
 267     "addl $32, %%ebx\n"
 268     "mulps %%xmm4, %%xmm6\n"
 269     "addl $32, %%esi\n"
 270     "addl $32, %%eax\n"
 271     "addps %%xmm5, %%xmm6\n"
 272     "addl $-32, %%edi\n"
 273     "movups %%xmm6, -16(%%eax)\n"
 274     "decl %%ecx\n"
 275     "jnz .first_128_samples\n"
 276
 277     "movl 8(%%ebp), %%esi\n"    /* buf[0].re */
 278     "leal 1020(%%esi), %%edi\n" /* buf[127].im */
 279     "movl $16, %%ecx\n"         /* loop count */
 280
 281 ".second_128_samples:\n"
 282     "movss   (%%esi), %%xmm0\n" /* buf[i].re */
 283     "movss  8(%%esi), %%xmm2\n" /* re1 */
 284     "movss   (%%edi), %%xmm1\n" /* buf[127-i].im */
 285     "movss -8(%%edi), %%xmm3\n" /* im1 */
 286
 287     "movlhps %%xmm2, %%xmm0\n"  /* 0.0 | re1 | 0.0 | re0 */
 288     "movlhps %%xmm3, %%xmm1\n"  /* 0.0 | im1 | 0.0 | im1 */
 289
 290     "movups (%%edx), %%xmm4\n"  /* w3 | w2 | w1 | w0 */
 291     "movups (%%ebx), %%xmm5\n"  /* d3 | d2 | d1 | d0 */
 292
 293     "shufps $0xb1, %%xmm1, %%xmm1\n"/* im1 | 0.0 | im0 | 0.0 */
 294     "movss  16(%%esi), %%xmm6\n"    /* re2 */
 295     "movss  24(%%esi), %%xmm7\n"    /* re3 */
 296     "movss -16(%%edi), %%xmm2\n"    /* im2 */
 297     "movss -24(%%edi), %%xmm3\n"    /* im3 */
 298     "subps   %%xmm1, %%xmm0\n"      /* -im1 | re1 | -im0 | re0 */
 299     "movlhps %%xmm7, %%xmm6\n"      /* 0.0 | re3 | 0.0 | re2 */
 300     "movlhps %%xmm3, %%xmm2\n"      /* 0.0 | im3 | 0.0 | im2 */
 301     "mulps   %%xmm4, %%xmm0\n"
 302     "shufps $0xb1, %%xmm2, %%xmm2\n"/* im3 | 0.0 | im2 | 0.0 */
 303     "movups 16(%%edx), %%xmm4\n"    /* w7 | w6 | w5 | w4 */
 304     "addl $32, %%esi\n"
 305     "subps %%xmm2, %%xmm6\n"        /* -im3 | re3 | -im2 | re2 */
 306     "addps %%xmm5, %%xmm0\n"
 307     "mulps %%xmm4, %%xmm6\n"
 308     "addl $-32, %%edi\n"
 309     "movups 16(%%ebx), %%xmm5\n"    /* d7 | d6 | d5 | d4 */
 310     "movups %%xmm0, (%%eax)\n"
 311     "addps %%xmm5, %%xmm6\n"
 312     "addl $32, %%edx\n"
 313     "addl $32, %%eax\n"
 314     "addl $32, %%ebx\n"
 315     "movups %%xmm6, -16(%%eax)\n"
 316     "decl %%ecx\n"
 317     "jnz .second_128_samples\n"
 318
 319     "movl   8(%%ebp), %%eax\n"
 320     "leal 512(%%eax), %%esi\n"  /* buf[64].re */
 321     "leal 508(%%eax), %%edi\n"  /* buf[63].im */
 322     "movl $16, %%ecx\n"         /* loop count */
 323     "movl  20(%%ebp), %%eax\n"  /* delay */
 324
 325 ".first_128_delay:\n"
 326     "movss   (%%esi), %%xmm0\n"
 327     "movss  8(%%esi), %%xmm2\n"
 328     "movss   (%%edi), %%xmm1\n"
 329     "movss -8(%%edi), %%xmm3\n"
 330
 331     "movlhps %%xmm2, %%xmm0\n"      /* 0.0 | re1 | 0.0 | re0 */
 332     "movlhps %%xmm3, %%xmm1\n"      /* 0.0 | im1 | 0.0 | im0 */
 333
 334     "movups -16(%%edx), %%xmm4\n"   /* w3 | w2 | w1 | w0 */
 335     "shufps $0xb1, %%xmm1, %%xmm1\n"/* im1 | 0.0 | im0 | 0.0 */
 336     "movss  16(%%esi), %%xmm6\n"    /* re2 */
 337     "movss  24(%%esi), %%xmm7\n"    /* re3 */
 338     "movss -16(%%edi), %%xmm2\n"    /* im2 */
 339     "movss -24(%%edi), %%xmm3\n"    /* im3 */
 340     "subps     %%xmm1, %%xmm0\n"    /* -im1 | re1 | -im0 | re0 */
 341     "addl $-32, %%edx\n"
 342     "movlhps %%xmm7, %%xmm6\n"      /* 0.0 | re3 | 0.0 | re2 */
 343     "movlhps %%xmm3, %%xmm2\n"      /* 0.0 | im3 | 0.0 | im2 */
 344     "mulps   %%xmm4, %%xmm0\n"
 345     "movups (%%edx), %%xmm5\n"      /* w7 | w6 | w5 | w4 */
 346     "shufps $0xb1, %%xmm2, %%xmm2\n"/* im3 | 0.0 | im2 | 0.0 */
 347     "movups %%xmm0, (%%eax)\n"
 348     "addl $32, %%esi\n"
 349     "subps %%xmm2, %%xmm6\n"        /* -im3 | re3 | -im2 | re2 */
 350     "addl $-32, %%edi\n"
 351     "mulps %%xmm5, %%xmm6\n"
 352     "addl $32, %%eax\n"
 353     "movups %%xmm6, -16(%%eax)\n"
 354     "decl %%ecx\n"
 355     "jnz .first_128_delay\n"
 356
 357     "movl    8(%%ebp), %%ebx\n"
 358     "leal    4(%%ebx), %%esi\n" /* buf[0].im */
 359     "leal 1016(%%ebx), %%edi\n" /* buf[127].re */
 360     "movl $16, %%ecx\n"         /* loop count */
 361
 362 ".second_128_delay:\n"
 363     "movss   (%%esi), %%xmm0\n"
 364     "movss  8(%%esi), %%xmm2\n"
 365     "movss   (%%edi), %%xmm1\n"
 366     "movss -8(%%edi), %%xmm3\n"
 367
 368     "movlhps %%xmm2, %%xmm0\n"      /* 0.0 | im1 | 0.0 | im0 */
 369     "movlhps %%xmm3, %%xmm1\n"      /* 0.0 | re1 | 0.0 | re0 */
 370
 371     "movups -16(%%edx), %%xmm4\n"   /* w3 | w2 | w1 | w0 */
 372     "shufps $0xb1, %%xmm1, %%xmm1\n"/* re1 | 0.0 | re0 | 0.0 */
 373     "movss  16(%%esi), %%xmm6\n"    /* im2 */
 374     "movss  24(%%esi), %%xmm7\n"    /* im3 */
 375     "movss -16(%%edi), %%xmm2\n"    /* re2 */
 376     "movss -24(%%edi), %%xmm3\n"    /* re3 */
 377     "subps %%xmm0, %%xmm1\n"        /* re1 | -im1 | re0 | -im0 */
 378     "addl $-32, %%edx\n"
 379     "movlhps %%xmm7, %%xmm6\n"      /* 0.0 | im3 | 0.0 | im2 */
 380     "movlhps %%xmm3, %%xmm2\n"      /* 0.0 | re3 | 0.0 | re2 */
 381     "mulps   %%xmm4, %%xmm1\n"
 382     "movups (%%edx), %%xmm5\n"      /* w7 | w6 | w5 | w4 */
 383     "shufps $0xb1, %%xmm2, %%xmm2\n"/* re3 | 0.0 | re2 | 0.0 */
 384     "movups %%xmm1, (%%eax)\n"
 385     "addl $32, %%esi\n"
 386     "subps %%xmm6, %%xmm2\n"        /* re | -im3 | re | -im2 */
 387     "addl $-32, %%edi\n"
 388     "mulps %%xmm5, %%xmm2\n"
 389     "addl $32, %%eax\n"
 390     "movups %%xmm2, -16(%%eax)\n"
 391     "decl %%ecx\n"
 392     "jnz .second_128_delay\n"
 393
 394     "popl %%edi\n"
 395     "popl %%esi\n"
 396     "popl %%edx\n"
 397     "popl %%ecx\n"
 398     "popl %%ebx\n"
 399     "popl %%eax\n"
 400
 401     "leave\n"
 402     ::);
 403 }
 404
 405 static void imdct512_window_delay_nol_sse (complex_t *buf, float *data_ptr, float *window_prt, float *delay_prt)
 406 {
 407     __asm__ __volatile__ (
 408     "pushl %%ebp\n"
 409     "movl  %%esp, %%ebp\n"
 410
 411     "pushl %%eax\n"
 412     "pushl %%ebx\n"
 413     "pushl %%ecx\n"
 414     "pushl %%edx\n"
 415     "pushl %%esi\n"
 416     "pushl %%edi\n"
 417
 418     /* movl 20(%%ebp), %%ebx delay */
 419     "movl 16(%%ebp), %%edx\n"   /* window */
 420
 421     "movl   8(%%ebp), %%eax\n"  /* buf */
 422     "movl $16, %%ecx\n"         /* loop count */
 423     "leal 516(%%eax), %%esi\n"  /* buf[64].im */
 424     "leal 504(%%eax), %%edi\n"  /* buf[63].re */
 425     "movl  12(%%ebp), %%eax\n"  /* data */
 426
 427 ".first_128_sample:\n"
 428     "movss   (%%esi), %%xmm0\n"
 429     "movss  8(%%esi), %%xmm2\n"
 430     "movss   (%%edi), %%xmm1\n"
 431     "movss -8(%%edi), %%xmm3\n"
 432
 433     "movlhps %%xmm2, %%xmm0\n"      /* 0.0 | im1 | 0.0 | im0 */
 434     "movlhps %%xmm3, %%xmm1\n"      /* 0.0 | re1 | 0.0 | re0 */
 435
 436     "movups (%%edx), %%xmm4\n"      /* w3 | w2 | w1 | w0 */
 437     /* movups (%%ebx), %%xmm5 d3 | d2 | d1 | d0 */
 438     "shufps $0xb1, %%xmm1, %%xmm1\n"/* re1 | 0.0 | re0 | 0.0 */
 439
 440     "movss  16(%%esi), %%xmm6\n"    /* im2 */
 441     "movss  24(%%esi), %%xmm7\n"    /* im3 */
 442     "subps     %%xmm1, %%xmm0\n"    /* -re1 | im1 | -re0 | im0 */
 443     "movss -16(%%edi), %%xmm2\n"    /* re2 */
 444     "movss -24(%%edi), %%xmm3\n"    /* re3 */
 445     "mulps %%xmm4, %%xmm0\n"
 446     "movlhps %%xmm7, %%xmm6\n"      /* 0.0 | im3 | 0.0 | im2 */
 447     "movlhps %%xmm3, %%xmm2\n"      /* 0.0 | re3 | 0.0 | re2 */
 448     /* addps %%xmm5, %%xmm0 */
 449     "shufps $0xb1, %%xmm2, %%xmm2\n"/* re3 | 0.0 | re2 | 0.0 */
 450     "movups 16(%%edx), %%xmm4\n"    /* w7 | w6 | w5 | w4 */
 451     /* movups 16(%%ebx), %%xmm5  d7 | d6 | d5 | d4 */
 452     "subps %%xmm2, %%xmm6\n"        /* -re3 | im3 | -re2 | im2 */
 453     "addl $32, %%edx\n"
 454     "movups %%xmm0, (%%eax)\n"
 455     /* addl $32, %%ebx */
 456     "mulps %%xmm4, %%xmm6\n"
 457     "addl $32, %%esi\n"
 458     "addl $32, %%eax\n"
 459     /* addps %%xmm5, %%xmm6 */
 460     "addl $-32, %%edi\n"
 461     "movups %%xmm6, -16(%%eax)\n"
 462     "decl %%ecx\n"
 463     "jnz .first_128_sample\n"
 464
 465     "movl    8(%%ebp), %%esi\n"     /* buf[0].re */
 466     "leal 1020(%%esi), %%edi\n"     /* buf[127].im */
 467     "movl $16, %%ecx\n"             /* loop count */
 468
 469 ".second_128_sample:\n"
 470     "movss   (%%esi), %%xmm0\n"     /* buf[i].re */
 471     "movss  8(%%esi), %%xmm2\n"     /* re1 */
 472     "movss   (%%edi), %%xmm1\n"     /* buf[127-i].im */
 473     "movss -8(%%edi), %%xmm3\n"     /* im1 */
 474
 475     "movlhps %%xmm2, %%xmm0\n"      /* 0.0 | re1 | 0.0 | re0 */
 476     "movlhps %%xmm3, %%xmm1\n"      /* 0.0 | im1 | 0.0 | im1 */
 477
 478     "movups (%%edx), %%xmm4\n"      /* w3 | w2 | w1 | w0 */
 479     /* movups (%%ebx), %%xmm5 d3 | d2 | d1 | d0 */
 480
 481     "shufps $0xb1, %%xmm1, %%xmm1\n"/* im1 | 0.0 | im0 | 0.0 */
 482     "movss  16(%%esi), %%xmm6\n"    /* re2 */
 483     "movss  24(%%esi), %%xmm7\n"    /* re3 */
 484     "movss -16(%%edi), %%xmm2\n"    /* im2 */
 485     "movss -24(%%edi), %%xmm3\n"    /* im3 */
 486     "subps %%xmm1, %%xmm0\n"        /* -im1 | re1 | -im0 | re0 */
 487     "movlhps %%xmm7, %%xmm6\n"      /* 0.0 | re3 | 0.0 | re2 */
 488     "movlhps %%xmm3, %%xmm2\n"      /* 0.0 | im3 | 0.0 | im2 */
 489     "mulps %%xmm4, %%xmm0\n"
 490     "shufps $0xb1, %%xmm2, %%xmm2\n"/* im3 | 0.0 | im2 | 0.0 */
 491     "movups 16(%%edx), %%xmm4\n"    /* w7 | w6 | w5 | w4 */
 492     "addl $32, %%esi\n"
 493     "subps %%xmm2, %%xmm6\n"        /* -im3 | re3 | -im2 | re2 */
 494     /* addps %%xmm5, %%xmm0 */
 495     "mulps %%xmm4, %%xmm6\n"
 496     "addl $-32, %%edi\n"
 497     /* movups 16(%%ebx), %%xmm5  d7 | d6 | d5 | d4 */
 498     "movups %%xmm0, (%%eax)\n"
 499     /* addps %%xmm5, %%xmm6 */
 500     "addl $32, %%edx\n"
 501     "addl $32, %%eax\n"
 502     /* addl $32, %%ebx */
 503     "movups %%xmm6, -16(%%eax)\n"
 504     "decl %%ecx\n"
 505     "jnz .second_128_sample\n"
 506
 507     "movl   8(%%ebp), %%eax\n"
 508     "leal 512(%%eax), %%esi\n"  /* buf[64].re */
 509     "leal 508(%%eax), %%edi\n"  /* buf[63].im */
 510     "movl $16, %%ecx\n"         /* loop count */
 511     "movl  20(%%ebp), %%eax\n"  /* delay */
 512
 513 ".first_128_delays:\n"
 514     "movss   (%%esi), %%xmm0\n"
 515     "movss  8(%%esi), %%xmm2\n"
 516     "movss   (%%edi), %%xmm1\n"
 517     "movss -8(%%edi), %%xmm3\n"
 518
 519     "movlhps %%xmm2, %%xmm0\n"  /* 0.0 | re1 | 0.0 | re0 */
 520     "movlhps %%xmm3, %%xmm1\n"  /* 0.0 | im1 | 0.0 | im0 */
 521
 522     "movups -16(%%edx), %%xmm4\n"   /* w3 | w2 | w1 | w0 */
 523     "shufps $0xb1, %%xmm1, %%xmm1\n"/* im1 | 0.0 | im0 | 0.0 */
 524     "movss  16(%%esi), %%xmm6\n"    /* re2 */
 525     "movss  24(%%esi), %%xmm7\n"    /* re3 */
 526     "movss -16(%%edi), %%xmm2\n"    /* im2 */
 527     "movss -24(%%edi), %%xmm3\n"    /* im3 */
 528     "subps %%xmm1, %%xmm0\n"        /* -im1 | re1 | -im0 | re0 */
 529     "addl $-32, %%edx\n"
 530     "movlhps %%xmm7, %%xmm6\n"      /* 0.0 | re3 | 0.0 | re2 */
 531     "movlhps %%xmm3, %%xmm2\n"      /* 0.0 | im3 | 0.0 | im2 */
 532     "mulps %%xmm4, %%xmm0\n"
 533     "movups (%%edx), %%xmm5\n"      /* w7 | w6 | w5 | w4 */
 534     "shufps $0xb1, %%xmm2, %%xmm2\n"/* im3 | 0.0 | im2 | 0.0 */
 535     "movups %%xmm0, (%%eax)\n"
 536     "addl $32, %%esi\n"
 537     "subps %%xmm2, %%xmm6\n"        /* -im3 | re3 | -im2 | re2 */
 538     "addl $-32, %%edi\n"
 539     "mulps %%xmm5, %%xmm6\n"
 540     "addl $32, %%eax\n"
 541     "movups %%xmm6, -16(%%eax)\n"
 542     "decl %%ecx\n"
 543     "jnz .first_128_delays\n"
 544
 545     "movl    8(%%ebp), %%ebx\n"
 546     "leal    4(%%ebx), %%esi\n" /* buf[0].im */
 547     "leal 1016(%%ebx), %%edi\n" /* buf[127].re */
 548     "movl $16, %%ecx\n"         /* loop count */
 549
 550 ".second_128_delays:\n"
 551     "movss   (%%esi), %%xmm0\n"
 552     "movss  8(%%esi), %%xmm2\n"
 553     "movss   (%%edi), %%xmm1\n"
 554     "movss -8(%%edi), %%xmm3\n"
 555
 556     "movlhps %%xmm2, %%xmm0\n"  /* 0.0 | im1 | 0.0 | im0 */
 557     "movlhps %%xmm3, %%xmm1\n"  /* 0.0 | re1 | 0.0 | re0 */
 558
 559     "movups -16(%%edx), %%xmm4\n"   /* w3 | w2 | w1 | w0 */
 560     "shufps $0xb1, %%xmm1, %%xmm1\n"/* re1 | 0.0 | re0 | 0.0 */
 561     "movss  16(%%esi), %%xmm6\n"    /* im2 */
 562     "movss  24(%%esi), %%xmm7\n"    /* im3 */
 563     "movss -16(%%edi), %%xmm2\n"    /* re2 */
 564     "movss -24(%%edi), %%xmm3\n"    /* re3 */
 565     "subps %%xmm0, %%xmm1\n"        /* re1 | -im1 | re0 | -im0 */
 566     "addl $-32, %%edx\n"
 567     "movlhps %%xmm7, %%xmm6\n"      /* 0.0 | im3 | 0.0 | im2 */
 568     "movlhps %%xmm3, %%xmm2\n"      /* 0.0 | re3 | 0.0 | re2 */
 569     "mulps %%xmm4, %%xmm1\n"
 570     "movups (%%edx), %%xmm5\n"      /* w7 | w6 | w5 | w4 */
 571     "shufps $0xb1, %%xmm2, %%xmm2\n"/* re3 | 0.0 | re2 | 0.0 */
 572     "movups %%xmm1, (%%eax)\n"
 573     "addl $32, %%esi\n"
 574     "subps %%xmm6, %%xmm2\n"        /* re | -im3 | re | -im2 */
 575     "addl $-32, %%edi\n"
 576     "mulps %%xmm5, %%xmm2\n"
 577     "addl $32, %%eax\n"
 578     "movups %%xmm2, -16(%%eax)\n"
 579     "decl %%ecx\n"
 580     "jnz .second_128_delays\n"
 581
 582     "popl %%edi\n"
 583     "popl %%esi\n"
 584     "popl %%edx\n"
 585     "popl %%ecx\n"
 586     "popl %%ebx\n"
 587     "popl %%eax\n"
 588
 589     "leave\n"
 590     ::);
 591 }