git.sesse.net Git - vlc/blob - plugins/idct/idctaltivec.c

   1 /*****************************************************************************
   2  * idctaltivec.c : Altivec IDCT module
   3  *****************************************************************************
   4  * Copyright (C) 1999, 2000 VideoLAN
   5  * $Id: idctaltivec.c,v 1.18 2001/09/28 15:08:40 massiot Exp $
   6  *
   7  * Authors: Christophe Massiot <massiot@via.ecp.fr>
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License as published by
  11  * the Free Software Foundation; either version 2 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU General Public License
  20  * along with this program; if not, write to the Free Software
  21  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
  22  *****************************************************************************/
  23
  24 #ifndef __BUILD_ALTIVEC_ASM__
  25
  26 #define MODULE_NAME idctaltivec
  27 #include "modules_inner.h"
  28
  29 /*****************************************************************************
  30  * Preamble
  31  *****************************************************************************/
  32 #include "defs.h"
  33
  34 #include <stdlib.h>
  35 #include <string.h>
  36 #include <inttypes.h>
  37
  38 #include "config.h"
  39 #include "common.h"
  40 #include "threads.h"
  41 #include "mtime.h"
  42 #include "tests.h"                                              /* TestCPU() */
  43
  44 #include "idct.h"
  45
  46 #include "modules.h"
  47 #include "modules_export.h"
  48
  49 /*****************************************************************************
  50  * Local prototypes.
  51  *****************************************************************************/
  52 static void idct_getfunctions( function_list_t * p_function_list );
  53
  54 /*****************************************************************************
  55  * Build configuration tree.
  56  *****************************************************************************/
  57 MODULE_CONFIG_START
  58 ADD_WINDOW( "Configuration for Altivec IDCT module" )
  59     ADD_COMMENT( "Ha, ha -- nothing to configure yet" )
  60 MODULE_CONFIG_STOP
  61
  62 MODULE_INIT_START
  63     p_module->i_capabilities = MODULE_CAPABILITY_NULL
  64                                 | MODULE_CAPABILITY_IDCT;
  65     p_module->psz_longname = "Altivec IDCT module";
  66 MODULE_INIT_STOP
  67
  68 MODULE_ACTIVATE_START
  69     idct_getfunctions( &p_module->p_functions->idct );
  70 MODULE_ACTIVATE_STOP
  71
  72 MODULE_DEACTIVATE_START
  73 MODULE_DEACTIVATE_STOP
  74
  75 /* Following functions are local */
  76
  77 /*****************************************************************************
  78  * idct_Probe: return a preference score
  79  *****************************************************************************/
  80 static int idct_Probe( probedata_t *p_data )
  81 {
  82     if( !TestCPU( CPU_CAPABILITY_ALTIVEC ) )
  83     {
  84         return( 0 );
  85     }
  86
  87     if( TestMethod( IDCT_METHOD_VAR, "idctaltivec" )
  88          || TestMethod( IDCT_METHOD_VAR, "altivec" ) )
  89     {
  90         return( 999 );
  91     }
  92
  93     return( 200 );
  94 }
  95
  96 /*****************************************************************************
  97  * NormScan : This IDCT uses reordered coeffs, so we patch the scan table
  98  *****************************************************************************/
  99 static void NormScan( u8 ppi_scan[2][64] )
 100 {
 101     int     i, j;
 102
 103     for( i = 0; i < 64; i++ )
 104     {
 105         j = ppi_scan[0][i];
 106         ppi_scan[0][i] = (j >> 3) | ((j & 7) << 3);
 107
 108         j = ppi_scan[1][i];
 109         ppi_scan[1][i] = (j >> 3) | ((j & 7) << 3);
 110     }
 111 }
 112
 113 /*****************************************************************************
 114  * Placeholders for unused functions
 115  *****************************************************************************/
 116 static void InitIDCT( void ** pp_idct_data )
 117 {
 118 }
 119
 120 /*****************************************************************************
 121  * IDCT in Altivec
 122  *****************************************************************************/
 123
 124 #ifndef HAVE_C_ALTIVEC
 125
 126 static int16_t constants[5][8] ATTR_ALIGN(16) = {
 127     {23170, 13573, 6518, 21895, -23170, -21895, 32, 31},
 128     {16384, 22725, 21407, 19266, 16384, 19266, 21407, 22725},
 129     {22725, 31521, 29692, 26722, 22725, 26722, 29692, 31521},
 130     {21407, 29692, 27969, 25172, 21407, 25172, 27969, 29692},
 131     {19266, 26722, 25172, 22654, 19266, 22654, 25172, 26722}
 132 };
 133
 134 /*
 135  * The asm code is generated with:
 136  *
 137  * gcc-2.95 -fvec -D__BUILD_ALTIVEC_ASM__ -O9 -fomit-frame-pointer -mregnames -S
 138  *      idct_altivec.c
 139  *
 140  * awk '{args=""; len=split ($2, arg, ",");
 141  *      for (i=1; i<=len; i++) { a=arg[i]; if (i<len) a=a",";
 142  *                               args = args sprintf ("%-6s", a) }
 143  *      printf ("\t\"\t%-16s%-24s\\n\"\n", $1, args) }' idct_altivec.s |
 144  * unexpand -a
 145  *
 146  * I then do some simple trimming on the function prolog/trailers
 147  */
 148
 149 void idct_block_copy_altivec (int16_t * block, uint8_t * dest, int stride)
 150 {
 151     asm ("                                              \n"
 152         "#      stwu            %r1,  -128(%r1)         \n"
 153         "#      mflr            %r0                     \n"
 154         "#      stw             %r0,  132(%r1)          \n"
 155         "#      addi            %r0,  %r1,  128         \n"
 156         "#      bl              _savev25                \n"
 157
 158         "       addi            %r9,  %r3,  112         \n"
 159         "       vspltish        %v25, 4                 \n"
 160         "       vxor            %v13, %v13, %v13        \n"
 161         "       lis             %r10, constants@ha      \n"
 162         "       lvx             %v1,  0,    %r9         \n"
 163         "       la              %r10, constants@l(%r10) \n"
 164         "       lvx             %v5,  0,    %r3         \n"
 165         "       addi            %r9,  %r3,  16          \n"
 166         "       lvx             %v8,  0,    %r10        \n"
 167         "       addi            %r11, %r10, 32          \n"
 168         "       lvx             %v12, 0,    %r9         \n"
 169         "       lvx             %v6,  0,    %r11        \n"
 170         "       addi            %r8,  %r3,  48          \n"
 171         "       vslh            %v1,  %v1,  %v25        \n"
 172         "       addi            %r9,  %r3,  80          \n"
 173         "       lvx             %v11, 0,    %r8         \n"
 174         "       vslh            %v5,  %v5,  %v25        \n"
 175         "       lvx             %v0,  0,    %r9         \n"
 176         "       addi            %r11, %r10, 64          \n"
 177         "       vsplth          %v3,  %v8,  2           \n"
 178         "       lvx             %v7,  0,    %r11        \n"
 179         "       addi            %r9,  %r3,  96          \n"
 180         "       vslh            %v12, %v12, %v25        \n"
 181         "       vmhraddshs      %v27, %v1,  %v6,  %v13  \n"
 182         "       addi            %r8,  %r3,  32          \n"
 183         "       vsplth          %v2,  %v8,  5           \n"
 184         "       lvx             %v1,  0,    %r9         \n"
 185         "       vslh            %v11, %v11, %v25        \n"
 186         "       addi            %r3,  %r3,  64          \n"
 187         "       lvx             %v9,  0,    %r8         \n"
 188         "       addi            %r9,  %r10, 48          \n"
 189         "       vslh            %v0,  %v0,  %v25        \n"
 190         "       lvx             %v4,  0,    %r9         \n"
 191         "       vmhraddshs      %v31, %v12, %v6,  %v13  \n"
 192         "       addi            %r10, %r10, 16          \n"
 193         "       vmhraddshs      %v30, %v0,  %v7,  %v13  \n"
 194         "       lvx             %v10, 0,    %r3         \n"
 195         "       vsplth          %v19, %v8,  3           \n"
 196         "       vmhraddshs      %v15, %v11, %v7,  %v13  \n"
 197         "       lvx             %v12, 0,    %r10        \n"
 198         "       vsplth          %v6,  %v8,  4           \n"
 199         "       vslh            %v1,  %v1,  %v25        \n"
 200         "       vsplth          %v11, %v8,  1           \n"
 201         "       li              %r9,  4                 \n"
 202         "       vslh            %v9,  %v9,  %v25        \n"
 203         "       vsplth          %v7,  %v8,  0           \n"
 204         "       vmhraddshs      %v18, %v1,  %v4,  %v13  \n"
 205         "       vspltw          %v8,  %v8,  3           \n"
 206         "       vsubshs         %v0,  %v13, %v27        \n"
 207         "       vmhraddshs      %v1,  %v9,  %v4,  %v13  \n"
 208         "       vmhraddshs      %v17, %v3,  %v31, %v0   \n"
 209         "       vmhraddshs      %v4,  %v2,  %v15, %v30  \n"
 210         "       vslh            %v10, %v10, %v25        \n"
 211         "       vmhraddshs      %v9,  %v5,  %v12, %v13  \n"
 212         "       vspltish        %v25, 6                 \n"
 213         "       vmhraddshs      %v5,  %v10, %v12, %v13  \n"
 214         "       vmhraddshs      %v28, %v19, %v30, %v15  \n"
 215         "       vmhraddshs      %v27, %v3,  %v27, %v31  \n"
 216         "       vsubshs         %v0,  %v13, %v18        \n"
 217         "       vmhraddshs      %v18, %v11, %v18, %v1   \n"
 218         "       vaddshs         %v30, %v17, %v4         \n"
 219         "       vmhraddshs      %v12, %v11, %v1,  %v0   \n"
 220         "       vsubshs         %v4,  %v17, %v4         \n"
 221         "       vaddshs         %v10, %v9,  %v5         \n"
 222         "       vsubshs         %v17, %v27, %v28        \n"
 223         "       vaddshs         %v27, %v27, %v28        \n"
 224         "       vsubshs         %v1,  %v9,  %v5         \n"
 225         "       vaddshs         %v28, %v10, %v18        \n"
 226         "       vsubshs         %v18, %v10, %v18        \n"
 227         "       vaddshs         %v10, %v1,  %v12        \n"
 228         "       vsubshs         %v1,  %v1,  %v12        \n"
 229         "       vsubshs         %v12, %v17, %v4         \n"
 230         "       vaddshs         %v4,  %v17, %v4         \n"
 231         "       vmhraddshs      %v5,  %v7,  %v12, %v1   \n"
 232         "       vmhraddshs      %v26, %v6,  %v4,  %v10  \n"
 233         "       vmhraddshs      %v29, %v6,  %v12, %v1   \n"
 234         "       vmhraddshs      %v14, %v7,  %v4,  %v10  \n"
 235         "       vsubshs         %v12, %v18, %v30        \n"
 236         "       vaddshs         %v9,  %v28, %v27        \n"
 237         "       vaddshs         %v16, %v18, %v30        \n"
 238         "       vsubshs         %v10, %v28, %v27        \n"
 239         "       vmrglh          %v31, %v9,  %v12        \n"
 240         "       vmrglh          %v30, %v5,  %v26        \n"
 241         "       vmrglh          %v15, %v14, %v29        \n"
 242         "       vmrghh          %v5,  %v5,  %v26        \n"
 243         "       vmrglh          %v27, %v16, %v10        \n"
 244         "       vmrghh          %v9,  %v9,  %v12        \n"
 245         "       vmrghh          %v18, %v16, %v10        \n"
 246         "       vmrghh          %v1,  %v14, %v29        \n"
 247         "       vmrglh          %v14, %v9,  %v5         \n"
 248         "       vmrglh          %v16, %v31, %v30        \n"
 249         "       vmrglh          %v10, %v15, %v27        \n"
 250         "       vmrghh          %v9,  %v9,  %v5         \n"
 251         "       vmrghh          %v26, %v15, %v27        \n"
 252         "       vmrglh          %v27, %v16, %v10        \n"
 253         "       vmrghh          %v12, %v1,  %v18        \n"
 254         "       vmrglh          %v29, %v1,  %v18        \n"
 255         "       vsubshs         %v0,  %v13, %v27        \n"
 256         "       vmrghh          %v5,  %v31, %v30        \n"
 257         "       vmrglh          %v31, %v9,  %v12        \n"
 258         "       vmrglh          %v30, %v5,  %v26        \n"
 259         "       vmrglh          %v15, %v14, %v29        \n"
 260         "       vmhraddshs      %v17, %v3,  %v31, %v0   \n"
 261         "       vmrghh          %v18, %v16, %v10        \n"
 262         "       vmhraddshs      %v27, %v3,  %v27, %v31  \n"
 263         "       vmhraddshs      %v4,  %v2,  %v15, %v30  \n"
 264         "       vmrghh          %v1,  %v14, %v29        \n"
 265         "       vmhraddshs      %v28, %v19, %v30, %v15  \n"
 266         "       vmrghh          %v0,  %v9,  %v12        \n"
 267         "       vsubshs         %v13, %v13, %v18        \n"
 268         "       vmrghh          %v5,  %v5,  %v26        \n"
 269         "       vmhraddshs      %v18, %v11, %v18, %v1   \n"
 270         "       vaddshs         %v9,  %v0,  %v8         \n"
 271         "       vaddshs         %v30, %v17, %v4         \n"
 272         "       vmhraddshs      %v12, %v11, %v1,  %v13  \n"
 273         "       vsubshs         %v4,  %v17, %v4         \n"
 274         "       vaddshs         %v10, %v9,  %v5         \n"
 275         "       vsubshs         %v17, %v27, %v28        \n"
 276         "       vaddshs         %v27, %v27, %v28        \n"
 277         "       vsubshs         %v1,  %v9,  %v5         \n"
 278         "       vaddshs         %v28, %v10, %v18        \n"
 279         "       vsubshs         %v18, %v10, %v18        \n"
 280         "       vaddshs         %v10, %v1,  %v12        \n"
 281         "       vsubshs         %v1,  %v1,  %v12        \n"
 282         "       vsubshs         %v12, %v17, %v4         \n"
 283         "       vaddshs         %v4,  %v17, %v4         \n"
 284         "       vaddshs         %v9,  %v28, %v27        \n"
 285         "       vmhraddshs      %v14, %v7,  %v4,  %v10  \n"
 286         "       vsrah           %v9,  %v9,  %v25        \n"
 287         "       vmhraddshs      %v5,  %v7,  %v12, %v1   \n"
 288         "       vpkshus         %v0,  %v9,  %v9         \n"
 289         "       vmhraddshs      %v29, %v6,  %v12, %v1   \n"
 290         "       stvewx          %v0,  0,    %r4         \n"
 291         "       vaddshs         %v16, %v18, %v30        \n"
 292         "       vsrah           %v31, %v14, %v25        \n"
 293         "       stvewx          %v0,  %r9,  %r4         \n"
 294         "       add             %r4,  %r4,  %r5         \n"
 295         "       vsrah           %v15, %v16, %v25        \n"
 296         "       vpkshus         %v0,  %v31, %v31        \n"
 297         "       vsrah           %v1,  %v5,  %v25        \n"
 298         "       stvewx          %v0,  0,    %r4         \n"
 299         "       vsubshs         %v12, %v18, %v30        \n"
 300         "       stvewx          %v0,  %r9,  %r4         \n"
 301         "       vmhraddshs      %v26, %v6,  %v4,  %v10  \n"
 302         "       vpkshus         %v0,  %v1,  %v1         \n"
 303         "       add             %r4,  %r4,  %r5         \n"
 304         "       vsrah           %v5,  %v12, %v25        \n"
 305         "       stvewx          %v0,  0,    %r4         \n"
 306         "       vsrah           %v30, %v29, %v25        \n"
 307         "       stvewx          %v0,  %r9,  %r4         \n"
 308         "       vsubshs         %v10, %v28, %v27        \n"
 309         "       vpkshus         %v0,  %v15, %v15        \n"
 310         "       add             %r4,  %r4,  %r5         \n"
 311         "       stvewx          %v0,  0,    %r4         \n"
 312         "       vsrah           %v18, %v26, %v25        \n"
 313         "       stvewx          %v0,  %r9,  %r4         \n"
 314         "       vsrah           %v27, %v10, %v25        \n"
 315         "       vpkshus         %v0,  %v5,  %v5         \n"
 316         "       add             %r4,  %r4,  %r5         \n"
 317         "       stvewx          %v0,  0,    %r4         \n"
 318         "       stvewx          %v0,  %r9,  %r4         \n"
 319         "       vpkshus         %v0,  %v30, %v30        \n"
 320         "       add             %r4,  %r4,  %r5         \n"
 321         "       stvewx          %v0,  0,    %r4         \n"
 322         "       stvewx          %v0,  %r9,  %r4         \n"
 323         "       vpkshus         %v0,  %v18, %v18        \n"
 324         "       add             %r4,  %r4,  %r5         \n"
 325         "       stvewx          %v0,  0,    %r4         \n"
 326         "       stvewx          %v0,  %r9,  %r4         \n"
 327         "       add             %r4,  %r4,  %r5         \n"
 328         "       vpkshus         %v0,  %v27, %v27        \n"
 329         "       stvewx          %v0,  0,    %r4         \n"
 330         "       stvewx          %v0,  %r9,  %r4         \n"
 331
 332         "#      addi            %r0,  %r1,  128         \n"
 333         "#      bl              _restv25                \n"
 334         "#      lwz             %r0,  132(%r1)          \n"
 335         "#      mtlr            %r0                     \n"
 336         "#      la              %r1,  128(%r1)          \n"
 337          );
 338 }
 339
 340 void idct_block_add_altivec (int16_t * block, uint8_t * dest, int stride)
 341 {
 342     asm ("                                              \n"
 343         "#      stwu            %r1,  -192(%r1)         \n"
 344         "#      mflr            %r0                     \n"
 345         "#      stw             %r0,  196(%r1)          \n"
 346         "#      addi            %r0,  %r1,  192         \n"
 347         "#      bl              _savev21                \n"
 348
 349         "       addi            %r9,  %r3,  112         \n"
 350         "       vspltish        %v21, 4                 \n"
 351         "       vxor            %v1,  %v1,  %v1         \n"
 352         "       lvx             %v13, 0,    %r9         \n"
 353         "       lis             %r10, constants@ha      \n"
 354         "       vspltisw        %v3,  -1                \n"
 355         "       la              %r10, constants@l(%r10) \n"
 356         "       lvx             %v5,  0,    %r3         \n"
 357         "       addi            %r9,  %r3,  16          \n"
 358         "       lvx             %v8,  0,    %r10        \n"
 359         "       lvx             %v12, 0,    %r9         \n"
 360         "       addi            %r11, %r10, 32          \n"
 361         "       lvx             %v6,  0,    %r11        \n"
 362         "       addi            %r8,  %r3,  48          \n"
 363         "       vslh            %v13, %v13, %v21        \n"
 364         "       addi            %r9,  %r3,  80          \n"
 365         "       lvx             %v11, 0,    %r8         \n"
 366         "       vslh            %v5,  %v5,  %v21        \n"
 367         "       lvx             %v0,  0,    %r9         \n"
 368         "       addi            %r11, %r10, 64          \n"
 369         "       vsplth          %v2,  %v8,  2           \n"
 370         "       lvx             %v7,  0,    %r11        \n"
 371         "       vslh            %v12, %v12, %v21        \n"
 372         "       addi            %r9,  %r3,  96          \n"
 373         "       vmhraddshs      %v24, %v13, %v6,  %v1   \n"
 374         "       addi            %r8,  %r3,  32          \n"
 375         "       vsplth          %v17, %v8,  5           \n"
 376         "       lvx             %v13, 0,    %r9         \n"
 377         "       vslh            %v11, %v11, %v21        \n"
 378         "       addi            %r3,  %r3,  64          \n"
 379         "       lvx             %v10, 0,    %r8         \n"
 380         "       vslh            %v0,  %v0,  %v21        \n"
 381         "       addi            %r9,  %r10, 48          \n"
 382         "       vmhraddshs      %v31, %v12, %v6,  %v1   \n"
 383         "       lvx             %v4,  0,    %r9         \n"
 384         "       addi            %r10, %r10, 16          \n"
 385         "       vmhraddshs      %v26, %v0,  %v7,  %v1   \n"
 386         "       lvx             %v9,  0,    %r3         \n"
 387         "       vsplth          %v16, %v8,  3           \n"
 388         "       vmhraddshs      %v22, %v11, %v7,  %v1   \n"
 389         "       lvx             %v6,  0,    %r10        \n"
 390         "       lvsl            %v19, 0,    %r4         \n"
 391         "       vsubshs         %v12, %v1,  %v24        \n"
 392         "       lvsl            %v0,  %r5,  %r4         \n"
 393         "       vsplth          %v11, %v8,  1           \n"
 394         "       vslh            %v10, %v10, %v21        \n"
 395         "       vmrghb          %v19, %v3,  %v19        \n"
 396         "       lvx             %v15, 0,    %r4         \n"
 397         "       vslh            %v13, %v13, %v21        \n"
 398         "       vmrghb          %v3,  %v3,  %v0         \n"
 399         "       li              %r9,  4                 \n"
 400         "       vmhraddshs      %v14, %v2,  %v31, %v12  \n"
 401         "       vsplth          %v7,  %v8,  0           \n"
 402         "       vmhraddshs      %v23, %v13, %v4,  %v1   \n"
 403         "       vsplth          %v18, %v8,  4           \n"
 404         "       vmhraddshs      %v27, %v10, %v4,  %v1   \n"
 405         "       vspltw          %v8,  %v8,  3           \n"
 406         "       vmhraddshs      %v12, %v17, %v22, %v26  \n"
 407         "       vperm           %v15, %v15, %v1,  %v19  \n"
 408         "       vslh            %v9,  %v9,  %v21        \n"
 409         "       vmhraddshs      %v10, %v5,  %v6,  %v1   \n"
 410         "       vspltish        %v21, 6                 \n"
 411         "       vmhraddshs      %v30, %v9,  %v6,  %v1   \n"
 412         "       vmhraddshs      %v26, %v16, %v26, %v22  \n"
 413         "       vmhraddshs      %v24, %v2,  %v24, %v31  \n"
 414         "       vmhraddshs      %v31, %v11, %v23, %v27  \n"
 415         "       vsubshs         %v0,  %v1,  %v23        \n"
 416         "       vaddshs         %v23, %v14, %v12        \n"
 417         "       vmhraddshs      %v9,  %v11, %v27, %v0   \n"
 418         "       vsubshs         %v12, %v14, %v12        \n"
 419         "       vaddshs         %v6,  %v10, %v30        \n"
 420         "       vsubshs         %v14, %v24, %v26        \n"
 421         "       vaddshs         %v24, %v24, %v26        \n"
 422         "       vsubshs         %v13, %v10, %v30        \n"
 423         "       vaddshs         %v26, %v6,  %v31        \n"
 424         "       vsubshs         %v31, %v6,  %v31        \n"
 425         "       vaddshs         %v6,  %v13, %v9         \n"
 426         "       vsubshs         %v13, %v13, %v9         \n"
 427         "       vsubshs         %v9,  %v14, %v12        \n"
 428         "       vaddshs         %v12, %v14, %v12        \n"
 429         "       vmhraddshs      %v30, %v7,  %v9,  %v13  \n"
 430         "       vmhraddshs      %v25, %v18, %v12, %v6   \n"
 431         "       vmhraddshs      %v28, %v18, %v9,  %v13  \n"
 432         "       vmhraddshs      %v29, %v7,  %v12, %v6   \n"
 433         "       vaddshs         %v10, %v26, %v24        \n"
 434         "       vsubshs         %v5,  %v31, %v23        \n"
 435         "       vsubshs         %v13, %v26, %v24        \n"
 436         "       vaddshs         %v4,  %v31, %v23        \n"
 437         "       vmrglh          %v26, %v30, %v25        \n"
 438         "       vmrglh          %v31, %v10, %v5         \n"
 439         "       vmrglh          %v22, %v29, %v28        \n"
 440         "       vmrghh          %v30, %v30, %v25        \n"
 441         "       vmrglh          %v24, %v4,  %v13        \n"
 442         "       vmrghh          %v10, %v10, %v5         \n"
 443         "       vmrghh          %v23, %v4,  %v13        \n"
 444         "       vmrghh          %v27, %v29, %v28        \n"
 445         "       vmrglh          %v29, %v10, %v30        \n"
 446         "       vmrglh          %v4,  %v31, %v26        \n"
 447         "       vmrglh          %v13, %v22, %v24        \n"
 448         "       vmrghh          %v10, %v10, %v30        \n"
 449         "       vmrghh          %v25, %v22, %v24        \n"
 450         "       vmrglh          %v24, %v4,  %v13        \n"
 451         "       vmrghh          %v5,  %v27, %v23        \n"
 452         "       vmrglh          %v28, %v27, %v23        \n"
 453         "       vsubshs         %v0,  %v1,  %v24        \n"
 454         "       vmrghh          %v30, %v31, %v26        \n"
 455         "       vmrglh          %v31, %v10, %v5         \n"
 456         "       vmrglh          %v26, %v30, %v25        \n"
 457         "       vmrglh          %v22, %v29, %v28        \n"
 458         "       vmhraddshs      %v14, %v2,  %v31, %v0   \n"
 459         "       vmrghh          %v23, %v4,  %v13        \n"
 460         "       vmhraddshs      %v24, %v2,  %v24, %v31  \n"
 461         "       vmhraddshs      %v12, %v17, %v22, %v26  \n"
 462         "       vmrghh          %v27, %v29, %v28        \n"
 463         "       vmhraddshs      %v26, %v16, %v26, %v22  \n"
 464         "       vmrghh          %v0,  %v10, %v5         \n"
 465         "       vmhraddshs      %v31, %v11, %v23, %v27  \n"
 466         "       vmrghh          %v30, %v30, %v25        \n"
 467         "       vsubshs         %v13, %v1,  %v23        \n"
 468         "       vaddshs         %v10, %v0,  %v8         \n"
 469         "       vaddshs         %v23, %v14, %v12        \n"
 470         "       vsubshs         %v12, %v14, %v12        \n"
 471         "       vaddshs         %v6,  %v10, %v30        \n"
 472         "       vsubshs         %v14, %v24, %v26        \n"
 473         "       vmhraddshs      %v9,  %v11, %v27, %v13  \n"
 474         "       vaddshs         %v24, %v24, %v26        \n"
 475         "       vaddshs         %v26, %v6,  %v31        \n"
 476         "       vsubshs         %v13, %v10, %v30        \n"
 477         "       vaddshs         %v10, %v26, %v24        \n"
 478         "       vsubshs         %v31, %v6,  %v31        \n"
 479         "       vaddshs         %v6,  %v13, %v9         \n"
 480         "       vsrah           %v10, %v10, %v21        \n"
 481         "       vsubshs         %v13, %v13, %v9         \n"
 482         "       vaddshs         %v0,  %v15, %v10        \n"
 483         "       vsubshs         %v9,  %v14, %v12        \n"
 484         "       vaddshs         %v12, %v14, %v12        \n"
 485         "       vpkshus         %v15, %v0,  %v0         \n"
 486         "       stvewx          %v15, 0,    %r4         \n"
 487         "       vaddshs         %v4,  %v31, %v23        \n"
 488         "       vmhraddshs      %v29, %v7,  %v12, %v6   \n"
 489         "       stvewx          %v15, %r9,  %r4         \n"
 490         "       add             %r4,  %r4,  %r5         \n"
 491         "       vsubshs         %v5,  %v31, %v23        \n"
 492         "       lvx             %v15, 0,    %r4         \n"
 493         "       vmhraddshs      %v30, %v7,  %v9,  %v13  \n"
 494         "       vsrah           %v22, %v4,  %v21        \n"
 495         "       vperm           %v15, %v15, %v1,  %v3   \n"
 496         "       vmhraddshs      %v28, %v18, %v9,  %v13  \n"
 497         "       vsrah           %v31, %v29, %v21        \n"
 498         "       vsubshs         %v13, %v26, %v24        \n"
 499         "       vaddshs         %v0,  %v15, %v31        \n"
 500         "       vsrah           %v27, %v30, %v21        \n"
 501         "       vpkshus         %v15, %v0,  %v0         \n"
 502         "       vsrah           %v30, %v5,  %v21        \n"
 503         "       stvewx          %v15, 0,    %r4         \n"
 504         "       vsrah           %v26, %v28, %v21        \n"
 505         "       stvewx          %v15, %r9,  %r4         \n"
 506         "       vmhraddshs      %v25, %v18, %v12, %v6   \n"
 507         "       add             %r4,  %r4,  %r5         \n"
 508         "       vsrah           %v24, %v13, %v21        \n"
 509         "       lvx             %v15, 0,    %r4         \n"
 510         "       vperm           %v15, %v15, %v1,  %v19  \n"
 511         "       vsrah           %v23, %v25, %v21        \n"
 512         "       vaddshs         %v0,  %v15, %v27        \n"
 513         "       vpkshus         %v15, %v0,  %v0         \n"
 514         "       stvewx          %v15, 0,    %r4         \n"
 515         "       stvewx          %v15, %r9,  %r4         \n"
 516         "       add             %r4,  %r4,  %r5         \n"
 517         "       lvx             %v15, 0,    %r4         \n"
 518         "       vperm           %v15, %v15, %v1,  %v3   \n"
 519         "       vaddshs         %v0,  %v15, %v22        \n"
 520         "       vpkshus         %v15, %v0,  %v0         \n"
 521         "       stvewx          %v15, 0,    %r4         \n"
 522         "       stvewx          %v15, %r9,  %r4         \n"
 523         "       add             %r4,  %r4,  %r5         \n"
 524         "       lvx             %v15, 0,    %r4         \n"
 525         "       vperm           %v15, %v15, %v1,  %v19  \n"
 526         "       vaddshs         %v0,  %v15, %v30        \n"
 527         "       vpkshus         %v15, %v0,  %v0         \n"
 528         "       stvewx          %v15, 0,    %r4         \n"
 529         "       stvewx          %v15, %r9,  %r4         \n"
 530         "       add             %r4,  %r4,  %r5         \n"
 531         "       lvx             %v15, 0,    %r4         \n"
 532         "       vperm           %v15, %v15, %v1,  %v3   \n"
 533         "       vaddshs         %v0,  %v15, %v26        \n"
 534         "       vpkshus         %v15, %v0,  %v0         \n"
 535         "       stvewx          %v15, 0,    %r4         \n"
 536         "       stvewx          %v15, %r9,  %r4         \n"
 537         "       add             %r4,  %r4,  %r5         \n"
 538         "       lvx             %v15, 0,    %r4         \n"
 539         "       vperm           %v15, %v15, %v1,  %v19  \n"
 540         "       vaddshs         %v0,  %v15, %v23        \n"
 541         "       vpkshus         %v15, %v0,  %v0         \n"
 542         "       stvewx          %v15, 0,    %r4         \n"
 543         "       stvewx          %v15, %r9,  %r4         \n"
 544         "       add             %r4,  %r4,  %r5         \n"
 545         "       lvx             %v15, 0,    %r4         \n"
 546         "       vperm           %v15, %v15, %v1,  %v3   \n"
 547         "       vaddshs         %v0,  %v15, %v24        \n"
 548         "       vpkshus         %v15, %v0,  %v0         \n"
 549         "       stvewx          %v15, 0,    %r4         \n"
 550         "       stvewx          %v15, %r9,  %r4         \n"
 551
 552         "#      addi            %r0,  %r1,  192         \n"
 553         "#      bl              _restv21                \n"
 554         "#      lwz             %r0,  196(%r1)          \n"
 555         "#      mtlr            %r0                     \n"
 556         "#      la              %r1,  192(%r1)          \n"
 557          );
 558 }
 559
 560 #endif  /* !HAVE_C_ALTIVEC */
 561 #endif  /* __BUILD_ALTIVEC_ASM__ */
 562
 563
 564 #if defined(HAVE_C_ALTIVEC) || defined(__BUILD_ALTIVEC_ASM__)
 565
 566 #define vector_s16_t vector signed short
 567 #define vector_u16_t vector unsigned short
 568 #define vector_s8_t vector signed char
 569 #define vector_u8_t vector unsigned char
 570 #define vector_s32_t vector signed int
 571 #define vector_u32_t vector unsigned int
 572
 573 #define IDCT_HALF                                       \
 574     /* 1st stage */                                     \
 575     t1 = vec_mradds (a1, vx7, vx1 );                    \
 576     t8 = vec_mradds (a1, vx1, vec_subs (zero, vx7));    \
 577     t7 = vec_mradds (a2, vx5, vx3);                     \
 578     t3 = vec_mradds (ma2, vx3, vx5);                    \
 579                                                         \
 580     /* 2nd stage */                                     \
 581     t5 = vec_adds (vx0, vx4);                           \
 582     t0 = vec_subs (vx0, vx4);                           \
 583     t2 = vec_mradds (a0, vx6, vx2);                     \
 584     t4 = vec_mradds (a0, vx2, vec_subs (zero,vx6));     \
 585     t6 = vec_adds (t8, t3);                             \
 586     t3 = vec_subs (t8, t3);                             \
 587     t8 = vec_subs (t1, t7);                             \
 588     t1 = vec_adds (t1, t7);                             \
 589                                                         \
 590     /* 3rd stage */                                     \
 591     t7 = vec_adds (t5, t2);                             \
 592     t2 = vec_subs (t5, t2);                             \
 593     t5 = vec_adds (t0, t4);                             \
 594     t0 = vec_subs (t0, t4);                             \
 595     t4 = vec_subs (t8, t3);                             \
 596     t3 = vec_adds (t8, t3);                             \
 597                                                         \
 598     /* 4th stage */                                     \
 599     vy0 = vec_adds (t7, t1);                            \
 600     vy7 = vec_subs (t7, t1);                            \
 601     vy1 = vec_mradds (c4, t3, t5);                      \
 602     vy6 = vec_mradds (mc4, t3, t5);                     \
 603     vy2 = vec_mradds (c4, t4, t0);                      \
 604     vy5 = vec_mradds (mc4, t4, t0);                     \
 605     vy3 = vec_adds (t2, t6);                            \
 606     vy4 = vec_subs (t2, t6);
 607
 608 #define IDCT                                                            \
 609     vector_s16_t vx0, vx1, vx2, vx3, vx4, vx5, vx6, vx7;                \
 610     vector_s16_t vy0, vy1, vy2, vy3, vy4, vy5, vy6, vy7;                \
 611     vector_s16_t a0, a1, a2, ma2, c4, mc4, zero, bias;                  \
 612     vector_s16_t t0, t1, t2, t3, t4, t5, t6, t7, t8;                    \
 613     vector_u16_t shift;                                                 \
 614                                                                         \
 615     c4 = vec_splat (constants[0], 0);                                   \
 616     a0 = vec_splat (constants[0], 1);                                   \
 617     a1 = vec_splat (constants[0], 2);                                   \
 618     a2 = vec_splat (constants[0], 3);                                   \
 619     mc4 = vec_splat (constants[0], 4);                                  \
 620     ma2 = vec_splat (constants[0], 5);                                  \
 621     bias = (vector_s16_t)vec_splat ((vector_s32_t)constants[0], 3);     \
 622                                                                         \
 623     zero = vec_splat_s16 (0);                                           \
 624     shift = vec_splat_u16 (4);                                          \
 625                                                                         \
 626     vx0 = vec_mradds (vec_sl (block[0], shift), constants[1], zero);    \
 627     vx1 = vec_mradds (vec_sl (block[1], shift), constants[2], zero);    \
 628     vx2 = vec_mradds (vec_sl (block[2], shift), constants[3], zero);    \
 629     vx3 = vec_mradds (vec_sl (block[3], shift), constants[4], zero);    \
 630     vx4 = vec_mradds (vec_sl (block[4], shift), constants[1], zero);    \
 631     vx5 = vec_mradds (vec_sl (block[5], shift), constants[4], zero);    \
 632     vx6 = vec_mradds (vec_sl (block[6], shift), constants[3], zero);    \
 633     vx7 = vec_mradds (vec_sl (block[7], shift), constants[2], zero);    \
 634                                                                         \
 635     IDCT_HALF                                                           \
 636                                                                         \
 637     vx0 = vec_mergeh (vy0, vy4);                                        \
 638     vx1 = vec_mergel (vy0, vy4);                                        \
 639     vx2 = vec_mergeh (vy1, vy5);                                        \
 640     vx3 = vec_mergel (vy1, vy5);                                        \
 641     vx4 = vec_mergeh (vy2, vy6);                                        \
 642     vx5 = vec_mergel (vy2, vy6);                                        \
 643     vx6 = vec_mergeh (vy3, vy7);                                        \
 644     vx7 = vec_mergel (vy3, vy7);                                        \
 645                                                                         \
 646     vy0 = vec_mergeh (vx0, vx4);                                        \
 647     vy1 = vec_mergel (vx0, vx4);                                        \
 648     vy2 = vec_mergeh (vx1, vx5);                                        \
 649     vy3 = vec_mergel (vx1, vx5);                                        \
 650     vy4 = vec_mergeh (vx2, vx6);                                        \
 651     vy5 = vec_mergel (vx2, vx6);                                        \
 652     vy6 = vec_mergeh (vx3, vx7);                                        \
 653     vy7 = vec_mergel (vx3, vx7);                                        \
 654                                                                         \
 655     vx0 = vec_adds (vec_mergeh (vy0, vy4), bias);                       \
 656     vx1 = vec_mergel (vy0, vy4);                                        \
 657     vx2 = vec_mergeh (vy1, vy5);                                        \
 658     vx3 = vec_mergel (vy1, vy5);                                        \
 659     vx4 = vec_mergeh (vy2, vy6);                                        \
 660     vx5 = vec_mergel (vy2, vy6);                                        \
 661     vx6 = vec_mergeh (vy3, vy7);                                        \
 662     vx7 = vec_mergel (vy3, vy7);                                        \
 663                                                                         \
 664     IDCT_HALF                                                           \
 665                                                                         \
 666     shift = vec_splat_u16 (6);                                          \
 667     vx0 = vec_sra (vy0, shift);                                         \
 668     vx1 = vec_sra (vy1, shift);                                         \
 669     vx2 = vec_sra (vy2, shift);                                         \
 670     vx3 = vec_sra (vy3, shift);                                         \
 671     vx4 = vec_sra (vy4, shift);                                         \
 672     vx5 = vec_sra (vy5, shift);                                         \
 673     vx6 = vec_sra (vy6, shift);                                         \
 674     vx7 = vec_sra (vy7, shift);
 675
 676 static vector_s16_t constants[5] ATTR_ALIGN(16) = {
 677     (vector_s16_t)(23170, 13573, 6518, 21895, -23170, -21895, 32, 31),
 678     (vector_s16_t)(16384, 22725, 21407, 19266, 16384, 19266, 21407, 22725),
 679     (vector_s16_t)(22725, 31521, 29692, 26722, 22725, 26722, 29692, 31521),
 680     (vector_s16_t)(21407, 29692, 27969, 25172, 21407, 25172, 27969, 29692),
 681     (vector_s16_t)(19266, 26722, 25172, 22654, 19266, 22654, 25172, 26722)
 682 };
 683
 684 void idct_block_copy_altivec (vector_s16_t * block, unsigned char * dest,
 685                               int stride)
 686 {
 687     vector_u8_t tmp;
 688
 689     IDCT
 690
 691 #define COPY(dest,src)                                          \
 692     tmp = vec_packsu (src, src);                                \
 693     vec_ste ((vector_u32_t)tmp, 0, (unsigned int *)dest);       \
 694     vec_ste ((vector_u32_t)tmp, 4, (unsigned int *)dest);
 695
 696     COPY (dest, vx0)    dest += stride;
 697     COPY (dest, vx1)    dest += stride;
 698     COPY (dest, vx2)    dest += stride;
 699     COPY (dest, vx3)    dest += stride;
 700     COPY (dest, vx4)    dest += stride;
 701     COPY (dest, vx5)    dest += stride;
 702     COPY (dest, vx6)    dest += stride;
 703     COPY (dest, vx7)
 704 }
 705
 706 void idct_block_add_altivec (vector_s16_t * block, unsigned char * dest,
 707                              int stride)
 708 {
 709     vector_u8_t tmp;
 710     vector_s16_t tmp2, tmp3;
 711     vector_u8_t perm0;
 712     vector_u8_t perm1;
 713     vector_u8_t p0, p1, p;
 714
 715     IDCT
 716
 717     p0 = vec_lvsl (0, dest);
 718     p1 = vec_lvsl (stride, dest);
 719     p = vec_splat_u8 (-1);
 720     perm0 = vec_mergeh (p, p0);
 721     perm1 = vec_mergeh (p, p1);
 722
 723 #define ADD(dest,src,perm)                                              \
 724     /* *(uint64_t *)&tmp = *(uint64_t *)dest; */                        \
 725     tmp = vec_ld (0, dest);                                             \
 726     tmp2 = (vector_s16_t)vec_perm (tmp, (vector_u8_t)zero, perm);       \
 727     tmp3 = vec_adds (tmp2, src);                                        \
 728     tmp = vec_packsu (tmp3, tmp3);                                      \
 729     vec_ste ((vector_u32_t)tmp, 0, (unsigned int *)dest);               \
 730     vec_ste ((vector_u32_t)tmp, 4, (unsigned int *)dest);
 731
 732     ADD (dest, vx0, perm0)      dest += stride;
 733     ADD (dest, vx1, perm1)      dest += stride;
 734     ADD (dest, vx2, perm0)      dest += stride;
 735     ADD (dest, vx3, perm1)      dest += stride;
 736     ADD (dest, vx4, perm0)      dest += stride;
 737     ADD (dest, vx5, perm1)      dest += stride;
 738     ADD (dest, vx6, perm0)      dest += stride;
 739     ADD (dest, vx7, perm1)
 740 }
 741
 742 #endif  /* __BUILD_ALTIVEC_ASM__ || HAVE_C_ALTIVEC */
 743
 744 #ifndef __BUILD_ALTIVEC_ASM__
 745
 746 /*****************************************************************************
 747  * Functions exported as capabilities. They are declared as static so that
 748  * we don't pollute the namespace too much.
 749  *****************************************************************************/
 750 static void idct_getfunctions( function_list_t * p_function_list )
 751 {
 752     p_function_list->pf_probe = idct_Probe;
 753 #define F p_function_list->functions.idct
 754     F.pf_idct_init = InitIDCT;
 755     F.pf_norm_scan = NormScan;
 756     /* FIXME : it would be a nice idea to use sparse IDCT functions */
 757     F.pf_sparse_idct_add = idct_block_add_altivec;
 758     F.pf_sparse_idct_copy = idct_block_copy_altivec;
 759     F.pf_idct_add = idct_block_add_altivec;
 760     F.pf_idct_copy = idct_block_copy_altivec;
 761 #undef F
 762 }
 763
 764 #endif  /* __BUILD_ALTIVEC_ASM__ */