git.sesse.net Git - ffmpeg/blob - libavcodec/x86/h264_chromamc_10bit.asm

   1 ;*****************************************************************************
   2 ;* MMX/SSE2/AVX-optimized 10-bit H.264 chroma MC code
   3 ;*****************************************************************************
   4 ;* Copyright (C) 2005-2011 x264 project
   5 ;*
   6 ;* Authors: Daniel Kang <daniel.d.kang@gmail.com>
   7 ;*
   8 ;* This file is part of Libav.
   9 ;*
  10 ;* Libav is free software; you can redistribute it and/or
  11 ;* modify it under the terms of the GNU Lesser General Public
  12 ;* License as published by the Free Software Foundation; either
  13 ;* version 2.1 of the License, or (at your option) any later version.
  14 ;*
  15 ;* Libav is distributed in the hope that it will be useful,
  16 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  17 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  18 ;* Lesser General Public License for more details.
  19 ;*
  20 ;* You should have received a copy of the GNU Lesser General Public
  21 ;* License along with Libav; if not, write to the Free Software
  22 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  23 ;******************************************************************************
  24
  25 %include "x86inc.asm"
  26 %include "x86util.asm"
  27
  28 SECTION_RODATA
  29
  30 cextern pw_4
  31 cextern pw_8
  32 cextern pw_32
  33 cextern pw_64
  34
  35 SECTION .text
  36
  37
  38 %macro MV0_PIXELS_MC8 0
  39     lea           r4, [r2*3   ]
  40     lea           r5, [r2*4   ]
  41 .next4rows
  42     movu          m0, [r1     ]
  43     movu          m1, [r1+r2  ]
  44     CHROMAMC_AVG  m0, [r0     ]
  45     CHROMAMC_AVG  m1, [r0+r2  ]
  46     mova   [r0     ], m0
  47     mova   [r0+r2  ], m1
  48     movu          m0, [r1+r2*2]
  49     movu          m1, [r1+r4  ]
  50     CHROMAMC_AVG  m0, [r0+r2*2]
  51     CHROMAMC_AVG  m1, [r0+r4  ]
  52     mova   [r0+r2*2], m0
  53     mova   [r0+r4  ], m1
  54     add           r1, r5
  55     add           r0, r5
  56     sub          r3d, 4
  57     jne .next4rows
  58 %endmacro
  59
  60 ;-----------------------------------------------------------------------------
  61 ; void put/avg_h264_chroma_mc8(pixel *dst, pixel *src, int stride, int h, int mx, int my)
  62 ;-----------------------------------------------------------------------------
  63 %macro CHROMA_MC8 2
  64 ; put/avg_h264_chroma_mc8_*(uint8_t *dst /*align 8*/, uint8_t *src /*align 1*/,
  65 ;                              int stride, int h, int mx, int my)
  66 cglobal %1_h264_chroma_mc8_10_%2, 6,7,8
  67     movsxdifnidn  r2, r2d
  68     mov          r6d, r5d
  69     or           r6d, r4d
  70     jne .at_least_one_non_zero
  71     ; mx == 0 AND my == 0 - no filter needed
  72     MV0_PIXELS_MC8
  73     REP_RET
  74
  75 .at_least_one_non_zero
  76     mov          r6d, 2
  77     test         r5d, r5d
  78     je .x_interpolation
  79     mov           r6, r2        ; dxy = x ? 1 : stride
  80     test         r4d, r4d
  81     jne .xy_interpolation
  82 .x_interpolation
  83     ; mx == 0 XOR my == 0 - 1 dimensional filter only
  84     or           r4d, r5d       ; x + y
  85     movd          m5, r4d
  86     mova          m4, [pw_8]
  87     mova          m6, [pw_4]    ; mm6 = rnd >> 3
  88     SPLATW        m5, m5        ; mm5 = B = x
  89     psubw         m4, m5        ; mm4 = A = 8-x
  90
  91 .next1drow
  92     movu          m0, [r1   ]   ; mm0 = src[0..7]
  93     movu          m2, [r1+r6]   ; mm2 = src[1..8]
  94
  95     pmullw        m0, m4        ; mm0 = A * src[0..7]
  96     pmullw        m2, m5        ; mm2 = B * src[1..8]
  97
  98     paddw         m0, m6
  99     paddw         m0, m2
 100     psrlw         m0, 3
 101     CHROMAMC_AVG  m0, [r0]
 102     mova        [r0], m0        ; dst[0..7] = (A * src[0..7] + B * src[1..8] + (rnd >> 3)) >> 3
 103
 104     add           r0, r2
 105     add           r1, r2
 106     dec           r3d
 107     jne .next1drow
 108     REP_RET
 109
 110 .xy_interpolation ; general case, bilinear
 111     movd          m4, r4m         ; x
 112     movd          m6, r5m         ; y
 113
 114     SPLATW        m4, m4          ; mm4 = x words
 115     SPLATW        m6, m6          ; mm6 = y words
 116     psllw         m5, m4, 3       ; mm5 = 8x
 117     pmullw        m4, m6          ; mm4 = x * y
 118     psllw         m6, 3           ; mm6 = 8y
 119     paddw         m1, m5, m6      ; mm7 = 8x+8y
 120     mova          m7, m4          ; DD = x * y
 121     psubw         m5, m4          ; mm5 = B = 8x - xy
 122     psubw         m6, m4          ; mm6 = C = 8y - xy
 123     paddw         m4, [pw_64]
 124     psubw         m4, m1          ; mm4 = A = xy - (8x+8y) + 64
 125
 126     movu          m0, [r1  ]      ; mm0 = src[0..7]
 127     movu          m1, [r1+2]      ; mm1 = src[1..8]
 128 .next2drow
 129     add           r1, r2
 130
 131     pmullw        m2, m0, m4
 132     pmullw        m1, m5
 133     paddw         m2, m1          ; mm2 = A * src[0..7] + B * src[1..8]
 134
 135     movu          m0, [r1]
 136     movu          m1, [r1+2]
 137     pmullw        m3, m0, m6
 138     paddw         m2, m3          ; mm2 += C * src[0..7+strde]
 139     pmullw        m3, m1, m7
 140     paddw         m2, m3          ; mm2 += D * src[1..8+strde]
 141
 142     paddw         m2, [pw_32]
 143     psrlw         m2, 6
 144     CHROMAMC_AVG  m2, [r0]
 145     mova        [r0], m2          ; dst[0..7] = (mm2 + 32) >> 6
 146
 147     add           r0, r2
 148     dec          r3d
 149     jne .next2drow
 150     REP_RET
 151 %endmacro
 152
 153 ;-----------------------------------------------------------------------------
 154 ; void put/avg_h264_chroma_mc4(pixel *dst, pixel *src, int stride, int h, int mx, int my)
 155 ;-----------------------------------------------------------------------------
 156 ;TODO: xmm mc4
 157 %macro MC4_OP 2
 158     movq          %1, [r1  ]
 159     movq          m1, [r1+2]
 160     add           r1, r2
 161     pmullw        %1, m4
 162     pmullw        m1, m2
 163     paddw         m1, %1
 164     mova          %1, m1
 165
 166     pmullw        %2, m5
 167     pmullw        m1, m3
 168     paddw         %2, [pw_32]
 169     paddw         m1, %2
 170     psrlw         m1, 6
 171     CHROMAMC_AVG  m1, %2, [r0]
 172     movq        [r0], m1
 173     add           r0, r2
 174 %endmacro
 175
 176 %macro CHROMA_MC4 2
 177 cglobal %1_h264_chroma_mc4_10_%2, 6,6,7
 178     movsxdifnidn  r2, r2d
 179     movd          m2, r4m         ; x
 180     movd          m3, r5m         ; y
 181     mova          m4, [pw_8]
 182     mova          m5, m4
 183     SPLATW        m2, m2
 184     SPLATW        m3, m3
 185     psubw         m4, m2
 186     psubw         m5, m3
 187
 188     movq          m0, [r1  ]
 189     movq          m6, [r1+2]
 190     add           r1, r2
 191     pmullw        m0, m4
 192     pmullw        m6, m2
 193     paddw         m6, m0
 194
 195 .next2rows
 196     MC4_OP m0, m6
 197     MC4_OP m6, m0
 198     sub   r3d, 2
 199     jnz .next2rows
 200     REP_RET
 201 %endmacro
 202
 203 ;-----------------------------------------------------------------------------
 204 ; void put/avg_h264_chroma_mc2(pixel *dst, pixel *src, int stride, int h, int mx, int my)
 205 ;-----------------------------------------------------------------------------
 206 %macro CHROMA_MC2 2
 207 cglobal %1_h264_chroma_mc2_10_%2, 6,7
 208     movsxdifnidn  r2, r2d
 209     mov          r6d, r4d
 210     shl          r4d, 16
 211     sub          r4d, r6d
 212     add          r4d, 8
 213     imul         r5d, r4d         ; x*y<<16 | y*(8-x)
 214     shl          r4d, 3
 215     sub          r4d, r5d         ; x*(8-y)<<16 | (8-x)*(8-y)
 216
 217     movd          m5, r4d
 218     movd          m6, r5d
 219     punpckldq     m5, m5          ; mm5 = {A,B,A,B}
 220     punpckldq     m6, m6          ; mm6 = {C,D,C,D}
 221     pxor          m7, m7
 222     pshufw        m2, [r1], 0x94    ; mm0 = src[0,1,1,2]
 223
 224 .nextrow
 225     add           r1, r2
 226     movq          m1, m2
 227     pmaddwd       m1, m5          ; mm1 = A * src[0,1] + B * src[1,2]
 228     pshufw        m0, [r1], 0x94    ; mm0 = src[0,1,1,2]
 229     movq          m2, m0
 230     pmaddwd       m0, m6
 231     paddw         m1, [pw_32]
 232     paddw         m1, m0          ; mm1 += C * src[0,1] + D * src[1,2]
 233     psrlw         m1, 6
 234     packssdw      m1, m7
 235     CHROMAMC_AVG  m1, m3, [r0]
 236     movd        [r0], m1
 237     add           r0, r2
 238     dec          r3d
 239     jnz .nextrow
 240     REP_RET
 241 %endmacro
 242
 243 %macro NOTHING 2-3
 244 %endmacro
 245 %macro AVG 2-3
 246 %if %0==3
 247     movq          %2, %3
 248 %endif
 249     PAVG          %1, %2
 250 %endmacro
 251
 252 %define CHROMAMC_AVG  NOTHING
 253 INIT_XMM
 254 CHROMA_MC8 put, sse2
 255 %ifdef HAVE_AVX
 256 INIT_AVX
 257 CHROMA_MC8 put, avx
 258 %endif
 259 INIT_MMX
 260 CHROMA_MC4 put, mmxext
 261 CHROMA_MC2 put, mmxext
 262
 263 %define CHROMAMC_AVG  AVG
 264 %define PAVG          pavgw
 265 INIT_XMM
 266 CHROMA_MC8 avg, sse2
 267 %ifdef HAVE_AVX
 268 INIT_AVX
 269 CHROMA_MC8 avg, avx
 270 %endif
 271 INIT_MMX
 272 CHROMA_MC4 avg, mmxext
 273 CHROMA_MC2 avg, mmxext