git.sesse.net Git - ffmpeg/blob - libavcodec/x86/diracdsp_yasm.asm

   1 ;******************************************************************************
   2 ;* Copyright (c) 2010 David Conrad
   3 ;*
   4 ;* This file is part of FFmpeg.
   5 ;*
   6 ;* FFmpeg is free software; you can redistribute it and/or
   7 ;* modify it under the terms of the GNU Lesser General Public
   8 ;* License as published by the Free Software Foundation; either
   9 ;* version 2.1 of the License, or (at your option) any later version.
  10 ;*
  11 ;* FFmpeg is distributed in the hope that it will be useful,
  12 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14 ;* Lesser General Public License for more details.
  15 ;*
  16 ;* You should have received a copy of the GNU Lesser General Public
  17 ;* License along with FFmpeg; if not, write to the Free Software
  18 ;* 51, Inc., Foundation Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19 ;******************************************************************************
  20
  21 %include "x86inc.asm"
  22
  23 SECTION_RODATA
  24 pw_3: times 8 dw 3
  25 pw_7: times 8 dw 7
  26 pw_16: times 8 dw 16
  27 pw_32: times 8 dw 32
  28 pb_128: times 16 db 128
  29
  30 section .text
  31
  32 %macro UNPACK_ADD 6
  33     mov%5   %1, %3
  34     mov%6   m5, %4
  35     mova    m4, %1
  36     mova    %2, m5
  37     punpcklbw %1, m7
  38     punpcklbw m5, m7
  39     punpckhbw m4, m7
  40     punpckhbw %2, m7
  41     paddw   %1, m5
  42     paddw   %2, m4
  43 %endmacro
  44
  45 %macro HPEL_FILTER 1
  46 ; dirac_hpel_filter_v_sse2(uint8_t *dst, uint8_t *src, int stride, int width);
  47 cglobal dirac_hpel_filter_v_%1, 4,6,8, dst, src, stride, width, src0, stridex3
  48     mov     src0q, srcq
  49     lea     stridex3q, [3*strideq]
  50     sub     src0q, stridex3q
  51     pxor    m7, m7
  52 .loop:
  53     ; 7*(src[0] + src[1])
  54     UNPACK_ADD m0, m1, [srcq], [srcq + strideq], a,a
  55     pmullw  m0, [pw_7]
  56     pmullw  m1, [pw_7]
  57
  58     ; 3*( ... + src[-2] + src[3])
  59     UNPACK_ADD m2, m3, [src0q + strideq], [srcq + stridex3q], a,a
  60     paddw   m0, m2
  61     paddw   m1, m3
  62     pmullw  m0, [pw_3]
  63     pmullw  m1, [pw_3]
  64
  65     ; ... - 7*(src[-1] + src[2])
  66     UNPACK_ADD m2, m3, [src0q + strideq*2], [srcq + strideq*2], a,a
  67     pmullw  m2, [pw_7]
  68     pmullw  m3, [pw_7]
  69     psubw   m0, m2
  70     psubw   m1, m3
  71
  72     ; ... - (src[-3] + src[4])
  73     UNPACK_ADD m2, m3, [src0q], [srcq + strideq*4], a,a
  74     psubw   m0, m2
  75     psubw   m1, m3
  76
  77     paddw   m0, [pw_16]
  78     paddw   m1, [pw_16]
  79     psraw   m0, 5
  80     psraw   m1, 5
  81     packuswb m0, m1
  82     mova    [dstq], m0
  83     add     dstq, mmsize
  84     add     srcq, mmsize
  85     add     src0q, mmsize
  86     sub     widthd, mmsize
  87     jg      .loop
  88     RET
  89
  90 ; dirac_hpel_filter_h_sse2(uint8_t *dst, uint8_t *src, int width);
  91 cglobal dirac_hpel_filter_h_%1, 3,3,8, dst, src, width
  92     dec     widthd
  93     pxor    m7, m7
  94     and     widthd, ~(mmsize-1)
  95 .loop:
  96     ; 7*(src[0] + src[1])
  97     UNPACK_ADD m0, m1, [srcq + widthq], [srcq + widthq + 1], u,u
  98     pmullw  m0, [pw_7]
  99     pmullw  m1, [pw_7]
 100
 101     ; 3*( ... + src[-2] + src[3])
 102     UNPACK_ADD m2, m3, [srcq + widthq - 2], [srcq + widthq + 3], u,u
 103     paddw   m0, m2
 104     paddw   m1, m3
 105     pmullw  m0, [pw_3]
 106     pmullw  m1, [pw_3]
 107
 108     ; ... - 7*(src[-1] + src[2])
 109     UNPACK_ADD m2, m3, [srcq + widthq - 1], [srcq + widthq + 2], u,u
 110     pmullw  m2, [pw_7]
 111     pmullw  m3, [pw_7]
 112     psubw   m0, m2
 113     psubw   m1, m3
 114
 115     ; ... - (src[-3] + src[4])
 116     UNPACK_ADD m2, m3, [srcq + widthq - 3], [srcq + widthq + 4], u,u
 117     psubw   m0, m2
 118     psubw   m1, m3
 119
 120     paddw   m0, [pw_16]
 121     paddw   m1, [pw_16]
 122     psraw   m0, 5
 123     psraw   m1, 5
 124     packuswb m0, m1
 125     mova    [dstq + widthq], m0
 126     sub     widthd, mmsize
 127     jge     .loop
 128     RET
 129 %endmacro
 130
 131 %macro PUT_RECT 1
 132 ; void put_rect_clamped(uint8_t *dst, int dst_stride, int16_t *src, int src_stride, int width, int height)
 133 cglobal put_signed_rect_clamped_%1, 5,7,3, dst, dst_stride, src, src_stride, w, dst2, src2
 134     mova    m0, [pb_128]
 135     add     wd, (mmsize-1)
 136     and     wd, ~(mmsize-1)
 137
 138 %ifdef ARCH_X86_64
 139     mov   r10d, r5m
 140     mov   r11d, wd
 141     %define wspill r11d
 142     %define hd r10d
 143 %else
 144     mov    r4m, wd
 145     %define wspill r4m
 146     %define hd r5mp
 147 %endif
 148
 149 .loopy
 150     lea     src2q, [srcq+src_strideq*2]
 151     lea     dst2q, [dstq+dst_strideq]
 152 .loopx:
 153     sub      wd, mmsize
 154     mova     m1, [srcq +2*wq]
 155     mova     m2, [src2q+2*wq]
 156     packsswb m1, [srcq +2*wq+mmsize]
 157     packsswb m2, [src2q+2*wq+mmsize]
 158     paddb    m1, m0
 159     paddb    m2, m0
 160     mova    [dstq +wq], m1
 161     mova    [dst2q+wq], m2
 162     jg      .loopx
 163
 164     lea   srcq, [srcq+src_strideq*4]
 165     lea   dstq, [dstq+dst_strideq*2]
 166     sub     hd, 2
 167     mov     wd, wspill
 168     jg      .loopy
 169     RET
 170 %endm
 171
 172 %macro ADD_RECT 1
 173 ; void add_rect_clamped(uint8_t *dst, uint16_t *src, int stride, int16_t *idwt, int idwt_stride, int width, int height)
 174 cglobal add_rect_clamped_%1, 7,7,3, dst, src, stride, idwt, idwt_stride, w, h
 175     mova    m0, [pw_32]
 176     add     wd, (mmsize-1)
 177     and     wd, ~(mmsize-1)
 178
 179 %ifdef ARCH_X86_64
 180     mov   r11d, wd
 181     %define wspill r11d
 182 %else
 183     mov    r5m, wd
 184     %define wspill r5m
 185 %endif
 186
 187 .loop:
 188     sub     wd, mmsize
 189     movu    m1, [srcq +2*wq] ; FIXME: ensure alignment
 190     paddw   m1, m0
 191     psraw   m1, 6
 192     movu    m2, [srcq +2*wq+mmsize] ; FIXME: ensure alignment
 193     paddw   m2, m0
 194     psraw   m2, 6
 195     paddw   m1, [idwtq+2*wq]
 196     paddw   m2, [idwtq+2*wq+mmsize]
 197     packuswb m1, m2
 198     mova    [dstq +wq], m1
 199     jg      .loop
 200
 201     lea   srcq, [srcq + 2*strideq]
 202     add   dstq, strideq
 203     lea  idwtq, [idwtq+ 2*idwt_strideq]
 204     sub     hd, 1
 205     mov     wd, wspill
 206     jg      .loop
 207     RET
 208 %endm
 209
 210 %macro ADD_OBMC 2
 211 ; void add_obmc(uint16_t *dst, uint8_t *src, int stride, uint8_t *obmc_weight, int yblen)
 212 cglobal add_dirac_obmc%1_%2, 6,6,5, dst, src, stride, obmc, yblen
 213     pxor        m4, m4
 214 .loop:
 215 %assign i 0
 216 %rep %1 / mmsize
 217     mova        m0, [srcq+i]
 218     mova        m1, m0
 219     punpcklbw   m0, m4
 220     punpckhbw   m1, m4
 221     mova        m2, [obmcq+i]
 222     mova        m3, m2
 223    punpcklbw   m2, m4
 224     punpckhbw   m3, m4
 225     pmullw      m0, m2
 226     pmullw      m1, m3
 227     movu        m2, [dstq+2*i]
 228     movu        m3, [dstq+2*i+mmsize]
 229     paddw       m0, m2
 230     paddw       m1, m3
 231     movu        [dstq+2*i], m0
 232     movu        [dstq+2*i+mmsize], m1
 233 %assign i i+mmsize
 234 %endrep
 235     lea         srcq, [srcq+strideq]
 236     lea         dstq, [dstq+2*strideq]
 237     add         obmcq, 32
 238     sub         yblend, 1
 239     jg          .loop
 240     RET
 241 %endm
 242
 243 INIT_MMX
 244 %ifndef ARCH_X86_64
 245 PUT_RECT mmx
 246 ADD_RECT mmx
 247
 248 HPEL_FILTER mmx
 249 ADD_OBMC 32, mmx
 250 ADD_OBMC 16, mmx
 251 %endif
 252 ADD_OBMC 8, mmx
 253
 254 INIT_XMM
 255 PUT_RECT sse2
 256 ADD_RECT sse2
 257
 258 HPEL_FILTER sse2
 259 ADD_OBMC 32, sse2
 260 ADD_OBMC 16, sse2