git.sesse.net Git - ffmpeg/blob - libavfilter/x86/vf_w3fdif.asm

   1 ;*****************************************************************************
   2 ;* x86-optimized functions for w3fdif filter
   3 ;*
   4 ;* Copyright (c) 2015 Paul B Mahol
   5 ;*
   6 ;* This file is part of FFmpeg.
   7 ;*
   8 ;* FFmpeg is free software; you can redistribute it and/or
   9 ;* modify it under the terms of the GNU Lesser General Public
  10 ;* License as published by the Free Software Foundation; either
  11 ;* version 2.1 of the License, or (at your option) any later version.
  12 ;*
  13 ;* FFmpeg is distributed in the hope that it will be useful,
  14 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 ;* Lesser General Public License for more details.
  17 ;*
  18 ;* You should have received a copy of the GNU Lesser General Public
  19 ;* License along with FFmpeg; if not, write to the Free Software
  20 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21 ;******************************************************************************
  22
  23 %include "libavutil/x86/x86util.asm"
  24
  25 SECTION .text
  26
  27 INIT_XMM sse2
  28 cglobal w3fdif_scale, 3, 3, 2, 0, out_pixel, work_pixel, linesize
  29 .loop:
  30     mova                         m0, [work_pixelq]
  31     mova                         m1, [work_pixelq+mmsize]
  32     psrad                        m0, 15
  33     psrad                        m1, 15
  34     packssdw                     m0, m1
  35     packuswb                     m0, m0
  36     movh               [out_pixelq], m0
  37     add                  out_pixelq, mmsize/2
  38     add                 work_pixelq, mmsize*2
  39     sub                   linesized, mmsize/2
  40     jg .loop
  41 REP_RET
  42
  43 cglobal w3fdif_simple_low, 4, 5, 6, 0, work_line, in_lines_cur0, coef, linesize, offset
  44     movd                  m1, [coefq]
  45     DEFINE_ARGS    work_line, in_lines_cur0, in_lines_cur1, linesize, offset
  46     SPLATW                m0, m1, 0
  47     SPLATW                m1, m1, 1
  48     pxor                  m4, m4
  49     mov              offsetq, 0
  50     mov       in_lines_cur1q, [in_lines_cur0q + gprsize]
  51     mov       in_lines_cur0q, [in_lines_cur0q]
  52
  53 .loop:
  54     movh                                   m2, [in_lines_cur0q+offsetq]
  55     movh                                   m3, [in_lines_cur1q+offsetq]
  56     punpcklbw                              m2, m4
  57     punpcklbw                              m3, m4
  58     SBUTTERFLY                             wd, 2, 3, 5
  59     pmaddwd                                m2, m0
  60     pmaddwd                                m3, m1
  61     mova               [work_lineq+offsetq*4], m2
  62     mova        [work_lineq+offsetq*4+mmsize], m3
  63     add                               offsetq, mmsize/2
  64     sub                             linesized, mmsize/2
  65     jg .loop
  66 REP_RET
  67
  68 cglobal w3fdif_complex_low, 4, 7, 8, 0, work_line, in_lines_cur0, coef, linesize
  69     movq                  m0, [coefq]
  70     DEFINE_ARGS    work_line, in_lines_cur0, in_lines_cur1, linesize, offset, in_lines_cur2, in_lines_cur3
  71     pshufd                m2, m0, q1111
  72     SPLATD                m0
  73     pxor                  m1, m1
  74     mov              offsetq, 0
  75     mov       in_lines_cur3q, [in_lines_cur0q+gprsize*3]
  76     mov       in_lines_cur2q, [in_lines_cur0q+gprsize*2]
  77     mov       in_lines_cur1q, [in_lines_cur0q+gprsize]
  78     mov       in_lines_cur0q, [in_lines_cur0q]
  79
  80 .loop:
  81     movh                                   m4, [in_lines_cur0q+offsetq]
  82     movh                                   m5, [in_lines_cur1q+offsetq]
  83     punpcklbw                              m4, m1
  84     punpcklbw                              m5, m1
  85     SBUTTERFLY                             wd, 4, 5, 7
  86     pmaddwd                                m4, m0
  87     pmaddwd                                m5, m0
  88     movh                                   m6, [in_lines_cur2q+offsetq]
  89     movh                                   m3, [in_lines_cur3q+offsetq]
  90     punpcklbw                              m6, m1
  91     punpcklbw                              m3, m1
  92     SBUTTERFLY                             wd, 6, 3, 7
  93     pmaddwd                                m6, m2
  94     pmaddwd                                m3, m2
  95     paddd                                  m4, m6
  96     paddd                                  m5, m3
  97     mova               [work_lineq+offsetq*4], m4
  98     mova        [work_lineq+offsetq*4+mmsize], m5
  99     add                               offsetq, mmsize/2
 100     sub                             linesized, mmsize/2
 101     jg .loop
 102 REP_RET
 103
 104 %if ARCH_X86_64
 105
 106 cglobal w3fdif_simple_high, 5, 9, 8, 0, work_line, in_lines_cur0, in_lines_adj0, coef, linesize
 107     movq                  m2, [coefq]
 108     DEFINE_ARGS    work_line, in_lines_cur0, in_lines_adj0, in_lines_cur1, linesize, offset, in_lines_cur2, in_lines_adj1, in_lines_adj2
 109     pshufd                m0, m2, q0000
 110     SPLATW                m2, m2, 2
 111     pxor                  m7, m7
 112     mov              offsetq, 0
 113     mov       in_lines_cur2q, [in_lines_cur0q+gprsize*2]
 114     mov       in_lines_cur1q, [in_lines_cur0q+gprsize]
 115     mov       in_lines_cur0q, [in_lines_cur0q]
 116     mov       in_lines_adj2q, [in_lines_adj0q+gprsize*2]
 117     mov       in_lines_adj1q, [in_lines_adj0q+gprsize]
 118     mov       in_lines_adj0q, [in_lines_adj0q]
 119
 120 .loop:
 121     movh                                   m3, [in_lines_cur0q+offsetq]
 122     movh                                   m4, [in_lines_cur1q+offsetq]
 123     punpcklbw                              m3, m7
 124     punpcklbw                              m4, m7
 125     SBUTTERFLY                             wd, 3, 4, 1
 126     pmaddwd                                m3, m0
 127     pmaddwd                                m4, m0
 128     movh                                   m5, [in_lines_adj0q+offsetq]
 129     movh                                   m6, [in_lines_adj1q+offsetq]
 130     punpcklbw                              m5, m7
 131     punpcklbw                              m6, m7
 132     SBUTTERFLY                             wd, 5, 6, 1
 133     pmaddwd                                m5, m0
 134     pmaddwd                                m6, m0
 135     paddd                                  m3, m5
 136     paddd                                  m4, m6
 137     movh                                   m5, [in_lines_cur2q+offsetq]
 138     movh                                   m6, [in_lines_adj2q+offsetq]
 139     punpcklbw                              m5, m7
 140     punpcklbw                              m6, m7
 141     SBUTTERFLY                             wd, 5, 6, 1
 142     pmaddwd                                m5, m2
 143     pmaddwd                                m6, m2
 144     paddd                                  m3, m5
 145     paddd                                  m4, m6
 146     paddd                                  m3, [work_lineq+offsetq*4]
 147     paddd                                  m4, [work_lineq+offsetq*4+mmsize]
 148     mova               [work_lineq+offsetq*4], m3
 149     mova        [work_lineq+offsetq*4+mmsize], m4
 150     add                               offsetq, mmsize/2
 151     sub                             linesized, mmsize/2
 152     jg .loop
 153 REP_RET
 154
 155 cglobal w3fdif_complex_high, 5, 13, 10, 0, work_line, in_lines_cur0, in_lines_adj0, coef, linesize
 156     movq                  m0, [coefq+0]
 157     movd                  m4, [coefq+8]
 158     DEFINE_ARGS    work_line, in_lines_cur0, in_lines_adj0, in_lines_cur1, linesize, offset, in_lines_cur2, in_lines_cur3, in_lines_cur4, in_lines_adj1, in_lines_adj2, in_lines_adj3, in_lines_adj4
 159     pshufd                m1, m0, q1111
 160     SPLATD                m0
 161     SPLATW                m4, m4
 162     pxor                  m3, m3
 163     mov              offsetq, 0
 164     mov       in_lines_cur4q, [in_lines_cur0q+gprsize*4]
 165     mov       in_lines_cur3q, [in_lines_cur0q+gprsize*3]
 166     mov       in_lines_cur2q, [in_lines_cur0q+gprsize*2]
 167     mov       in_lines_cur1q, [in_lines_cur0q+gprsize]
 168     mov       in_lines_cur0q, [in_lines_cur0q]
 169     mov       in_lines_adj4q, [in_lines_adj0q+gprsize*4]
 170     mov       in_lines_adj3q, [in_lines_adj0q+gprsize*3]
 171     mov       in_lines_adj2q, [in_lines_adj0q+gprsize*2]
 172     mov       in_lines_adj1q, [in_lines_adj0q+gprsize]
 173     mov       in_lines_adj0q, [in_lines_adj0q]
 174
 175 .loop:
 176     movh                                   m5, [in_lines_cur0q+offsetq]
 177     movh                                   m6, [in_lines_cur1q+offsetq]
 178     punpcklbw                              m5, m3
 179     punpcklbw                              m6, m3
 180     SBUTTERFLY                             wd, 5, 6, 2
 181     pmaddwd                                m5, m0
 182     pmaddwd                                m6, m0
 183     movh                                   m8, [in_lines_cur2q+offsetq]
 184     movh                                   m9, [in_lines_cur3q+offsetq]
 185     punpcklbw                              m8, m3
 186     punpcklbw                              m9, m3
 187     SBUTTERFLY                             wd, 8, 9, 2
 188     pmaddwd                                m8, m1
 189     pmaddwd                                m9, m1
 190     paddd                                  m5, m8
 191     paddd                                  m6, m9
 192     movh                                   m8, [in_lines_adj0q+offsetq]
 193     movh                                   m9, [in_lines_adj1q+offsetq]
 194     punpcklbw                              m8, m3
 195     punpcklbw                              m9, m3
 196     SBUTTERFLY                             wd, 8, 9, 2
 197     pmaddwd                                m8, m0
 198     pmaddwd                                m9, m0
 199     paddd                                  m5, m8
 200     paddd                                  m6, m9
 201     movh                                   m8, [in_lines_adj2q+offsetq]
 202     movh                                   m9, [in_lines_adj3q+offsetq]
 203     punpcklbw                              m8, m3
 204     punpcklbw                              m9, m3
 205     SBUTTERFLY                             wd, 8, 9, 2
 206     pmaddwd                                m8, m1
 207     pmaddwd                                m9, m1
 208     paddd                                  m5, m8
 209     paddd                                  m6, m9
 210     movh                                   m8, [in_lines_cur4q+offsetq]
 211     movh                                   m9, [in_lines_adj4q+offsetq]
 212     punpcklbw                              m8, m3
 213     punpcklbw                              m9, m3
 214     SBUTTERFLY                             wd, 8, 9, 2
 215     pmaddwd                                m8, m4
 216     pmaddwd                                m9, m4
 217     paddd                                  m5, m8
 218     paddd                                  m6, m9
 219     paddd                                  m5, [work_lineq+offsetq*4]
 220     paddd                                  m6, [work_lineq+offsetq*4+mmsize]
 221     mova               [work_lineq+offsetq*4], m5
 222     mova        [work_lineq+offsetq*4+mmsize], m6
 223     add                               offsetq, mmsize/2
 224     sub                             linesized, mmsize/2
 225     jg .loop
 226 REP_RET
 227
 228 %endif