]> git.sesse.net Git - ffmpeg/blob - libavcodec/hevcdsp_template.c
x86/jpeg2000dsp: add ff_ict_float_{fma3,fma4}
[ffmpeg] / libavcodec / hevcdsp_template.c
1 /*
2  * HEVC video decoder
3  *
4  * Copyright (C) 2012 - 2013 Guillaume Martres
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #include "get_bits.h"
24 #include "hevcdec.h"
25
26 #include "bit_depth_template.c"
27 #include "hevcdsp.h"
28
29 static void FUNC(put_pcm)(uint8_t *_dst, ptrdiff_t stride, int width, int height,
30                           GetBitContext *gb, int pcm_bit_depth)
31 {
32     int x, y;
33     pixel *dst = (pixel *)_dst;
34
35     stride /= sizeof(pixel);
36
37     for (y = 0; y < height; y++) {
38         for (x = 0; x < width; x++)
39             dst[x] = get_bits(gb, pcm_bit_depth) << (BIT_DEPTH - pcm_bit_depth);
40         dst += stride;
41     }
42 }
43
44 static av_always_inline void FUNC(add_residual)(uint8_t *_dst, int16_t *res,
45                                                 ptrdiff_t stride, int size)
46 {
47     int x, y;
48     pixel *dst = (pixel *)_dst;
49
50     stride /= sizeof(pixel);
51
52     for (y = 0; y < size; y++) {
53         for (x = 0; x < size; x++) {
54             dst[x] = av_clip_pixel(dst[x] + *res);
55             res++;
56         }
57         dst += stride;
58     }
59 }
60
61 static void FUNC(add_residual4x4)(uint8_t *_dst, int16_t *res,
62                                   ptrdiff_t stride)
63 {
64     FUNC(add_residual)(_dst, res, stride, 4);
65 }
66
67 static void FUNC(add_residual8x8)(uint8_t *_dst, int16_t *res,
68                                   ptrdiff_t stride)
69 {
70     FUNC(add_residual)(_dst, res, stride, 8);
71 }
72
73 static void FUNC(add_residual16x16)(uint8_t *_dst, int16_t *res,
74                                     ptrdiff_t stride)
75 {
76     FUNC(add_residual)(_dst, res, stride, 16);
77 }
78
79 static void FUNC(add_residual32x32)(uint8_t *_dst, int16_t *res,
80                                     ptrdiff_t stride)
81 {
82     FUNC(add_residual)(_dst, res, stride, 32);
83 }
84
85 static void FUNC(transform_rdpcm)(int16_t *_coeffs, int16_t log2_size, int mode)
86 {
87     int16_t *coeffs = (int16_t *) _coeffs;
88     int x, y;
89     int size = 1 << log2_size;
90
91     if (mode) {
92         coeffs += size;
93         for (y = 0; y < size - 1; y++) {
94             for (x = 0; x < size; x++)
95                 coeffs[x] += coeffs[x - size];
96             coeffs += size;
97         }
98     } else {
99         for (y = 0; y < size; y++) {
100             for (x = 1; x < size; x++)
101                 coeffs[x] += coeffs[x - 1];
102             coeffs += size;
103         }
104     }
105 }
106
107 static void FUNC(dequant)(int16_t *coeffs, int16_t log2_size)
108 {
109     int shift  = 15 - BIT_DEPTH - log2_size;
110     int x, y;
111     int size = 1 << log2_size;
112
113     if (shift > 0) {
114         int offset = 1 << (shift - 1);
115         for (y = 0; y < size; y++) {
116             for (x = 0; x < size; x++) {
117                 *coeffs = (*coeffs + offset) >> shift;
118                 coeffs++;
119             }
120         }
121     } else {
122         for (y = 0; y < size; y++) {
123             for (x = 0; x < size; x++) {
124                 *coeffs = *coeffs << -shift;
125                 coeffs++;
126             }
127         }
128     }
129 }
130
131 #define SET(dst, x)   (dst) = (x)
132 #define SCALE(dst, x) (dst) = av_clip_int16(((x) + add) >> shift)
133
134 #define TR_4x4_LUMA(dst, src, step, assign)                             \
135     do {                                                                \
136         int c0 = src[0 * step] + src[2 * step];                         \
137         int c1 = src[2 * step] + src[3 * step];                         \
138         int c2 = src[0 * step] - src[3 * step];                         \
139         int c3 = 74 * src[1 * step];                                    \
140                                                                         \
141         assign(dst[2 * step], 74 * (src[0 * step] -                     \
142                                     src[2 * step] +                     \
143                                     src[3 * step]));                    \
144         assign(dst[0 * step], 29 * c0 + 55 * c1 + c3);                  \
145         assign(dst[1 * step], 55 * c2 - 29 * c1 + c3);                  \
146         assign(dst[3 * step], 55 * c0 + 29 * c2 - c3);                  \
147     } while (0)
148
149 static void FUNC(transform_4x4_luma)(int16_t *coeffs)
150 {
151     int i;
152     int shift    = 7;
153     int add      = 1 << (shift - 1);
154     int16_t *src = coeffs;
155
156     for (i = 0; i < 4; i++) {
157         TR_4x4_LUMA(src, src, 4, SCALE);
158         src++;
159     }
160
161     shift = 20 - BIT_DEPTH;
162     add   = 1 << (shift - 1);
163     for (i = 0; i < 4; i++) {
164         TR_4x4_LUMA(coeffs, coeffs, 1, SCALE);
165         coeffs += 4;
166     }
167 }
168
169 #undef TR_4x4_LUMA
170
171 #define TR_4(dst, src, dstep, sstep, assign, end)                 \
172     do {                                                          \
173         const int e0 = 64 * src[0 * sstep] + 64 * src[2 * sstep]; \
174         const int e1 = 64 * src[0 * sstep] - 64 * src[2 * sstep]; \
175         const int o0 = 83 * src[1 * sstep] + 36 * src[3 * sstep]; \
176         const int o1 = 36 * src[1 * sstep] - 83 * src[3 * sstep]; \
177                                                                   \
178         assign(dst[0 * dstep], e0 + o0);                          \
179         assign(dst[1 * dstep], e1 + o1);                          \
180         assign(dst[2 * dstep], e1 - o1);                          \
181         assign(dst[3 * dstep], e0 - o0);                          \
182     } while (0)
183
184 #define TR_8(dst, src, dstep, sstep, assign, end)                 \
185     do {                                                          \
186         int i, j;                                                 \
187         int e_8[4];                                               \
188         int o_8[4] = { 0 };                                       \
189         for (i = 0; i < 4; i++)                                   \
190             for (j = 1; j < end; j += 2)                          \
191                 o_8[i] += transform[4 * j][i] * src[j * sstep];   \
192         TR_4(e_8, src, 1, 2 * sstep, SET, 4);                     \
193                                                                   \
194         for (i = 0; i < 4; i++) {                                 \
195             assign(dst[i * dstep], e_8[i] + o_8[i]);              \
196             assign(dst[(7 - i) * dstep], e_8[i] - o_8[i]);        \
197         }                                                         \
198     } while (0)
199
200 #define TR_16(dst, src, dstep, sstep, assign, end)                \
201     do {                                                          \
202         int i, j;                                                 \
203         int e_16[8];                                              \
204         int o_16[8] = { 0 };                                      \
205         for (i = 0; i < 8; i++)                                   \
206             for (j = 1; j < end; j += 2)                          \
207                 o_16[i] += transform[2 * j][i] * src[j * sstep];  \
208         TR_8(e_16, src, 1, 2 * sstep, SET, 8);                    \
209                                                                   \
210         for (i = 0; i < 8; i++) {                                 \
211             assign(dst[i * dstep], e_16[i] + o_16[i]);            \
212             assign(dst[(15 - i) * dstep], e_16[i] - o_16[i]);     \
213         }                                                         \
214     } while (0)
215
216 #define TR_32(dst, src, dstep, sstep, assign, end)                \
217     do {                                                          \
218         int i, j;                                                 \
219         int e_32[16];                                             \
220         int o_32[16] = { 0 };                                     \
221         for (i = 0; i < 16; i++)                                  \
222             for (j = 1; j < end; j += 2)                          \
223                 o_32[i] += transform[j][i] * src[j * sstep];      \
224         TR_16(e_32, src, 1, 2 * sstep, SET, end / 2);             \
225                                                                   \
226         for (i = 0; i < 16; i++) {                                \
227             assign(dst[i * dstep], e_32[i] + o_32[i]);            \
228             assign(dst[(31 - i) * dstep], e_32[i] - o_32[i]);     \
229         }                                                         \
230     } while (0)
231
232 #define IDCT_VAR4(H)                                              \
233     int limit2 = FFMIN(col_limit + 4, H)
234 #define IDCT_VAR8(H)                                              \
235     int limit  = FFMIN(col_limit, H);                             \
236     int limit2 = FFMIN(col_limit + 4, H)
237 #define IDCT_VAR16(H)   IDCT_VAR8(H)
238 #define IDCT_VAR32(H)   IDCT_VAR8(H)
239
240 #define IDCT(H)                                                   \
241 static void FUNC(idct_ ## H ## x ## H )(int16_t *coeffs,          \
242                                         int col_limit)            \
243 {                                                                 \
244     int i;                                                        \
245     int      shift = 7;                                           \
246     int      add   = 1 << (shift - 1);                            \
247     int16_t *src   = coeffs;                                      \
248     IDCT_VAR ## H(H);                                             \
249                                                                   \
250     for (i = 0; i < H; i++) {                                     \
251         TR_ ## H(src, src, H, H, SCALE, limit2);                  \
252         if (limit2 < H && i%4 == 0 && !!i)                        \
253             limit2 -= 4;                                          \
254         src++;                                                    \
255     }                                                             \
256                                                                   \
257     shift = 20 - BIT_DEPTH;                                       \
258     add   = 1 << (shift - 1);                                     \
259     for (i = 0; i < H; i++) {                                     \
260         TR_ ## H(coeffs, coeffs, 1, 1, SCALE, limit);             \
261         coeffs += H;                                              \
262     }                                                             \
263 }
264
265 #define IDCT_DC(H)                                                \
266 static void FUNC(idct_ ## H ## x ## H ## _dc)(int16_t *coeffs)    \
267 {                                                                 \
268     int i, j;                                                     \
269     int shift = 14 - BIT_DEPTH;                                   \
270     int add   = 1 << (shift - 1);                                 \
271     int coeff = (((coeffs[0] + 1) >> 1) + add) >> shift;          \
272                                                                   \
273     for (j = 0; j < H; j++) {                                     \
274         for (i = 0; i < H; i++) {                                 \
275             coeffs[i + j * H] = coeff;                            \
276         }                                                         \
277     }                                                             \
278 }
279
280 IDCT( 4)
281 IDCT( 8)
282 IDCT(16)
283 IDCT(32)
284
285 IDCT_DC( 4)
286 IDCT_DC( 8)
287 IDCT_DC(16)
288 IDCT_DC(32)
289
290 #undef TR_4
291 #undef TR_8
292 #undef TR_16
293 #undef TR_32
294
295 #undef SET
296 #undef SCALE
297
298 static void FUNC(sao_band_filter)(uint8_t *_dst, uint8_t *_src,
299                                   ptrdiff_t stride_dst, ptrdiff_t stride_src,
300                                   int16_t *sao_offset_val, int sao_left_class,
301                                   int width, int height)
302 {
303     pixel *dst = (pixel *)_dst;
304     pixel *src = (pixel *)_src;
305     int offset_table[32] = { 0 };
306     int k, y, x;
307     int shift  = BIT_DEPTH - 5;
308
309     stride_dst /= sizeof(pixel);
310     stride_src /= sizeof(pixel);
311
312     for (k = 0; k < 4; k++)
313         offset_table[(k + sao_left_class) & 31] = sao_offset_val[k + 1];
314     for (y = 0; y < height; y++) {
315         for (x = 0; x < width; x++)
316             dst[x] = av_clip_pixel(src[x] + offset_table[src[x] >> shift]);
317         dst += stride_dst;
318         src += stride_src;
319     }
320 }
321
322 #define CMP(a, b) (((a) > (b)) - ((a) < (b)))
323
324 static void FUNC(sao_edge_filter)(uint8_t *_dst, uint8_t *_src, ptrdiff_t stride_dst, int16_t *sao_offset_val,
325                                   int eo, int width, int height) {
326
327     static const uint8_t edge_idx[] = { 1, 2, 0, 3, 4 };
328     static const int8_t pos[4][2][2] = {
329         { { -1,  0 }, {  1, 0 } }, // horizontal
330         { {  0, -1 }, {  0, 1 } }, // vertical
331         { { -1, -1 }, {  1, 1 } }, // 45 degree
332         { {  1, -1 }, { -1, 1 } }, // 135 degree
333     };
334     pixel *dst = (pixel *)_dst;
335     pixel *src = (pixel *)_src;
336     int a_stride, b_stride;
337     int x, y;
338     ptrdiff_t stride_src = (2*MAX_PB_SIZE + AV_INPUT_BUFFER_PADDING_SIZE) / sizeof(pixel);
339     stride_dst /= sizeof(pixel);
340
341     a_stride = pos[eo][0][0] + pos[eo][0][1] * stride_src;
342     b_stride = pos[eo][1][0] + pos[eo][1][1] * stride_src;
343     for (y = 0; y < height; y++) {
344         for (x = 0; x < width; x++) {
345             int diff0 = CMP(src[x], src[x + a_stride]);
346             int diff1 = CMP(src[x], src[x + b_stride]);
347             int offset_val        = edge_idx[2 + diff0 + diff1];
348             dst[x] = av_clip_pixel(src[x] + sao_offset_val[offset_val]);
349         }
350         src += stride_src;
351         dst += stride_dst;
352     }
353 }
354
355 static void FUNC(sao_edge_restore_0)(uint8_t *_dst, uint8_t *_src,
356                                     ptrdiff_t stride_dst, ptrdiff_t stride_src, SAOParams *sao,
357                                     int *borders, int _width, int _height,
358                                     int c_idx, uint8_t *vert_edge,
359                                     uint8_t *horiz_edge, uint8_t *diag_edge)
360 {
361     int x, y;
362     pixel *dst = (pixel *)_dst;
363     pixel *src = (pixel *)_src;
364     int16_t *sao_offset_val = sao->offset_val[c_idx];
365     int sao_eo_class    = sao->eo_class[c_idx];
366     int init_x = 0, width = _width, height = _height;
367
368     stride_dst /= sizeof(pixel);
369     stride_src /= sizeof(pixel);
370
371     if (sao_eo_class != SAO_EO_VERT) {
372         if (borders[0]) {
373             int offset_val = sao_offset_val[0];
374             for (y = 0; y < height; y++) {
375                 dst[y * stride_dst] = av_clip_pixel(src[y * stride_src] + offset_val);
376             }
377             init_x = 1;
378         }
379         if (borders[2]) {
380             int offset_val = sao_offset_val[0];
381             int offset     = width - 1;
382             for (x = 0; x < height; x++) {
383                 dst[x * stride_dst + offset] = av_clip_pixel(src[x * stride_src + offset] + offset_val);
384             }
385             width--;
386         }
387     }
388     if (sao_eo_class != SAO_EO_HORIZ) {
389         if (borders[1]) {
390             int offset_val = sao_offset_val[0];
391             for (x = init_x; x < width; x++)
392                 dst[x] = av_clip_pixel(src[x] + offset_val);
393         }
394         if (borders[3]) {
395             int offset_val   = sao_offset_val[0];
396             ptrdiff_t y_stride_dst = stride_dst * (height - 1);
397             ptrdiff_t y_stride_src = stride_src * (height - 1);
398             for (x = init_x; x < width; x++)
399                 dst[x + y_stride_dst] = av_clip_pixel(src[x + y_stride_src] + offset_val);
400             height--;
401         }
402     }
403 }
404
405 static void FUNC(sao_edge_restore_1)(uint8_t *_dst, uint8_t *_src,
406                                     ptrdiff_t stride_dst, ptrdiff_t stride_src, SAOParams *sao,
407                                     int *borders, int _width, int _height,
408                                     int c_idx, uint8_t *vert_edge,
409                                     uint8_t *horiz_edge, uint8_t *diag_edge)
410 {
411     int x, y;
412     pixel *dst = (pixel *)_dst;
413     pixel *src = (pixel *)_src;
414     int16_t *sao_offset_val = sao->offset_val[c_idx];
415     int sao_eo_class    = sao->eo_class[c_idx];
416     int init_x = 0, init_y = 0, width = _width, height = _height;
417
418     stride_dst /= sizeof(pixel);
419     stride_src /= sizeof(pixel);
420
421     if (sao_eo_class != SAO_EO_VERT) {
422         if (borders[0]) {
423             int offset_val = sao_offset_val[0];
424             for (y = 0; y < height; y++) {
425                 dst[y * stride_dst] = av_clip_pixel(src[y * stride_src] + offset_val);
426             }
427             init_x = 1;
428         }
429         if (borders[2]) {
430             int offset_val = sao_offset_val[0];
431             int offset     = width - 1;
432             for (x = 0; x < height; x++) {
433                 dst[x * stride_dst + offset] = av_clip_pixel(src[x * stride_src + offset] + offset_val);
434             }
435             width--;
436         }
437     }
438     if (sao_eo_class != SAO_EO_HORIZ) {
439         if (borders[1]) {
440             int offset_val = sao_offset_val[0];
441             for (x = init_x; x < width; x++)
442                 dst[x] = av_clip_pixel(src[x] + offset_val);
443             init_y = 1;
444         }
445         if (borders[3]) {
446             int offset_val   = sao_offset_val[0];
447             ptrdiff_t y_stride_dst = stride_dst * (height - 1);
448             ptrdiff_t y_stride_src = stride_src * (height - 1);
449             for (x = init_x; x < width; x++)
450                 dst[x + y_stride_dst] = av_clip_pixel(src[x + y_stride_src] + offset_val);
451             height--;
452         }
453     }
454
455     {
456         int save_upper_left  = !diag_edge[0] && sao_eo_class == SAO_EO_135D && !borders[0] && !borders[1];
457         int save_upper_right = !diag_edge[1] && sao_eo_class == SAO_EO_45D  && !borders[1] && !borders[2];
458         int save_lower_right = !diag_edge[2] && sao_eo_class == SAO_EO_135D && !borders[2] && !borders[3];
459         int save_lower_left  = !diag_edge[3] && sao_eo_class == SAO_EO_45D  && !borders[0] && !borders[3];
460
461         // Restore pixels that can't be modified
462         if(vert_edge[0] && sao_eo_class != SAO_EO_VERT) {
463             for(y = init_y+save_upper_left; y< height-save_lower_left; y++)
464                 dst[y*stride_dst] = src[y*stride_src];
465         }
466         if(vert_edge[1] && sao_eo_class != SAO_EO_VERT) {
467             for(y = init_y+save_upper_right; y< height-save_lower_right; y++)
468                 dst[y*stride_dst+width-1] = src[y*stride_src+width-1];
469         }
470
471         if(horiz_edge[0] && sao_eo_class != SAO_EO_HORIZ) {
472             for(x = init_x+save_upper_left; x < width-save_upper_right; x++)
473                 dst[x] = src[x];
474         }
475         if(horiz_edge[1] && sao_eo_class != SAO_EO_HORIZ) {
476             for(x = init_x+save_lower_left; x < width-save_lower_right; x++)
477                 dst[(height-1)*stride_dst+x] = src[(height-1)*stride_src+x];
478         }
479         if(diag_edge[0] && sao_eo_class == SAO_EO_135D)
480             dst[0] = src[0];
481         if(diag_edge[1] && sao_eo_class == SAO_EO_45D)
482             dst[width-1] = src[width-1];
483         if(diag_edge[2] && sao_eo_class == SAO_EO_135D)
484             dst[stride_dst*(height-1)+width-1] = src[stride_src*(height-1)+width-1];
485         if(diag_edge[3] && sao_eo_class == SAO_EO_45D)
486             dst[stride_dst*(height-1)] = src[stride_src*(height-1)];
487
488     }
489 }
490
491 #undef CMP
492
493 ////////////////////////////////////////////////////////////////////////////////
494 //
495 ////////////////////////////////////////////////////////////////////////////////
496 static void FUNC(put_hevc_pel_pixels)(int16_t *dst,
497                                       uint8_t *_src, ptrdiff_t _srcstride,
498                                       int height, intptr_t mx, intptr_t my, int width)
499 {
500     int x, y;
501     pixel *src          = (pixel *)_src;
502     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
503
504     for (y = 0; y < height; y++) {
505         for (x = 0; x < width; x++)
506             dst[x] = src[x] << (14 - BIT_DEPTH);
507         src += srcstride;
508         dst += MAX_PB_SIZE;
509     }
510 }
511
512 static void FUNC(put_hevc_pel_uni_pixels)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
513                                           int height, intptr_t mx, intptr_t my, int width)
514 {
515     int y;
516     pixel *src          = (pixel *)_src;
517     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
518     pixel *dst          = (pixel *)_dst;
519     ptrdiff_t dststride = _dststride / sizeof(pixel);
520
521     for (y = 0; y < height; y++) {
522         memcpy(dst, src, width * sizeof(pixel));
523         src += srcstride;
524         dst += dststride;
525     }
526 }
527
528 static void FUNC(put_hevc_pel_bi_pixels)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
529                                          int16_t *src2,
530                                          int height, intptr_t mx, intptr_t my, int width)
531 {
532     int x, y;
533     pixel *src          = (pixel *)_src;
534     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
535     pixel *dst          = (pixel *)_dst;
536     ptrdiff_t dststride = _dststride / sizeof(pixel);
537
538     int shift = 14  + 1 - BIT_DEPTH;
539 #if BIT_DEPTH < 14
540     int offset = 1 << (shift - 1);
541 #else
542     int offset = 0;
543 #endif
544
545     for (y = 0; y < height; y++) {
546         for (x = 0; x < width; x++)
547             dst[x] = av_clip_pixel(((src[x] << (14 - BIT_DEPTH)) + src2[x] + offset) >> shift);
548         src  += srcstride;
549         dst  += dststride;
550         src2 += MAX_PB_SIZE;
551     }
552 }
553
554 static void FUNC(put_hevc_pel_uni_w_pixels)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
555                                             int height, int denom, int wx, int ox, intptr_t mx, intptr_t my, int width)
556 {
557     int x, y;
558     pixel *src          = (pixel *)_src;
559     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
560     pixel *dst          = (pixel *)_dst;
561     ptrdiff_t dststride = _dststride / sizeof(pixel);
562     int shift = denom + 14 - BIT_DEPTH;
563 #if BIT_DEPTH < 14
564     int offset = 1 << (shift - 1);
565 #else
566     int offset = 0;
567 #endif
568
569     ox     = ox * (1 << (BIT_DEPTH - 8));
570     for (y = 0; y < height; y++) {
571         for (x = 0; x < width; x++)
572             dst[x] = av_clip_pixel((((src[x] << (14 - BIT_DEPTH)) * wx + offset) >> shift) + ox);
573         src += srcstride;
574         dst += dststride;
575     }
576 }
577
578 static void FUNC(put_hevc_pel_bi_w_pixels)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
579                                            int16_t *src2,
580                                            int height, int denom, int wx0, int wx1,
581                                            int ox0, int ox1, intptr_t mx, intptr_t my, int width)
582 {
583     int x, y;
584     pixel *src          = (pixel *)_src;
585     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
586     pixel *dst          = (pixel *)_dst;
587     ptrdiff_t dststride = _dststride / sizeof(pixel);
588
589     int shift = 14  + 1 - BIT_DEPTH;
590     int log2Wd = denom + shift - 1;
591
592     ox0     = ox0 * (1 << (BIT_DEPTH - 8));
593     ox1     = ox1 * (1 << (BIT_DEPTH - 8));
594     for (y = 0; y < height; y++) {
595         for (x = 0; x < width; x++) {
596             dst[x] = av_clip_pixel(( (src[x] << (14 - BIT_DEPTH)) * wx1 + src2[x] * wx0 + (ox0 + ox1 + 1) * (1 << log2Wd)) >> (log2Wd + 1));
597         }
598         src  += srcstride;
599         dst  += dststride;
600         src2 += MAX_PB_SIZE;
601     }
602 }
603
604 ////////////////////////////////////////////////////////////////////////////////
605 //
606 ////////////////////////////////////////////////////////////////////////////////
607 #define QPEL_FILTER(src, stride)                                               \
608     (filter[0] * src[x - 3 * stride] +                                         \
609      filter[1] * src[x - 2 * stride] +                                         \
610      filter[2] * src[x -     stride] +                                         \
611      filter[3] * src[x             ] +                                         \
612      filter[4] * src[x +     stride] +                                         \
613      filter[5] * src[x + 2 * stride] +                                         \
614      filter[6] * src[x + 3 * stride] +                                         \
615      filter[7] * src[x + 4 * stride])
616
617 static void FUNC(put_hevc_qpel_h)(int16_t *dst,
618                                   uint8_t *_src, ptrdiff_t _srcstride,
619                                   int height, intptr_t mx, intptr_t my, int width)
620 {
621     int x, y;
622     pixel        *src       = (pixel*)_src;
623     ptrdiff_t     srcstride = _srcstride / sizeof(pixel);
624     const int8_t *filter    = ff_hevc_qpel_filters[mx - 1];
625     for (y = 0; y < height; y++) {
626         for (x = 0; x < width; x++)
627             dst[x] = QPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
628         src += srcstride;
629         dst += MAX_PB_SIZE;
630     }
631 }
632
633 static void FUNC(put_hevc_qpel_v)(int16_t *dst,
634                                   uint8_t *_src, ptrdiff_t _srcstride,
635                                   int height, intptr_t mx, intptr_t my, int width)
636 {
637     int x, y;
638     pixel        *src       = (pixel*)_src;
639     ptrdiff_t     srcstride = _srcstride / sizeof(pixel);
640     const int8_t *filter    = ff_hevc_qpel_filters[my - 1];
641     for (y = 0; y < height; y++)  {
642         for (x = 0; x < width; x++)
643             dst[x] = QPEL_FILTER(src, srcstride) >> (BIT_DEPTH - 8);
644         src += srcstride;
645         dst += MAX_PB_SIZE;
646     }
647 }
648
649 static void FUNC(put_hevc_qpel_hv)(int16_t *dst,
650                                    uint8_t *_src,
651                                    ptrdiff_t _srcstride,
652                                    int height, intptr_t mx,
653                                    intptr_t my, int width)
654 {
655     int x, y;
656     const int8_t *filter;
657     pixel *src = (pixel*)_src;
658     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
659     int16_t tmp_array[(MAX_PB_SIZE + QPEL_EXTRA) * MAX_PB_SIZE];
660     int16_t *tmp = tmp_array;
661
662     src   -= QPEL_EXTRA_BEFORE * srcstride;
663     filter = ff_hevc_qpel_filters[mx - 1];
664     for (y = 0; y < height + QPEL_EXTRA; y++) {
665         for (x = 0; x < width; x++)
666             tmp[x] = QPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
667         src += srcstride;
668         tmp += MAX_PB_SIZE;
669     }
670
671     tmp    = tmp_array + QPEL_EXTRA_BEFORE * MAX_PB_SIZE;
672     filter = ff_hevc_qpel_filters[my - 1];
673     for (y = 0; y < height; y++) {
674         for (x = 0; x < width; x++)
675             dst[x] = QPEL_FILTER(tmp, MAX_PB_SIZE) >> 6;
676         tmp += MAX_PB_SIZE;
677         dst += MAX_PB_SIZE;
678     }
679 }
680
681 static void FUNC(put_hevc_qpel_uni_h)(uint8_t *_dst,  ptrdiff_t _dststride,
682                                       uint8_t *_src, ptrdiff_t _srcstride,
683                                       int height, intptr_t mx, intptr_t my, int width)
684 {
685     int x, y;
686     pixel        *src       = (pixel*)_src;
687     ptrdiff_t     srcstride = _srcstride / sizeof(pixel);
688     pixel *dst          = (pixel *)_dst;
689     ptrdiff_t dststride = _dststride / sizeof(pixel);
690     const int8_t *filter    = ff_hevc_qpel_filters[mx - 1];
691     int shift = 14 - BIT_DEPTH;
692
693 #if BIT_DEPTH < 14
694     int offset = 1 << (shift - 1);
695 #else
696     int offset = 0;
697 #endif
698
699     for (y = 0; y < height; y++) {
700         for (x = 0; x < width; x++)
701             dst[x] = av_clip_pixel(((QPEL_FILTER(src, 1) >> (BIT_DEPTH - 8)) + offset) >> shift);
702         src += srcstride;
703         dst += dststride;
704     }
705 }
706
707 static void FUNC(put_hevc_qpel_bi_h)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
708                                      int16_t *src2,
709                                      int height, intptr_t mx, intptr_t my, int width)
710 {
711     int x, y;
712     pixel        *src       = (pixel*)_src;
713     ptrdiff_t     srcstride = _srcstride / sizeof(pixel);
714     pixel *dst          = (pixel *)_dst;
715     ptrdiff_t dststride = _dststride / sizeof(pixel);
716
717     const int8_t *filter    = ff_hevc_qpel_filters[mx - 1];
718
719     int shift = 14  + 1 - BIT_DEPTH;
720 #if BIT_DEPTH < 14
721     int offset = 1 << (shift - 1);
722 #else
723     int offset = 0;
724 #endif
725
726     for (y = 0; y < height; y++) {
727         for (x = 0; x < width; x++)
728             dst[x] = av_clip_pixel(((QPEL_FILTER(src, 1) >> (BIT_DEPTH - 8)) + src2[x] + offset) >> shift);
729         src  += srcstride;
730         dst  += dststride;
731         src2 += MAX_PB_SIZE;
732     }
733 }
734
735 static void FUNC(put_hevc_qpel_uni_v)(uint8_t *_dst,  ptrdiff_t _dststride,
736                                      uint8_t *_src, ptrdiff_t _srcstride,
737                                      int height, intptr_t mx, intptr_t my, int width)
738 {
739     int x, y;
740     pixel        *src       = (pixel*)_src;
741     ptrdiff_t     srcstride = _srcstride / sizeof(pixel);
742     pixel *dst          = (pixel *)_dst;
743     ptrdiff_t dststride = _dststride / sizeof(pixel);
744     const int8_t *filter    = ff_hevc_qpel_filters[my - 1];
745     int shift = 14 - BIT_DEPTH;
746
747 #if BIT_DEPTH < 14
748     int offset = 1 << (shift - 1);
749 #else
750     int offset = 0;
751 #endif
752
753     for (y = 0; y < height; y++) {
754         for (x = 0; x < width; x++)
755             dst[x] = av_clip_pixel(((QPEL_FILTER(src, srcstride) >> (BIT_DEPTH - 8)) + offset) >> shift);
756         src += srcstride;
757         dst += dststride;
758     }
759 }
760
761
762 static void FUNC(put_hevc_qpel_bi_v)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
763                                      int16_t *src2,
764                                      int height, intptr_t mx, intptr_t my, int width)
765 {
766     int x, y;
767     pixel        *src       = (pixel*)_src;
768     ptrdiff_t     srcstride = _srcstride / sizeof(pixel);
769     pixel *dst          = (pixel *)_dst;
770     ptrdiff_t dststride = _dststride / sizeof(pixel);
771
772     const int8_t *filter    = ff_hevc_qpel_filters[my - 1];
773
774     int shift = 14 + 1 - BIT_DEPTH;
775 #if BIT_DEPTH < 14
776     int offset = 1 << (shift - 1);
777 #else
778     int offset = 0;
779 #endif
780
781     for (y = 0; y < height; y++) {
782         for (x = 0; x < width; x++)
783             dst[x] = av_clip_pixel(((QPEL_FILTER(src, srcstride) >> (BIT_DEPTH - 8)) + src2[x] + offset) >> shift);
784         src  += srcstride;
785         dst  += dststride;
786         src2 += MAX_PB_SIZE;
787     }
788 }
789
790 static void FUNC(put_hevc_qpel_uni_hv)(uint8_t *_dst,  ptrdiff_t _dststride,
791                                        uint8_t *_src, ptrdiff_t _srcstride,
792                                        int height, intptr_t mx, intptr_t my, int width)
793 {
794     int x, y;
795     const int8_t *filter;
796     pixel *src = (pixel*)_src;
797     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
798     pixel *dst          = (pixel *)_dst;
799     ptrdiff_t dststride = _dststride / sizeof(pixel);
800     int16_t tmp_array[(MAX_PB_SIZE + QPEL_EXTRA) * MAX_PB_SIZE];
801     int16_t *tmp = tmp_array;
802     int shift =  14 - BIT_DEPTH;
803
804 #if BIT_DEPTH < 14
805     int offset = 1 << (shift - 1);
806 #else
807     int offset = 0;
808 #endif
809
810     src   -= QPEL_EXTRA_BEFORE * srcstride;
811     filter = ff_hevc_qpel_filters[mx - 1];
812     for (y = 0; y < height + QPEL_EXTRA; y++) {
813         for (x = 0; x < width; x++)
814             tmp[x] = QPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
815         src += srcstride;
816         tmp += MAX_PB_SIZE;
817     }
818
819     tmp    = tmp_array + QPEL_EXTRA_BEFORE * MAX_PB_SIZE;
820     filter = ff_hevc_qpel_filters[my - 1];
821
822     for (y = 0; y < height; y++) {
823         for (x = 0; x < width; x++)
824             dst[x] = av_clip_pixel(((QPEL_FILTER(tmp, MAX_PB_SIZE) >> 6) + offset) >> shift);
825         tmp += MAX_PB_SIZE;
826         dst += dststride;
827     }
828 }
829
830 static void FUNC(put_hevc_qpel_bi_hv)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
831                                       int16_t *src2,
832                                       int height, intptr_t mx, intptr_t my, int width)
833 {
834     int x, y;
835     const int8_t *filter;
836     pixel *src = (pixel*)_src;
837     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
838     pixel *dst          = (pixel *)_dst;
839     ptrdiff_t dststride = _dststride / sizeof(pixel);
840     int16_t tmp_array[(MAX_PB_SIZE + QPEL_EXTRA) * MAX_PB_SIZE];
841     int16_t *tmp = tmp_array;
842     int shift = 14 + 1 - BIT_DEPTH;
843 #if BIT_DEPTH < 14
844     int offset = 1 << (shift - 1);
845 #else
846     int offset = 0;
847 #endif
848
849     src   -= QPEL_EXTRA_BEFORE * srcstride;
850     filter = ff_hevc_qpel_filters[mx - 1];
851     for (y = 0; y < height + QPEL_EXTRA; y++) {
852         for (x = 0; x < width; x++)
853             tmp[x] = QPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
854         src += srcstride;
855         tmp += MAX_PB_SIZE;
856     }
857
858     tmp    = tmp_array + QPEL_EXTRA_BEFORE * MAX_PB_SIZE;
859     filter = ff_hevc_qpel_filters[my - 1];
860
861     for (y = 0; y < height; y++) {
862         for (x = 0; x < width; x++)
863             dst[x] = av_clip_pixel(((QPEL_FILTER(tmp, MAX_PB_SIZE) >> 6) + src2[x] + offset) >> shift);
864         tmp  += MAX_PB_SIZE;
865         dst  += dststride;
866         src2 += MAX_PB_SIZE;
867     }
868 }
869
870 static void FUNC(put_hevc_qpel_uni_w_h)(uint8_t *_dst,  ptrdiff_t _dststride,
871                                         uint8_t *_src, ptrdiff_t _srcstride,
872                                         int height, int denom, int wx, int ox,
873                                         intptr_t mx, intptr_t my, int width)
874 {
875     int x, y;
876     pixel        *src       = (pixel*)_src;
877     ptrdiff_t     srcstride = _srcstride / sizeof(pixel);
878     pixel *dst          = (pixel *)_dst;
879     ptrdiff_t dststride = _dststride / sizeof(pixel);
880     const int8_t *filter    = ff_hevc_qpel_filters[mx - 1];
881     int shift = denom + 14 - BIT_DEPTH;
882 #if BIT_DEPTH < 14
883     int offset = 1 << (shift - 1);
884 #else
885     int offset = 0;
886 #endif
887
888     ox = ox * (1 << (BIT_DEPTH - 8));
889     for (y = 0; y < height; y++) {
890         for (x = 0; x < width; x++)
891             dst[x] = av_clip_pixel((((QPEL_FILTER(src, 1) >> (BIT_DEPTH - 8)) * wx + offset) >> shift) + ox);
892         src += srcstride;
893         dst += dststride;
894     }
895 }
896
897 static void FUNC(put_hevc_qpel_bi_w_h)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
898                                        int16_t *src2,
899                                        int height, int denom, int wx0, int wx1,
900                                        int ox0, int ox1, intptr_t mx, intptr_t my, int width)
901 {
902     int x, y;
903     pixel        *src       = (pixel*)_src;
904     ptrdiff_t     srcstride = _srcstride / sizeof(pixel);
905     pixel *dst          = (pixel *)_dst;
906     ptrdiff_t dststride = _dststride / sizeof(pixel);
907
908     const int8_t *filter    = ff_hevc_qpel_filters[mx - 1];
909
910     int shift = 14  + 1 - BIT_DEPTH;
911     int log2Wd = denom + shift - 1;
912
913     ox0     = ox0 * (1 << (BIT_DEPTH - 8));
914     ox1     = ox1 * (1 << (BIT_DEPTH - 8));
915     for (y = 0; y < height; y++) {
916         for (x = 0; x < width; x++)
917             dst[x] = av_clip_pixel(((QPEL_FILTER(src, 1) >> (BIT_DEPTH - 8)) * wx1 + src2[x] * wx0 +
918                                     ((ox0 + ox1 + 1) << log2Wd)) >> (log2Wd + 1));
919         src  += srcstride;
920         dst  += dststride;
921         src2 += MAX_PB_SIZE;
922     }
923 }
924
925 static void FUNC(put_hevc_qpel_uni_w_v)(uint8_t *_dst,  ptrdiff_t _dststride,
926                                         uint8_t *_src, ptrdiff_t _srcstride,
927                                         int height, int denom, int wx, int ox,
928                                         intptr_t mx, intptr_t my, int width)
929 {
930     int x, y;
931     pixel        *src       = (pixel*)_src;
932     ptrdiff_t     srcstride = _srcstride / sizeof(pixel);
933     pixel *dst          = (pixel *)_dst;
934     ptrdiff_t dststride = _dststride / sizeof(pixel);
935     const int8_t *filter    = ff_hevc_qpel_filters[my - 1];
936     int shift = denom + 14 - BIT_DEPTH;
937 #if BIT_DEPTH < 14
938     int offset = 1 << (shift - 1);
939 #else
940     int offset = 0;
941 #endif
942
943     ox = ox * (1 << (BIT_DEPTH - 8));
944     for (y = 0; y < height; y++) {
945         for (x = 0; x < width; x++)
946             dst[x] = av_clip_pixel((((QPEL_FILTER(src, srcstride) >> (BIT_DEPTH - 8)) * wx + offset) >> shift) + ox);
947         src += srcstride;
948         dst += dststride;
949     }
950 }
951
952 static void FUNC(put_hevc_qpel_bi_w_v)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
953                                        int16_t *src2,
954                                        int height, int denom, int wx0, int wx1,
955                                        int ox0, int ox1, intptr_t mx, intptr_t my, int width)
956 {
957     int x, y;
958     pixel        *src       = (pixel*)_src;
959     ptrdiff_t     srcstride = _srcstride / sizeof(pixel);
960     pixel *dst          = (pixel *)_dst;
961     ptrdiff_t dststride = _dststride / sizeof(pixel);
962
963     const int8_t *filter    = ff_hevc_qpel_filters[my - 1];
964
965     int shift = 14 + 1 - BIT_DEPTH;
966     int log2Wd = denom + shift - 1;
967
968     ox0     = ox0 * (1 << (BIT_DEPTH - 8));
969     ox1     = ox1 * (1 << (BIT_DEPTH - 8));
970     for (y = 0; y < height; y++) {
971         for (x = 0; x < width; x++)
972             dst[x] = av_clip_pixel(((QPEL_FILTER(src, srcstride) >> (BIT_DEPTH - 8)) * wx1 + src2[x] * wx0 +
973                                     ((ox0 + ox1 + 1) << log2Wd)) >> (log2Wd + 1));
974         src  += srcstride;
975         dst  += dststride;
976         src2 += MAX_PB_SIZE;
977     }
978 }
979
980 static void FUNC(put_hevc_qpel_uni_w_hv)(uint8_t *_dst,  ptrdiff_t _dststride,
981                                          uint8_t *_src, ptrdiff_t _srcstride,
982                                          int height, int denom, int wx, int ox,
983                                          intptr_t mx, intptr_t my, int width)
984 {
985     int x, y;
986     const int8_t *filter;
987     pixel *src = (pixel*)_src;
988     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
989     pixel *dst          = (pixel *)_dst;
990     ptrdiff_t dststride = _dststride / sizeof(pixel);
991     int16_t tmp_array[(MAX_PB_SIZE + QPEL_EXTRA) * MAX_PB_SIZE];
992     int16_t *tmp = tmp_array;
993     int shift = denom + 14 - BIT_DEPTH;
994 #if BIT_DEPTH < 14
995     int offset = 1 << (shift - 1);
996 #else
997     int offset = 0;
998 #endif
999
1000     src   -= QPEL_EXTRA_BEFORE * srcstride;
1001     filter = ff_hevc_qpel_filters[mx - 1];
1002     for (y = 0; y < height + QPEL_EXTRA; y++) {
1003         for (x = 0; x < width; x++)
1004             tmp[x] = QPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
1005         src += srcstride;
1006         tmp += MAX_PB_SIZE;
1007     }
1008
1009     tmp    = tmp_array + QPEL_EXTRA_BEFORE * MAX_PB_SIZE;
1010     filter = ff_hevc_qpel_filters[my - 1];
1011
1012     ox = ox * (1 << (BIT_DEPTH - 8));
1013     for (y = 0; y < height; y++) {
1014         for (x = 0; x < width; x++)
1015             dst[x] = av_clip_pixel((((QPEL_FILTER(tmp, MAX_PB_SIZE) >> 6) * wx + offset) >> shift) + ox);
1016         tmp += MAX_PB_SIZE;
1017         dst += dststride;
1018     }
1019 }
1020
1021 static void FUNC(put_hevc_qpel_bi_w_hv)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1022                                         int16_t *src2,
1023                                         int height, int denom, int wx0, int wx1,
1024                                         int ox0, int ox1, intptr_t mx, intptr_t my, int width)
1025 {
1026     int x, y;
1027     const int8_t *filter;
1028     pixel *src = (pixel*)_src;
1029     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
1030     pixel *dst          = (pixel *)_dst;
1031     ptrdiff_t dststride = _dststride / sizeof(pixel);
1032     int16_t tmp_array[(MAX_PB_SIZE + QPEL_EXTRA) * MAX_PB_SIZE];
1033     int16_t *tmp = tmp_array;
1034     int shift = 14 + 1 - BIT_DEPTH;
1035     int log2Wd = denom + shift - 1;
1036
1037     src   -= QPEL_EXTRA_BEFORE * srcstride;
1038     filter = ff_hevc_qpel_filters[mx - 1];
1039     for (y = 0; y < height + QPEL_EXTRA; y++) {
1040         for (x = 0; x < width; x++)
1041             tmp[x] = QPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
1042         src += srcstride;
1043         tmp += MAX_PB_SIZE;
1044     }
1045
1046     tmp    = tmp_array + QPEL_EXTRA_BEFORE * MAX_PB_SIZE;
1047     filter = ff_hevc_qpel_filters[my - 1];
1048
1049     ox0     = ox0 * (1 << (BIT_DEPTH - 8));
1050     ox1     = ox1 * (1 << (BIT_DEPTH - 8));
1051     for (y = 0; y < height; y++) {
1052         for (x = 0; x < width; x++)
1053             dst[x] = av_clip_pixel(((QPEL_FILTER(tmp, MAX_PB_SIZE) >> 6) * wx1 + src2[x] * wx0 +
1054                                     ((ox0 + ox1 + 1) << log2Wd)) >> (log2Wd + 1));
1055         tmp  += MAX_PB_SIZE;
1056         dst  += dststride;
1057         src2 += MAX_PB_SIZE;
1058     }
1059 }
1060
1061 ////////////////////////////////////////////////////////////////////////////////
1062 //
1063 ////////////////////////////////////////////////////////////////////////////////
1064 #define EPEL_FILTER(src, stride)                                               \
1065     (filter[0] * src[x - stride] +                                             \
1066      filter[1] * src[x]          +                                             \
1067      filter[2] * src[x + stride] +                                             \
1068      filter[3] * src[x + 2 * stride])
1069
1070 static void FUNC(put_hevc_epel_h)(int16_t *dst,
1071                                   uint8_t *_src, ptrdiff_t _srcstride,
1072                                   int height, intptr_t mx, intptr_t my, int width)
1073 {
1074     int x, y;
1075     pixel *src = (pixel *)_src;
1076     ptrdiff_t srcstride  = _srcstride / sizeof(pixel);
1077     const int8_t *filter = ff_hevc_epel_filters[mx - 1];
1078     for (y = 0; y < height; y++) {
1079         for (x = 0; x < width; x++)
1080             dst[x] = EPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
1081         src += srcstride;
1082         dst += MAX_PB_SIZE;
1083     }
1084 }
1085
1086 static void FUNC(put_hevc_epel_v)(int16_t *dst,
1087                                   uint8_t *_src, ptrdiff_t _srcstride,
1088                                   int height, intptr_t mx, intptr_t my, int width)
1089 {
1090     int x, y;
1091     pixel *src = (pixel *)_src;
1092     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
1093     const int8_t *filter = ff_hevc_epel_filters[my - 1];
1094
1095     for (y = 0; y < height; y++) {
1096         for (x = 0; x < width; x++)
1097             dst[x] = EPEL_FILTER(src, srcstride) >> (BIT_DEPTH - 8);
1098         src += srcstride;
1099         dst += MAX_PB_SIZE;
1100     }
1101 }
1102
1103 static void FUNC(put_hevc_epel_hv)(int16_t *dst,
1104                                    uint8_t *_src, ptrdiff_t _srcstride,
1105                                    int height, intptr_t mx, intptr_t my, int width)
1106 {
1107     int x, y;
1108     pixel *src = (pixel *)_src;
1109     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
1110     const int8_t *filter = ff_hevc_epel_filters[mx - 1];
1111     int16_t tmp_array[(MAX_PB_SIZE + EPEL_EXTRA) * MAX_PB_SIZE];
1112     int16_t *tmp = tmp_array;
1113
1114     src -= EPEL_EXTRA_BEFORE * srcstride;
1115
1116     for (y = 0; y < height + EPEL_EXTRA; y++) {
1117         for (x = 0; x < width; x++)
1118             tmp[x] = EPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
1119         src += srcstride;
1120         tmp += MAX_PB_SIZE;
1121     }
1122
1123     tmp      = tmp_array + EPEL_EXTRA_BEFORE * MAX_PB_SIZE;
1124     filter = ff_hevc_epel_filters[my - 1];
1125
1126     for (y = 0; y < height; y++) {
1127         for (x = 0; x < width; x++)
1128             dst[x] = EPEL_FILTER(tmp, MAX_PB_SIZE) >> 6;
1129         tmp += MAX_PB_SIZE;
1130         dst += MAX_PB_SIZE;
1131     }
1132 }
1133
1134 static void FUNC(put_hevc_epel_uni_h)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1135                                       int height, intptr_t mx, intptr_t my, int width)
1136 {
1137     int x, y;
1138     pixel *src = (pixel *)_src;
1139     ptrdiff_t srcstride  = _srcstride / sizeof(pixel);
1140     pixel *dst          = (pixel *)_dst;
1141     ptrdiff_t dststride = _dststride / sizeof(pixel);
1142     const int8_t *filter = ff_hevc_epel_filters[mx - 1];
1143     int shift = 14 - BIT_DEPTH;
1144 #if BIT_DEPTH < 14
1145     int offset = 1 << (shift - 1);
1146 #else
1147     int offset = 0;
1148 #endif
1149
1150     for (y = 0; y < height; y++) {
1151         for (x = 0; x < width; x++)
1152             dst[x] = av_clip_pixel(((EPEL_FILTER(src, 1) >> (BIT_DEPTH - 8)) + offset) >> shift);
1153         src += srcstride;
1154         dst += dststride;
1155     }
1156 }
1157
1158 static void FUNC(put_hevc_epel_bi_h)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1159                                      int16_t *src2,
1160                                      int height, intptr_t mx, intptr_t my, int width)
1161 {
1162     int x, y;
1163     pixel *src = (pixel *)_src;
1164     ptrdiff_t srcstride  = _srcstride / sizeof(pixel);
1165     pixel *dst          = (pixel *)_dst;
1166     ptrdiff_t dststride = _dststride / sizeof(pixel);
1167     const int8_t *filter = ff_hevc_epel_filters[mx - 1];
1168     int shift = 14 + 1 - BIT_DEPTH;
1169 #if BIT_DEPTH < 14
1170     int offset = 1 << (shift - 1);
1171 #else
1172     int offset = 0;
1173 #endif
1174
1175     for (y = 0; y < height; y++) {
1176         for (x = 0; x < width; x++) {
1177             dst[x] = av_clip_pixel(((EPEL_FILTER(src, 1) >> (BIT_DEPTH - 8)) + src2[x] + offset) >> shift);
1178         }
1179         dst  += dststride;
1180         src  += srcstride;
1181         src2 += MAX_PB_SIZE;
1182     }
1183 }
1184
1185 static void FUNC(put_hevc_epel_uni_v)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1186                                       int height, intptr_t mx, intptr_t my, int width)
1187 {
1188     int x, y;
1189     pixel *src = (pixel *)_src;
1190     ptrdiff_t srcstride  = _srcstride / sizeof(pixel);
1191     pixel *dst          = (pixel *)_dst;
1192     ptrdiff_t dststride = _dststride / sizeof(pixel);
1193     const int8_t *filter = ff_hevc_epel_filters[my - 1];
1194     int shift = 14 - BIT_DEPTH;
1195 #if BIT_DEPTH < 14
1196     int offset = 1 << (shift - 1);
1197 #else
1198     int offset = 0;
1199 #endif
1200
1201     for (y = 0; y < height; y++) {
1202         for (x = 0; x < width; x++)
1203             dst[x] = av_clip_pixel(((EPEL_FILTER(src, srcstride) >> (BIT_DEPTH - 8)) + offset) >> shift);
1204         src += srcstride;
1205         dst += dststride;
1206     }
1207 }
1208
1209 static void FUNC(put_hevc_epel_bi_v)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1210                                      int16_t *src2,
1211                                      int height, intptr_t mx, intptr_t my, int width)
1212 {
1213     int x, y;
1214     pixel *src = (pixel *)_src;
1215     ptrdiff_t srcstride  = _srcstride / sizeof(pixel);
1216     const int8_t *filter = ff_hevc_epel_filters[my - 1];
1217     pixel *dst          = (pixel *)_dst;
1218     ptrdiff_t dststride = _dststride / sizeof(pixel);
1219     int shift = 14 + 1 - BIT_DEPTH;
1220 #if BIT_DEPTH < 14
1221     int offset = 1 << (shift - 1);
1222 #else
1223     int offset = 0;
1224 #endif
1225
1226     for (y = 0; y < height; y++) {
1227         for (x = 0; x < width; x++)
1228             dst[x] = av_clip_pixel(((EPEL_FILTER(src, srcstride) >> (BIT_DEPTH - 8)) + src2[x] + offset) >> shift);
1229         dst  += dststride;
1230         src  += srcstride;
1231         src2 += MAX_PB_SIZE;
1232     }
1233 }
1234
1235 static void FUNC(put_hevc_epel_uni_hv)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1236                                        int height, intptr_t mx, intptr_t my, int width)
1237 {
1238     int x, y;
1239     pixel *src = (pixel *)_src;
1240     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
1241     pixel *dst          = (pixel *)_dst;
1242     ptrdiff_t dststride = _dststride / sizeof(pixel);
1243     const int8_t *filter = ff_hevc_epel_filters[mx - 1];
1244     int16_t tmp_array[(MAX_PB_SIZE + EPEL_EXTRA) * MAX_PB_SIZE];
1245     int16_t *tmp = tmp_array;
1246     int shift = 14 - BIT_DEPTH;
1247 #if BIT_DEPTH < 14
1248     int offset = 1 << (shift - 1);
1249 #else
1250     int offset = 0;
1251 #endif
1252
1253     src -= EPEL_EXTRA_BEFORE * srcstride;
1254
1255     for (y = 0; y < height + EPEL_EXTRA; y++) {
1256         for (x = 0; x < width; x++)
1257             tmp[x] = EPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
1258         src += srcstride;
1259         tmp += MAX_PB_SIZE;
1260     }
1261
1262     tmp      = tmp_array + EPEL_EXTRA_BEFORE * MAX_PB_SIZE;
1263     filter = ff_hevc_epel_filters[my - 1];
1264
1265     for (y = 0; y < height; y++) {
1266         for (x = 0; x < width; x++)
1267             dst[x] = av_clip_pixel(((EPEL_FILTER(tmp, MAX_PB_SIZE) >> 6) + offset) >> shift);
1268         tmp += MAX_PB_SIZE;
1269         dst += dststride;
1270     }
1271 }
1272
1273 static void FUNC(put_hevc_epel_bi_hv)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1274                                       int16_t *src2,
1275                                       int height, intptr_t mx, intptr_t my, int width)
1276 {
1277     int x, y;
1278     pixel *src = (pixel *)_src;
1279     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
1280     pixel *dst          = (pixel *)_dst;
1281     ptrdiff_t dststride = _dststride / sizeof(pixel);
1282     const int8_t *filter = ff_hevc_epel_filters[mx - 1];
1283     int16_t tmp_array[(MAX_PB_SIZE + EPEL_EXTRA) * MAX_PB_SIZE];
1284     int16_t *tmp = tmp_array;
1285     int shift = 14 + 1 - BIT_DEPTH;
1286 #if BIT_DEPTH < 14
1287     int offset = 1 << (shift - 1);
1288 #else
1289     int offset = 0;
1290 #endif
1291
1292     src -= EPEL_EXTRA_BEFORE * srcstride;
1293
1294     for (y = 0; y < height + EPEL_EXTRA; y++) {
1295         for (x = 0; x < width; x++)
1296             tmp[x] = EPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
1297         src += srcstride;
1298         tmp += MAX_PB_SIZE;
1299     }
1300
1301     tmp      = tmp_array + EPEL_EXTRA_BEFORE * MAX_PB_SIZE;
1302     filter = ff_hevc_epel_filters[my - 1];
1303
1304     for (y = 0; y < height; y++) {
1305         for (x = 0; x < width; x++)
1306             dst[x] = av_clip_pixel(((EPEL_FILTER(tmp, MAX_PB_SIZE) >> 6) + src2[x] + offset) >> shift);
1307         tmp  += MAX_PB_SIZE;
1308         dst  += dststride;
1309         src2 += MAX_PB_SIZE;
1310     }
1311 }
1312
1313 static void FUNC(put_hevc_epel_uni_w_h)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1314                                         int height, int denom, int wx, int ox, intptr_t mx, intptr_t my, int width)
1315 {
1316     int x, y;
1317     pixel *src = (pixel *)_src;
1318     ptrdiff_t srcstride  = _srcstride / sizeof(pixel);
1319     pixel *dst          = (pixel *)_dst;
1320     ptrdiff_t dststride = _dststride / sizeof(pixel);
1321     const int8_t *filter = ff_hevc_epel_filters[mx - 1];
1322     int shift = denom + 14 - BIT_DEPTH;
1323 #if BIT_DEPTH < 14
1324     int offset = 1 << (shift - 1);
1325 #else
1326     int offset = 0;
1327 #endif
1328
1329     ox     = ox * (1 << (BIT_DEPTH - 8));
1330     for (y = 0; y < height; y++) {
1331         for (x = 0; x < width; x++) {
1332             dst[x] = av_clip_pixel((((EPEL_FILTER(src, 1) >> (BIT_DEPTH - 8)) * wx + offset) >> shift) + ox);
1333         }
1334         dst += dststride;
1335         src += srcstride;
1336     }
1337 }
1338
1339 static void FUNC(put_hevc_epel_bi_w_h)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1340                                        int16_t *src2,
1341                                        int height, int denom, int wx0, int wx1,
1342                                        int ox0, int ox1, intptr_t mx, intptr_t my, int width)
1343 {
1344     int x, y;
1345     pixel *src = (pixel *)_src;
1346     ptrdiff_t srcstride  = _srcstride / sizeof(pixel);
1347     pixel *dst          = (pixel *)_dst;
1348     ptrdiff_t dststride = _dststride / sizeof(pixel);
1349     const int8_t *filter = ff_hevc_epel_filters[mx - 1];
1350     int shift = 14 + 1 - BIT_DEPTH;
1351     int log2Wd = denom + shift - 1;
1352
1353     ox0     = ox0 * (1 << (BIT_DEPTH - 8));
1354     ox1     = ox1 * (1 << (BIT_DEPTH - 8));
1355     for (y = 0; y < height; y++) {
1356         for (x = 0; x < width; x++)
1357             dst[x] = av_clip_pixel(((EPEL_FILTER(src, 1) >> (BIT_DEPTH - 8)) * wx1 + src2[x] * wx0 +
1358                                     ((ox0 + ox1 + 1) << log2Wd)) >> (log2Wd + 1));
1359         src  += srcstride;
1360         dst  += dststride;
1361         src2 += MAX_PB_SIZE;
1362     }
1363 }
1364
1365 static void FUNC(put_hevc_epel_uni_w_v)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1366                                         int height, int denom, int wx, int ox, intptr_t mx, intptr_t my, int width)
1367 {
1368     int x, y;
1369     pixel *src = (pixel *)_src;
1370     ptrdiff_t srcstride  = _srcstride / sizeof(pixel);
1371     pixel *dst          = (pixel *)_dst;
1372     ptrdiff_t dststride = _dststride / sizeof(pixel);
1373     const int8_t *filter = ff_hevc_epel_filters[my - 1];
1374     int shift = denom + 14 - BIT_DEPTH;
1375 #if BIT_DEPTH < 14
1376     int offset = 1 << (shift - 1);
1377 #else
1378     int offset = 0;
1379 #endif
1380
1381     ox     = ox * (1 << (BIT_DEPTH - 8));
1382     for (y = 0; y < height; y++) {
1383         for (x = 0; x < width; x++) {
1384             dst[x] = av_clip_pixel((((EPEL_FILTER(src, srcstride) >> (BIT_DEPTH - 8)) * wx + offset) >> shift) + ox);
1385         }
1386         dst += dststride;
1387         src += srcstride;
1388     }
1389 }
1390
1391 static void FUNC(put_hevc_epel_bi_w_v)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1392                                        int16_t *src2,
1393                                        int height, int denom, int wx0, int wx1,
1394                                        int ox0, int ox1, intptr_t mx, intptr_t my, int width)
1395 {
1396     int x, y;
1397     pixel *src = (pixel *)_src;
1398     ptrdiff_t srcstride  = _srcstride / sizeof(pixel);
1399     const int8_t *filter = ff_hevc_epel_filters[my - 1];
1400     pixel *dst          = (pixel *)_dst;
1401     ptrdiff_t dststride = _dststride / sizeof(pixel);
1402     int shift = 14 + 1 - BIT_DEPTH;
1403     int log2Wd = denom + shift - 1;
1404
1405     ox0     = ox0 * (1 << (BIT_DEPTH - 8));
1406     ox1     = ox1 * (1 << (BIT_DEPTH - 8));
1407     for (y = 0; y < height; y++) {
1408         for (x = 0; x < width; x++)
1409             dst[x] = av_clip_pixel(((EPEL_FILTER(src, srcstride) >> (BIT_DEPTH - 8)) * wx1 + src2[x] * wx0 +
1410                                     ((ox0 + ox1 + 1) * (1 << log2Wd))) >> (log2Wd + 1));
1411         src  += srcstride;
1412         dst  += dststride;
1413         src2 += MAX_PB_SIZE;
1414     }
1415 }
1416
1417 static void FUNC(put_hevc_epel_uni_w_hv)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1418                                          int height, int denom, int wx, int ox, intptr_t mx, intptr_t my, int width)
1419 {
1420     int x, y;
1421     pixel *src = (pixel *)_src;
1422     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
1423     pixel *dst          = (pixel *)_dst;
1424     ptrdiff_t dststride = _dststride / sizeof(pixel);
1425     const int8_t *filter = ff_hevc_epel_filters[mx - 1];
1426     int16_t tmp_array[(MAX_PB_SIZE + EPEL_EXTRA) * MAX_PB_SIZE];
1427     int16_t *tmp = tmp_array;
1428     int shift = denom + 14 - BIT_DEPTH;
1429 #if BIT_DEPTH < 14
1430     int offset = 1 << (shift - 1);
1431 #else
1432     int offset = 0;
1433 #endif
1434
1435     src -= EPEL_EXTRA_BEFORE * srcstride;
1436
1437     for (y = 0; y < height + EPEL_EXTRA; y++) {
1438         for (x = 0; x < width; x++)
1439             tmp[x] = EPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
1440         src += srcstride;
1441         tmp += MAX_PB_SIZE;
1442     }
1443
1444     tmp      = tmp_array + EPEL_EXTRA_BEFORE * MAX_PB_SIZE;
1445     filter = ff_hevc_epel_filters[my - 1];
1446
1447     ox     = ox * (1 << (BIT_DEPTH - 8));
1448     for (y = 0; y < height; y++) {
1449         for (x = 0; x < width; x++)
1450             dst[x] = av_clip_pixel((((EPEL_FILTER(tmp, MAX_PB_SIZE) >> 6) * wx + offset) >> shift) + ox);
1451         tmp += MAX_PB_SIZE;
1452         dst += dststride;
1453     }
1454 }
1455
1456 static void FUNC(put_hevc_epel_bi_w_hv)(uint8_t *_dst, ptrdiff_t _dststride, uint8_t *_src, ptrdiff_t _srcstride,
1457                                         int16_t *src2,
1458                                         int height, int denom, int wx0, int wx1,
1459                                         int ox0, int ox1, intptr_t mx, intptr_t my, int width)
1460 {
1461     int x, y;
1462     pixel *src = (pixel *)_src;
1463     ptrdiff_t srcstride = _srcstride / sizeof(pixel);
1464     pixel *dst          = (pixel *)_dst;
1465     ptrdiff_t dststride = _dststride / sizeof(pixel);
1466     const int8_t *filter = ff_hevc_epel_filters[mx - 1];
1467     int16_t tmp_array[(MAX_PB_SIZE + EPEL_EXTRA) * MAX_PB_SIZE];
1468     int16_t *tmp = tmp_array;
1469     int shift = 14 + 1 - BIT_DEPTH;
1470     int log2Wd = denom + shift - 1;
1471
1472     src -= EPEL_EXTRA_BEFORE * srcstride;
1473
1474     for (y = 0; y < height + EPEL_EXTRA; y++) {
1475         for (x = 0; x < width; x++)
1476             tmp[x] = EPEL_FILTER(src, 1) >> (BIT_DEPTH - 8);
1477         src += srcstride;
1478         tmp += MAX_PB_SIZE;
1479     }
1480
1481     tmp      = tmp_array + EPEL_EXTRA_BEFORE * MAX_PB_SIZE;
1482     filter = ff_hevc_epel_filters[my - 1];
1483
1484     ox0     = ox0 * (1 << (BIT_DEPTH - 8));
1485     ox1     = ox1 * (1 << (BIT_DEPTH - 8));
1486     for (y = 0; y < height; y++) {
1487         for (x = 0; x < width; x++)
1488             dst[x] = av_clip_pixel(((EPEL_FILTER(tmp, MAX_PB_SIZE) >> 6) * wx1 + src2[x] * wx0 +
1489                                     ((ox0 + ox1 + 1) * (1 << log2Wd))) >> (log2Wd + 1));
1490         tmp  += MAX_PB_SIZE;
1491         dst  += dststride;
1492         src2 += MAX_PB_SIZE;
1493     }
1494 }
1495
1496 // line zero
1497 #define P3 pix[-4 * xstride]
1498 #define P2 pix[-3 * xstride]
1499 #define P1 pix[-2 * xstride]
1500 #define P0 pix[-1 * xstride]
1501 #define Q0 pix[0 * xstride]
1502 #define Q1 pix[1 * xstride]
1503 #define Q2 pix[2 * xstride]
1504 #define Q3 pix[3 * xstride]
1505
1506 // line three. used only for deblocking decision
1507 #define TP3 pix[-4 * xstride + 3 * ystride]
1508 #define TP2 pix[-3 * xstride + 3 * ystride]
1509 #define TP1 pix[-2 * xstride + 3 * ystride]
1510 #define TP0 pix[-1 * xstride + 3 * ystride]
1511 #define TQ0 pix[0  * xstride + 3 * ystride]
1512 #define TQ1 pix[1  * xstride + 3 * ystride]
1513 #define TQ2 pix[2  * xstride + 3 * ystride]
1514 #define TQ3 pix[3  * xstride + 3 * ystride]
1515
1516 static void FUNC(hevc_loop_filter_luma)(uint8_t *_pix,
1517                                         ptrdiff_t _xstride, ptrdiff_t _ystride,
1518                                         int beta, int *_tc,
1519                                         uint8_t *_no_p, uint8_t *_no_q)
1520 {
1521     int d, j;
1522     pixel *pix        = (pixel *)_pix;
1523     ptrdiff_t xstride = _xstride / sizeof(pixel);
1524     ptrdiff_t ystride = _ystride / sizeof(pixel);
1525
1526     beta <<= BIT_DEPTH - 8;
1527
1528     for (j = 0; j < 2; j++) {
1529         const int dp0  = abs(P2  - 2 * P1  + P0);
1530         const int dq0  = abs(Q2  - 2 * Q1  + Q0);
1531         const int dp3  = abs(TP2 - 2 * TP1 + TP0);
1532         const int dq3  = abs(TQ2 - 2 * TQ1 + TQ0);
1533         const int d0   = dp0 + dq0;
1534         const int d3   = dp3 + dq3;
1535         const int tc   = _tc[j]   << (BIT_DEPTH - 8);
1536         const int no_p = _no_p[j];
1537         const int no_q = _no_q[j];
1538
1539         if (d0 + d3 >= beta) {
1540             pix += 4 * ystride;
1541             continue;
1542         } else {
1543             const int beta_3 = beta >> 3;
1544             const int beta_2 = beta >> 2;
1545             const int tc25   = ((tc * 5 + 1) >> 1);
1546
1547             if (abs(P3  -  P0) + abs(Q3  -  Q0) < beta_3 && abs(P0  -  Q0) < tc25 &&
1548                 abs(TP3 - TP0) + abs(TQ3 - TQ0) < beta_3 && abs(TP0 - TQ0) < tc25 &&
1549                                       (d0 << 1) < beta_2 &&      (d3 << 1) < beta_2) {
1550                 // strong filtering
1551                 const int tc2 = tc << 1;
1552                 for (d = 0; d < 4; d++) {
1553                     const int p3 = P3;
1554                     const int p2 = P2;
1555                     const int p1 = P1;
1556                     const int p0 = P0;
1557                     const int q0 = Q0;
1558                     const int q1 = Q1;
1559                     const int q2 = Q2;
1560                     const int q3 = Q3;
1561                     if (!no_p) {
1562                         P0 = p0 + av_clip(((p2 + 2 * p1 + 2 * p0 + 2 * q0 + q1 + 4) >> 3) - p0, -tc2, tc2);
1563                         P1 = p1 + av_clip(((p2 + p1 + p0 + q0 + 2) >> 2) - p1, -tc2, tc2);
1564                         P2 = p2 + av_clip(((2 * p3 + 3 * p2 + p1 + p0 + q0 + 4) >> 3) - p2, -tc2, tc2);
1565                     }
1566                     if (!no_q) {
1567                         Q0 = q0 + av_clip(((p1 + 2 * p0 + 2 * q0 + 2 * q1 + q2 + 4) >> 3) - q0, -tc2, tc2);
1568                         Q1 = q1 + av_clip(((p0 + q0 + q1 + q2 + 2) >> 2) - q1, -tc2, tc2);
1569                         Q2 = q2 + av_clip(((2 * q3 + 3 * q2 + q1 + q0 + p0 + 4) >> 3) - q2, -tc2, tc2);
1570                     }
1571                     pix += ystride;
1572                 }
1573             } else { // normal filtering
1574                 int nd_p = 1;
1575                 int nd_q = 1;
1576                 const int tc_2 = tc >> 1;
1577                 if (dp0 + dp3 < ((beta + (beta >> 1)) >> 3))
1578                     nd_p = 2;
1579                 if (dq0 + dq3 < ((beta + (beta >> 1)) >> 3))
1580                     nd_q = 2;
1581
1582                 for (d = 0; d < 4; d++) {
1583                     const int p2 = P2;
1584                     const int p1 = P1;
1585                     const int p0 = P0;
1586                     const int q0 = Q0;
1587                     const int q1 = Q1;
1588                     const int q2 = Q2;
1589                     int delta0   = (9 * (q0 - p0) - 3 * (q1 - p1) + 8) >> 4;
1590                     if (abs(delta0) < 10 * tc) {
1591                         delta0 = av_clip(delta0, -tc, tc);
1592                         if (!no_p)
1593                             P0 = av_clip_pixel(p0 + delta0);
1594                         if (!no_q)
1595                             Q0 = av_clip_pixel(q0 - delta0);
1596                         if (!no_p && nd_p > 1) {
1597                             const int deltap1 = av_clip((((p2 + p0 + 1) >> 1) - p1 + delta0) >> 1, -tc_2, tc_2);
1598                             P1 = av_clip_pixel(p1 + deltap1);
1599                         }
1600                         if (!no_q && nd_q > 1) {
1601                             const int deltaq1 = av_clip((((q2 + q0 + 1) >> 1) - q1 - delta0) >> 1, -tc_2, tc_2);
1602                             Q1 = av_clip_pixel(q1 + deltaq1);
1603                         }
1604                     }
1605                     pix += ystride;
1606                 }
1607             }
1608         }
1609     }
1610 }
1611
1612 static void FUNC(hevc_loop_filter_chroma)(uint8_t *_pix, ptrdiff_t _xstride,
1613                                           ptrdiff_t _ystride, int *_tc,
1614                                           uint8_t *_no_p, uint8_t *_no_q)
1615 {
1616     int d, j, no_p, no_q;
1617     pixel *pix        = (pixel *)_pix;
1618     ptrdiff_t xstride = _xstride / sizeof(pixel);
1619     ptrdiff_t ystride = _ystride / sizeof(pixel);
1620
1621     for (j = 0; j < 2; j++) {
1622         const int tc = _tc[j] << (BIT_DEPTH - 8);
1623         if (tc <= 0) {
1624             pix += 4 * ystride;
1625             continue;
1626         }
1627         no_p = _no_p[j];
1628         no_q = _no_q[j];
1629
1630         for (d = 0; d < 4; d++) {
1631             int delta0;
1632             const int p1 = P1;
1633             const int p0 = P0;
1634             const int q0 = Q0;
1635             const int q1 = Q1;
1636             delta0 = av_clip((((q0 - p0) * 4) + p1 - q1 + 4) >> 3, -tc, tc);
1637             if (!no_p)
1638                 P0 = av_clip_pixel(p0 + delta0);
1639             if (!no_q)
1640                 Q0 = av_clip_pixel(q0 - delta0);
1641             pix += ystride;
1642         }
1643     }
1644 }
1645
1646 static void FUNC(hevc_h_loop_filter_chroma)(uint8_t *pix, ptrdiff_t stride,
1647                                             int32_t *tc, uint8_t *no_p,
1648                                             uint8_t *no_q)
1649 {
1650     FUNC(hevc_loop_filter_chroma)(pix, stride, sizeof(pixel), tc, no_p, no_q);
1651 }
1652
1653 static void FUNC(hevc_v_loop_filter_chroma)(uint8_t *pix, ptrdiff_t stride,
1654                                             int32_t *tc, uint8_t *no_p,
1655                                             uint8_t *no_q)
1656 {
1657     FUNC(hevc_loop_filter_chroma)(pix, sizeof(pixel), stride, tc, no_p, no_q);
1658 }
1659
1660 static void FUNC(hevc_h_loop_filter_luma)(uint8_t *pix, ptrdiff_t stride,
1661                                           int beta, int32_t *tc, uint8_t *no_p,
1662                                           uint8_t *no_q)
1663 {
1664     FUNC(hevc_loop_filter_luma)(pix, stride, sizeof(pixel),
1665                                 beta, tc, no_p, no_q);
1666 }
1667
1668 static void FUNC(hevc_v_loop_filter_luma)(uint8_t *pix, ptrdiff_t stride,
1669                                           int beta, int32_t *tc, uint8_t *no_p,
1670                                           uint8_t *no_q)
1671 {
1672     FUNC(hevc_loop_filter_luma)(pix, sizeof(pixel), stride,
1673                                 beta, tc, no_p, no_q);
1674 }
1675
1676 #undef P3
1677 #undef P2
1678 #undef P1
1679 #undef P0
1680 #undef Q0
1681 #undef Q1
1682 #undef Q2
1683 #undef Q3
1684
1685 #undef TP3
1686 #undef TP2
1687 #undef TP1
1688 #undef TP0
1689 #undef TQ0
1690 #undef TQ1
1691 #undef TQ2
1692 #undef TQ3