git.sesse.net Git - ffmpeg/blob - libavcodec/snow_dwt.c

   1 /*
   2  * Copyright (C) 2004-2010 Michael Niedermayer <michaelni@gmx.at>
   3  * Copyright (C) 2008 David Conrad
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "libavutil/attributes.h"
  23 #include "libavutil/avassert.h"
  24 #include "libavutil/common.h"
  25 #include "me_cmp.h"
  26 #include "snow_dwt.h"
  27
  28 int ff_slice_buffer_init(slice_buffer *buf, int line_count,
  29                          int max_allocated_lines, int line_width,
  30                          IDWTELEM *base_buffer)
  31 {
  32     int i;
  33
  34     buf->base_buffer = base_buffer;
  35     buf->line_count  = line_count;
  36     buf->line_width  = line_width;
  37     buf->data_count  = max_allocated_lines;
  38     buf->line        = av_mallocz_array(line_count, sizeof(IDWTELEM *));
  39     if (!buf->line)
  40         return AVERROR(ENOMEM);
  41     buf->data_stack  = av_malloc_array(max_allocated_lines, sizeof(IDWTELEM *));
  42     if (!buf->data_stack) {
  43         av_freep(&buf->line);
  44         return AVERROR(ENOMEM);
  45     }
  46
  47     for (i = 0; i < max_allocated_lines; i++) {
  48         buf->data_stack[i] = av_malloc_array(line_width, sizeof(IDWTELEM));
  49         if (!buf->data_stack[i]) {
  50             for (i--; i >=0; i--)
  51                 av_freep(&buf->data_stack[i]);
  52             av_freep(&buf->data_stack);
  53             av_freep(&buf->line);
  54             return AVERROR(ENOMEM);
  55         }
  56     }
  57
  58     buf->data_stack_top = max_allocated_lines - 1;
  59     return 0;
  60 }
  61
  62 IDWTELEM *ff_slice_buffer_load_line(slice_buffer *buf, int line)
  63 {
  64     IDWTELEM *buffer;
  65
  66     av_assert0(buf->data_stack_top >= 0);
  67 //  av_assert1(!buf->line[line]);
  68     if (buf->line[line])
  69         return buf->line[line];
  70
  71     buffer = buf->data_stack[buf->data_stack_top];
  72     buf->data_stack_top--;
  73     buf->line[line] = buffer;
  74
  75     return buffer;
  76 }
  77
  78 void ff_slice_buffer_release(slice_buffer *buf, int line)
  79 {
  80     IDWTELEM *buffer;
  81
  82     av_assert1(line >= 0 && line < buf->line_count);
  83     av_assert1(buf->line[line]);
  84
  85     buffer = buf->line[line];
  86     buf->data_stack_top++;
  87     buf->data_stack[buf->data_stack_top] = buffer;
  88     buf->line[line]                      = NULL;
  89 }
  90
  91 void ff_slice_buffer_flush(slice_buffer *buf)
  92 {
  93     int i;
  94
  95     if (!buf->line)
  96         return;
  97
  98     for (i = 0; i < buf->line_count; i++)
  99         if (buf->line[i])
 100             ff_slice_buffer_release(buf, i);
 101 }
 102
 103 void ff_slice_buffer_destroy(slice_buffer *buf)
 104 {
 105     int i;
 106     ff_slice_buffer_flush(buf);
 107
 108     if (buf->data_stack)
 109         for (i = buf->data_count - 1; i >= 0; i--)
 110             av_freep(&buf->data_stack[i]);
 111     av_freep(&buf->data_stack);
 112     av_freep(&buf->line);
 113 }
 114
 115 static inline int mirror(int v, int m)
 116 {
 117     while ((unsigned)v > (unsigned)m) {
 118         v = -v;
 119         if (v < 0)
 120             v += 2 * m;
 121     }
 122     return v;
 123 }
 124
 125 static av_always_inline void lift(DWTELEM *dst, DWTELEM *src, DWTELEM *ref,
 126                                   int dst_step, int src_step, int ref_step,
 127                                   int width, int mul, int add, int shift,
 128                                   int highpass, int inverse)
 129 {
 130     const int mirror_left  = !highpass;
 131     const int mirror_right = (width & 1) ^ highpass;
 132     const int w            = (width >> 1) - 1 + (highpass & width);
 133     int i;
 134
 135 #define LIFT(src, ref, inv) ((src) + ((inv) ? -(ref) : +(ref)))
 136     if (mirror_left) {
 137         dst[0] = LIFT(src[0], ((mul * 2 * ref[0] + add) >> shift), inverse);
 138         dst   += dst_step;
 139         src   += src_step;
 140     }
 141
 142     for (i = 0; i < w; i++)
 143         dst[i * dst_step] = LIFT(src[i * src_step],
 144                                  ((mul * (ref[i * ref_step] +
 145                                           ref[(i + 1) * ref_step]) +
 146                                    add) >> shift),
 147                                  inverse);
 148
 149     if (mirror_right)
 150         dst[w * dst_step] = LIFT(src[w * src_step],
 151                                  ((mul * 2 * ref[w * ref_step] + add) >> shift),
 152                                  inverse);
 153 }
 154
 155 static av_always_inline void liftS(DWTELEM *dst, DWTELEM *src, DWTELEM *ref,
 156                                    int dst_step, int src_step, int ref_step,
 157                                    int width, int mul, int add, int shift,
 158                                    int highpass, int inverse)
 159 {
 160     const int mirror_left  = !highpass;
 161     const int mirror_right = (width & 1) ^ highpass;
 162     const int w            = (width >> 1) - 1 + (highpass & width);
 163     int i;
 164
 165     av_assert1(shift == 4);
 166 #define LIFTS(src, ref, inv)                                            \
 167     ((inv) ? (src) + (((ref) + 4 * (src)) >> shift)                     \
 168            : -((-16 * (src) + (ref) + add /                             \
 169                 4 + 1 + (5 << 25)) / (5 * 4) - (1 << 23)))
 170     if (mirror_left) {
 171         dst[0] = LIFTS(src[0], mul * 2 * ref[0] + add, inverse);
 172         dst   += dst_step;
 173         src   += src_step;
 174     }
 175
 176     for (i = 0; i < w; i++)
 177         dst[i * dst_step] = LIFTS(src[i * src_step],
 178                                   mul * (ref[i * ref_step] +
 179                                          ref[(i + 1) * ref_step]) + add,
 180                                   inverse);
 181
 182     if (mirror_right)
 183         dst[w * dst_step] = LIFTS(src[w * src_step],
 184                                   mul * 2 * ref[w * ref_step] + add,
 185                                   inverse);
 186 }
 187
 188 static void horizontal_decompose53i(DWTELEM *b, DWTELEM *temp, int width)
 189 {
 190     const int width2 = width >> 1;
 191     int x;
 192     const int w2 = (width + 1) >> 1;
 193
 194     for (x = 0; x < width2; x++) {
 195         temp[x]      = b[2 * x];
 196         temp[x + w2] = b[2 * x + 1];
 197     }
 198     if (width & 1)
 199         temp[x] = b[2 * x];
 200     lift(b + w2, temp + w2, temp,   1, 1, 1, width, -1, 0, 1, 1, 0);
 201     lift(b,      temp,      b + w2, 1, 1, 1, width,  1, 2, 2, 0, 0);
 202 }
 203
 204 static void vertical_decompose53iH0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 205                                     int width)
 206 {
 207     int i;
 208
 209     for (i = 0; i < width; i++)
 210         b1[i] -= (b0[i] + b2[i]) >> 1;
 211 }
 212
 213 static void vertical_decompose53iL0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 214                                     int width)
 215 {
 216     int i;
 217
 218     for (i = 0; i < width; i++)
 219         b1[i] += (b0[i] + b2[i] + 2) >> 2;
 220 }
 221
 222 static void spatial_decompose53i(DWTELEM *buffer, DWTELEM *temp,
 223                                  int width, int height, int stride)
 224 {
 225     int y;
 226     DWTELEM *b0 = buffer + mirror(-2 - 1, height - 1) * stride;
 227     DWTELEM *b1 = buffer + mirror(-2,     height - 1) * stride;
 228
 229     for (y = -2; y < height; y += 2) {
 230         DWTELEM *b2 = buffer + mirror(y + 1, height - 1) * stride;
 231         DWTELEM *b3 = buffer + mirror(y + 2, height - 1) * stride;
 232
 233         if (y + 1 < (unsigned)height)
 234             horizontal_decompose53i(b2, temp, width);
 235         if (y + 2 < (unsigned)height)
 236             horizontal_decompose53i(b3, temp, width);
 237
 238         if (y + 1 < (unsigned)height)
 239             vertical_decompose53iH0(b1, b2, b3, width);
 240         if (y + 0 < (unsigned)height)
 241             vertical_decompose53iL0(b0, b1, b2, width);
 242
 243         b0 = b2;
 244         b1 = b3;
 245     }
 246 }
 247
 248 static void horizontal_decompose97i(DWTELEM *b, DWTELEM *temp, int width)
 249 {
 250     const int w2 = (width + 1) >> 1;
 251
 252     lift(temp + w2, b + 1, b,         1, 2, 2, width, W_AM, W_AO, W_AS, 1, 1);
 253     liftS(temp,     b,     temp + w2, 1, 2, 1, width, W_BM, W_BO, W_BS, 0, 0);
 254     lift(b + w2, temp + w2, temp,     1, 1, 1, width, W_CM, W_CO, W_CS, 1, 0);
 255     lift(b,      temp,      b + w2,   1, 1, 1, width, W_DM, W_DO, W_DS, 0, 0);
 256 }
 257
 258 static void vertical_decompose97iH0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 259                                     int width)
 260 {
 261     int i;
 262
 263     for (i = 0; i < width; i++)
 264         b1[i] -= (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
 265 }
 266
 267 static void vertical_decompose97iH1(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 268                                     int width)
 269 {
 270     int i;
 271
 272     for (i = 0; i < width; i++)
 273         b1[i] += (W_CM * (b0[i] + b2[i]) + W_CO) >> W_CS;
 274 }
 275
 276 static void vertical_decompose97iL0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 277                                     int width)
 278 {
 279     int i;
 280
 281     for (i = 0; i < width; i++)
 282         b1[i] = (16 * 4 * b1[i] - 4 * (b0[i] + b2[i]) + W_BO * 5 + (5 << 27)) /
 283                 (5 * 16) - (1 << 23);
 284 }
 285
 286 static void vertical_decompose97iL1(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 287                                     int width)
 288 {
 289     int i;
 290
 291     for (i = 0; i < width; i++)
 292         b1[i] += (W_DM * (b0[i] + b2[i]) + W_DO) >> W_DS;
 293 }
 294
 295 static void spatial_decompose97i(DWTELEM *buffer, DWTELEM *temp,
 296                                  int width, int height, int stride)
 297 {
 298     int y;
 299     DWTELEM *b0 = buffer + mirror(-4 - 1, height - 1) * stride;
 300     DWTELEM *b1 = buffer + mirror(-4,     height - 1) * stride;
 301     DWTELEM *b2 = buffer + mirror(-4 + 1, height - 1) * stride;
 302     DWTELEM *b3 = buffer + mirror(-4 + 2, height - 1) * stride;
 303
 304     for (y = -4; y < height; y += 2) {
 305         DWTELEM *b4 = buffer + mirror(y + 3, height - 1) * stride;
 306         DWTELEM *b5 = buffer + mirror(y + 4, height - 1) * stride;
 307
 308         if (y + 3 < (unsigned)height)
 309             horizontal_decompose97i(b4, temp, width);
 310         if (y + 4 < (unsigned)height)
 311             horizontal_decompose97i(b5, temp, width);
 312
 313         if (y + 3 < (unsigned)height)
 314             vertical_decompose97iH0(b3, b4, b5, width);
 315         if (y + 2 < (unsigned)height)
 316             vertical_decompose97iL0(b2, b3, b4, width);
 317         if (y + 1 < (unsigned)height)
 318             vertical_decompose97iH1(b1, b2, b3, width);
 319         if (y + 0 < (unsigned)height)
 320             vertical_decompose97iL1(b0, b1, b2, width);
 321
 322         b0 = b2;
 323         b1 = b3;
 324         b2 = b4;
 325         b3 = b5;
 326     }
 327 }
 328
 329 void ff_spatial_dwt(DWTELEM *buffer, DWTELEM *temp, int width, int height,
 330                     int stride, int type, int decomposition_count)
 331 {
 332     int level;
 333
 334     for (level = 0; level < decomposition_count; level++) {
 335         switch (type) {
 336         case DWT_97:
 337             spatial_decompose97i(buffer, temp,
 338                                  width >> level, height >> level,
 339                                  stride << level);
 340             break;
 341         case DWT_53:
 342             spatial_decompose53i(buffer, temp,
 343                                  width >> level, height >> level,
 344                                  stride << level);
 345             break;
 346         }
 347     }
 348 }
 349
 350 static void horizontal_compose53i(IDWTELEM *b, IDWTELEM *temp, int width)
 351 {
 352     const int width2 = width >> 1;
 353     const int w2     = (width + 1) >> 1;
 354     int x;
 355
 356     for (x = 0; x < width2; x++) {
 357         temp[2 * x]     = b[x];
 358         temp[2 * x + 1] = b[x + w2];
 359     }
 360     if (width & 1)
 361         temp[2 * x] = b[x];
 362
 363     b[0] = temp[0] - ((temp[1] + 1) >> 1);
 364     for (x = 2; x < width - 1; x += 2) {
 365         b[x]     = temp[x]     - ((temp[x - 1] + temp[x + 1] + 2) >> 2);
 366         b[x - 1] = temp[x - 1] + ((b[x - 2]    + b[x]        + 1) >> 1);
 367     }
 368     if (width & 1) {
 369         b[x]     = temp[x]     - ((temp[x - 1]     + 1) >> 1);
 370         b[x - 1] = temp[x - 1] + ((b[x - 2] + b[x] + 1) >> 1);
 371     } else
 372         b[x - 1] = temp[x - 1] + b[x - 2];
 373 }
 374
 375 static void vertical_compose53iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 376                                   int width)
 377 {
 378     int i;
 379
 380     for (i = 0; i < width; i++)
 381         b1[i] += (b0[i] + b2[i]) >> 1;
 382 }
 383
 384 static void vertical_compose53iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 385                                   int width)
 386 {
 387     int i;
 388
 389     for (i = 0; i < width; i++)
 390         b1[i] -= (b0[i] + b2[i] + 2) >> 2;
 391 }
 392
 393 static void spatial_compose53i_buffered_init(DWTCompose *cs, slice_buffer *sb,
 394                                              int height, int stride_line)
 395 {
 396     cs->b0 = slice_buffer_get_line(sb,
 397                                    mirror(-1 - 1, height - 1) * stride_line);
 398     cs->b1 = slice_buffer_get_line(sb, mirror(-1, height - 1) * stride_line);
 399     cs->y  = -1;
 400 }
 401
 402 static void spatial_compose53i_init(DWTCompose *cs, IDWTELEM *buffer,
 403                                     int height, int stride)
 404 {
 405     cs->b0 = buffer + mirror(-1 - 1, height - 1) * stride;
 406     cs->b1 = buffer + mirror(-1,     height - 1) * stride;
 407     cs->y  = -1;
 408 }
 409
 410 static void spatial_compose53i_dy_buffered(DWTCompose *cs, slice_buffer *sb,
 411                                            IDWTELEM *temp,
 412                                            int width, int height,
 413                                            int stride_line)
 414 {
 415     int y = cs->y;
 416
 417     IDWTELEM *b0 = cs->b0;
 418     IDWTELEM *b1 = cs->b1;
 419     IDWTELEM *b2 = slice_buffer_get_line(sb,
 420                                          mirror(y + 1, height - 1) *
 421                                          stride_line);
 422     IDWTELEM *b3 = slice_buffer_get_line(sb,
 423                                          mirror(y + 2, height - 1) *
 424                                          stride_line);
 425
 426     if (y + 1 < (unsigned)height && y < (unsigned)height) {
 427         int x;
 428
 429         for (x = 0; x < width; x++) {
 430             b2[x] -= (b1[x] + b3[x] + 2) >> 2;
 431             b1[x] += (b0[x] + b2[x])     >> 1;
 432         }
 433     } else {
 434         if (y + 1 < (unsigned)height)
 435             vertical_compose53iL0(b1, b2, b3, width);
 436         if (y + 0 < (unsigned)height)
 437             vertical_compose53iH0(b0, b1, b2, width);
 438     }
 439
 440     if (y - 1 < (unsigned)height)
 441         horizontal_compose53i(b0, temp, width);
 442     if (y + 0 < (unsigned)height)
 443         horizontal_compose53i(b1, temp, width);
 444
 445     cs->b0  = b2;
 446     cs->b1  = b3;
 447     cs->y  += 2;
 448 }
 449
 450 static void spatial_compose53i_dy(DWTCompose *cs, IDWTELEM *buffer,
 451                                   IDWTELEM *temp, int width, int height,
 452                                   int stride)
 453 {
 454     int y        = cs->y;
 455     IDWTELEM *b0 = cs->b0;
 456     IDWTELEM *b1 = cs->b1;
 457     IDWTELEM *b2 = buffer + mirror(y + 1, height - 1) * stride;
 458     IDWTELEM *b3 = buffer + mirror(y + 2, height - 1) * stride;
 459
 460     if (y + 1 < (unsigned)height)
 461         vertical_compose53iL0(b1, b2, b3, width);
 462     if (y + 0 < (unsigned)height)
 463         vertical_compose53iH0(b0, b1, b2, width);
 464
 465     if (y - 1 < (unsigned)height)
 466         horizontal_compose53i(b0, temp, width);
 467     if (y + 0 < (unsigned)height)
 468         horizontal_compose53i(b1, temp, width);
 469
 470     cs->b0  = b2;
 471     cs->b1  = b3;
 472     cs->y  += 2;
 473 }
 474
 475 void ff_snow_horizontal_compose97i(IDWTELEM *b, IDWTELEM *temp, int width)
 476 {
 477     const int w2 = (width + 1) >> 1;
 478     int x;
 479
 480     temp[0] = b[0] - ((3 * b[w2] + 2) >> 2);
 481     for (x = 1; x < (width >> 1); x++) {
 482         temp[2 * x]     = b[x] - ((3 * (b[x + w2 - 1] + b[x + w2]) + 4) >> 3);
 483         temp[2 * x - 1] = b[x + w2 - 1] - temp[2 * x - 2] - temp[2 * x];
 484     }
 485     if (width & 1) {
 486         temp[2 * x]     = b[x] - ((3 * b[x + w2 - 1] + 2) >> 2);
 487         temp[2 * x - 1] = b[x + w2 - 1] - temp[2 * x - 2] - temp[2 * x];
 488     } else
 489         temp[2 * x - 1] = b[x + w2 - 1] - 2 * temp[2 * x - 2];
 490
 491     b[0] = temp[0] + ((2 * temp[0] + temp[1] + 4) >> 3);
 492     for (x = 2; x < width - 1; x += 2) {
 493         b[x]     = temp[x] + ((4 * temp[x] + temp[x - 1] + temp[x + 1] + 8) >> 4);
 494         b[x - 1] = temp[x - 1] + ((3 * (b[x - 2] + b[x])) >> 1);
 495     }
 496     if (width & 1) {
 497         b[x]     = temp[x] + ((2 * temp[x] + temp[x - 1] + 4) >> 3);
 498         b[x - 1] = temp[x - 1] + ((3 * (b[x - 2] + b[x])) >> 1);
 499     } else
 500         b[x - 1] = temp[x - 1] + 3 * b[x - 2];
 501 }
 502
 503 static void vertical_compose97iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 504                                   int width)
 505 {
 506     int i;
 507
 508     for (i = 0; i < width; i++)
 509         b1[i] += (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
 510 }
 511
 512 static void vertical_compose97iH1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 513                                   int width)
 514 {
 515     int i;
 516
 517     for (i = 0; i < width; i++)
 518         b1[i] -= (W_CM * (b0[i] + b2[i]) + W_CO) >> W_CS;
 519 }
 520
 521 static void vertical_compose97iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 522                                   int width)
 523 {
 524     int i;
 525
 526     for (i = 0; i < width; i++)
 527         b1[i] += (W_BM * (b0[i] + b2[i]) + 4 * b1[i] + W_BO) >> W_BS;
 528 }
 529
 530 static void vertical_compose97iL1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 531                                   int width)
 532 {
 533     int i;
 534
 535     for (i = 0; i < width; i++)
 536         b1[i] -= (W_DM * (b0[i] + b2[i]) + W_DO) >> W_DS;
 537 }
 538
 539 void ff_snow_vertical_compose97i(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 540                                  IDWTELEM *b3, IDWTELEM *b4, IDWTELEM *b5,
 541                                  int width)
 542 {
 543     int i;
 544
 545     for (i = 0; i < width; i++) {
 546         b4[i] -= (W_DM * (b3[i] + b5[i]) + W_DO) >> W_DS;
 547         b3[i] -= (W_CM * (b2[i] + b4[i]) + W_CO) >> W_CS;
 548         b2[i] += (W_BM * (b1[i] + b3[i]) + 4 * b2[i] + W_BO) >> W_BS;
 549         b1[i] += (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
 550     }
 551 }
 552
 553 static void spatial_compose97i_buffered_init(DWTCompose *cs, slice_buffer *sb,
 554                                              int height, int stride_line)
 555 {
 556     cs->b0 = slice_buffer_get_line(sb, mirror(-3 - 1, height - 1) * stride_line);
 557     cs->b1 = slice_buffer_get_line(sb, mirror(-3,     height - 1) * stride_line);
 558     cs->b2 = slice_buffer_get_line(sb, mirror(-3 + 1, height - 1) * stride_line);
 559     cs->b3 = slice_buffer_get_line(sb, mirror(-3 + 2, height - 1) * stride_line);
 560     cs->y  = -3;
 561 }
 562
 563 static void spatial_compose97i_init(DWTCompose *cs, IDWTELEM *buffer, int height,
 564                                     int stride)
 565 {
 566     cs->b0 = buffer + mirror(-3 - 1, height - 1) * stride;
 567     cs->b1 = buffer + mirror(-3,     height - 1) * stride;
 568     cs->b2 = buffer + mirror(-3 + 1, height - 1) * stride;
 569     cs->b3 = buffer + mirror(-3 + 2, height - 1) * stride;
 570     cs->y  = -3;
 571 }
 572
 573 static void spatial_compose97i_dy_buffered(SnowDWTContext *dsp, DWTCompose *cs,
 574                                            slice_buffer * sb, IDWTELEM *temp,
 575                                            int width, int height,
 576                                            int stride_line)
 577 {
 578     int y = cs->y;
 579
 580     IDWTELEM *b0 = cs->b0;
 581     IDWTELEM *b1 = cs->b1;
 582     IDWTELEM *b2 = cs->b2;
 583     IDWTELEM *b3 = cs->b3;
 584     IDWTELEM *b4 = slice_buffer_get_line(sb,
 585                                          mirror(y + 3, height - 1) *
 586                                          stride_line);
 587     IDWTELEM *b5 = slice_buffer_get_line(sb,
 588                                          mirror(y + 4, height - 1) *
 589                                          stride_line);
 590
 591     if (y > 0 && y + 4 < height) {
 592         dsp->vertical_compose97i(b0, b1, b2, b3, b4, b5, width);
 593     } else {
 594         if (y + 3 < (unsigned)height)
 595             vertical_compose97iL1(b3, b4, b5, width);
 596         if (y + 2 < (unsigned)height)
 597             vertical_compose97iH1(b2, b3, b4, width);
 598         if (y + 1 < (unsigned)height)
 599             vertical_compose97iL0(b1, b2, b3, width);
 600         if (y + 0 < (unsigned)height)
 601             vertical_compose97iH0(b0, b1, b2, width);
 602     }
 603
 604     if (y - 1 < (unsigned)height)
 605         dsp->horizontal_compose97i(b0, temp, width);
 606     if (y + 0 < (unsigned)height)
 607         dsp->horizontal_compose97i(b1, temp, width);
 608
 609     cs->b0  = b2;
 610     cs->b1  = b3;
 611     cs->b2  = b4;
 612     cs->b3  = b5;
 613     cs->y  += 2;
 614 }
 615
 616 static void spatial_compose97i_dy(DWTCompose *cs, IDWTELEM *buffer,
 617                                   IDWTELEM *temp, int width, int height,
 618                                   int stride)
 619 {
 620     int y        = cs->y;
 621     IDWTELEM *b0 = cs->b0;
 622     IDWTELEM *b1 = cs->b1;
 623     IDWTELEM *b2 = cs->b2;
 624     IDWTELEM *b3 = cs->b3;
 625     IDWTELEM *b4 = buffer + mirror(y + 3, height - 1) * stride;
 626     IDWTELEM *b5 = buffer + mirror(y + 4, height - 1) * stride;
 627
 628     if (y + 3 < (unsigned)height)
 629         vertical_compose97iL1(b3, b4, b5, width);
 630     if (y + 2 < (unsigned)height)
 631         vertical_compose97iH1(b2, b3, b4, width);
 632     if (y + 1 < (unsigned)height)
 633         vertical_compose97iL0(b1, b2, b3, width);
 634     if (y + 0 < (unsigned)height)
 635         vertical_compose97iH0(b0, b1, b2, width);
 636
 637     if (y - 1 < (unsigned)height)
 638         ff_snow_horizontal_compose97i(b0, temp, width);
 639     if (y + 0 < (unsigned)height)
 640         ff_snow_horizontal_compose97i(b1, temp, width);
 641
 642     cs->b0  = b2;
 643     cs->b1  = b3;
 644     cs->b2  = b4;
 645     cs->b3  = b5;
 646     cs->y  += 2;
 647 }
 648
 649 void ff_spatial_idwt_buffered_init(DWTCompose *cs, slice_buffer *sb, int width,
 650                                    int height, int stride_line, int type,
 651                                    int decomposition_count)
 652 {
 653     int level;
 654     for (level = decomposition_count - 1; level >= 0; level--) {
 655         switch (type) {
 656         case DWT_97:
 657             spatial_compose97i_buffered_init(cs + level, sb, height >> level,
 658                                              stride_line << level);
 659             break;
 660         case DWT_53:
 661             spatial_compose53i_buffered_init(cs + level, sb, height >> level,
 662                                              stride_line << level);
 663             break;
 664         }
 665     }
 666 }
 667
 668 void ff_spatial_idwt_buffered_slice(SnowDWTContext *dsp, DWTCompose *cs,
 669                                     slice_buffer *slice_buf, IDWTELEM *temp,
 670                                     int width, int height, int stride_line,
 671                                     int type, int decomposition_count, int y)
 672 {
 673     const int support = type == 1 ? 3 : 5;
 674     int level;
 675     if (type == 2)
 676         return;
 677
 678     for (level = decomposition_count - 1; level >= 0; level--)
 679         while (cs[level].y <= FFMIN((y >> level) + support, height >> level)) {
 680             switch (type) {
 681             case DWT_97:
 682                 spatial_compose97i_dy_buffered(dsp, cs + level, slice_buf, temp,
 683                                                width >> level,
 684                                                height >> level,
 685                                                stride_line << level);
 686                 break;
 687             case DWT_53:
 688                 spatial_compose53i_dy_buffered(cs + level, slice_buf, temp,
 689                                                width >> level,
 690                                                height >> level,
 691                                                stride_line << level);
 692                 break;
 693             }
 694         }
 695 }
 696
 697 static void ff_spatial_idwt_init(DWTCompose *cs, IDWTELEM *buffer, int width,
 698                                  int height, int stride, int type,
 699                                  int decomposition_count)
 700 {
 701     int level;
 702     for (level = decomposition_count - 1; level >= 0; level--) {
 703         switch (type) {
 704         case DWT_97:
 705             spatial_compose97i_init(cs + level, buffer, height >> level,
 706                                     stride << level);
 707             break;
 708         case DWT_53:
 709             spatial_compose53i_init(cs + level, buffer, height >> level,
 710                                     stride << level);
 711             break;
 712         }
 713     }
 714 }
 715
 716 static void ff_spatial_idwt_slice(DWTCompose *cs, IDWTELEM *buffer,
 717                                   IDWTELEM *temp, int width, int height,
 718                                   int stride, int type,
 719                                   int decomposition_count, int y)
 720 {
 721     const int support = type == 1 ? 3 : 5;
 722     int level;
 723     if (type == 2)
 724         return;
 725
 726     for (level = decomposition_count - 1; level >= 0; level--)
 727         while (cs[level].y <= FFMIN((y >> level) + support, height >> level)) {
 728             switch (type) {
 729             case DWT_97:
 730                 spatial_compose97i_dy(cs + level, buffer, temp, width >> level,
 731                                       height >> level, stride << level);
 732                 break;
 733             case DWT_53:
 734                 spatial_compose53i_dy(cs + level, buffer, temp, width >> level,
 735                                       height >> level, stride << level);
 736                 break;
 737             }
 738         }
 739 }
 740
 741 void ff_spatial_idwt(IDWTELEM *buffer, IDWTELEM *temp, int width, int height,
 742                      int stride, int type, int decomposition_count)
 743 {
 744     DWTCompose cs[MAX_DECOMPOSITIONS];
 745     int y;
 746     ff_spatial_idwt_init(cs, buffer, width, height, stride, type,
 747                          decomposition_count);
 748     for (y = 0; y < height; y += 4)
 749         ff_spatial_idwt_slice(cs, buffer, temp, width, height, stride, type,
 750                               decomposition_count, y);
 751 }
 752
 753 static inline int w_c(struct MpegEncContext *v, uint8_t *pix1, uint8_t *pix2, ptrdiff_t line_size,
 754                       int w, int h, int type)
 755 {
 756     int s, i, j;
 757     const int dec_count = w == 8 ? 3 : 4;
 758     int tmp[32 * 32], tmp2[32];
 759     int level, ori;
 760     static const int scale[2][2][4][4] = {
 761         {
 762             { // 9/7 8x8 dec=3
 763                 { 268, 239, 239, 213 },
 764                 { 0,   224, 224, 152 },
 765                 { 0,   135, 135, 110 },
 766             },
 767             { // 9/7 16x16 or 32x32 dec=4
 768                 { 344, 310, 310, 280 },
 769                 { 0,   320, 320, 228 },
 770                 { 0,   175, 175, 136 },
 771                 { 0,   129, 129, 102 },
 772             }
 773         },
 774         {
 775             { // 5/3 8x8 dec=3
 776                 { 275, 245, 245, 218 },
 777                 { 0,   230, 230, 156 },
 778                 { 0,   138, 138, 113 },
 779             },
 780             { // 5/3 16x16 or 32x32 dec=4
 781                 { 352, 317, 317, 286 },
 782                 { 0,   328, 328, 233 },
 783                 { 0,   180, 180, 140 },
 784                 { 0,   132, 132, 105 },
 785             }
 786         }
 787     };
 788
 789     for (i = 0; i < h; i++) {
 790         for (j = 0; j < w; j += 4) {
 791             tmp[32 * i + j + 0] = (pix1[j + 0] - pix2[j + 0]) << 4;
 792             tmp[32 * i + j + 1] = (pix1[j + 1] - pix2[j + 1]) << 4;
 793             tmp[32 * i + j + 2] = (pix1[j + 2] - pix2[j + 2]) << 4;
 794             tmp[32 * i + j + 3] = (pix1[j + 3] - pix2[j + 3]) << 4;
 795         }
 796         pix1 += line_size;
 797         pix2 += line_size;
 798     }
 799
 800     ff_spatial_dwt(tmp, tmp2, w, h, 32, type, dec_count);
 801
 802     s = 0;
 803     av_assert1(w == h);
 804     for (level = 0; level < dec_count; level++)
 805         for (ori = level ? 1 : 0; ori < 4; ori++) {
 806             int size   = w >> (dec_count - level);
 807             int sx     = (ori & 1) ? size : 0;
 808             int stride = 32 << (dec_count - level);
 809             int sy     = (ori & 2) ? stride >> 1 : 0;
 810
 811             for (i = 0; i < size; i++)
 812                 for (j = 0; j < size; j++) {
 813                     int v = tmp[sx + sy + i * stride + j] *
 814                             scale[type][dec_count - 3][level][ori];
 815                     s += FFABS(v);
 816                 }
 817         }
 818     av_assert1(s >= 0);
 819     return s >> 9;
 820 }
 821
 822 static int w53_8_c(struct MpegEncContext *v, uint8_t *pix1, uint8_t *pix2, ptrdiff_t line_size, int h)
 823 {
 824     return w_c(v, pix1, pix2, line_size, 8, h, 1);
 825 }
 826
 827 static int w97_8_c(struct MpegEncContext *v, uint8_t *pix1, uint8_t *pix2, ptrdiff_t line_size, int h)
 828 {
 829     return w_c(v, pix1, pix2, line_size, 8, h, 0);
 830 }
 831
 832 static int w53_16_c(struct MpegEncContext *v, uint8_t *pix1, uint8_t *pix2, ptrdiff_t line_size, int h)
 833 {
 834     return w_c(v, pix1, pix2, line_size, 16, h, 1);
 835 }
 836
 837 static int w97_16_c(struct MpegEncContext *v, uint8_t *pix1, uint8_t *pix2, ptrdiff_t line_size, int h)
 838 {
 839     return w_c(v, pix1, pix2, line_size, 16, h, 0);
 840 }
 841
 842 int ff_w53_32_c(struct MpegEncContext *v, uint8_t *pix1, uint8_t *pix2, ptrdiff_t line_size, int h)
 843 {
 844     return w_c(v, pix1, pix2, line_size, 32, h, 1);
 845 }
 846
 847 int ff_w97_32_c(struct MpegEncContext *v, uint8_t *pix1, uint8_t *pix2, ptrdiff_t line_size, int h)
 848 {
 849     return w_c(v, pix1, pix2, line_size, 32, h, 0);
 850 }
 851
 852 void ff_dsputil_init_dwt(MECmpContext *c)
 853 {
 854     c->w53[0] = w53_16_c;
 855     c->w53[1] = w53_8_c;
 856     c->w97[0] = w97_16_c;
 857     c->w97[1] = w97_8_c;
 858 }
 859
 860 void ff_dwt_init(SnowDWTContext *c)
 861 {
 862     c->vertical_compose97i   = ff_snow_vertical_compose97i;
 863     c->horizontal_compose97i = ff_snow_horizontal_compose97i;
 864     c->inner_add_yblock      = ff_snow_inner_add_yblock;
 865
 866     if (HAVE_MMX)
 867         ff_dwt_init_x86(c);
 868 }
 869
 870