git.sesse.net Git - ffmpeg/blob - libavcodec/dwt.c

   1 /*
   2  * Copyright (C) 2004-2010 Michael Niedermayer <michaelni@gmx.at>
   3  *
   4  * This file is part of Libav.
   5  *
   6  * Libav is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * Libav is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with Libav; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 #include "libavutil/attributes.h"
  22 #include "dsputil.h"
  23 #include "dwt.h"
  24
  25 int ff_slice_buffer_init(slice_buffer *buf, int line_count,
  26                          int max_allocated_lines, int line_width,
  27                          IDWTELEM *base_buffer)
  28 {
  29     int i;
  30
  31     buf->base_buffer = base_buffer;
  32     buf->line_count  = line_count;
  33     buf->line_width  = line_width;
  34     buf->data_count  = max_allocated_lines;
  35     buf->line        = av_mallocz(sizeof(IDWTELEM *) * line_count);
  36     if (!buf->line)
  37         return AVERROR(ENOMEM);
  38     buf->data_stack  = av_malloc(sizeof(IDWTELEM *) * max_allocated_lines);
  39     if (!buf->data_stack) {
  40         av_free(buf->line);
  41         return AVERROR(ENOMEM);
  42     }
  43
  44     for (i = 0; i < max_allocated_lines; i++) {
  45         buf->data_stack[i] = av_malloc(sizeof(IDWTELEM) * line_width);
  46         if (!buf->data_stack[i]) {
  47             for (i--; i >=0; i--)
  48                 av_free(buf->data_stack[i]);
  49             av_free(buf->data_stack);
  50             av_free(buf->line);
  51             return AVERROR(ENOMEM);
  52         }
  53     }
  54
  55     buf->data_stack_top = max_allocated_lines - 1;
  56     return 0;
  57 }
  58
  59 IDWTELEM *ff_slice_buffer_load_line(slice_buffer *buf, int line)
  60 {
  61     IDWTELEM *buffer;
  62
  63     assert(buf->data_stack_top >= 0);
  64 //  assert(!buf->line[line]);
  65     if (buf->line[line])
  66         return buf->line[line];
  67
  68     buffer = buf->data_stack[buf->data_stack_top];
  69     buf->data_stack_top--;
  70     buf->line[line] = buffer;
  71
  72     return buffer;
  73 }
  74
  75 void ff_slice_buffer_release(slice_buffer *buf, int line)
  76 {
  77     IDWTELEM *buffer;
  78
  79     assert(line >= 0 && line < buf->line_count);
  80     assert(buf->line[line]);
  81
  82     buffer = buf->line[line];
  83     buf->data_stack_top++;
  84     buf->data_stack[buf->data_stack_top] = buffer;
  85     buf->line[line]                      = NULL;
  86 }
  87
  88 void ff_slice_buffer_flush(slice_buffer *buf)
  89 {
  90     int i;
  91     for (i = 0; i < buf->line_count; i++)
  92         if (buf->line[i])
  93             ff_slice_buffer_release(buf, i);
  94 }
  95
  96 void ff_slice_buffer_destroy(slice_buffer *buf)
  97 {
  98     int i;
  99     ff_slice_buffer_flush(buf);
 100
 101     for (i = buf->data_count - 1; i >= 0; i--)
 102         av_freep(&buf->data_stack[i]);
 103     av_freep(&buf->data_stack);
 104     av_freep(&buf->line);
 105 }
 106
 107 static inline int mirror(int v, int m)
 108 {
 109     while ((unsigned)v > (unsigned)m) {
 110         v = -v;
 111         if (v < 0)
 112             v += 2 * m;
 113     }
 114     return v;
 115 }
 116
 117 static av_always_inline void lift(DWTELEM *dst, DWTELEM *src, DWTELEM *ref,
 118                                   int dst_step, int src_step, int ref_step,
 119                                   int width, int mul, int add, int shift,
 120                                   int highpass, int inverse)
 121 {
 122     const int mirror_left  = !highpass;
 123     const int mirror_right = (width & 1) ^ highpass;
 124     const int w            = (width >> 1) - 1 + (highpass & width);
 125     int i;
 126
 127 #define LIFT(src, ref, inv) ((src) + ((inv) ? -(ref) : +(ref)))
 128     if (mirror_left) {
 129         dst[0] = LIFT(src[0], ((mul * 2 * ref[0] + add) >> shift), inverse);
 130         dst   += dst_step;
 131         src   += src_step;
 132     }
 133
 134     for (i = 0; i < w; i++)
 135         dst[i * dst_step] = LIFT(src[i * src_step],
 136                                  ((mul * (ref[i * ref_step] +
 137                                           ref[(i + 1) * ref_step]) +
 138                                    add) >> shift),
 139                                  inverse);
 140
 141     if (mirror_right)
 142         dst[w * dst_step] = LIFT(src[w * src_step],
 143                                  ((mul * 2 * ref[w * ref_step] + add) >> shift),
 144                                  inverse);
 145 }
 146
 147 static av_always_inline void inv_lift(IDWTELEM *dst, IDWTELEM *src, IDWTELEM *ref,
 148                                       int dst_step, int src_step, int ref_step,
 149                                       int width, int mul, int add, int shift,
 150                                       int highpass, int inverse)
 151 {
 152     const int mirror_left  = !highpass;
 153     const int mirror_right = (width & 1) ^ highpass;
 154     const int w            = (width >> 1) - 1 + (highpass & width);
 155     int i;
 156
 157 #define LIFT(src, ref, inv) ((src) + ((inv) ? -(ref) : +(ref)))
 158     if (mirror_left) {
 159         dst[0] = LIFT(src[0], ((mul * 2 * ref[0] + add) >> shift), inverse);
 160         dst   += dst_step;
 161         src   += src_step;
 162     }
 163
 164     for (i = 0; i < w; i++)
 165         dst[i * dst_step] = LIFT(src[i * src_step],
 166                                  ((mul * (ref[i * ref_step] +
 167                                           ref[(i + 1) * ref_step]) +
 168                                    add) >> shift),
 169                                  inverse);
 170
 171     if (mirror_right) {
 172         dst[w * dst_step] = LIFT(src[w * src_step],
 173                                  ((mul * 2 * ref[w * ref_step] + add) >> shift),
 174                                  inverse);
 175     }
 176 }
 177
 178 #ifndef liftS
 179 static av_always_inline void liftS(DWTELEM *dst, DWTELEM *src, DWTELEM *ref,
 180                                    int dst_step, int src_step, int ref_step,
 181                                    int width, int mul, int add, int shift,
 182                                    int highpass, int inverse)
 183 {
 184     const int mirror_left  = !highpass;
 185     const int mirror_right = (width & 1) ^ highpass;
 186     const int w            = (width >> 1) - 1 + (highpass & width);
 187     int i;
 188
 189     assert(shift == 4);
 190 #define LIFTS(src, ref, inv)                                            \
 191     ((inv) ? (src) + (((ref) + 4 * (src)) >> shift)                     \
 192            : -((-16 * (src) + (ref) + add /                             \
 193                 4 + 1 + (5 << 25)) / (5 * 4) - (1 << 23)))
 194     if (mirror_left) {
 195         dst[0] = LIFTS(src[0], mul * 2 * ref[0] + add, inverse);
 196         dst   += dst_step;
 197         src   += src_step;
 198     }
 199
 200     for (i = 0; i < w; i++)
 201         dst[i * dst_step] = LIFTS(src[i * src_step],
 202                                   mul * (ref[i * ref_step] +
 203                                          ref[(i + 1) * ref_step]) + add,
 204                                   inverse);
 205
 206     if (mirror_right)
 207         dst[w * dst_step] = LIFTS(src[w * src_step],
 208                                   mul * 2 * ref[w * ref_step] + add,
 209                                   inverse);
 210 }
 211
 212 static av_always_inline void inv_liftS(IDWTELEM *dst, IDWTELEM *src,
 213                                        IDWTELEM *ref, int dst_step,
 214                                        int src_step, int ref_step,
 215                                        int width, int mul, int add, int shift,
 216                                        int highpass, int inverse)
 217 {
 218     const int mirror_left  = !highpass;
 219     const int mirror_right = (width & 1) ^ highpass;
 220     const int w            = (width >> 1) - 1 + (highpass & width);
 221     int i;
 222
 223     assert(shift == 4);
 224 #define LIFTS(src, ref, inv)                                            \
 225     ((inv) ? (src) + (((ref) + 4 * (src)) >> shift)                     \
 226            : -((-16 * (src) + (ref) + add /                             \
 227                 4 + 1 + (5 << 25)) / (5 * 4) - (1 << 23)))
 228     if (mirror_left) {
 229         dst[0] = LIFTS(src[0], mul * 2 * ref[0] + add, inverse);
 230         dst   += dst_step;
 231         src   += src_step;
 232     }
 233
 234     for (i = 0; i < w; i++)
 235         dst[i * dst_step] = LIFTS(src[i * src_step],
 236                                   mul * (ref[i * ref_step] +
 237                                          ref[(i + 1) * ref_step]) + add,
 238                                   inverse);
 239
 240     if (mirror_right)
 241         dst[w * dst_step] = LIFTS(src[w * src_step],
 242                                   mul * 2 * ref[w * ref_step] + add, inverse);
 243 }
 244 #endif /* ! liftS */
 245
 246 static void horizontal_decompose53i(DWTELEM *b, DWTELEM *temp, int width)
 247 {
 248     const int width2 = width >> 1;
 249     int x;
 250     const int w2 = (width + 1) >> 1;
 251
 252     for (x = 0; x < width2; x++) {
 253         temp[x]      = b[2 * x];
 254         temp[x + w2] = b[2 * x + 1];
 255     }
 256     if (width & 1)
 257         temp[x] = b[2 * x];
 258 #if 0
 259     {
 260         int A1, A2, A3, A4;
 261         A2             = temp[1];
 262         A4             = temp[0];
 263         A1             = temp[0 + width2];
 264         A1            -= (A2 + A4) >> 1;
 265         A4            += (A1 +  1) >> 1;
 266         b[0 + width2]  = A1;
 267         b[0]           = A4;
 268         for (x = 1; x + 1 < width2; x += 2) {
 269             A3                 = temp[x + width2];
 270             A4                 = temp[x + 1];
 271             A3                -= (A2 + A4)     >> 1;
 272             A2                += (A1 + A3 + 2) >> 2;
 273             b[x + width2]      = A3;
 274             b[x]               = A2;
 275
 276             A1                 = temp[x + 1 + width2];
 277             A2                 = temp[x + 2];
 278             A1                -= (A2 + A4)     >> 1;
 279             A4                += (A1 + A3 + 2) >> 2;
 280             b[x + 1 + width2]  = A1;
 281             b[x + 1]           = A4;
 282         }
 283         A3            = temp[width - 1];
 284         A3           -= A2;
 285         A2           += (A1 + A3 + 2) >> 2;
 286         b[width  - 1] = A3;
 287         b[width2 - 1] = A2;
 288     }
 289 #else
 290     lift(b + w2, temp + w2, temp,   1, 1, 1, width, -1, 0, 1, 1, 0);
 291     lift(b,      temp,      b + w2, 1, 1, 1, width,  1, 2, 2, 0, 0);
 292 #endif /* 0 */
 293 }
 294
 295 static void vertical_decompose53iH0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 296                                     int width)
 297 {
 298     int i;
 299
 300     for (i = 0; i < width; i++)
 301         b1[i] -= (b0[i] + b2[i]) >> 1;
 302 }
 303
 304 static void vertical_decompose53iL0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 305                                     int width)
 306 {
 307     int i;
 308
 309     for (i = 0; i < width; i++)
 310         b1[i] += (b0[i] + b2[i] + 2) >> 2;
 311 }
 312
 313 static void spatial_decompose53i(DWTELEM *buffer, DWTELEM *temp,
 314                                  int width, int height, int stride)
 315 {
 316     int y;
 317     DWTELEM *b0 = buffer + mirror(-2 - 1, height - 1) * stride;
 318     DWTELEM *b1 = buffer + mirror(-2,     height - 1) * stride;
 319
 320     for (y = -2; y < height; y += 2) {
 321         DWTELEM *b2 = buffer + mirror(y + 1, height - 1) * stride;
 322         DWTELEM *b3 = buffer + mirror(y + 2, height - 1) * stride;
 323
 324         if (y + 1 < (unsigned)height)
 325             horizontal_decompose53i(b2, temp, width);
 326         if (y + 2 < (unsigned)height)
 327             horizontal_decompose53i(b3, temp, width);
 328
 329         if (y + 1 < (unsigned)height)
 330             vertical_decompose53iH0(b1, b2, b3, width);
 331         if (y + 0 < (unsigned)height)
 332             vertical_decompose53iL0(b0, b1, b2, width);
 333
 334         b0 = b2;
 335         b1 = b3;
 336     }
 337 }
 338
 339 static void horizontal_decompose97i(DWTELEM *b, DWTELEM *temp, int width)
 340 {
 341     const int w2 = (width + 1) >> 1;
 342
 343     lift(temp + w2, b + 1, b,         1, 2, 2, width, W_AM, W_AO, W_AS, 1, 1);
 344     liftS(temp,     b,     temp + w2, 1, 2, 1, width, W_BM, W_BO, W_BS, 0, 0);
 345     lift(b + w2, temp + w2, temp,     1, 1, 1, width, W_CM, W_CO, W_CS, 1, 0);
 346     lift(b,      temp,      b + w2,   1, 1, 1, width, W_DM, W_DO, W_DS, 0, 0);
 347 }
 348
 349 static void vertical_decompose97iH0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 350                                     int width)
 351 {
 352     int i;
 353
 354     for (i = 0; i < width; i++)
 355         b1[i] -= (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
 356 }
 357
 358 static void vertical_decompose97iH1(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 359                                     int width)
 360 {
 361     int i;
 362
 363     for (i = 0; i < width; i++)
 364         b1[i] += (W_CM * (b0[i] + b2[i]) + W_CO) >> W_CS;
 365 }
 366
 367 static void vertical_decompose97iL0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 368                                     int width)
 369 {
 370     int i;
 371
 372     for (i = 0; i < width; i++)
 373 #ifdef liftS
 374         b1[i] -= (W_BM * (b0[i] + b2[i]) + W_BO) >> W_BS;
 375 #else
 376         b1[i] = (16 * 4 * b1[i] - 4 * (b0[i] + b2[i]) + W_BO * 5 + (5 << 27)) /
 377                 (5 * 16) - (1 << 23);
 378 #endif
 379 }
 380
 381 static void vertical_decompose97iL1(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
 382                                     int width)
 383 {
 384     int i;
 385
 386     for (i = 0; i < width; i++)
 387         b1[i] += (W_DM * (b0[i] + b2[i]) + W_DO) >> W_DS;
 388 }
 389
 390 static void spatial_decompose97i(DWTELEM *buffer, DWTELEM *temp,
 391                                  int width, int height, int stride)
 392 {
 393     int y;
 394     DWTELEM *b0 = buffer + mirror(-4 - 1, height - 1) * stride;
 395     DWTELEM *b1 = buffer + mirror(-4,     height - 1) * stride;
 396     DWTELEM *b2 = buffer + mirror(-4 + 1, height - 1) * stride;
 397     DWTELEM *b3 = buffer + mirror(-4 + 2, height - 1) * stride;
 398
 399     for (y = -4; y < height; y += 2) {
 400         DWTELEM *b4 = buffer + mirror(y + 3, height - 1) * stride;
 401         DWTELEM *b5 = buffer + mirror(y + 4, height - 1) * stride;
 402
 403         if (y + 3 < (unsigned)height)
 404             horizontal_decompose97i(b4, temp, width);
 405         if (y + 4 < (unsigned)height)
 406             horizontal_decompose97i(b5, temp, width);
 407
 408         if (y + 3 < (unsigned)height)
 409             vertical_decompose97iH0(b3, b4, b5, width);
 410         if (y + 2 < (unsigned)height)
 411             vertical_decompose97iL0(b2, b3, b4, width);
 412         if (y + 1 < (unsigned)height)
 413             vertical_decompose97iH1(b1, b2, b3, width);
 414         if (y + 0 < (unsigned)height)
 415             vertical_decompose97iL1(b0, b1, b2, width);
 416
 417         b0 = b2;
 418         b1 = b3;
 419         b2 = b4;
 420         b3 = b5;
 421     }
 422 }
 423
 424 void ff_spatial_dwt(DWTELEM *buffer, DWTELEM *temp, int width, int height,
 425                     int stride, int type, int decomposition_count)
 426 {
 427     int level;
 428
 429     for (level = 0; level < decomposition_count; level++) {
 430         switch (type) {
 431         case DWT_97:
 432             spatial_decompose97i(buffer, temp,
 433                                  width >> level, height >> level,
 434                                  stride << level);
 435             break;
 436         case DWT_53:
 437             spatial_decompose53i(buffer, temp,
 438                                  width >> level, height >> level,
 439                                  stride << level);
 440             break;
 441         }
 442     }
 443 }
 444
 445 static void horizontal_compose53i(IDWTELEM *b, IDWTELEM *temp, int width)
 446 {
 447     const int width2 = width >> 1;
 448     const int w2     = (width + 1) >> 1;
 449     int x;
 450
 451     for (x = 0; x < width2; x++) {
 452         temp[2 * x]     = b[x];
 453         temp[2 * x + 1] = b[x + w2];
 454     }
 455     if (width & 1)
 456         temp[2 * x] = b[x];
 457
 458     b[0] = temp[0] - ((temp[1] + 1) >> 1);
 459     for (x = 2; x < width - 1; x += 2) {
 460         b[x]     = temp[x]     - ((temp[x - 1] + temp[x + 1] + 2) >> 2);
 461         b[x - 1] = temp[x - 1] + ((b[x - 2]    + b[x]        + 1) >> 1);
 462     }
 463     if (width & 1) {
 464         b[x]     = temp[x]     - ((temp[x - 1]     + 1) >> 1);
 465         b[x - 1] = temp[x - 1] + ((b[x - 2] + b[x] + 1) >> 1);
 466     } else
 467         b[x - 1] = temp[x - 1] + b[x - 2];
 468 }
 469
 470 static void vertical_compose53iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 471                                   int width)
 472 {
 473     int i;
 474
 475     for (i = 0; i < width; i++)
 476         b1[i] += (b0[i] + b2[i]) >> 1;
 477 }
 478
 479 static void vertical_compose53iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 480                                   int width)
 481 {
 482     int i;
 483
 484     for (i = 0; i < width; i++)
 485         b1[i] -= (b0[i] + b2[i] + 2) >> 2;
 486 }
 487
 488 static void spatial_compose53i_buffered_init(DWTCompose *cs, slice_buffer *sb,
 489                                              int height, int stride_line)
 490 {
 491     cs->b0 = slice_buffer_get_line(sb,
 492                                    mirror(-1 - 1, height - 1) * stride_line);
 493     cs->b1 = slice_buffer_get_line(sb, mirror(-1, height - 1) * stride_line);
 494     cs->y  = -1;
 495 }
 496
 497 static void spatial_compose53i_init(DWTCompose *cs, IDWTELEM *buffer,
 498                                     int height, int stride)
 499 {
 500     cs->b0 = buffer + mirror(-1 - 1, height - 1) * stride;
 501     cs->b1 = buffer + mirror(-1,     height - 1) * stride;
 502     cs->y  = -1;
 503 }
 504
 505 static void spatial_compose53i_dy_buffered(DWTCompose *cs, slice_buffer *sb,
 506                                            IDWTELEM *temp,
 507                                            int width, int height,
 508                                            int stride_line)
 509 {
 510     int y = cs->y;
 511
 512     IDWTELEM *b0 = cs->b0;
 513     IDWTELEM *b1 = cs->b1;
 514     IDWTELEM *b2 = slice_buffer_get_line(sb,
 515                                          mirror(y + 1, height - 1) *
 516                                          stride_line);
 517     IDWTELEM *b3 = slice_buffer_get_line(sb,
 518                                          mirror(y + 2, height - 1) *
 519                                          stride_line);
 520
 521     if (y + 1 < (unsigned)height && y < (unsigned)height) {
 522         int x;
 523
 524         for (x = 0; x < width; x++) {
 525             b2[x] -= (b1[x] + b3[x] + 2) >> 2;
 526             b1[x] += (b0[x] + b2[x])     >> 1;
 527         }
 528     } else {
 529         if (y + 1 < (unsigned)height)
 530             vertical_compose53iL0(b1, b2, b3, width);
 531         if (y + 0 < (unsigned)height)
 532             vertical_compose53iH0(b0, b1, b2, width);
 533     }
 534
 535     if (y - 1 < (unsigned)height)
 536         horizontal_compose53i(b0, temp, width);
 537     if (y + 0 < (unsigned)height)
 538         horizontal_compose53i(b1, temp, width);
 539
 540     cs->b0  = b2;
 541     cs->b1  = b3;
 542     cs->y  += 2;
 543 }
 544
 545 static void spatial_compose53i_dy(DWTCompose *cs, IDWTELEM *buffer,
 546                                   IDWTELEM *temp, int width, int height,
 547                                   int stride)
 548 {
 549     int y        = cs->y;
 550     IDWTELEM *b0 = cs->b0;
 551     IDWTELEM *b1 = cs->b1;
 552     IDWTELEM *b2 = buffer + mirror(y + 1, height - 1) * stride;
 553     IDWTELEM *b3 = buffer + mirror(y + 2, height - 1) * stride;
 554
 555     if (y + 1 < (unsigned)height)
 556         vertical_compose53iL0(b1, b2, b3, width);
 557     if (y + 0 < (unsigned)height)
 558         vertical_compose53iH0(b0, b1, b2, width);
 559
 560     if (y - 1 < (unsigned)height)
 561         horizontal_compose53i(b0, temp, width);
 562     if (y + 0 < (unsigned)height)
 563         horizontal_compose53i(b1, temp, width);
 564
 565     cs->b0  = b2;
 566     cs->b1  = b3;
 567     cs->y  += 2;
 568 }
 569
 570 static void av_unused spatial_compose53i(IDWTELEM *buffer, IDWTELEM *temp,
 571                                          int width, int height, int stride)
 572 {
 573     DWTCompose cs;
 574     spatial_compose53i_init(&cs, buffer, height, stride);
 575     while (cs.y <= height)
 576         spatial_compose53i_dy(&cs, buffer, temp, width, height, stride);
 577 }
 578
 579 void ff_snow_horizontal_compose97i(IDWTELEM *b, IDWTELEM *temp, int width)
 580 {
 581     const int w2 = (width + 1) >> 1;
 582
 583 #if 0 //maybe more understadable but slower
 584     inv_lift(temp,     b,      b + w2, 2, 1, 1, width, W_DM, W_DO, W_DS, 0, 1);
 585     inv_lift(temp + 1, b + w2, temp,   2, 1, 2, width, W_CM, W_CO, W_CS, 1, 1);
 586
 587     inv_liftS(b,    temp,     temp + 1, 2, 2, 2, width, W_BM, W_BO, W_BS, 0, 1);
 588     inv_lift(b + 1, temp + 1, b,        2, 2, 2, width, W_AM, W_AO, W_AS, 1, 0);
 589 #else
 590     int x;
 591     temp[0] = b[0] - ((3 * b[w2] + 2) >> 2);
 592     for (x = 1; x < (width >> 1); x++) {
 593         temp[2 * x]     = b[x] - ((3 * (b[x + w2 - 1] + b[x + w2]) + 4) >> 3);
 594         temp[2 * x - 1] = b[x + w2 - 1] - temp[2 * x - 2] - temp[2 * x];
 595     }
 596     if (width & 1) {
 597         temp[2 * x]     = b[x] - ((3 * b[x + w2 - 1] + 2) >> 2);
 598         temp[2 * x - 1] = b[x + w2 - 1] - temp[2 * x - 2] - temp[2 * x];
 599     } else
 600         temp[2 * x - 1] = b[x + w2 - 1] - 2 * temp[2 * x - 2];
 601
 602     b[0] = temp[0] + ((2 * temp[0] + temp[1] + 4) >> 3);
 603     for (x = 2; x < width - 1; x += 2) {
 604         b[x]     = temp[x] + ((4 * temp[x] + temp[x - 1] + temp[x + 1] + 8) >> 4);
 605         b[x - 1] = temp[x - 1] + ((3 * (b[x - 2] + b[x])) >> 1);
 606     }
 607     if (width & 1) {
 608         b[x]     = temp[x] + ((2 * temp[x] + temp[x - 1] + 4) >> 3);
 609         b[x - 1] = temp[x - 1] + ((3 * (b[x - 2] + b[x])) >> 1);
 610     } else
 611         b[x - 1] = temp[x - 1] + 3 * b[x - 2];
 612 #endif
 613 }
 614
 615 static void vertical_compose97iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 616                                   int width)
 617 {
 618     int i;
 619
 620     for (i = 0; i < width; i++)
 621         b1[i] += (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
 622 }
 623
 624 static void vertical_compose97iH1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 625                                   int width)
 626 {
 627     int i;
 628
 629     for (i = 0; i < width; i++)
 630         b1[i] -= (W_CM * (b0[i] + b2[i]) + W_CO) >> W_CS;
 631 }
 632
 633 static void vertical_compose97iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 634                                   int width)
 635 {
 636     int i;
 637
 638     for (i = 0; i < width; i++)
 639 #ifdef liftS
 640         b1[i] += (W_BM * (b0[i] + b2[i]) + W_BO) >> W_BS;
 641 #else
 642         b1[i] += (W_BM * (b0[i] + b2[i]) + 4 * b1[i] + W_BO) >> W_BS;
 643 #endif
 644 }
 645
 646 static void vertical_compose97iL1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 647                                   int width)
 648 {
 649     int i;
 650
 651     for (i = 0; i < width; i++)
 652         b1[i] -= (W_DM * (b0[i] + b2[i]) + W_DO) >> W_DS;
 653 }
 654
 655 void ff_snow_vertical_compose97i(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
 656                                  IDWTELEM *b3, IDWTELEM *b4, IDWTELEM *b5,
 657                                  int width)
 658 {
 659     int i;
 660
 661     for (i = 0; i < width; i++) {
 662         b4[i] -= (W_DM * (b3[i] + b5[i]) + W_DO) >> W_DS;
 663         b3[i] -= (W_CM * (b2[i] + b4[i]) + W_CO) >> W_CS;
 664 #ifdef liftS
 665         b2[i] += (W_BM * (b1[i] + b3[i]) + W_BO) >> W_BS;
 666 #else
 667         b2[i] += (W_BM * (b1[i] + b3[i]) + 4 * b2[i] + W_BO) >> W_BS;
 668 #endif
 669         b1[i] += (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
 670     }
 671 }
 672
 673 static void spatial_compose97i_buffered_init(DWTCompose *cs, slice_buffer *sb,
 674                                              int height, int stride_line)
 675 {
 676     cs->b0 = slice_buffer_get_line(sb, mirror(-3 - 1, height - 1) * stride_line);
 677     cs->b1 = slice_buffer_get_line(sb, mirror(-3,     height - 1) * stride_line);
 678     cs->b2 = slice_buffer_get_line(sb, mirror(-3 + 1, height - 1) * stride_line);
 679     cs->b3 = slice_buffer_get_line(sb, mirror(-3 + 2, height - 1) * stride_line);
 680     cs->y  = -3;
 681 }
 682
 683 static void spatial_compose97i_init(DWTCompose *cs, IDWTELEM *buffer, int height,
 684                                     int stride)
 685 {
 686     cs->b0 = buffer + mirror(-3 - 1, height - 1) * stride;
 687     cs->b1 = buffer + mirror(-3,     height - 1) * stride;
 688     cs->b2 = buffer + mirror(-3 + 1, height - 1) * stride;
 689     cs->b3 = buffer + mirror(-3 + 2, height - 1) * stride;
 690     cs->y  = -3;
 691 }
 692
 693 static void spatial_compose97i_dy_buffered(DWTContext *dsp, DWTCompose *cs,
 694                                            slice_buffer * sb, IDWTELEM *temp,
 695                                            int width, int height,
 696                                            int stride_line)
 697 {
 698     int y = cs->y;
 699
 700     IDWTELEM *b0 = cs->b0;
 701     IDWTELEM *b1 = cs->b1;
 702     IDWTELEM *b2 = cs->b2;
 703     IDWTELEM *b3 = cs->b3;
 704     IDWTELEM *b4 = slice_buffer_get_line(sb,
 705                                          mirror(y + 3, height - 1) *
 706                                          stride_line);
 707     IDWTELEM *b5 = slice_buffer_get_line(sb,
 708                                          mirror(y + 4, height - 1) *
 709                                          stride_line);
 710
 711     if (y > 0 && y + 4 < height) {
 712         dsp->vertical_compose97i(b0, b1, b2, b3, b4, b5, width);
 713     } else {
 714         if (y + 3 < (unsigned)height)
 715             vertical_compose97iL1(b3, b4, b5, width);
 716         if (y + 2 < (unsigned)height)
 717             vertical_compose97iH1(b2, b3, b4, width);
 718         if (y + 1 < (unsigned)height)
 719             vertical_compose97iL0(b1, b2, b3, width);
 720         if (y + 0 < (unsigned)height)
 721             vertical_compose97iH0(b0, b1, b2, width);
 722     }
 723
 724     if (y - 1 < (unsigned)height)
 725         dsp->horizontal_compose97i(b0, temp, width);
 726     if (y + 0 < (unsigned)height)
 727         dsp->horizontal_compose97i(b1, temp, width);
 728
 729     cs->b0  = b2;
 730     cs->b1  = b3;
 731     cs->b2  = b4;
 732     cs->b3  = b5;
 733     cs->y  += 2;
 734 }
 735
 736 static void spatial_compose97i_dy(DWTCompose *cs, IDWTELEM *buffer,
 737                                   IDWTELEM *temp, int width, int height,
 738                                   int stride)
 739 {
 740     int y        = cs->y;
 741     IDWTELEM *b0 = cs->b0;
 742     IDWTELEM *b1 = cs->b1;
 743     IDWTELEM *b2 = cs->b2;
 744     IDWTELEM *b3 = cs->b3;
 745     IDWTELEM *b4 = buffer + mirror(y + 3, height - 1) * stride;
 746     IDWTELEM *b5 = buffer + mirror(y + 4, height - 1) * stride;
 747
 748     if (y + 3 < (unsigned)height)
 749         vertical_compose97iL1(b3, b4, b5, width);
 750     if (y + 2 < (unsigned)height)
 751         vertical_compose97iH1(b2, b3, b4, width);
 752     if (y + 1 < (unsigned)height)
 753         vertical_compose97iL0(b1, b2, b3, width);
 754     if (y + 0 < (unsigned)height)
 755         vertical_compose97iH0(b0, b1, b2, width);
 756
 757     if (y - 1 < (unsigned)height)
 758         ff_snow_horizontal_compose97i(b0, temp, width);
 759     if (y + 0 < (unsigned)height)
 760         ff_snow_horizontal_compose97i(b1, temp, width);
 761
 762     cs->b0  = b2;
 763     cs->b1  = b3;
 764     cs->b2  = b4;
 765     cs->b3  = b5;
 766     cs->y  += 2;
 767 }
 768
 769 static void av_unused spatial_compose97i(IDWTELEM *buffer, IDWTELEM *temp,
 770                                          int width, int height, int stride)
 771 {
 772     DWTCompose cs;
 773     spatial_compose97i_init(&cs, buffer, height, stride);
 774     while (cs.y <= height)
 775         spatial_compose97i_dy(&cs, buffer, temp, width, height, stride);
 776 }
 777
 778 void ff_spatial_idwt_buffered_init(DWTCompose *cs, slice_buffer *sb, int width,
 779                                    int height, int stride_line, int type,
 780                                    int decomposition_count)
 781 {
 782     int level;
 783     for (level = decomposition_count - 1; level >= 0; level--) {
 784         switch (type) {
 785         case DWT_97:
 786             spatial_compose97i_buffered_init(cs + level, sb, height >> level,
 787                                              stride_line << level);
 788             break;
 789         case DWT_53:
 790             spatial_compose53i_buffered_init(cs + level, sb, height >> level,
 791                                              stride_line << level);
 792             break;
 793         }
 794     }
 795 }
 796
 797 void ff_spatial_idwt_buffered_slice(DWTContext *dsp, DWTCompose *cs,
 798                                     slice_buffer *slice_buf, IDWTELEM *temp,
 799                                     int width, int height, int stride_line,
 800                                     int type, int decomposition_count, int y)
 801 {
 802     const int support = type == 1 ? 3 : 5;
 803     int level;
 804     if (type == 2)
 805         return;
 806
 807     for (level = decomposition_count - 1; level >= 0; level--)
 808         while (cs[level].y <= FFMIN((y >> level) + support, height >> level)) {
 809             switch (type) {
 810             case DWT_97:
 811                 spatial_compose97i_dy_buffered(dsp, cs + level, slice_buf, temp,
 812                                                width >> level,
 813                                                height >> level,
 814                                                stride_line << level);
 815                 break;
 816             case DWT_53:
 817                 spatial_compose53i_dy_buffered(cs + level, slice_buf, temp,
 818                                                width >> level,
 819                                                height >> level,
 820                                                stride_line << level);
 821                 break;
 822             }
 823         }
 824 }
 825
 826 static void ff_spatial_idwt_init(DWTCompose *cs, IDWTELEM *buffer, int width,
 827                                  int height, int stride, int type,
 828                                  int decomposition_count)
 829 {
 830     int level;
 831     for (level = decomposition_count - 1; level >= 0; level--) {
 832         switch (type) {
 833         case DWT_97:
 834             spatial_compose97i_init(cs + level, buffer, height >> level,
 835                                     stride << level);
 836             break;
 837         case DWT_53:
 838             spatial_compose53i_init(cs + level, buffer, height >> level,
 839                                     stride << level);
 840             break;
 841         }
 842     }
 843 }
 844
 845 static void ff_spatial_idwt_slice(DWTCompose *cs, IDWTELEM *buffer,
 846                                   IDWTELEM *temp, int width, int height,
 847                                   int stride, int type,
 848                                   int decomposition_count, int y)
 849 {
 850     const int support = type == 1 ? 3 : 5;
 851     int level;
 852     if (type == 2)
 853         return;
 854
 855     for (level = decomposition_count - 1; level >= 0; level--)
 856         while (cs[level].y <= FFMIN((y >> level) + support, height >> level)) {
 857             switch (type) {
 858             case DWT_97:
 859                 spatial_compose97i_dy(cs + level, buffer, temp, width >> level,
 860                                       height >> level, stride << level);
 861                 break;
 862             case DWT_53:
 863                 spatial_compose53i_dy(cs + level, buffer, temp, width >> level,
 864                                       height >> level, stride << level);
 865                 break;
 866             }
 867         }
 868 }
 869
 870 void ff_spatial_idwt(IDWTELEM *buffer, IDWTELEM *temp, int width, int height,
 871                      int stride, int type, int decomposition_count)
 872 {
 873     DWTCompose cs[MAX_DECOMPOSITIONS];
 874     int y;
 875     ff_spatial_idwt_init(cs, buffer, width, height, stride, type,
 876                          decomposition_count);
 877     for (y = 0; y < height; y += 4)
 878         ff_spatial_idwt_slice(cs, buffer, temp, width, height, stride, type,
 879                               decomposition_count, y);
 880 }
 881
 882 static inline int w_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size,
 883                       int w, int h, int type)
 884 {
 885     int s, i, j;
 886     const int dec_count = w == 8 ? 3 : 4;
 887     int tmp[32 * 32], tmp2[32];
 888     int level, ori;
 889     static const int scale[2][2][4][4] = {
 890         {
 891             { // 9/7 8x8 dec=3
 892                 { 268, 239, 239, 213 },
 893                 { 0,   224, 224, 152 },
 894                 { 0,   135, 135, 110 },
 895             },
 896             { // 9/7 16x16 or 32x32 dec=4
 897                 { 344, 310, 310, 280 },
 898                 { 0,   320, 320, 228 },
 899                 { 0,   175, 175, 136 },
 900                 { 0,   129, 129, 102 },
 901             }
 902         },
 903         {
 904             { // 5/3 8x8 dec=3
 905                 { 275, 245, 245, 218 },
 906                 { 0,   230, 230, 156 },
 907                 { 0,   138, 138, 113 },
 908             },
 909             { // 5/3 16x16 or 32x32 dec=4
 910                 { 352, 317, 317, 286 },
 911                 { 0,   328, 328, 233 },
 912                 { 0,   180, 180, 140 },
 913                 { 0,   132, 132, 105 },
 914             }
 915         }
 916     };
 917
 918     for (i = 0; i < h; i++) {
 919         for (j = 0; j < w; j += 4) {
 920             tmp[32 * i + j + 0] = (pix1[j + 0] - pix2[j + 0]) << 4;
 921             tmp[32 * i + j + 1] = (pix1[j + 1] - pix2[j + 1]) << 4;
 922             tmp[32 * i + j + 2] = (pix1[j + 2] - pix2[j + 2]) << 4;
 923             tmp[32 * i + j + 3] = (pix1[j + 3] - pix2[j + 3]) << 4;
 924         }
 925         pix1 += line_size;
 926         pix2 += line_size;
 927     }
 928
 929     ff_spatial_dwt(tmp, tmp2, w, h, 32, type, dec_count);
 930
 931     s = 0;
 932     assert(w == h);
 933     for (level = 0; level < dec_count; level++)
 934         for (ori = level ? 1 : 0; ori < 4; ori++) {
 935             int size   = w >> (dec_count - level);
 936             int sx     = (ori & 1) ? size : 0;
 937             int stride = 32 << (dec_count - level);
 938             int sy     = (ori & 2) ? stride >> 1 : 0;
 939
 940             for (i = 0; i < size; i++)
 941                 for (j = 0; j < size; j++) {
 942                     int v = tmp[sx + sy + i * stride + j] *
 943                             scale[type][dec_count - 3][level][ori];
 944                     s += FFABS(v);
 945                 }
 946         }
 947     assert(s >= 0);
 948     return s >> 9;
 949 }
 950
 951 static int w53_8_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
 952 {
 953     return w_c(v, pix1, pix2, line_size, 8, h, 1);
 954 }
 955
 956 static int w97_8_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
 957 {
 958     return w_c(v, pix1, pix2, line_size, 8, h, 0);
 959 }
 960
 961 static int w53_16_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
 962 {
 963     return w_c(v, pix1, pix2, line_size, 16, h, 1);
 964 }
 965
 966 static int w97_16_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
 967 {
 968     return w_c(v, pix1, pix2, line_size, 16, h, 0);
 969 }
 970
 971 int ff_w53_32_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
 972 {
 973     return w_c(v, pix1, pix2, line_size, 32, h, 1);
 974 }
 975
 976 int ff_w97_32_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
 977 {
 978     return w_c(v, pix1, pix2, line_size, 32, h, 0);
 979 }
 980
 981 void ff_dsputil_init_dwt(DSPContext *c)
 982 {
 983     c->w53[0] = w53_16_c;
 984     c->w53[1] = w53_8_c;
 985     c->w97[0] = w97_16_c;
 986     c->w97[1] = w97_8_c;
 987 }
 988
 989 void ff_dwt_init(DWTContext *c)
 990 {
 991     c->vertical_compose97i   = ff_snow_vertical_compose97i;
 992     c->horizontal_compose97i = ff_snow_horizontal_compose97i;
 993     c->inner_add_yblock      = ff_snow_inner_add_yblock;
 994
 995     if (HAVE_MMX)
 996         ff_dwt_init_x86(c);
 997 }