git.sesse.net Git - ffmpeg/blob - libavcodec/rv40.c

   1 /*
   2  * RV40 decoder
   3  * Copyright (c) 2007 Konstantin Shishkov
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file
  24  * RV40 decoder
  25  */
  26
  27 #include "libavutil/imgutils.h"
  28
  29 #include "avcodec.h"
  30 #include "dsputil.h"
  31 #include "mpegvideo.h"
  32 #include "golomb.h"
  33
  34 #include "rv34.h"
  35 #include "rv40vlc2.h"
  36 #include "rv40data.h"
  37
  38 static VLC aic_top_vlc;
  39 static VLC aic_mode1_vlc[AIC_MODE1_NUM], aic_mode2_vlc[AIC_MODE2_NUM];
  40 static VLC ptype_vlc[NUM_PTYPE_VLCS], btype_vlc[NUM_BTYPE_VLCS];
  41
  42 static const int16_t mode2_offs[] = {
  43        0,  614, 1222, 1794, 2410,  3014,  3586,  4202,  4792, 5382, 5966, 6542,
  44     7138, 7716, 8292, 8864, 9444, 10030, 10642, 11212, 11814
  45 };
  46
  47 /**
  48  * Initialize all tables.
  49  */
  50 static av_cold void rv40_init_tables(void)
  51 {
  52     int i;
  53     static VLC_TYPE aic_table[1 << AIC_TOP_BITS][2];
  54     static VLC_TYPE aic_mode1_table[AIC_MODE1_NUM << AIC_MODE1_BITS][2];
  55     static VLC_TYPE aic_mode2_table[11814][2];
  56     static VLC_TYPE ptype_table[NUM_PTYPE_VLCS << PTYPE_VLC_BITS][2];
  57     static VLC_TYPE btype_table[NUM_BTYPE_VLCS << BTYPE_VLC_BITS][2];
  58
  59     aic_top_vlc.table = aic_table;
  60     aic_top_vlc.table_allocated = 1 << AIC_TOP_BITS;
  61     init_vlc(&aic_top_vlc, AIC_TOP_BITS, AIC_TOP_SIZE,
  62              rv40_aic_top_vlc_bits,  1, 1,
  63              rv40_aic_top_vlc_codes, 1, 1, INIT_VLC_USE_NEW_STATIC);
  64     for(i = 0; i < AIC_MODE1_NUM; i++){
  65         // Every tenth VLC table is empty
  66         if((i % 10) == 9) continue;
  67         aic_mode1_vlc[i].table = &aic_mode1_table[i << AIC_MODE1_BITS];
  68         aic_mode1_vlc[i].table_allocated = 1 << AIC_MODE1_BITS;
  69         init_vlc(&aic_mode1_vlc[i], AIC_MODE1_BITS, AIC_MODE1_SIZE,
  70                  aic_mode1_vlc_bits[i],  1, 1,
  71                  aic_mode1_vlc_codes[i], 1, 1, INIT_VLC_USE_NEW_STATIC);
  72     }
  73     for(i = 0; i < AIC_MODE2_NUM; i++){
  74         aic_mode2_vlc[i].table = &aic_mode2_table[mode2_offs[i]];
  75         aic_mode2_vlc[i].table_allocated = mode2_offs[i + 1] - mode2_offs[i];
  76         init_vlc(&aic_mode2_vlc[i], AIC_MODE2_BITS, AIC_MODE2_SIZE,
  77                  aic_mode2_vlc_bits[i],  1, 1,
  78                  aic_mode2_vlc_codes[i], 2, 2, INIT_VLC_USE_NEW_STATIC);
  79     }
  80     for(i = 0; i < NUM_PTYPE_VLCS; i++){
  81         ptype_vlc[i].table = &ptype_table[i << PTYPE_VLC_BITS];
  82         ptype_vlc[i].table_allocated = 1 << PTYPE_VLC_BITS;
  83         init_vlc_sparse(&ptype_vlc[i], PTYPE_VLC_BITS, PTYPE_VLC_SIZE,
  84                          ptype_vlc_bits[i],  1, 1,
  85                          ptype_vlc_codes[i], 1, 1,
  86                          ptype_vlc_syms,     1, 1, INIT_VLC_USE_NEW_STATIC);
  87     }
  88     for(i = 0; i < NUM_BTYPE_VLCS; i++){
  89         btype_vlc[i].table = &btype_table[i << BTYPE_VLC_BITS];
  90         btype_vlc[i].table_allocated = 1 << BTYPE_VLC_BITS;
  91         init_vlc_sparse(&btype_vlc[i], BTYPE_VLC_BITS, BTYPE_VLC_SIZE,
  92                          btype_vlc_bits[i],  1, 1,
  93                          btype_vlc_codes[i], 1, 1,
  94                          btype_vlc_syms,     1, 1, INIT_VLC_USE_NEW_STATIC);
  95     }
  96 }
  97
  98 /**
  99  * Get stored dimension from bitstream.
 100  *
 101  * If the width/height is the standard one then it's coded as a 3-bit index.
 102  * Otherwise it is coded as escaped 8-bit portions.
 103  */
 104 static int get_dimension(GetBitContext *gb, const int *dim)
 105 {
 106     int t   = get_bits(gb, 3);
 107     int val = dim[t];
 108     if(val < 0)
 109         val = dim[get_bits1(gb) - val];
 110     if(!val){
 111         do{
 112             t = get_bits(gb, 8);
 113             val += t << 2;
 114         }while(t == 0xFF);
 115     }
 116     return val;
 117 }
 118
 119 /**
 120  * Get encoded picture size - usually this is called from rv40_parse_slice_header.
 121  */
 122 static void rv40_parse_picture_size(GetBitContext *gb, int *w, int *h)
 123 {
 124     *w = get_dimension(gb, rv40_standard_widths);
 125     *h = get_dimension(gb, rv40_standard_heights);
 126 }
 127
 128 static int rv40_parse_slice_header(RV34DecContext *r, GetBitContext *gb, SliceInfo *si)
 129 {
 130     int mb_bits;
 131     int w = r->s.width, h = r->s.height;
 132     int mb_size;
 133
 134     memset(si, 0, sizeof(SliceInfo));
 135     if(get_bits1(gb))
 136         return -1;
 137     si->type = get_bits(gb, 2);
 138     if(si->type == 1) si->type = 0;
 139     si->quant = get_bits(gb, 5);
 140     if(get_bits(gb, 2))
 141         return -1;
 142     si->vlc_set = get_bits(gb, 2);
 143     skip_bits1(gb);
 144     si->pts = get_bits(gb, 13);
 145     if(!si->type || !get_bits1(gb))
 146         rv40_parse_picture_size(gb, &w, &h);
 147     if(av_image_check_size(w, h, 0, r->s.avctx) < 0)
 148         return -1;
 149     si->width  = w;
 150     si->height = h;
 151     mb_size = ((w + 15) >> 4) * ((h + 15) >> 4);
 152     mb_bits = ff_rv34_get_start_offset(gb, mb_size);
 153     si->start = get_bits(gb, mb_bits);
 154
 155     return 0;
 156 }
 157
 158 /**
 159  * Decode 4x4 intra types array.
 160  */
 161 static int rv40_decode_intra_types(RV34DecContext *r, GetBitContext *gb, int8_t *dst)
 162 {
 163     MpegEncContext *s = &r->s;
 164     int i, j, k, v;
 165     int A, B, C;
 166     int pattern;
 167     int8_t *ptr;
 168
 169     for(i = 0; i < 4; i++, dst += r->intra_types_stride){
 170         if(!i && s->first_slice_line){
 171             pattern = get_vlc2(gb, aic_top_vlc.table, AIC_TOP_BITS, 1);
 172             dst[0] = (pattern >> 2) & 2;
 173             dst[1] = (pattern >> 1) & 2;
 174             dst[2] =  pattern       & 2;
 175             dst[3] = (pattern << 1) & 2;
 176             continue;
 177         }
 178         ptr = dst;
 179         for(j = 0; j < 4; j++){
 180             /* Coefficients are read using VLC chosen by the prediction pattern
 181              * The first one (used for retrieving a pair of coefficients) is
 182              * constructed from the top, top right and left coefficients
 183              * The second one (used for retrieving only one coefficient) is
 184              * top + 10 * left.
 185              */
 186             A = ptr[-r->intra_types_stride + 1]; // it won't be used for the last coefficient in a row
 187             B = ptr[-r->intra_types_stride];
 188             C = ptr[-1];
 189             pattern = A + (B << 4) + (C << 8);
 190             for(k = 0; k < MODE2_PATTERNS_NUM; k++)
 191                 if(pattern == rv40_aic_table_index[k])
 192                     break;
 193             if(j < 3 && k < MODE2_PATTERNS_NUM){ //pattern is found, decoding 2 coefficients
 194                 v = get_vlc2(gb, aic_mode2_vlc[k].table, AIC_MODE2_BITS, 2);
 195                 *ptr++ = v/9;
 196                 *ptr++ = v%9;
 197                 j++;
 198             }else{
 199                 if(B != -1 && C != -1)
 200                     v = get_vlc2(gb, aic_mode1_vlc[B + C*10].table, AIC_MODE1_BITS, 1);
 201                 else{ // tricky decoding
 202                     v = 0;
 203                     switch(C){
 204                     case -1: // code 0 -> 1, 1 -> 0
 205                         if(B < 2)
 206                             v = get_bits1(gb) ^ 1;
 207                         break;
 208                     case  0:
 209                     case  2: // code 0 -> 2, 1 -> 0
 210                         v = (get_bits1(gb) ^ 1) << 1;
 211                         break;
 212                     }
 213                 }
 214                 *ptr++ = v;
 215             }
 216         }
 217     }
 218     return 0;
 219 }
 220
 221 /**
 222  * Decode macroblock information.
 223  */
 224 static int rv40_decode_mb_info(RV34DecContext *r)
 225 {
 226     MpegEncContext *s = &r->s;
 227     GetBitContext *gb = &s->gb;
 228     int q, i;
 229     int prev_type = 0;
 230     int mb_pos = s->mb_x + s->mb_y * s->mb_stride;
 231     int blocks[RV34_MB_TYPES] = {0};
 232     int count = 0;
 233
 234     if(!r->s.mb_skip_run) {
 235         r->s.mb_skip_run = svq3_get_ue_golomb(gb) + 1;
 236         if(r->s.mb_skip_run > (unsigned)s->mb_num)
 237             return -1;
 238     }
 239
 240     if(--r->s.mb_skip_run)
 241          return RV34_MB_SKIP;
 242
 243     if(r->avail_cache[6-1])
 244         blocks[r->mb_type[mb_pos - 1]]++;
 245     if(r->avail_cache[6-4]){
 246         blocks[r->mb_type[mb_pos - s->mb_stride]]++;
 247         if(r->avail_cache[6-2])
 248             blocks[r->mb_type[mb_pos - s->mb_stride + 1]]++;
 249         if(r->avail_cache[6-5])
 250             blocks[r->mb_type[mb_pos - s->mb_stride - 1]]++;
 251     }
 252
 253     for(i = 0; i < RV34_MB_TYPES; i++){
 254         if(blocks[i] > count){
 255             count = blocks[i];
 256             prev_type = i;
 257         }
 258     }
 259     if(s->pict_type == AV_PICTURE_TYPE_P){
 260         prev_type = block_num_to_ptype_vlc_num[prev_type];
 261         q = get_vlc2(gb, ptype_vlc[prev_type].table, PTYPE_VLC_BITS, 1);
 262         if(q < PBTYPE_ESCAPE)
 263             return q;
 264         q = get_vlc2(gb, ptype_vlc[prev_type].table, PTYPE_VLC_BITS, 1);
 265         av_log(s->avctx, AV_LOG_ERROR, "Dquant for P-frame\n");
 266     }else{
 267         prev_type = block_num_to_btype_vlc_num[prev_type];
 268         q = get_vlc2(gb, btype_vlc[prev_type].table, BTYPE_VLC_BITS, 1);
 269         if(q < PBTYPE_ESCAPE)
 270             return q;
 271         q = get_vlc2(gb, btype_vlc[prev_type].table, BTYPE_VLC_BITS, 1);
 272         av_log(s->avctx, AV_LOG_ERROR, "Dquant for B-frame\n");
 273     }
 274     return 0;
 275 }
 276
 277 #define CLIP_SYMM(a, b) av_clip(a, -(b), b)
 278 /**
 279  * weaker deblocking very similar to the one described in 4.4.2 of JVT-A003r1
 280  */
 281 static inline void rv40_weak_loop_filter(uint8_t *src, const int step,
 282                                          const int filter_p1, const int filter_q1,
 283                                          const int alpha, const int beta,
 284                                          const int lim_p0q0,
 285                                          const int lim_q1, const int lim_p1,
 286                                          const int diff_p1p0, const int diff_q1q0,
 287                                          const int diff_p1p2, const int diff_q1q2)
 288 {
 289     uint8_t *cm = ff_cropTbl + MAX_NEG_CROP;
 290     int t, u, diff;
 291
 292     t = src[0*step] - src[-1*step];
 293     if(!t)
 294         return;
 295     u = (alpha * FFABS(t)) >> 7;
 296     if(u > 3 - (filter_p1 && filter_q1))
 297         return;
 298
 299     t <<= 2;
 300     if(filter_p1 && filter_q1)
 301         t += src[-2*step] - src[1*step];
 302     diff = CLIP_SYMM((t + 4) >> 3, lim_p0q0);
 303     src[-1*step] = cm[src[-1*step] + diff];
 304     src[ 0*step] = cm[src[ 0*step] - diff];
 305     if(FFABS(diff_p1p2) <= beta && filter_p1){
 306         t = (diff_p1p0 + diff_p1p2 - diff) >> 1;
 307         src[-2*step] = cm[src[-2*step] - CLIP_SYMM(t, lim_p1)];
 308     }
 309     if(FFABS(diff_q1q2) <= beta && filter_q1){
 310         t = (diff_q1q0 + diff_q1q2 + diff) >> 1;
 311         src[ 1*step] = cm[src[ 1*step] - CLIP_SYMM(t, lim_q1)];
 312     }
 313 }
 314
 315 static av_always_inline void rv40_adaptive_loop_filter(uint8_t *src, const int step,
 316                                              const int stride, const int dmode,
 317                                              const int lim_q1, const int lim_p1,
 318                                              const int alpha,
 319                                              const int beta, const int beta2,
 320                                              const int chroma, const int edge)
 321 {
 322     int diff_p1p0[4], diff_q1q0[4], diff_p1p2[4], diff_q1q2[4];
 323     int sum_p1p0 = 0, sum_q1q0 = 0, sum_p1p2 = 0, sum_q1q2 = 0;
 324     uint8_t *ptr;
 325     int flag_strong0 = 1, flag_strong1 = 1;
 326     int filter_p1, filter_q1;
 327     int i;
 328     int lims;
 329
 330     for(i = 0, ptr = src; i < 4; i++, ptr += stride){
 331         diff_p1p0[i] = ptr[-2*step] - ptr[-1*step];
 332         diff_q1q0[i] = ptr[ 1*step] - ptr[ 0*step];
 333         sum_p1p0 += diff_p1p0[i];
 334         sum_q1q0 += diff_q1q0[i];
 335     }
 336     filter_p1 = FFABS(sum_p1p0) < (beta<<2);
 337     filter_q1 = FFABS(sum_q1q0) < (beta<<2);
 338     if(!filter_p1 && !filter_q1)
 339         return;
 340
 341     for(i = 0, ptr = src; i < 4; i++, ptr += stride){
 342         diff_p1p2[i] = ptr[-2*step] - ptr[-3*step];
 343         diff_q1q2[i] = ptr[ 1*step] - ptr[ 2*step];
 344         sum_p1p2 += diff_p1p2[i];
 345         sum_q1q2 += diff_q1q2[i];
 346     }
 347
 348     if(edge){
 349         flag_strong0 = filter_p1 && (FFABS(sum_p1p2) < beta2);
 350         flag_strong1 = filter_q1 && (FFABS(sum_q1q2) < beta2);
 351     }else{
 352         flag_strong0 = flag_strong1 = 0;
 353     }
 354
 355     lims = filter_p1 + filter_q1 + ((lim_q1 + lim_p1) >> 1) + 1;
 356     if(flag_strong0 && flag_strong1){ /* strong filtering */
 357         for(i = 0; i < 4; i++, src += stride){
 358             int sflag, p0, q0, p1, q1;
 359             int t = src[0*step] - src[-1*step];
 360
 361             if(!t) continue;
 362             sflag = (alpha * FFABS(t)) >> 7;
 363             if(sflag > 1) continue;
 364
 365             p0 = (25*src[-3*step] + 26*src[-2*step]
 366                 + 26*src[-1*step]
 367                 + 26*src[ 0*step] + 25*src[ 1*step] + rv40_dither_l[dmode + i]) >> 7;
 368             q0 = (25*src[-2*step] + 26*src[-1*step]
 369                 + 26*src[ 0*step]
 370                 + 26*src[ 1*step] + 25*src[ 2*step] + rv40_dither_r[dmode + i]) >> 7;
 371             if(sflag){
 372                 p0 = av_clip(p0, src[-1*step] - lims, src[-1*step] + lims);
 373                 q0 = av_clip(q0, src[ 0*step] - lims, src[ 0*step] + lims);
 374             }
 375             p1 = (25*src[-4*step] + 26*src[-3*step]
 376                 + 26*src[-2*step]
 377                 + 26*p0           + 25*src[ 0*step] + rv40_dither_l[dmode + i]) >> 7;
 378             q1 = (25*src[-1*step] + 26*q0
 379                 + 26*src[ 1*step]
 380                 + 26*src[ 2*step] + 25*src[ 3*step] + rv40_dither_r[dmode + i]) >> 7;
 381             if(sflag){
 382                 p1 = av_clip(p1, src[-2*step] - lims, src[-2*step] + lims);
 383                 q1 = av_clip(q1, src[ 1*step] - lims, src[ 1*step] + lims);
 384             }
 385             src[-2*step] = p1;
 386             src[-1*step] = p0;
 387             src[ 0*step] = q0;
 388             src[ 1*step] = q1;
 389             if(!chroma){
 390                 src[-3*step] = (25*src[-1*step] + 26*src[-2*step] + 51*src[-3*step] + 26*src[-4*step] + 64) >> 7;
 391                 src[ 2*step] = (25*src[ 0*step] + 26*src[ 1*step] + 51*src[ 2*step] + 26*src[ 3*step] + 64) >> 7;
 392             }
 393         }
 394     }else if(filter_p1 && filter_q1){
 395         for(i = 0; i < 4; i++, src += stride)
 396             rv40_weak_loop_filter(src, step, 1, 1, alpha, beta, lims, lim_q1, lim_p1,
 397                                   diff_p1p0[i], diff_q1q0[i], diff_p1p2[i], diff_q1q2[i]);
 398     }else{
 399         for(i = 0; i < 4; i++, src += stride)
 400             rv40_weak_loop_filter(src, step, filter_p1, filter_q1,
 401                                   alpha, beta, lims>>1, lim_q1>>1, lim_p1>>1,
 402                                   diff_p1p0[i], diff_q1q0[i], diff_p1p2[i], diff_q1q2[i]);
 403     }
 404 }
 405
 406 static void rv40_v_loop_filter(uint8_t *src, int stride, int dmode,
 407                                int lim_q1, int lim_p1,
 408                                int alpha, int beta, int beta2, int chroma, int edge){
 409     rv40_adaptive_loop_filter(src, 1, stride, dmode, lim_q1, lim_p1,
 410                               alpha, beta, beta2, chroma, edge);
 411 }
 412 static void rv40_h_loop_filter(uint8_t *src, int stride, int dmode,
 413                                int lim_q1, int lim_p1,
 414                                int alpha, int beta, int beta2, int chroma, int edge){
 415     rv40_adaptive_loop_filter(src, stride, 1, dmode, lim_q1, lim_p1,
 416                               alpha, beta, beta2, chroma, edge);
 417 }
 418
 419 enum RV40BlockPos{
 420     POS_CUR,
 421     POS_TOP,
 422     POS_LEFT,
 423     POS_BOTTOM,
 424 };
 425
 426 #define MASK_CUR          0x0001
 427 #define MASK_RIGHT        0x0008
 428 #define MASK_BOTTOM       0x0010
 429 #define MASK_TOP          0x1000
 430 #define MASK_Y_TOP_ROW    0x000F
 431 #define MASK_Y_LAST_ROW   0xF000
 432 #define MASK_Y_LEFT_COL   0x1111
 433 #define MASK_Y_RIGHT_COL  0x8888
 434 #define MASK_C_TOP_ROW    0x0003
 435 #define MASK_C_LAST_ROW   0x000C
 436 #define MASK_C_LEFT_COL   0x0005
 437 #define MASK_C_RIGHT_COL  0x000A
 438
 439 static const int neighbour_offs_x[4] = { 0,  0, -1, 0 };
 440 static const int neighbour_offs_y[4] = { 0, -1,  0, 1 };
 441
 442 /**
 443  * RV40 loop filtering function
 444  */
 445 static void rv40_loop_filter(RV34DecContext *r, int row)
 446 {
 447     MpegEncContext *s = &r->s;
 448     int mb_pos, mb_x;
 449     int i, j, k;
 450     uint8_t *Y, *C;
 451     int alpha, beta, betaY, betaC;
 452     int q;
 453     int mbtype[4];   ///< current macroblock and its neighbours types
 454     /**
 455      * flags indicating that macroblock can be filtered with strong filter
 456      * it is set only for intra coded MB and MB with DCs coded separately
 457      */
 458     int mb_strong[4];
 459     int clip[4];     ///< MB filter clipping value calculated from filtering strength
 460     /**
 461      * coded block patterns for luma part of current macroblock and its neighbours
 462      * Format:
 463      * LSB corresponds to the top left block,
 464      * each nibble represents one row of subblocks.
 465      */
 466     int cbp[4];
 467     /**
 468      * coded block patterns for chroma part of current macroblock and its neighbours
 469      * Format is the same as for luma with two subblocks in a row.
 470      */
 471     int uvcbp[4][2];
 472     /**
 473      * This mask represents the pattern of luma subblocks that should be filtered
 474      * in addition to the coded ones because because they lie at the edge of
 475      * 8x8 block with different enough motion vectors
 476      */
 477     int mvmasks[4];
 478
 479     mb_pos = row * s->mb_stride;
 480     for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
 481         int mbtype = s->current_picture_ptr->f.mb_type[mb_pos];
 482         if(IS_INTRA(mbtype) || IS_SEPARATE_DC(mbtype))
 483             r->cbp_luma  [mb_pos] = r->deblock_coefs[mb_pos] = 0xFFFF;
 484         if(IS_INTRA(mbtype))
 485             r->cbp_chroma[mb_pos] = 0xFF;
 486     }
 487     mb_pos = row * s->mb_stride;
 488     for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
 489         int y_h_deblock, y_v_deblock;
 490         int c_v_deblock[2], c_h_deblock[2];
 491         int clip_left;
 492         int avail[4];
 493         int y_to_deblock, c_to_deblock[2];
 494
 495         q = s->current_picture_ptr->f.qscale_table[mb_pos];
 496         alpha = rv40_alpha_tab[q];
 497         beta  = rv40_beta_tab [q];
 498         betaY = betaC = beta * 3;
 499         if(s->width * s->height <= 176*144)
 500             betaY += beta;
 501
 502         avail[0] = 1;
 503         avail[1] = row;
 504         avail[2] = mb_x;
 505         avail[3] = row < s->mb_height - 1;
 506         for(i = 0; i < 4; i++){
 507             if(avail[i]){
 508                 int pos = mb_pos + neighbour_offs_x[i] + neighbour_offs_y[i]*s->mb_stride;
 509                 mvmasks[i] = r->deblock_coefs[pos];
 510                 mbtype [i] = s->current_picture_ptr->f.mb_type[pos];
 511                 cbp    [i] = r->cbp_luma[pos];
 512                 uvcbp[i][0] = r->cbp_chroma[pos] & 0xF;
 513                 uvcbp[i][1] = r->cbp_chroma[pos] >> 4;
 514             }else{
 515                 mvmasks[i] = 0;
 516                 mbtype [i] = mbtype[0];
 517                 cbp    [i] = 0;
 518                 uvcbp[i][0] = uvcbp[i][1] = 0;
 519             }
 520             mb_strong[i] = IS_INTRA(mbtype[i]) || IS_SEPARATE_DC(mbtype[i]);
 521             clip[i] = rv40_filter_clip_tbl[mb_strong[i] + 1][q];
 522         }
 523         y_to_deblock =  mvmasks[POS_CUR]
 524                      | (mvmasks[POS_BOTTOM] << 16);
 525         /* This pattern contains bits signalling that horizontal edges of
 526          * the current block can be filtered.
 527          * That happens when either of adjacent subblocks is coded or lies on
 528          * the edge of 8x8 blocks with motion vectors differing by more than
 529          * 3/4 pel in any component (any edge orientation for some reason).
 530          */
 531         y_h_deblock =   y_to_deblock
 532                     | ((cbp[POS_CUR]                           <<  4) & ~MASK_Y_TOP_ROW)
 533                     | ((cbp[POS_TOP]        & MASK_Y_LAST_ROW) >> 12);
 534         /* This pattern contains bits signalling that vertical edges of
 535          * the current block can be filtered.
 536          * That happens when either of adjacent subblocks is coded or lies on
 537          * the edge of 8x8 blocks with motion vectors differing by more than
 538          * 3/4 pel in any component (any edge orientation for some reason).
 539          */
 540         y_v_deblock =   y_to_deblock
 541                     | ((cbp[POS_CUR]                      << 1) & ~MASK_Y_LEFT_COL)
 542                     | ((cbp[POS_LEFT] & MASK_Y_RIGHT_COL) >> 3);
 543         if(!mb_x)
 544             y_v_deblock &= ~MASK_Y_LEFT_COL;
 545         if(!row)
 546             y_h_deblock &= ~MASK_Y_TOP_ROW;
 547         if(row == s->mb_height - 1 || (mb_strong[POS_CUR] || mb_strong[POS_BOTTOM]))
 548             y_h_deblock &= ~(MASK_Y_TOP_ROW << 16);
 549         /* Calculating chroma patterns is similar and easier since there is
 550          * no motion vector pattern for them.
 551          */
 552         for(i = 0; i < 2; i++){
 553             c_to_deblock[i] = (uvcbp[POS_BOTTOM][i] << 4) | uvcbp[POS_CUR][i];
 554             c_v_deblock[i] =   c_to_deblock[i]
 555                            | ((uvcbp[POS_CUR] [i]                       << 1) & ~MASK_C_LEFT_COL)
 556                            | ((uvcbp[POS_LEFT][i]   & MASK_C_RIGHT_COL) >> 1);
 557             c_h_deblock[i] =   c_to_deblock[i]
 558                            | ((uvcbp[POS_TOP][i]    & MASK_C_LAST_ROW)  >> 2)
 559                            |  (uvcbp[POS_CUR][i]                        << 2);
 560             if(!mb_x)
 561                 c_v_deblock[i] &= ~MASK_C_LEFT_COL;
 562             if(!row)
 563                 c_h_deblock[i] &= ~MASK_C_TOP_ROW;
 564             if(row == s->mb_height - 1 || mb_strong[POS_CUR] || mb_strong[POS_BOTTOM])
 565                 c_h_deblock[i] &= ~(MASK_C_TOP_ROW << 4);
 566         }
 567
 568         for(j = 0; j < 16; j += 4){
 569             Y = s->current_picture_ptr->f.data[0] + mb_x*16 + (row*16 + j) * s->linesize;
 570             for(i = 0; i < 4; i++, Y += 4){
 571                 int ij = i + j;
 572                 int clip_cur = y_to_deblock & (MASK_CUR << ij) ? clip[POS_CUR] : 0;
 573                 int dither = j ? ij : i*4;
 574
 575                 // if bottom block is coded then we can filter its top edge
 576                 // (or bottom edge of this block, which is the same)
 577                 if(y_h_deblock & (MASK_BOTTOM << ij)){
 578                     rv40_h_loop_filter(Y+4*s->linesize, s->linesize, dither,
 579                                        y_to_deblock & (MASK_BOTTOM << ij) ? clip[POS_CUR] : 0,
 580                                        clip_cur,
 581                                        alpha, beta, betaY, 0, 0);
 582                 }
 583                 // filter left block edge in ordinary mode (with low filtering strength)
 584                 if(y_v_deblock & (MASK_CUR << ij) && (i || !(mb_strong[POS_CUR] || mb_strong[POS_LEFT]))){
 585                     if(!i)
 586                         clip_left = mvmasks[POS_LEFT] & (MASK_RIGHT << j) ? clip[POS_LEFT] : 0;
 587                     else
 588                         clip_left = y_to_deblock & (MASK_CUR << (ij-1)) ? clip[POS_CUR] : 0;
 589                     rv40_v_loop_filter(Y, s->linesize, dither,
 590                                        clip_cur,
 591                                        clip_left,
 592                                        alpha, beta, betaY, 0, 0);
 593                 }
 594                 // filter top edge of the current macroblock when filtering strength is high
 595                 if(!j && y_h_deblock & (MASK_CUR << i) && (mb_strong[POS_CUR] || mb_strong[POS_TOP])){
 596                     rv40_h_loop_filter(Y, s->linesize, dither,
 597                                        clip_cur,
 598                                        mvmasks[POS_TOP] & (MASK_TOP << i) ? clip[POS_TOP] : 0,
 599                                        alpha, beta, betaY, 0, 1);
 600                 }
 601                 // filter left block edge in edge mode (with high filtering strength)
 602                 if(y_v_deblock & (MASK_CUR << ij) && !i && (mb_strong[POS_CUR] || mb_strong[POS_LEFT])){
 603                     clip_left = mvmasks[POS_LEFT] & (MASK_RIGHT << j) ? clip[POS_LEFT] : 0;
 604                     rv40_v_loop_filter(Y, s->linesize, dither,
 605                                        clip_cur,
 606                                        clip_left,
 607                                        alpha, beta, betaY, 0, 1);
 608                 }
 609             }
 610         }
 611         for(k = 0; k < 2; k++){
 612             for(j = 0; j < 2; j++){
 613                 C = s->current_picture_ptr->f.data[k + 1] + mb_x*8 + (row*8 + j*4) * s->uvlinesize;
 614                 for(i = 0; i < 2; i++, C += 4){
 615                     int ij = i + j*2;
 616                     int clip_cur = c_to_deblock[k] & (MASK_CUR << ij) ? clip[POS_CUR] : 0;
 617                     if(c_h_deblock[k] & (MASK_CUR << (ij+2))){
 618                         int clip_bot = c_to_deblock[k] & (MASK_CUR << (ij+2)) ? clip[POS_CUR] : 0;
 619                         rv40_h_loop_filter(C+4*s->uvlinesize, s->uvlinesize, i*8,
 620                                            clip_bot,
 621                                            clip_cur,
 622                                            alpha, beta, betaC, 1, 0);
 623                     }
 624                     if((c_v_deblock[k] & (MASK_CUR << ij)) && (i || !(mb_strong[POS_CUR] || mb_strong[POS_LEFT]))){
 625                         if(!i)
 626                             clip_left = uvcbp[POS_LEFT][k] & (MASK_CUR << (2*j+1)) ? clip[POS_LEFT] : 0;
 627                         else
 628                             clip_left = c_to_deblock[k]    & (MASK_CUR << (ij-1))  ? clip[POS_CUR]  : 0;
 629                         rv40_v_loop_filter(C, s->uvlinesize, j*8,
 630                                            clip_cur,
 631                                            clip_left,
 632                                            alpha, beta, betaC, 1, 0);
 633                     }
 634                     if(!j && c_h_deblock[k] & (MASK_CUR << ij) && (mb_strong[POS_CUR] || mb_strong[POS_TOP])){
 635                         int clip_top = uvcbp[POS_TOP][k] & (MASK_CUR << (ij+2)) ? clip[POS_TOP] : 0;
 636                         rv40_h_loop_filter(C, s->uvlinesize, i*8,
 637                                            clip_cur,
 638                                            clip_top,
 639                                            alpha, beta, betaC, 1, 1);
 640                     }
 641                     if(c_v_deblock[k] & (MASK_CUR << ij) && !i && (mb_strong[POS_CUR] || mb_strong[POS_LEFT])){
 642                         clip_left = uvcbp[POS_LEFT][k] & (MASK_CUR << (2*j+1)) ? clip[POS_LEFT] : 0;
 643                         rv40_v_loop_filter(C, s->uvlinesize, j*8,
 644                                            clip_cur,
 645                                            clip_left,
 646                                            alpha, beta, betaC, 1, 1);
 647                     }
 648                 }
 649             }
 650         }
 651     }
 652 }
 653
 654 /**
 655  * Initialize decoder.
 656  */
 657 static av_cold int rv40_decode_init(AVCodecContext *avctx)
 658 {
 659     RV34DecContext *r = avctx->priv_data;
 660
 661     r->rv30 = 0;
 662     ff_rv34_decode_init(avctx);
 663     if(!aic_top_vlc.bits)
 664         rv40_init_tables();
 665     r->parse_slice_header = rv40_parse_slice_header;
 666     r->decode_intra_types = rv40_decode_intra_types;
 667     r->decode_mb_info     = rv40_decode_mb_info;
 668     r->loop_filter        = rv40_loop_filter;
 669     r->luma_dc_quant_i = rv40_luma_dc_quant[0];
 670     r->luma_dc_quant_p = rv40_luma_dc_quant[1];
 671     return 0;
 672 }
 673
 674 AVCodec ff_rv40_decoder = {
 675     .name           = "rv40",
 676     .type           = AVMEDIA_TYPE_VIDEO,
 677     .id             = CODEC_ID_RV40,
 678     .priv_data_size = sizeof(RV34DecContext),
 679     .init           = rv40_decode_init,
 680     .close          = ff_rv34_decode_end,
 681     .decode         = ff_rv34_decode_frame,
 682     .capabilities   = CODEC_CAP_DR1 | CODEC_CAP_DELAY,
 683     .flush          = ff_mpeg_flush,
 684     .long_name      = NULL_IF_CONFIG_SMALL("RealVideo 4.0"),
 685     .pix_fmts       = ff_pixfmt_list_420,
 686 };