git.sesse.net Git - ffmpeg/blob - libavcodec/h263dec.c

   1 /*
   2  * H.263 decoder
   3  * Copyright (c) 2001 Fabrice Bellard
   4  * Copyright (c) 2002-2004 Michael Niedermayer <michaelni@gmx.at>
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 /**
  24  * @file
  25  * H.263 decoder.
  26  */
  27
  28 #define UNCHECKED_BITSTREAM_READER 1
  29
  30 #include "libavutil/cpu.h"
  31 #include "avcodec.h"
  32 #include "error_resilience.h"
  33 #include "flv.h"
  34 #include "h263.h"
  35 #include "h263_parser.h"
  36 #include "internal.h"
  37 #include "mpeg_er.h"
  38 #include "mpeg4video.h"
  39 #include "mpeg4video_parser.h"
  40 #include "mpegvideo.h"
  41 #include "msmpeg4.h"
  42 #include "qpeldsp.h"
  43 #include "vdpau_internal.h"
  44 #include "thread.h"
  45
  46 av_cold int ff_h263_decode_init(AVCodecContext *avctx)
  47 {
  48     MpegEncContext *s = avctx->priv_data;
  49     int ret;
  50
  51     s->out_format      = FMT_H263;
  52
  53     // set defaults
  54     ff_mpv_decode_defaults(s);
  55     ff_mpv_decode_init(s, avctx);
  56
  57     s->quant_precision = 5;
  58     s->decode_mb       = ff_h263_decode_mb;
  59     s->low_delay       = 1;
  60     if (avctx->codec->id == AV_CODEC_ID_MSS2)
  61         avctx->pix_fmt = AV_PIX_FMT_YUV420P;
  62     else
  63         avctx->pix_fmt = ff_get_format(avctx, avctx->codec->pix_fmts);
  64     s->unrestricted_mv = 1;
  65
  66     /* select sub codec */
  67     switch (avctx->codec->id) {
  68     case AV_CODEC_ID_H263:
  69     case AV_CODEC_ID_H263P:
  70         s->unrestricted_mv = 0;
  71         avctx->chroma_sample_location = AVCHROMA_LOC_CENTER;
  72         break;
  73     case AV_CODEC_ID_MPEG4:
  74         break;
  75     case AV_CODEC_ID_MSMPEG4V1:
  76         s->h263_pred       = 1;
  77         s->msmpeg4_version = 1;
  78         break;
  79     case AV_CODEC_ID_MSMPEG4V2:
  80         s->h263_pred       = 1;
  81         s->msmpeg4_version = 2;
  82         break;
  83     case AV_CODEC_ID_MSMPEG4V3:
  84         s->h263_pred       = 1;
  85         s->msmpeg4_version = 3;
  86         break;
  87     case AV_CODEC_ID_WMV1:
  88         s->h263_pred       = 1;
  89         s->msmpeg4_version = 4;
  90         break;
  91     case AV_CODEC_ID_WMV2:
  92         s->h263_pred       = 1;
  93         s->msmpeg4_version = 5;
  94         break;
  95     case AV_CODEC_ID_VC1:
  96     case AV_CODEC_ID_WMV3:
  97     case AV_CODEC_ID_VC1IMAGE:
  98     case AV_CODEC_ID_WMV3IMAGE:
  99     case AV_CODEC_ID_MSS2:
 100         s->h263_pred       = 1;
 101         s->msmpeg4_version = 6;
 102         avctx->chroma_sample_location = AVCHROMA_LOC_LEFT;
 103         break;
 104     case AV_CODEC_ID_H263I:
 105         break;
 106     case AV_CODEC_ID_FLV1:
 107         s->h263_flv = 1;
 108         break;
 109     default:
 110         av_log(avctx, AV_LOG_ERROR, "Unsupported codec %d\n",
 111                avctx->codec->id);
 112         return AVERROR(ENOSYS);
 113     }
 114     s->codec_id    = avctx->codec->id;
 115
 116     if (avctx->stream_codec_tag == AV_RL32("l263") && avctx->extradata_size == 56 && avctx->extradata[0] == 1)
 117         s->ehc_mode = 1;
 118
 119     /* for h263, we allocate the images after having read the header */
 120     if (avctx->codec->id != AV_CODEC_ID_H263 &&
 121         avctx->codec->id != AV_CODEC_ID_H263P &&
 122         avctx->codec->id != AV_CODEC_ID_MPEG4) {
 123         ff_mpv_idct_init(s);
 124         if ((ret = ff_mpv_common_init(s)) < 0)
 125             return ret;
 126     }
 127
 128     ff_h263dsp_init(&s->h263dsp);
 129     ff_qpeldsp_init(&s->qdsp);
 130     ff_h263_decode_init_vlc();
 131
 132     return 0;
 133 }
 134
 135 av_cold int ff_h263_decode_end(AVCodecContext *avctx)
 136 {
 137     MpegEncContext *s = avctx->priv_data;
 138
 139     ff_mpv_common_end(s);
 140     return 0;
 141 }
 142
 143 /**
 144  * Return the number of bytes consumed for building the current frame.
 145  */
 146 static int get_consumed_bytes(MpegEncContext *s, int buf_size)
 147 {
 148     int pos = (get_bits_count(&s->gb) + 7) >> 3;
 149
 150     if (s->divx_packed || s->avctx->hwaccel) {
 151         /* We would have to scan through the whole buf to handle the weird
 152          * reordering ... */
 153         return buf_size;
 154     } else if (s->flags & CODEC_FLAG_TRUNCATED) {
 155         pos -= s->parse_context.last_index;
 156         // padding is not really read so this might be -1
 157         if (pos < 0)
 158             pos = 0;
 159         return pos;
 160     } else {
 161         // avoid infinite loops (maybe not needed...)
 162         if (pos == 0)
 163             pos = 1;
 164         // oops ;)
 165         if (pos + 10 > buf_size)
 166             pos = buf_size;
 167
 168         return pos;
 169     }
 170 }
 171
 172 static int decode_slice(MpegEncContext *s)
 173 {
 174     const int part_mask = s->partitioned_frame
 175                           ? (ER_AC_END | ER_AC_ERROR) : 0x7F;
 176     const int mb_size   = 16 >> s->avctx->lowres;
 177     int ret;
 178
 179     s->last_resync_gb   = s->gb;
 180     s->first_slice_line = 1;
 181     s->resync_mb_x      = s->mb_x;
 182     s->resync_mb_y      = s->mb_y;
 183
 184     ff_set_qscale(s, s->qscale);
 185
 186     if (s->avctx->hwaccel) {
 187         const uint8_t *start = s->gb.buffer + get_bits_count(&s->gb) / 8;
 188         ret = s->avctx->hwaccel->decode_slice(s->avctx, start, s->gb.buffer_end - start);
 189         // ensure we exit decode loop
 190         s->mb_y = s->mb_height;
 191         return ret;
 192     }
 193
 194     if (s->partitioned_frame) {
 195         const int qscale = s->qscale;
 196
 197         if (CONFIG_MPEG4_DECODER && s->codec_id == AV_CODEC_ID_MPEG4)
 198             if ((ret = ff_mpeg4_decode_partitions(s->avctx->priv_data)) < 0)
 199                 return ret;
 200
 201         /* restore variables which were modified */
 202         s->first_slice_line = 1;
 203         s->mb_x             = s->resync_mb_x;
 204         s->mb_y             = s->resync_mb_y;
 205         ff_set_qscale(s, qscale);
 206     }
 207
 208     for (; s->mb_y < s->mb_height; s->mb_y++) {
 209         /* per-row end of slice checks */
 210         if (s->msmpeg4_version) {
 211             if (s->resync_mb_y + s->slice_height == s->mb_y) {
 212                 ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
 213                                 s->mb_x - 1, s->mb_y, ER_MB_END);
 214
 215                 return 0;
 216             }
 217         }
 218
 219         if (s->msmpeg4_version == 1) {
 220             s->last_dc[0] =
 221             s->last_dc[1] =
 222             s->last_dc[2] = 128;
 223         }
 224
 225         ff_init_block_index(s);
 226         for (; s->mb_x < s->mb_width; s->mb_x++) {
 227             int ret;
 228
 229             ff_update_block_index(s);
 230
 231             if (s->resync_mb_x == s->mb_x && s->resync_mb_y + 1 == s->mb_y)
 232                 s->first_slice_line = 0;
 233
 234             /* DCT & quantize */
 235
 236             s->mv_dir  = MV_DIR_FORWARD;
 237             s->mv_type = MV_TYPE_16X16;
 238             av_dlog(s, "%d %d %06X\n",
 239                     ret, get_bits_count(&s->gb), show_bits(&s->gb, 24));
 240
 241             tprintf(NULL, "Decoding MB at %dx%d\n", s->mb_x, s->mb_y);
 242             ret = s->decode_mb(s, s->block);
 243
 244             if (s->pict_type != AV_PICTURE_TYPE_B)
 245                 ff_h263_update_motion_val(s);
 246
 247             if (ret < 0) {
 248                 const int xy = s->mb_x + s->mb_y * s->mb_stride;
 249                 if (ret == SLICE_END) {
 250                     ff_mpv_decode_mb(s, s->block);
 251                     if (s->loop_filter)
 252                         ff_h263_loop_filter(s);
 253
 254                     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
 255                                     s->mb_x, s->mb_y, ER_MB_END & part_mask);
 256
 257                     s->padding_bug_score--;
 258
 259                     if (++s->mb_x >= s->mb_width) {
 260                         s->mb_x = 0;
 261                         ff_mpeg_draw_horiz_band(s, s->mb_y * mb_size, mb_size);
 262                         ff_mpv_report_decode_progress(s);
 263                         s->mb_y++;
 264                     }
 265                     return 0;
 266                 } else if (ret == SLICE_NOEND) {
 267                     av_log(s->avctx, AV_LOG_ERROR,
 268                            "Slice mismatch at MB: %d\n", xy);
 269                     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
 270                                     s->mb_x + 1, s->mb_y,
 271                                     ER_MB_END & part_mask);
 272                     return AVERROR_INVALIDDATA;
 273                 }
 274                 av_log(s->avctx, AV_LOG_ERROR, "Error at MB: %d\n", xy);
 275                 ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
 276                                 s->mb_x, s->mb_y, ER_MB_ERROR & part_mask);
 277
 278                 if (s->err_recognition & AV_EF_IGNORE_ERR)
 279                     continue;
 280                 return AVERROR_INVALIDDATA;
 281             }
 282
 283             ff_mpv_decode_mb(s, s->block);
 284             if (s->loop_filter)
 285                 ff_h263_loop_filter(s);
 286         }
 287
 288         ff_mpeg_draw_horiz_band(s, s->mb_y * mb_size, mb_size);
 289         ff_mpv_report_decode_progress(s);
 290
 291         s->mb_x = 0;
 292     }
 293
 294     av_assert1(s->mb_x == 0 && s->mb_y == s->mb_height);
 295
 296     if (s->codec_id == AV_CODEC_ID_MPEG4         &&
 297         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
 298         get_bits_left(&s->gb) >= 48              &&
 299         show_bits(&s->gb, 24) == 0x4010          &&
 300         !s->data_partitioning)
 301         s->padding_bug_score += 32;
 302
 303     /* try to detect the padding bug */
 304     if (s->codec_id == AV_CODEC_ID_MPEG4         &&
 305         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
 306         get_bits_left(&s->gb) >= 0               &&
 307         get_bits_left(&s->gb) < 137              &&
 308         !s->data_partitioning) {
 309         const int bits_count = get_bits_count(&s->gb);
 310         const int bits_left  = s->gb.size_in_bits - bits_count;
 311
 312         if (bits_left == 0) {
 313             s->padding_bug_score += 16;
 314         } else if (bits_left != 1) {
 315             int v = show_bits(&s->gb, 8);
 316             v |= 0x7F >> (7 - (bits_count & 7));
 317
 318             if (v == 0x7F && bits_left <= 8)
 319                 s->padding_bug_score--;
 320             else if (v == 0x7F && ((get_bits_count(&s->gb) + 8) & 8) &&
 321                      bits_left <= 16)
 322                 s->padding_bug_score += 4;
 323             else
 324                 s->padding_bug_score++;
 325         }
 326     }
 327
 328     if (s->codec_id == AV_CODEC_ID_H263          &&
 329         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
 330         get_bits_left(&s->gb) >= 8               &&
 331         get_bits_left(&s->gb) < 300              &&
 332         s->pict_type == AV_PICTURE_TYPE_I        &&
 333         show_bits(&s->gb, 8) == 0                &&
 334         !s->data_partitioning) {
 335
 336         s->padding_bug_score += 32;
 337     }
 338
 339     if (s->codec_id == AV_CODEC_ID_H263          &&
 340         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
 341         get_bits_left(&s->gb) >= 64              &&
 342         AV_RB64(s->gb.buffer_end - 8) == 0xCDCDCDCDFC7F0000) {
 343
 344         s->padding_bug_score += 32;
 345     }
 346
 347     if (s->workaround_bugs & FF_BUG_AUTODETECT) {
 348         if (
 349             (s->padding_bug_score > -2 && !s->data_partitioning))
 350             s->workaround_bugs |= FF_BUG_NO_PADDING;
 351         else
 352             s->workaround_bugs &= ~FF_BUG_NO_PADDING;
 353     }
 354
 355     // handle formats which don't have unique end markers
 356     if (s->msmpeg4_version || (s->workaround_bugs & FF_BUG_NO_PADDING)) { // FIXME perhaps solve this more cleanly
 357         int left      = get_bits_left(&s->gb);
 358         int max_extra = 7;
 359
 360         /* no markers in M$ crap */
 361         if (s->msmpeg4_version && s->pict_type == AV_PICTURE_TYPE_I)
 362             max_extra += 17;
 363
 364         /* buggy padding but the frame should still end approximately at
 365          * the bitstream end */
 366         if ((s->workaround_bugs & FF_BUG_NO_PADDING) &&
 367             (s->err_recognition & (AV_EF_BUFFER|AV_EF_AGGRESSIVE)))
 368             max_extra += 48;
 369         else if ((s->workaround_bugs & FF_BUG_NO_PADDING))
 370             max_extra += 256 * 256 * 256 * 64;
 371
 372         if (left > max_extra)
 373             av_log(s->avctx, AV_LOG_ERROR,
 374                    "discarding %d junk bits at end, next would be %X\n",
 375                    left, show_bits(&s->gb, 24));
 376         else if (left < 0)
 377             av_log(s->avctx, AV_LOG_ERROR, "overreading %d bits\n", -left);
 378         else
 379             ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
 380                             s->mb_x - 1, s->mb_y, ER_MB_END);
 381
 382         return 0;
 383     }
 384
 385     av_log(s->avctx, AV_LOG_ERROR,
 386            "slice end not reached but screenspace end (%d left %06X, score= %d)\n",
 387            get_bits_left(&s->gb), show_bits(&s->gb, 24), s->padding_bug_score);
 388
 389     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y, s->mb_x, s->mb_y,
 390                     ER_MB_END & part_mask);
 391
 392     return AVERROR_INVALIDDATA;
 393 }
 394
 395 int ff_h263_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
 396                          AVPacket *avpkt)
 397 {
 398     const uint8_t *buf = avpkt->data;
 399     int buf_size       = avpkt->size;
 400     MpegEncContext *s  = avctx->priv_data;
 401     int ret;
 402     int slice_ret = 0;
 403     AVFrame *pict = data;
 404
 405     s->flags  = avctx->flags;
 406     s->flags2 = avctx->flags2;
 407
 408     /* no supplementary picture */
 409     if (buf_size == 0) {
 410         /* special case for last picture */
 411         if (s->low_delay == 0 && s->next_picture_ptr) {
 412             if ((ret = av_frame_ref(pict, s->next_picture_ptr->f)) < 0)
 413                 return ret;
 414             s->next_picture_ptr = NULL;
 415
 416             *got_frame = 1;
 417         }
 418
 419         return 0;
 420     }
 421
 422     if (s->flags & CODEC_FLAG_TRUNCATED) {
 423         int next;
 424
 425         if (CONFIG_MPEG4_DECODER && s->codec_id == AV_CODEC_ID_MPEG4) {
 426             next = ff_mpeg4_find_frame_end(&s->parse_context, buf, buf_size);
 427         } else if (CONFIG_H263_DECODER && s->codec_id == AV_CODEC_ID_H263) {
 428             next = ff_h263_find_frame_end(&s->parse_context, buf, buf_size);
 429         } else if (CONFIG_H263P_DECODER && s->codec_id == AV_CODEC_ID_H263P) {
 430             next = ff_h263_find_frame_end(&s->parse_context, buf, buf_size);
 431         } else {
 432             av_log(s->avctx, AV_LOG_ERROR,
 433                    "this codec does not support truncated bitstreams\n");
 434             return AVERROR(ENOSYS);
 435         }
 436
 437         if (ff_combine_frame(&s->parse_context, next, (const uint8_t **)&buf,
 438                              &buf_size) < 0)
 439             return buf_size;
 440     }
 441
 442 retry:
 443     if (s->divx_packed && s->bitstream_buffer_size) {
 444         int i;
 445         for(i=0; i < buf_size-3; i++) {
 446             if (buf[i]==0 && buf[i+1]==0 && buf[i+2]==1) {
 447                 if (buf[i+3]==0xB0) {
 448                     av_log(s->avctx, AV_LOG_WARNING, "Discarding excessive bitstream in packed xvid\n");
 449                     s->bitstream_buffer_size = 0;
 450                 }
 451                 break;
 452             }
 453         }
 454     }
 455
 456     if (s->bitstream_buffer_size && (s->divx_packed || buf_size < 20)) // divx 5.01+/xvid frame reorder
 457         ret = init_get_bits8(&s->gb, s->bitstream_buffer,
 458                              s->bitstream_buffer_size);
 459     else
 460         ret = init_get_bits8(&s->gb, buf, buf_size);
 461
 462     s->bitstream_buffer_size = 0;
 463     if (ret < 0)
 464         return ret;
 465
 466     if (!s->context_initialized)
 467         // we need the idct permutaton for reading a custom matrix
 468         ff_mpv_idct_init(s);
 469
 470     /* let's go :-) */
 471     if (CONFIG_WMV2_DECODER && s->msmpeg4_version == 5) {
 472         ret = ff_wmv2_decode_picture_header(s);
 473     } else if (CONFIG_MSMPEG4_DECODER && s->msmpeg4_version) {
 474         ret = ff_msmpeg4_decode_picture_header(s);
 475     } else if (CONFIG_MPEG4_DECODER && avctx->codec_id == AV_CODEC_ID_MPEG4) {
 476         if (s->avctx->extradata_size && s->picture_number == 0) {
 477             GetBitContext gb;
 478
 479             if (init_get_bits8(&gb, s->avctx->extradata, s->avctx->extradata_size) >= 0 )
 480                 ff_mpeg4_decode_picture_header(avctx->priv_data, &gb);
 481         }
 482         ret = ff_mpeg4_decode_picture_header(avctx->priv_data, &s->gb);
 483     } else if (CONFIG_H263I_DECODER && s->codec_id == AV_CODEC_ID_H263I) {
 484         ret = ff_intel_h263_decode_picture_header(s);
 485     } else if (CONFIG_FLV_DECODER && s->h263_flv) {
 486         ret = ff_flv_decode_picture_header(s);
 487     } else {
 488         ret = ff_h263_decode_picture_header(s);
 489     }
 490
 491     if (ret < 0 || ret == FRAME_SKIPPED) {
 492         if (   s->width  != avctx->coded_width
 493             || s->height != avctx->coded_height) {
 494                 av_log(s->avctx, AV_LOG_WARNING, "Reverting picture dimensions change due to header decoding failure\n");
 495                 s->width = avctx->coded_width;
 496                 s->height= avctx->coded_height;
 497         }
 498     }
 499     if (ret == FRAME_SKIPPED)
 500         return get_consumed_bytes(s, buf_size);
 501
 502     /* skip if the header was thrashed */
 503     if (ret < 0) {
 504         av_log(s->avctx, AV_LOG_ERROR, "header damaged\n");
 505         return ret;
 506     }
 507
 508     if (!s->context_initialized)
 509         if ((ret = ff_mpv_common_init(s)) < 0)
 510             return ret;
 511
 512     if (!s->current_picture_ptr || s->current_picture_ptr->f->data[0]) {
 513         int i = ff_find_unused_picture(s, 0);
 514         if (i < 0)
 515             return i;
 516         s->current_picture_ptr = &s->picture[i];
 517     }
 518
 519     avctx->has_b_frames = !s->low_delay;
 520
 521     if (CONFIG_MPEG4_DECODER && avctx->codec_id == AV_CODEC_ID_MPEG4) {
 522         if (ff_mpeg4_workaround_bugs(avctx) == 1)
 523             goto retry;
 524     }
 525
 526     /* After H263 & mpeg4 header decode we have the height, width,
 527      * and other parameters. So then we could init the picture.
 528      * FIXME: By the way H263 decoder is evolving it should have
 529      * an H263EncContext */
 530     if (s->width  != avctx->coded_width  ||
 531         s->height != avctx->coded_height ||
 532         s->context_reinit) {
 533         /* H.263 could change picture size any time */
 534         s->context_reinit = 0;
 535
 536         ret = ff_set_dimensions(avctx, s->width, s->height);
 537         if (ret < 0)
 538             return ret;
 539
 540         ff_set_sar(avctx, avctx->sample_aspect_ratio);
 541
 542         if ((ret = ff_mpv_common_frame_size_change(s)))
 543             return ret;
 544     }
 545
 546     if (s->codec_id == AV_CODEC_ID_H263  ||
 547         s->codec_id == AV_CODEC_ID_H263P ||
 548         s->codec_id == AV_CODEC_ID_H263I)
 549         s->gob_index = ff_h263_get_gob_height(s);
 550
 551     // for skipping the frame
 552     s->current_picture.f->pict_type = s->pict_type;
 553     s->current_picture.f->key_frame = s->pict_type == AV_PICTURE_TYPE_I;
 554
 555     /* skip B-frames if we don't have reference frames */
 556     if (!s->last_picture_ptr &&
 557         (s->pict_type == AV_PICTURE_TYPE_B || s->droppable))
 558         return get_consumed_bytes(s, buf_size);
 559     if ((avctx->skip_frame >= AVDISCARD_NONREF &&
 560          s->pict_type == AV_PICTURE_TYPE_B)    ||
 561         (avctx->skip_frame >= AVDISCARD_NONKEY &&
 562          s->pict_type != AV_PICTURE_TYPE_I)    ||
 563         avctx->skip_frame >= AVDISCARD_ALL)
 564         return get_consumed_bytes(s, buf_size);
 565
 566     if (s->next_p_frame_damaged) {
 567         if (s->pict_type == AV_PICTURE_TYPE_B)
 568             return get_consumed_bytes(s, buf_size);
 569         else
 570             s->next_p_frame_damaged = 0;
 571     }
 572
 573     if ((!s->no_rounding) || s->pict_type == AV_PICTURE_TYPE_B) {
 574         s->me.qpel_put = s->qdsp.put_qpel_pixels_tab;
 575         s->me.qpel_avg = s->qdsp.avg_qpel_pixels_tab;
 576     } else {
 577         s->me.qpel_put = s->qdsp.put_no_rnd_qpel_pixels_tab;
 578         s->me.qpel_avg = s->qdsp.avg_qpel_pixels_tab;
 579     }
 580
 581     if ((ret = ff_mpv_frame_start(s, avctx)) < 0)
 582         return ret;
 583
 584     if (!s->divx_packed && !avctx->hwaccel)
 585         ff_thread_finish_setup(avctx);
 586
 587     if (CONFIG_MPEG4_VDPAU_DECODER && (s->avctx->codec->capabilities & CODEC_CAP_HWACCEL_VDPAU)) {
 588         ff_vdpau_mpeg4_decode_picture(avctx->priv_data, s->gb.buffer, s->gb.buffer_end - s->gb.buffer);
 589         goto frame_end;
 590     }
 591
 592     if (avctx->hwaccel) {
 593         ret = avctx->hwaccel->start_frame(avctx, s->gb.buffer,
 594                                           s->gb.buffer_end - s->gb.buffer);
 595         if (ret < 0 )
 596             return ret;
 597     }
 598
 599     ff_mpeg_er_frame_start(s);
 600
 601     /* the second part of the wmv2 header contains the MB skip bits which
 602      * are stored in current_picture->mb_type which is not available before
 603      * ff_mpv_frame_start() */
 604     if (CONFIG_WMV2_DECODER && s->msmpeg4_version == 5) {
 605         ret = ff_wmv2_decode_secondary_picture_header(s);
 606         if (ret < 0)
 607             return ret;
 608         if (ret == 1)
 609             goto frame_end;
 610     }
 611
 612     /* decode each macroblock */
 613     s->mb_x = 0;
 614     s->mb_y = 0;
 615
 616     slice_ret = decode_slice(s);
 617     while (s->mb_y < s->mb_height) {
 618         if (s->msmpeg4_version) {
 619             if (s->slice_height == 0 || s->mb_x != 0 ||
 620                 (s->mb_y % s->slice_height) != 0 || get_bits_left(&s->gb) < 0)
 621                 break;
 622         } else {
 623             int prev_x = s->mb_x, prev_y = s->mb_y;
 624             if (ff_h263_resync(s) < 0)
 625                 break;
 626             if (prev_y * s->mb_width + prev_x < s->mb_y * s->mb_width + s->mb_x)
 627                 s->er.error_occurred = 1;
 628         }
 629
 630         if (s->msmpeg4_version < 4 && s->h263_pred)
 631             ff_mpeg4_clean_buffers(s);
 632
 633         if (decode_slice(s) < 0)
 634             slice_ret = AVERROR_INVALIDDATA;
 635     }
 636
 637     if (s->msmpeg4_version && s->msmpeg4_version < 4 &&
 638         s->pict_type == AV_PICTURE_TYPE_I)
 639         if (!CONFIG_MSMPEG4_DECODER ||
 640             ff_msmpeg4_decode_ext_header(s, buf_size) < 0)
 641             s->er.error_status_table[s->mb_num - 1] = ER_MB_ERROR;
 642
 643     av_assert1(s->bitstream_buffer_size == 0);
 644 frame_end:
 645     ff_er_frame_end(&s->er);
 646
 647     if (avctx->hwaccel) {
 648         ret = avctx->hwaccel->end_frame(avctx);
 649         if (ret < 0)
 650             return ret;
 651     }
 652
 653     ff_mpv_frame_end(s);
 654
 655     if (CONFIG_MPEG4_DECODER && avctx->codec_id == AV_CODEC_ID_MPEG4)
 656         ff_mpeg4_frame_end(avctx, buf, buf_size);
 657
 658     if (!s->divx_packed && avctx->hwaccel)
 659         ff_thread_finish_setup(avctx);
 660
 661     av_assert1(s->current_picture.f->pict_type == s->current_picture_ptr->f->pict_type);
 662     av_assert1(s->current_picture.f->pict_type == s->pict_type);
 663     if (s->pict_type == AV_PICTURE_TYPE_B || s->low_delay) {
 664         if ((ret = av_frame_ref(pict, s->current_picture_ptr->f)) < 0)
 665             return ret;
 666         ff_print_debug_info(s, s->current_picture_ptr, pict);
 667         ff_mpv_export_qp_table(s, pict, s->current_picture_ptr, FF_QSCALE_TYPE_MPEG1);
 668     } else if (s->last_picture_ptr) {
 669         if ((ret = av_frame_ref(pict, s->last_picture_ptr->f)) < 0)
 670             return ret;
 671         ff_print_debug_info(s, s->last_picture_ptr, pict);
 672         ff_mpv_export_qp_table(s, pict, s->last_picture_ptr, FF_QSCALE_TYPE_MPEG1);
 673     }
 674
 675     if (s->last_picture_ptr || s->low_delay) {
 676         if (   pict->format == AV_PIX_FMT_YUV420P
 677             && (s->codec_tag == AV_RL32("GEOV") || s->codec_tag == AV_RL32("GEOX"))) {
 678             int x, y, p;
 679             av_frame_make_writable(pict);
 680             for (p=0; p<3; p++) {
 681                 int w = FF_CEIL_RSHIFT(pict-> width, !!p);
 682                 int h = FF_CEIL_RSHIFT(pict->height, !!p);
 683                 int linesize = pict->linesize[p];
 684                 for (y=0; y<(h>>1); y++)
 685                     for (x=0; x<w; x++)
 686                         FFSWAP(int,
 687                                pict->data[p][x + y*linesize],
 688                                pict->data[p][x + (h-1-y)*linesize]);
 689             }
 690         }
 691         *got_frame = 1;
 692     }
 693
 694     if (slice_ret < 0 && (avctx->err_recognition & AV_EF_EXPLODE))
 695         return ret;
 696     else
 697         return get_consumed_bytes(s, buf_size);
 698 }
 699
 700 const enum AVPixelFormat ff_h263_hwaccel_pixfmt_list_420[] = {
 701 #if CONFIG_H263_VAAPI_HWACCEL || CONFIG_MPEG4_VAAPI_HWACCEL
 702     AV_PIX_FMT_VAAPI_VLD,
 703 #endif
 704 #if CONFIG_H263_VDPAU_HWACCEL || CONFIG_MPEG4_VDPAU_HWACCEL
 705     AV_PIX_FMT_VDPAU,
 706 #endif
 707     AV_PIX_FMT_YUV420P,
 708     AV_PIX_FMT_NONE
 709 };
 710
 711 AVCodec ff_h263_decoder = {
 712     .name           = "h263",
 713     .long_name      = NULL_IF_CONFIG_SMALL("H.263 / H.263-1996, H.263+ / H.263-1998 / H.263 version 2"),
 714     .type           = AVMEDIA_TYPE_VIDEO,
 715     .id             = AV_CODEC_ID_H263,
 716     .priv_data_size = sizeof(MpegEncContext),
 717     .init           = ff_h263_decode_init,
 718     .close          = ff_h263_decode_end,
 719     .decode         = ff_h263_decode_frame,
 720     .capabilities   = CODEC_CAP_DRAW_HORIZ_BAND | CODEC_CAP_DR1 |
 721                       CODEC_CAP_TRUNCATED | CODEC_CAP_DELAY,
 722     .flush          = ff_mpeg_flush,
 723     .max_lowres     = 3,
 724     .pix_fmts       = ff_h263_hwaccel_pixfmt_list_420,
 725 };
 726
 727 AVCodec ff_h263p_decoder = {
 728     .name           = "h263p",
 729     .long_name      = NULL_IF_CONFIG_SMALL("H.263 / H.263-1996, H.263+ / H.263-1998 / H.263 version 2"),
 730     .type           = AVMEDIA_TYPE_VIDEO,
 731     .id             = AV_CODEC_ID_H263P,
 732     .priv_data_size = sizeof(MpegEncContext),
 733     .init           = ff_h263_decode_init,
 734     .close          = ff_h263_decode_end,
 735     .decode         = ff_h263_decode_frame,
 736     .capabilities   = CODEC_CAP_DRAW_HORIZ_BAND | CODEC_CAP_DR1 |
 737                       CODEC_CAP_TRUNCATED | CODEC_CAP_DELAY,
 738     .flush          = ff_mpeg_flush,
 739     .max_lowres     = 3,
 740     .pix_fmts       = ff_h263_hwaccel_pixfmt_list_420,
 741 };