]> git.sesse.net Git - ffmpeg/blob - libavcodec/h263dec.c
lavd:pulse_audio_enc: fix array compared against 0
[ffmpeg] / libavcodec / h263dec.c
1 /*
2  * H.263 decoder
3  * Copyright (c) 2001 Fabrice Bellard
4  * Copyright (c) 2002-2004 Michael Niedermayer <michaelni@gmx.at>
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * H.263 decoder.
26  */
27
28 #define UNCHECKED_BITSTREAM_READER 1
29
30 #include "libavutil/cpu.h"
31 #include "avcodec.h"
32 #include "error_resilience.h"
33 #include "flv.h"
34 #include "h263.h"
35 #include "h263_parser.h"
36 #include "internal.h"
37 #include "mpeg4video.h"
38 #include "mpeg4video_parser.h"
39 #include "mpegvideo.h"
40 #include "msmpeg4.h"
41 #include "vdpau_internal.h"
42 #include "thread.h"
43
44 av_cold int ff_h263_decode_init(AVCodecContext *avctx)
45 {
46     MpegEncContext *s = avctx->priv_data;
47     int ret;
48
49     s->avctx           = avctx;
50     s->out_format      = FMT_H263;
51     s->width           = avctx->coded_width;
52     s->height          = avctx->coded_height;
53     s->workaround_bugs = avctx->workaround_bugs;
54
55     // set defaults
56     ff_MPV_decode_defaults(s);
57     s->quant_precision = 5;
58     s->decode_mb       = ff_h263_decode_mb;
59     s->low_delay       = 1;
60     if (avctx->codec->id == AV_CODEC_ID_MSS2)
61         avctx->pix_fmt = AV_PIX_FMT_YUV420P;
62     else
63         avctx->pix_fmt = avctx->get_format(avctx, avctx->codec->pix_fmts);
64     s->unrestricted_mv = 1;
65
66     /* select sub codec */
67     switch (avctx->codec->id) {
68     case AV_CODEC_ID_H263:
69     case AV_CODEC_ID_H263P:
70         s->unrestricted_mv = 0;
71         avctx->chroma_sample_location = AVCHROMA_LOC_CENTER;
72         break;
73     case AV_CODEC_ID_MPEG4:
74         break;
75     case AV_CODEC_ID_MSMPEG4V1:
76         s->h263_pred       = 1;
77         s->msmpeg4_version = 1;
78         break;
79     case AV_CODEC_ID_MSMPEG4V2:
80         s->h263_pred       = 1;
81         s->msmpeg4_version = 2;
82         break;
83     case AV_CODEC_ID_MSMPEG4V3:
84         s->h263_pred       = 1;
85         s->msmpeg4_version = 3;
86         break;
87     case AV_CODEC_ID_WMV1:
88         s->h263_pred       = 1;
89         s->msmpeg4_version = 4;
90         break;
91     case AV_CODEC_ID_WMV2:
92         s->h263_pred       = 1;
93         s->msmpeg4_version = 5;
94         break;
95     case AV_CODEC_ID_VC1:
96     case AV_CODEC_ID_WMV3:
97     case AV_CODEC_ID_VC1IMAGE:
98     case AV_CODEC_ID_WMV3IMAGE:
99     case AV_CODEC_ID_MSS2:
100         s->h263_pred       = 1;
101         s->msmpeg4_version = 6;
102         avctx->chroma_sample_location = AVCHROMA_LOC_LEFT;
103         break;
104     case AV_CODEC_ID_H263I:
105         break;
106     case AV_CODEC_ID_FLV1:
107         s->h263_flv = 1;
108         break;
109     default:
110         return AVERROR(EINVAL);
111     }
112     s->codec_id    = avctx->codec->id;
113     avctx->hwaccel = ff_find_hwaccel(avctx->codec->id, avctx->pix_fmt);
114
115     if (avctx->stream_codec_tag == AV_RL32("l263") && avctx->extradata_size == 56 && avctx->extradata[0] == 1)
116         s->ehc_mode = 1;
117
118     /* for h263, we allocate the images after having read the header */
119     if (avctx->codec->id != AV_CODEC_ID_H263 &&
120         avctx->codec->id != AV_CODEC_ID_H263P &&
121         avctx->codec->id != AV_CODEC_ID_MPEG4)
122         if ((ret = ff_MPV_common_init(s)) < 0)
123             return ret;
124
125     ff_h263_decode_init_vlc();
126
127     return 0;
128 }
129
130 av_cold int ff_h263_decode_end(AVCodecContext *avctx)
131 {
132     MpegEncContext *s = avctx->priv_data;
133
134     ff_MPV_common_end(s);
135     return 0;
136 }
137
138 /**
139  * Return the number of bytes consumed for building the current frame.
140  */
141 static int get_consumed_bytes(MpegEncContext *s, int buf_size)
142 {
143     int pos = (get_bits_count(&s->gb) + 7) >> 3;
144
145     if (s->divx_packed || s->avctx->hwaccel) {
146         /* We would have to scan through the whole buf to handle the weird
147          * reordering ... */
148         return buf_size;
149     } else if (s->flags & CODEC_FLAG_TRUNCATED) {
150         pos -= s->parse_context.last_index;
151         // padding is not really read so this might be -1
152         if (pos < 0)
153             pos = 0;
154         return pos;
155     } else {
156         // avoid infinite loops (maybe not needed...)
157         if (pos == 0)
158             pos = 1;
159         // oops ;)
160         if (pos + 10 > buf_size)
161             pos = buf_size;
162
163         return pos;
164     }
165 }
166
167 static int decode_slice(MpegEncContext *s)
168 {
169     const int part_mask = s->partitioned_frame ? (ER_AC_END | ER_AC_ERROR) : 0x7F;
170     const int mb_size   = 16 >> s->avctx->lowres;
171     int ret;
172
173     s->last_resync_gb   = s->gb;
174     s->first_slice_line = 1;
175     s->resync_mb_x      = s->mb_x;
176     s->resync_mb_y      = s->mb_y;
177
178     ff_set_qscale(s, s->qscale);
179
180     if (s->avctx->hwaccel) {
181         const uint8_t *start = s->gb.buffer + get_bits_count(&s->gb) / 8;
182         ret = s->avctx->hwaccel->decode_slice(s->avctx, start, s->gb.buffer_end - start);
183         // ensure we exit decode loop
184         s->mb_y = s->mb_height;
185         return ret;
186     }
187
188     if (s->partitioned_frame) {
189         const int qscale = s->qscale;
190
191         if (CONFIG_MPEG4_DECODER && s->codec_id == AV_CODEC_ID_MPEG4)
192             if ((ret = ff_mpeg4_decode_partitions(s)) < 0)
193                 return ret;
194
195         /* restore variables which were modified */
196         s->first_slice_line = 1;
197         s->mb_x             = s->resync_mb_x;
198         s->mb_y             = s->resync_mb_y;
199         ff_set_qscale(s, qscale);
200     }
201
202     for (; s->mb_y < s->mb_height; s->mb_y++) {
203         /* per-row end of slice checks */
204         if (s->msmpeg4_version) {
205             if (s->resync_mb_y + s->slice_height == s->mb_y) {
206                 ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
207                                 s->mb_x - 1, s->mb_y, ER_MB_END);
208
209                 return 0;
210             }
211         }
212
213         if (s->msmpeg4_version == 1) {
214             s->last_dc[0] =
215             s->last_dc[1] =
216             s->last_dc[2] = 128;
217         }
218
219         ff_init_block_index(s);
220         for (; s->mb_x < s->mb_width; s->mb_x++) {
221             int ret;
222
223             ff_update_block_index(s);
224
225             if (s->resync_mb_x == s->mb_x && s->resync_mb_y + 1 == s->mb_y)
226                 s->first_slice_line = 0;
227
228             /* DCT & quantize */
229
230             s->mv_dir  = MV_DIR_FORWARD;
231             s->mv_type = MV_TYPE_16X16;
232 //            s->mb_skipped = 0;
233             av_dlog(s, "%d %d %06X\n",
234                     ret, get_bits_count(&s->gb), show_bits(&s->gb, 24));
235             ret = s->decode_mb(s, s->block);
236
237             if (s->pict_type != AV_PICTURE_TYPE_B)
238                 ff_h263_update_motion_val(s);
239
240             if (ret < 0) {
241                 const int xy = s->mb_x + s->mb_y * s->mb_stride;
242                 if (ret == SLICE_END) {
243                     ff_MPV_decode_mb(s, s->block);
244                     if (s->loop_filter)
245                         ff_h263_loop_filter(s);
246
247                     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
248                                     s->mb_x, s->mb_y, ER_MB_END & part_mask);
249
250                     s->padding_bug_score--;
251
252                     if (++s->mb_x >= s->mb_width) {
253                         s->mb_x = 0;
254                         ff_mpeg_draw_horiz_band(s, s->mb_y * mb_size, mb_size);
255                         ff_MPV_report_decode_progress(s);
256                         s->mb_y++;
257                     }
258                     return 0;
259                 } else if (ret == SLICE_NOEND) {
260                     av_log(s->avctx, AV_LOG_ERROR,
261                            "Slice mismatch at MB: %d\n", xy);
262                     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
263                                     s->mb_x + 1, s->mb_y,
264                                     ER_MB_END & part_mask);
265                     return AVERROR_INVALIDDATA;
266                 }
267                 av_log(s->avctx, AV_LOG_ERROR, "Error at MB: %d\n", xy);
268                 ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
269                                 s->mb_x, s->mb_y, ER_MB_ERROR & part_mask);
270
271                 return AVERROR_INVALIDDATA;
272             }
273
274             ff_MPV_decode_mb(s, s->block);
275             if (s->loop_filter)
276                 ff_h263_loop_filter(s);
277         }
278
279         ff_mpeg_draw_horiz_band(s, s->mb_y * mb_size, mb_size);
280         ff_MPV_report_decode_progress(s);
281
282         s->mb_x = 0;
283     }
284
285     av_assert1(s->mb_x == 0 && s->mb_y == s->mb_height);
286
287     if (s->codec_id == AV_CODEC_ID_MPEG4         &&
288         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
289         get_bits_left(&s->gb) >= 48              &&
290         show_bits(&s->gb, 24) == 0x4010          &&
291         !s->data_partitioning)
292         s->padding_bug_score += 32;
293
294     /* try to detect the padding bug */
295     if (s->codec_id == AV_CODEC_ID_MPEG4         &&
296         (s->workaround_bugs & FF_BUG_AUTODETECT) &&
297         get_bits_left(&s->gb) >= 0               &&
298         get_bits_left(&s->gb) < 137              &&
299         // !s->resync_marker                     &&
300         !s->data_partitioning) {
301         const int bits_count = get_bits_count(&s->gb);
302         const int bits_left  = s->gb.size_in_bits - bits_count;
303
304         if (bits_left == 0) {
305             s->padding_bug_score += 16;
306         } else if (bits_left != 1) {
307             int v = show_bits(&s->gb, 8);
308             v |= 0x7F >> (7 - (bits_count & 7));
309
310             if (v == 0x7F && bits_left <= 8)
311                 s->padding_bug_score--;
312             else if (v == 0x7F && ((get_bits_count(&s->gb) + 8) & 8) &&
313                      bits_left <= 16)
314                 s->padding_bug_score += 4;
315             else
316                 s->padding_bug_score++;
317         }
318     }
319
320     if (s->workaround_bugs & FF_BUG_AUTODETECT) {
321         if (s->padding_bug_score > -2 && !s->data_partitioning
322             /* && (s->divx_version >= 0 || !s->resync_marker) */)
323             s->workaround_bugs |= FF_BUG_NO_PADDING;
324         else
325             s->workaround_bugs &= ~FF_BUG_NO_PADDING;
326     }
327
328     // handle formats which don't have unique end markers
329     if (s->msmpeg4_version || (s->workaround_bugs & FF_BUG_NO_PADDING)) { // FIXME perhaps solve this more cleanly
330         int left      = get_bits_left(&s->gb);
331         int max_extra = 7;
332
333         /* no markers in M$ crap */
334         if (s->msmpeg4_version && s->pict_type == AV_PICTURE_TYPE_I)
335             max_extra += 17;
336
337         /* buggy padding but the frame should still end approximately at
338          * the bitstream end */
339         if ((s->workaround_bugs & FF_BUG_NO_PADDING) &&
340             (s->err_recognition & (AV_EF_BUFFER|AV_EF_AGGRESSIVE)))
341             max_extra += 48;
342         else if ((s->workaround_bugs & FF_BUG_NO_PADDING))
343             max_extra += 256 * 256 * 256 * 64;
344
345         if (left > max_extra)
346             av_log(s->avctx, AV_LOG_ERROR,
347                    "discarding %d junk bits at end, next would be %X\n",
348                    left, show_bits(&s->gb, 24));
349         else if (left < 0)
350             av_log(s->avctx, AV_LOG_ERROR, "overreading %d bits\n", -left);
351         else
352             ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y,
353                             s->mb_x - 1, s->mb_y, ER_MB_END);
354
355         return 0;
356     }
357
358     av_log(s->avctx, AV_LOG_ERROR,
359            "slice end not reached but screenspace end (%d left %06X, score= %d)\n",
360            get_bits_left(&s->gb), show_bits(&s->gb, 24), s->padding_bug_score);
361
362     ff_er_add_slice(&s->er, s->resync_mb_x, s->resync_mb_y, s->mb_x, s->mb_y,
363                     ER_MB_END & part_mask);
364
365     return AVERROR_INVALIDDATA;
366 }
367
368 int ff_h263_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
369                          AVPacket *avpkt)
370 {
371     const uint8_t *buf = avpkt->data;
372     int buf_size       = avpkt->size;
373     MpegEncContext *s  = avctx->priv_data;
374     int ret;
375     AVFrame *pict = data;
376
377     s->flags  = avctx->flags;
378     s->flags2 = avctx->flags2;
379
380     /* no supplementary picture */
381     if (buf_size == 0) {
382         /* special case for last picture */
383         if (s->low_delay == 0 && s->next_picture_ptr) {
384             if ((ret = av_frame_ref(pict, &s->next_picture_ptr->f)) < 0)
385                 return ret;
386             s->next_picture_ptr = NULL;
387
388             *got_frame = 1;
389         }
390
391         return 0;
392     }
393
394     if (s->flags & CODEC_FLAG_TRUNCATED) {
395         int next;
396
397         if (CONFIG_MPEG4_DECODER && s->codec_id == AV_CODEC_ID_MPEG4) {
398             next = ff_mpeg4_find_frame_end(&s->parse_context, buf, buf_size);
399         } else if (CONFIG_H263_DECODER && s->codec_id == AV_CODEC_ID_H263) {
400             next = ff_h263_find_frame_end(&s->parse_context, buf, buf_size);
401         } else if (CONFIG_H263P_DECODER && s->codec_id == AV_CODEC_ID_H263P) {
402             next = ff_h263_find_frame_end(&s->parse_context, buf, buf_size);
403         } else {
404             av_log(s->avctx, AV_LOG_ERROR,
405                    "this codec does not support truncated bitstreams\n");
406             return AVERROR(EINVAL);
407         }
408
409         if (ff_combine_frame(&s->parse_context, next, (const uint8_t **)&buf,
410                              &buf_size) < 0)
411             return buf_size;
412     }
413
414 retry:
415     if (s->divx_packed && s->bitstream_buffer_size) {
416         int i;
417         for(i=0; i < buf_size-3; i++) {
418             if (buf[i]==0 && buf[i+1]==0 && buf[i+2]==1) {
419                 if (buf[i+3]==0xB0) {
420                     av_log(s->avctx, AV_LOG_WARNING, "Discarding excessive bitstream in packed xvid\n");
421                     s->bitstream_buffer_size = 0;
422                 }
423                 break;
424             }
425         }
426     }
427
428     if (s->bitstream_buffer_size && (s->divx_packed || buf_size < 20)) // divx 5.01+/xvid frame reorder
429         ret = init_get_bits8(&s->gb, s->bitstream_buffer, s->bitstream_buffer_size);
430     else
431         ret = init_get_bits8(&s->gb, buf, buf_size);
432
433     s->bitstream_buffer_size = 0;
434     if (ret < 0)
435         return ret;
436
437     if (!s->context_initialized)
438         if ((ret = ff_MPV_common_init(s)) < 0) // we need the idct permutaton for reading a custom matrix
439             return ret;
440
441     /* We need to set current_picture_ptr before reading the header,
442      * otherwise we cannot store anyting in there */
443     if (s->current_picture_ptr == NULL || s->current_picture_ptr->f.data[0]) {
444         int i = ff_find_unused_picture(s, 0);
445         if (i < 0)
446             return i;
447         s->current_picture_ptr = &s->picture[i];
448     }
449
450     /* let's go :-) */
451     if (CONFIG_WMV2_DECODER && s->msmpeg4_version == 5) {
452         ret = ff_wmv2_decode_picture_header(s);
453     } else if (CONFIG_MSMPEG4_DECODER && s->msmpeg4_version) {
454         ret = ff_msmpeg4_decode_picture_header(s);
455     } else if (CONFIG_MPEG4_DECODER && s->h263_pred) {
456         if (s->avctx->extradata_size && s->picture_number == 0) {
457             GetBitContext gb;
458
459             if (init_get_bits8(&gb, s->avctx->extradata, s->avctx->extradata_size) >= 0 )
460                 ret = ff_mpeg4_decode_picture_header(s, &gb);
461         }
462         ret = ff_mpeg4_decode_picture_header(s, &s->gb);
463     } else if (CONFIG_H263I_DECODER && s->codec_id == AV_CODEC_ID_H263I) {
464         ret = ff_intel_h263_decode_picture_header(s);
465     } else if (CONFIG_FLV_DECODER && s->h263_flv) {
466         ret = ff_flv_decode_picture_header(s);
467     } else {
468         ret = ff_h263_decode_picture_header(s);
469     }
470
471     if (ret < 0 || ret == FRAME_SKIPPED) {
472         if (   s->width  != avctx->coded_width
473             || s->height != avctx->coded_height) {
474                 av_log(s->avctx, AV_LOG_WARNING, "Reverting picture dimensions change due to header decoding failure\n");
475                 s->width = avctx->coded_width;
476                 s->height= avctx->coded_height;
477         }
478     }
479     if (ret == FRAME_SKIPPED)
480         return get_consumed_bytes(s, buf_size);
481
482     /* skip if the header was thrashed */
483     if (ret < 0) {
484         av_log(s->avctx, AV_LOG_ERROR, "header damaged\n");
485         return ret;
486     }
487
488     avctx->has_b_frames = !s->low_delay;
489
490     if (s->xvid_build == -1 && s->divx_version == -1 && s->lavc_build == -1) {
491         if (s->stream_codec_tag == AV_RL32("XVID") ||
492             s->codec_tag        == AV_RL32("XVID") ||
493             s->codec_tag        == AV_RL32("XVIX") ||
494             s->codec_tag        == AV_RL32("RMP4") ||
495             s->codec_tag        == AV_RL32("ZMP4") ||
496             s->codec_tag        == AV_RL32("SIPP"))
497             s->xvid_build = 0;
498 #if 0
499         if (s->codec_tag == AV_RL32("DIVX") && s->vo_type == 0 &&
500             s->vol_control_parameters == 1 &&
501             s->padding_bug_score > 0 && s->low_delay) // XVID with modified fourcc
502             s->xvid_build = 0;
503 #endif
504     }
505
506     if (s->xvid_build == -1 && s->divx_version == -1 && s->lavc_build == -1)
507         if (s->codec_tag == AV_RL32("DIVX") && s->vo_type == 0 &&
508             s->vol_control_parameters == 0)
509             s->divx_version = 400;  // divx 4
510
511     if (s->xvid_build >= 0 && s->divx_version >= 0) {
512         s->divx_version =
513         s->divx_build   = -1;
514     }
515
516     if (s->workaround_bugs & FF_BUG_AUTODETECT) {
517         if (s->codec_tag == AV_RL32("XVIX"))
518             s->workaround_bugs |= FF_BUG_XVID_ILACE;
519
520         if (s->codec_tag == AV_RL32("UMP4"))
521             s->workaround_bugs |= FF_BUG_UMP4;
522
523         if (s->divx_version >= 500 && s->divx_build < 1814)
524             s->workaround_bugs |= FF_BUG_QPEL_CHROMA;
525
526         if (s->divx_version > 502 && s->divx_build < 1814)
527             s->workaround_bugs |= FF_BUG_QPEL_CHROMA2;
528
529         if (s->xvid_build <= 3U)
530             s->padding_bug_score = 256 * 256 * 256 * 64;
531
532         if (s->xvid_build <= 1U)
533             s->workaround_bugs |= FF_BUG_QPEL_CHROMA;
534
535         if (s->xvid_build <= 12U)
536             s->workaround_bugs |= FF_BUG_EDGE;
537
538         if (s->xvid_build <= 32U)
539             s->workaround_bugs |= FF_BUG_DC_CLIP;
540
541 #define SET_QPEL_FUNC(postfix1, postfix2)                           \
542     s->dsp.put_        ## postfix1 = ff_put_        ## postfix2;    \
543     s->dsp.put_no_rnd_ ## postfix1 = ff_put_no_rnd_ ## postfix2;    \
544     s->dsp.avg_        ## postfix1 = ff_avg_        ## postfix2;
545
546         if (s->lavc_build < 4653U)
547             s->workaround_bugs |= FF_BUG_STD_QPEL;
548
549         if (s->lavc_build < 4655U)
550             s->workaround_bugs |= FF_BUG_DIRECT_BLOCKSIZE;
551
552         if (s->lavc_build < 4670U)
553             s->workaround_bugs |= FF_BUG_EDGE;
554
555         if (s->lavc_build <= 4712U)
556             s->workaround_bugs |= FF_BUG_DC_CLIP;
557
558         if (s->divx_version >= 0)
559             s->workaround_bugs |= FF_BUG_DIRECT_BLOCKSIZE;
560         if (s->divx_version == 501 && s->divx_build == 20020416)
561             s->padding_bug_score = 256 * 256 * 256 * 64;
562
563         if (s->divx_version < 500U)
564             s->workaround_bugs |= FF_BUG_EDGE;
565
566         if (s->divx_version >= 0)
567             s->workaround_bugs |= FF_BUG_HPEL_CHROMA;
568 #if 0
569         if (s->divx_version == 500)
570             s->padding_bug_score = 256 * 256 * 256 * 64;
571
572         /* very ugly XVID padding bug detection FIXME/XXX solve this differently
573          * Let us hope this at least works. */
574         if (s->resync_marker == 0 && s->data_partitioning == 0        &&
575             s->divx_version == -1 && s->codec_id == AV_CODEC_ID_MPEG4 &&
576             s->vo_type == 0)
577             s->workaround_bugs |= FF_BUG_NO_PADDING;
578
579         // FIXME not sure about the version num but a 4609 file seems ok
580         if (s->lavc_build < 4609U)
581             s->workaround_bugs |= FF_BUG_NO_PADDING;
582 #endif
583     }
584
585     if (s->workaround_bugs & FF_BUG_STD_QPEL) {
586         SET_QPEL_FUNC(qpel_pixels_tab[0][5], qpel16_mc11_old_c)
587         SET_QPEL_FUNC(qpel_pixels_tab[0][7], qpel16_mc31_old_c)
588         SET_QPEL_FUNC(qpel_pixels_tab[0][9], qpel16_mc12_old_c)
589         SET_QPEL_FUNC(qpel_pixels_tab[0][11], qpel16_mc32_old_c)
590         SET_QPEL_FUNC(qpel_pixels_tab[0][13], qpel16_mc13_old_c)
591         SET_QPEL_FUNC(qpel_pixels_tab[0][15], qpel16_mc33_old_c)
592
593         SET_QPEL_FUNC(qpel_pixels_tab[1][5], qpel8_mc11_old_c)
594         SET_QPEL_FUNC(qpel_pixels_tab[1][7], qpel8_mc31_old_c)
595         SET_QPEL_FUNC(qpel_pixels_tab[1][9], qpel8_mc12_old_c)
596         SET_QPEL_FUNC(qpel_pixels_tab[1][11], qpel8_mc32_old_c)
597         SET_QPEL_FUNC(qpel_pixels_tab[1][13], qpel8_mc13_old_c)
598         SET_QPEL_FUNC(qpel_pixels_tab[1][15], qpel8_mc33_old_c)
599     }
600
601     if (avctx->debug & FF_DEBUG_BUGS)
602         av_log(s->avctx, AV_LOG_DEBUG,
603                "bugs: %X lavc_build:%d xvid_build:%d divx_version:%d divx_build:%d %s\n",
604                s->workaround_bugs, s->lavc_build, s->xvid_build,
605                s->divx_version, s->divx_build, s->divx_packed ? "p" : "");
606
607 #if HAVE_MMX
608     if (s->codec_id == AV_CODEC_ID_MPEG4 && s->xvid_build >= 0 &&
609         avctx->idct_algo == FF_IDCT_AUTO &&
610         (av_get_cpu_flags() & AV_CPU_FLAG_MMX)) {
611         avctx->idct_algo = FF_IDCT_XVIDMMX;
612         ff_dct_common_init(s);
613         goto retry;
614     }
615 #endif
616
617     /* After H263 & mpeg4 header decode we have the height, width,
618      * and other parameters. So then we could init the picture.
619      * FIXME: By the way H263 decoder is evolving it should have
620      * an H263EncContext */
621     if (s->width  != avctx->coded_width  ||
622         s->height != avctx->coded_height ||
623         s->context_reinit) {
624         /* H.263 could change picture size any time */
625         s->context_reinit = 0;
626
627         avcodec_set_dimensions(avctx, s->width, s->height);
628
629         if ((ret = ff_MPV_common_frame_size_change(s)))
630             return ret;
631     }
632
633     if (s->codec_id == AV_CODEC_ID_H263  ||
634         s->codec_id == AV_CODEC_ID_H263P ||
635         s->codec_id == AV_CODEC_ID_H263I)
636         s->gob_index = ff_h263_get_gob_height(s);
637
638     // for skipping the frame
639     s->current_picture.f.pict_type = s->pict_type;
640     s->current_picture.f.key_frame = s->pict_type == AV_PICTURE_TYPE_I;
641
642     /* skip B-frames if we don't have reference frames */
643     if (s->last_picture_ptr == NULL &&
644         (s->pict_type == AV_PICTURE_TYPE_B || s->droppable))
645         return get_consumed_bytes(s, buf_size);
646     if ((avctx->skip_frame >= AVDISCARD_NONREF &&
647          s->pict_type == AV_PICTURE_TYPE_B)    ||
648         (avctx->skip_frame >= AVDISCARD_NONKEY &&
649          s->pict_type != AV_PICTURE_TYPE_I)    ||
650         avctx->skip_frame >= AVDISCARD_ALL)
651         return get_consumed_bytes(s, buf_size);
652
653     if (s->next_p_frame_damaged) {
654         if (s->pict_type == AV_PICTURE_TYPE_B)
655             return get_consumed_bytes(s, buf_size);
656         else
657             s->next_p_frame_damaged = 0;
658     }
659
660     if ((!s->no_rounding) || s->pict_type == AV_PICTURE_TYPE_B) {
661         s->me.qpel_put = s->dsp.put_qpel_pixels_tab;
662         s->me.qpel_avg = s->dsp.avg_qpel_pixels_tab;
663     } else {
664         s->me.qpel_put = s->dsp.put_no_rnd_qpel_pixels_tab;
665         s->me.qpel_avg = s->dsp.avg_qpel_pixels_tab;
666     }
667
668     if ((ret = ff_MPV_frame_start(s, avctx)) < 0)
669         return ret;
670
671     if (!s->divx_packed && !avctx->hwaccel)
672         ff_thread_finish_setup(avctx);
673
674     if (CONFIG_MPEG4_VDPAU_DECODER && (s->avctx->codec->capabilities & CODEC_CAP_HWACCEL_VDPAU)) {
675         ff_vdpau_mpeg4_decode_picture(s, s->gb.buffer, s->gb.buffer_end - s->gb.buffer);
676         goto frame_end;
677     }
678
679     if (avctx->hwaccel)
680         if ((ret = avctx->hwaccel->start_frame(avctx, s->gb.buffer,
681                                                s->gb.buffer_end - s->gb.buffer)) < 0)
682             return ret;
683
684     ff_mpeg_er_frame_start(s);
685
686     /* the second part of the wmv2 header contains the MB skip bits which
687      * are stored in current_picture->mb_type which is not available before
688      * ff_MPV_frame_start() */
689     if (CONFIG_WMV2_DECODER && s->msmpeg4_version == 5) {
690         ret = ff_wmv2_decode_secondary_picture_header(s);
691         if (ret < 0)
692             return ret;
693         if (ret == 1)
694             goto frame_end;
695     }
696
697     /* decode each macroblock */
698     s->mb_x = 0;
699     s->mb_y = 0;
700
701     ret = decode_slice(s);
702     while (s->mb_y < s->mb_height) {
703         if (s->msmpeg4_version) {
704             if (s->slice_height == 0 || s->mb_x != 0 ||
705                 (s->mb_y % s->slice_height) != 0 || get_bits_left(&s->gb) < 0)
706                 break;
707         } else {
708             int prev_x = s->mb_x, prev_y = s->mb_y;
709             if (ff_h263_resync(s) < 0)
710                 break;
711             if (prev_y * s->mb_width + prev_x < s->mb_y * s->mb_width + s->mb_x)
712                 s->er.error_occurred = 1;
713         }
714
715         if (s->msmpeg4_version < 4 && s->h263_pred)
716             ff_mpeg4_clean_buffers(s);
717
718         if (decode_slice(s) < 0)
719             ret = AVERROR_INVALIDDATA;
720     }
721
722     if (s->msmpeg4_version && s->msmpeg4_version < 4 &&
723         s->pict_type == AV_PICTURE_TYPE_I)
724         if (!CONFIG_MSMPEG4_DECODER ||
725             ff_msmpeg4_decode_ext_header(s, buf_size) < 0)
726             s->er.error_status_table[s->mb_num - 1] = ER_MB_ERROR;
727
728     av_assert1(s->bitstream_buffer_size == 0);
729 frame_end:
730     ff_er_frame_end(&s->er);
731
732     if (avctx->hwaccel)
733         if ((ret = avctx->hwaccel->end_frame(avctx)) < 0)
734             return ret;
735
736     ff_MPV_frame_end(s);
737
738     /* divx 5.01+ bitstream reorder stuff */
739     /* Since this clobbers the input buffer and hwaccel codecs still need the
740      * data during hwaccel->end_frame we should not do this any earlier */
741     if (s->codec_id == AV_CODEC_ID_MPEG4 && s->divx_packed) {
742         int current_pos     = s->gb.buffer == s->bitstream_buffer ? 0 : (get_bits_count(&s->gb) >> 3);
743         int startcode_found = 0;
744
745         if (buf_size - current_pos > 7) {
746             int i;
747             for (i = current_pos; i < buf_size - 4; i++)
748                 if (buf[i]     == 0 &&
749                     buf[i + 1] == 0 &&
750                     buf[i + 2] == 1 &&
751                     buf[i + 3] == 0xB6) {
752                     startcode_found = !(buf[i + 4] & 0x40);
753                     break;
754                 }
755         }
756
757         if (startcode_found) {
758             av_fast_malloc(&s->bitstream_buffer,
759                            &s->allocated_bitstream_buffer_size,
760                            buf_size - current_pos +
761                            FF_INPUT_BUFFER_PADDING_SIZE);
762             if (!s->bitstream_buffer)
763                 return AVERROR(ENOMEM);
764             memcpy(s->bitstream_buffer, buf + current_pos,
765                    buf_size - current_pos);
766             s->bitstream_buffer_size = buf_size - current_pos;
767         }
768     }
769
770     if (!s->divx_packed && avctx->hwaccel)
771         ff_thread_finish_setup(avctx);
772
773     av_assert1(s->current_picture.f.pict_type == s->current_picture_ptr->f.pict_type);
774     av_assert1(s->current_picture.f.pict_type == s->pict_type);
775     if (s->pict_type == AV_PICTURE_TYPE_B || s->low_delay) {
776         if ((ret = av_frame_ref(pict, &s->current_picture_ptr->f)) < 0)
777             return ret;
778         ff_print_debug_info(s, s->current_picture_ptr, pict);
779         ff_mpv_export_qp_table(s, pict, s->current_picture_ptr, FF_QSCALE_TYPE_MPEG1);
780     } else if (s->last_picture_ptr != NULL) {
781         if ((ret = av_frame_ref(pict, &s->last_picture_ptr->f)) < 0)
782             return ret;
783         ff_print_debug_info(s, s->last_picture_ptr, pict);
784         ff_mpv_export_qp_table(s, pict, s->last_picture_ptr, FF_QSCALE_TYPE_MPEG1);
785     }
786
787     if (s->last_picture_ptr || s->low_delay) {
788         if (   pict->format == AV_PIX_FMT_YUV420P
789             && (s->codec_tag == AV_RL32("GEOV") || s->codec_tag == AV_RL32("GEOX"))) {
790             int x, y, p;
791             av_frame_make_writable(pict);
792             for (p=0; p<3; p++) {
793                 int w = FF_CEIL_RSHIFT(pict-> width, !!p);
794                 int h = FF_CEIL_RSHIFT(pict->height, !!p);
795                 int linesize = pict->linesize[p];
796                 for (y=0; y<(h>>1); y++)
797                     for (x=0; x<w; x++)
798                         FFSWAP(int,
799                                pict->data[p][x + y*linesize],
800                                pict->data[p][x + (h-1-y)*linesize]);
801             }
802         }
803         *got_frame = 1;
804     }
805
806     if (ret && (avctx->err_recognition & AV_EF_EXPLODE))
807         return ret;
808     else
809         return get_consumed_bytes(s, buf_size);
810 }
811
812 const enum AVPixelFormat ff_h263_hwaccel_pixfmt_list_420[] = {
813 #if CONFIG_VAAPI
814     AV_PIX_FMT_VAAPI_VLD,
815 #endif
816 #if CONFIG_VDPAU
817     AV_PIX_FMT_VDPAU,
818 #endif
819     AV_PIX_FMT_YUV420P,
820     AV_PIX_FMT_NONE
821 };
822
823 AVCodec ff_h263_decoder = {
824     .name           = "h263",
825     .long_name      = NULL_IF_CONFIG_SMALL("H.263 / H.263-1996, H.263+ / H.263-1998 / H.263 version 2"),
826     .type           = AVMEDIA_TYPE_VIDEO,
827     .id             = AV_CODEC_ID_H263,
828     .priv_data_size = sizeof(MpegEncContext),
829     .init           = ff_h263_decode_init,
830     .close          = ff_h263_decode_end,
831     .decode         = ff_h263_decode_frame,
832     .capabilities   = CODEC_CAP_DRAW_HORIZ_BAND | CODEC_CAP_DR1 |
833                       CODEC_CAP_TRUNCATED | CODEC_CAP_DELAY,
834     .flush          = ff_mpeg_flush,
835     .max_lowres     = 3,
836     .pix_fmts       = ff_h263_hwaccel_pixfmt_list_420,
837 };
838
839 AVCodec ff_h263p_decoder = {
840     .name           = "h263p",
841     .long_name      = NULL_IF_CONFIG_SMALL("H.263 / H.263-1996, H.263+ / H.263-1998 / H.263 version 2"),
842     .type           = AVMEDIA_TYPE_VIDEO,
843     .id             = AV_CODEC_ID_H263P,
844     .priv_data_size = sizeof(MpegEncContext),
845     .init           = ff_h263_decode_init,
846     .close          = ff_h263_decode_end,
847     .decode         = ff_h263_decode_frame,
848     .capabilities   = CODEC_CAP_DRAW_HORIZ_BAND | CODEC_CAP_DR1 |
849                       CODEC_CAP_TRUNCATED | CODEC_CAP_DELAY,
850     .flush          = ff_mpeg_flush,
851     .max_lowres     = 3,
852     .pix_fmts       = ff_h263_hwaccel_pixfmt_list_420,
853 };