]> git.sesse.net Git - ffmpeg/blob - libavcodec/vc1.h
Fix a crash when decoding tiff by moving check
[ffmpeg] / libavcodec / vc1.h
1 /*
2  * VC-1 and WMV3 decoder
3  * Copyright (c) 2006-2007 Konstantin Shishkov
4  * Partly based on vc9.c (c) 2005 Anonymous, Alex Beregszaszi, Michael Niedermayer
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #ifndef AVCODEC_VC1_H
24 #define AVCODEC_VC1_H
25
26 #include "avcodec.h"
27 #include "mpegvideo.h"
28 #include "intrax8.h"
29
30 /** Markers used in VC-1 AP frame data */
31 //@{
32 enum VC1Code{
33     VC1_CODE_RES0       = 0x00000100,
34     VC1_CODE_ENDOFSEQ   = 0x0000010A,
35     VC1_CODE_SLICE,
36     VC1_CODE_FIELD,
37     VC1_CODE_FRAME,
38     VC1_CODE_ENTRYPOINT,
39     VC1_CODE_SEQHDR,
40 };
41 //@}
42
43 #define IS_MARKER(x) (((x) & ~0xFF) == VC1_CODE_RES0)
44
45 /** Available Profiles */
46 //@{
47 enum Profile {
48     PROFILE_SIMPLE,
49     PROFILE_MAIN,
50     PROFILE_COMPLEX, ///< TODO: WMV9 specific
51     PROFILE_ADVANCED
52 };
53 //@}
54
55 /** Sequence quantizer mode */
56 //@{
57 enum QuantMode {
58     QUANT_FRAME_IMPLICIT,    ///< Implicitly specified at frame level
59     QUANT_FRAME_EXPLICIT,    ///< Explicitly specified at frame level
60     QUANT_NON_UNIFORM,       ///< Non-uniform quant used for all frames
61     QUANT_UNIFORM            ///< Uniform quant used for all frames
62 };
63 //@}
64
65 /** Where quant can be changed */
66 //@{
67 enum DQProfile {
68     DQPROFILE_FOUR_EDGES,
69     DQPROFILE_DOUBLE_EDGES,
70     DQPROFILE_SINGLE_EDGE,
71     DQPROFILE_ALL_MBS
72 };
73 //@}
74
75 /** @name Where quant can be changed
76  */
77 //@{
78 enum DQSingleEdge {
79     DQSINGLE_BEDGE_LEFT,
80     DQSINGLE_BEDGE_TOP,
81     DQSINGLE_BEDGE_RIGHT,
82     DQSINGLE_BEDGE_BOTTOM
83 };
84 //@}
85
86 /** Which pair of edges is quantized with ALTPQUANT */
87 //@{
88 enum DQDoubleEdge {
89     DQDOUBLE_BEDGE_TOPLEFT,
90     DQDOUBLE_BEDGE_TOPRIGHT,
91     DQDOUBLE_BEDGE_BOTTOMRIGHT,
92     DQDOUBLE_BEDGE_BOTTOMLEFT
93 };
94 //@}
95
96 /** MV modes for P frames */
97 //@{
98 enum MVModes {
99     MV_PMODE_1MV_HPEL_BILIN,
100     MV_PMODE_1MV,
101     MV_PMODE_1MV_HPEL,
102     MV_PMODE_MIXED_MV,
103     MV_PMODE_INTENSITY_COMP
104 };
105 //@}
106
107 /** @name MV types for B frames */
108 //@{
109 enum BMVTypes {
110     BMV_TYPE_BACKWARD,
111     BMV_TYPE_FORWARD,
112     BMV_TYPE_INTERPOLATED
113 };
114 //@}
115
116 /** @name Block types for P/B frames */
117 //@{
118 enum TransformTypes {
119     TT_8X8,
120     TT_8X4_BOTTOM,
121     TT_8X4_TOP,
122     TT_8X4, //Both halves
123     TT_4X8_RIGHT,
124     TT_4X8_LEFT,
125     TT_4X8, //Both halves
126     TT_4X4
127 };
128 //@}
129
130 enum CodingSet {
131     CS_HIGH_MOT_INTRA = 0,
132     CS_HIGH_MOT_INTER,
133     CS_LOW_MOT_INTRA,
134     CS_LOW_MOT_INTER,
135     CS_MID_RATE_INTRA,
136     CS_MID_RATE_INTER,
137     CS_HIGH_RATE_INTRA,
138     CS_HIGH_RATE_INTER
139 };
140
141 /** @name Overlap conditions for Advanced Profile */
142 //@{
143 enum COTypes {
144     CONDOVER_NONE = 0,
145     CONDOVER_ALL,
146     CONDOVER_SELECT
147 };
148 //@}
149
150
151 /** The VC1 Context
152  * @todo Change size wherever another size is more efficient
153  * Many members are only used for Advanced Profile
154  */
155 typedef struct VC1Context{
156     MpegEncContext s;
157     IntraX8Context x8;
158
159     int bits;
160
161     /** Simple/Main Profile sequence header */
162     //@{
163     int res_sprite;       ///< reserved, sprite mode
164     int res_y411;         ///< reserved, old interlaced mode
165     int res_x8;           ///< reserved
166     int multires;         ///< frame-level RESPIC syntax element present
167     int res_fasttx;       ///< reserved, always 1
168     int res_transtab;     ///< reserved, always 0
169     int rangered;         ///< RANGEREDFRM (range reduction) syntax element present
170                           ///< at frame level
171     int res_rtm_flag;     ///< reserved, set to 1
172     int reserved;         ///< reserved
173     //@}
174
175     /** Advanced Profile */
176     //@{
177     int level;            ///< 3bits, for Advanced/Simple Profile, provided by TS layer
178     int chromaformat;     ///< 2bits, 2=4:2:0, only defined
179     int postprocflag;     ///< Per-frame processing suggestion flag present
180     int broadcast;        ///< TFF/RFF present
181     int interlace;        ///< Progressive/interlaced (RPTFTM syntax element)
182     int tfcntrflag;       ///< TFCNTR present
183     int panscanflag;      ///< NUMPANSCANWIN, TOPLEFT{X,Y}, BOTRIGHT{X,Y} present
184     int refdist_flag;     ///< REFDIST syntax element present in II, IP, PI or PP field picture headers
185     int extended_dmv;     ///< Additional extended dmv range at P/B frame-level
186     int color_prim;       ///< 8bits, chroma coordinates of the color primaries
187     int transfer_char;    ///< 8bits, Opto-electronic transfer characteristics
188     int matrix_coef;      ///< 8bits, Color primaries->YCbCr transform matrix
189     int hrd_param_flag;   ///< Presence of Hypothetical Reference
190                           ///< Decoder parameters
191     int psf;              ///< Progressive Segmented Frame
192     //@}
193
194     /** Sequence header data for all Profiles
195      * TODO: choose between ints, uint8_ts and monobit flags
196      */
197     //@{
198     int profile;          ///< 2bits, Profile
199     int frmrtq_postproc;  ///< 3bits,
200     int bitrtq_postproc;  ///< 5bits, quantized framerate-based postprocessing strength
201     int fastuvmc;         ///< Rounding of qpel vector to hpel ? (not in Simple)
202     int extended_mv;      ///< Ext MV in P/B (not in Simple)
203     int dquant;           ///< How qscale varies with MBs, 2bits (not in Simple)
204     int vstransform;      ///< variable-size [48]x[48] transform type + info
205     int overlap;          ///< overlapped transforms in use
206     int quantizer_mode;   ///< 2bits, quantizer mode used for sequence, see QUANT_*
207     int finterpflag;      ///< INTERPFRM present
208     //@}
209
210     /** Frame decoding info for all profiles */
211     //@{
212     uint8_t mv_mode;      ///< MV coding monde
213     uint8_t mv_mode2;     ///< Secondary MV coding mode (B frames)
214     int k_x;              ///< Number of bits for MVs (depends on MV range)
215     int k_y;              ///< Number of bits for MVs (depends on MV range)
216     int range_x, range_y; ///< MV range
217     uint8_t pq, altpq;    ///< Current/alternate frame quantizer scale
218     const uint8_t* zz_8x4;///< Zigzag scan table for TT_8x4 coding mode
219     const uint8_t* zz_4x8;///< Zigzag scan table for TT_4x8 coding mode
220     /** pquant parameters */
221     //@{
222     uint8_t dquantfrm;
223     uint8_t dqprofile;
224     uint8_t dqsbedge;
225     uint8_t dqbilevel;
226     //@}
227     /** AC coding set indexes
228      * @see 8.1.1.10, p(1)10
229      */
230     //@{
231     int c_ac_table_index; ///< Chroma index from ACFRM element
232     int y_ac_table_index; ///< Luma index from AC2FRM element
233     //@}
234     int ttfrm;            ///< Transform type info present at frame level
235     uint8_t ttmbf;        ///< Transform type flag
236     uint8_t ttblk4x4;     ///< Value of ttblk which indicates a 4x4 transform
237     int codingset;        ///< index of current table set from 11.8 to use for luma block decoding
238     int codingset2;       ///< index of current table set from 11.8 to use for chroma block decoding
239     int pqindex;          ///< raw pqindex used in coding set selection
240     int a_avail, c_avail;
241     uint8_t *mb_type_base, *mb_type[3];
242
243
244     /** Luma compensation parameters */
245     //@{
246     uint8_t lumscale;
247     uint8_t lumshift;
248     //@}
249     int16_t bfraction;    ///< Relative position % anchors=> how to scale MVs
250     uint8_t halfpq;       ///< Uniform quant over image and qp+.5
251     uint8_t respic;       ///< Frame-level flag for resized images
252     int buffer_fullness;  ///< HRD info
253     /** Ranges:
254      * -# 0 -> [-64n 63.f] x [-32, 31.f]
255      * -# 1 -> [-128, 127.f] x [-64, 63.f]
256      * -# 2 -> [-512, 511.f] x [-128, 127.f]
257      * -# 3 -> [-1024, 1023.f] x [-256, 255.f]
258      */
259     uint8_t mvrange;
260     uint8_t pquantizer;           ///< Uniform (over sequence) quantizer in use
261     VLC *cbpcy_vlc;               ///< CBPCY VLC table
262     int tt_index;                 ///< Index for Transform Type tables
263     uint8_t* mv_type_mb_plane;    ///< bitplane for mv_type == (4MV)
264     uint8_t* direct_mb_plane;     ///< bitplane for "direct" MBs
265     int mv_type_is_raw;           ///< mv type mb plane is not coded
266     int dmb_is_raw;               ///< direct mb plane is raw
267     int skip_is_raw;              ///< skip mb plane is not coded
268     uint8_t luty[256], lutuv[256]; // lookup tables used for intensity compensation
269     int use_ic;                   ///< use intensity compensation in B-frames
270     int rnd;                      ///< rounding control
271
272     /** Frame decoding info for S/M profiles only */
273     //@{
274     uint8_t rangeredfrm; ///< out_sample = CLIP((in_sample-128)*2+128)
275     uint8_t interpfrm;
276     //@}
277
278     /** Frame decoding info for Advanced profile */
279     //@{
280     uint8_t fcm; ///< 0->Progressive, 2->Frame-Interlace, 3->Field-Interlace
281     uint8_t numpanscanwin;
282     uint8_t tfcntr;
283     uint8_t rptfrm, tff, rff;
284     uint16_t topleftx;
285     uint16_t toplefty;
286     uint16_t bottomrightx;
287     uint16_t bottomrighty;
288     uint8_t uvsamp;
289     uint8_t postproc;
290     int hrd_num_leaky_buckets;
291     uint8_t bit_rate_exponent;
292     uint8_t buffer_size_exponent;
293     uint8_t* acpred_plane;       ///< AC prediction flags bitplane
294     int acpred_is_raw;
295     uint8_t* over_flags_plane;   ///< Overflags bitplane
296     int overflg_is_raw;
297     uint8_t condover;
298     uint16_t *hrd_rate, *hrd_buffer;
299     uint8_t *hrd_fullness;
300     uint8_t range_mapy_flag;
301     uint8_t range_mapuv_flag;
302     uint8_t range_mapy;
303     uint8_t range_mapuv;
304     //@}
305
306     int p_frame_skipped;
307     int bi_type;
308     int x8_type;
309
310     uint32_t *cbp_base, *cbp;
311     uint8_t bfraction_lut_index;///< Index for BFRACTION value (see Table 40, reproduced into ff_vc1_bfraction_lut[])
312     uint8_t broken_link;        ///< Broken link flag (BROKEN_LINK syntax element)
313     uint8_t closed_entry;       ///< Closed entry point flag (CLOSED_ENTRY syntax element)
314
315     int parse_only;             ///< Context is used within parser
316
317     int warn_interlaced;
318 } VC1Context;
319
320 /** Find VC-1 marker in buffer
321  * @return position where next marker starts or end of buffer if no marker found
322  */
323 static av_always_inline const uint8_t* find_next_marker(const uint8_t *src, const uint8_t *end)
324 {
325     uint32_t mrk = 0xFFFFFFFF;
326
327     if(end-src < 4) return end;
328     while(src < end){
329         mrk = (mrk << 8) | *src++;
330         if(IS_MARKER(mrk))
331             return src-4;
332     }
333     return end;
334 }
335
336 static av_always_inline int vc1_unescape_buffer(const uint8_t *src, int size, uint8_t *dst)
337 {
338     int dsize = 0, i;
339
340     if(size < 4){
341         for(dsize = 0; dsize < size; dsize++) *dst++ = *src++;
342         return size;
343     }
344     for(i = 0; i < size; i++, src++) {
345         if(src[0] == 3 && i >= 2 && !src[-1] && !src[-2] && i < size-1 && src[1] < 4) {
346             dst[dsize++] = src[1];
347             src++;
348             i++;
349         } else
350             dst[dsize++] = *src;
351     }
352     return dsize;
353 }
354
355 /**
356  * Decode Simple/Main Profiles sequence header
357  * @see Figure 7-8, p16-17
358  * @param avctx Codec context
359  * @param gb GetBit context initialized from Codec context extra_data
360  * @return Status
361  */
362 int vc1_decode_sequence_header(AVCodecContext *avctx, VC1Context *v, GetBitContext *gb);
363
364 int vc1_decode_entry_point(AVCodecContext *avctx, VC1Context *v, GetBitContext *gb);
365
366 int vc1_parse_frame_header    (VC1Context *v, GetBitContext *gb);
367 int vc1_parse_frame_header_adv(VC1Context *v, GetBitContext *gb);
368
369 #endif /* AVCODEC_VC1_H */