]> git.sesse.net Git - ffmpeg/blob - libavcodec/h264data.h
h264: increase scantable sizes to avoid overread
[ffmpeg] / libavcodec / h264data.h
1 /*
2  * H26L/H264/AVC/JVT/14496-10/... encoder/decoder
3  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * @brief
25  *     H264 / AVC / MPEG4 part10 codec data table
26  * @author Michael Niedermayer <michaelni@gmx.at>
27  */
28
29 #ifndef AVCODEC_H264DATA_H
30 #define AVCODEC_H264DATA_H
31
32 #include <stdint.h>
33
34 #include "libavutil/rational.h"
35 #include "mpegvideo.h"
36 #include "h264.h"
37
38 static const uint8_t golomb_to_pict_type[5] = {
39     AV_PICTURE_TYPE_P, AV_PICTURE_TYPE_B, AV_PICTURE_TYPE_I,
40     AV_PICTURE_TYPE_SP, AV_PICTURE_TYPE_SI
41 };
42
43 static const uint8_t golomb_to_intra4x4_cbp[48] = {
44     47, 31, 15, 0,  23, 27, 29, 30, 7,  11, 13, 14, 39, 43, 45, 46,
45     16, 3,  5,  10, 12, 19, 21, 26, 28, 35, 37, 42, 44, 1,  2,  4,
46     8,  17, 18, 20, 24, 6,  9,  22, 25, 32, 33, 34, 36, 40, 38, 41
47 };
48
49 static const uint8_t golomb_to_inter_cbp[48] = {
50     0,  16, 1,  2,  4,  8,  32, 3,  5,  10, 12, 15, 47, 7,  11, 13,
51     14, 6,  9,  31, 35, 37, 42, 44, 33, 34, 36, 40, 39, 43, 45, 46,
52     17, 18, 20, 24, 19, 21, 26, 28, 23, 27, 29, 30, 22, 25, 38, 41
53 };
54
55 static const uint8_t zigzag_scan[16+1] = {
56     0 + 0 * 4, 1 + 0 * 4, 0 + 1 * 4, 0 + 2 * 4,
57     1 + 1 * 4, 2 + 0 * 4, 3 + 0 * 4, 2 + 1 * 4,
58     1 + 2 * 4, 0 + 3 * 4, 1 + 3 * 4, 2 + 2 * 4,
59     3 + 1 * 4, 3 + 2 * 4, 2 + 3 * 4, 3 + 3 * 4,
60     0,
61 };
62
63 static const uint8_t field_scan[16+1] = {
64     0 + 0 * 4, 0 + 1 * 4, 1 + 0 * 4, 0 + 2 * 4,
65     0 + 3 * 4, 1 + 1 * 4, 1 + 2 * 4, 1 + 3 * 4,
66     2 + 0 * 4, 2 + 1 * 4, 2 + 2 * 4, 2 + 3 * 4,
67     3 + 0 * 4, 3 + 1 * 4, 3 + 2 * 4, 3 + 3 * 4,
68     0,
69 };
70
71 static const uint8_t luma_dc_zigzag_scan[16] = {
72     0 * 16 + 0 * 64, 1 * 16 + 0 * 64, 2 * 16 + 0 * 64, 0 * 16 + 2 * 64,
73     3 * 16 + 0 * 64, 0 * 16 + 1 * 64, 1 * 16 + 1 * 64, 2 * 16 + 1 * 64,
74     1 * 16 + 2 * 64, 2 * 16 + 2 * 64, 3 * 16 + 2 * 64, 0 * 16 + 3 * 64,
75     3 * 16 + 1 * 64, 1 * 16 + 3 * 64, 2 * 16 + 3 * 64, 3 * 16 + 3 * 64,
76 };
77
78 static const uint8_t luma_dc_field_scan[16] = {
79     0 * 16 + 0 * 64, 2 * 16 + 0 * 64, 1 * 16 + 0 * 64, 0 * 16 + 2 * 64,
80     2 * 16 + 2 * 64, 3 * 16 + 0 * 64, 1 * 16 + 2 * 64, 3 * 16 + 2 * 64,
81     0 * 16 + 1 * 64, 2 * 16 + 1 * 64, 0 * 16 + 3 * 64, 2 * 16 + 3 * 64,
82     1 * 16 + 1 * 64, 3 * 16 + 1 * 64, 1 * 16 + 3 * 64, 3 * 16 + 3 * 64,
83 };
84
85 static const uint8_t chroma_dc_scan[4] = {
86     (0 + 0 * 2) * 16, (1 + 0 * 2) * 16,
87     (0 + 1 * 2) * 16, (1 + 1 * 2) * 16,
88 };
89
90 static const uint8_t chroma422_dc_scan[8] = {
91     (0 + 0 * 2) * 16, (0 + 1 * 2) * 16,
92     (1 + 0 * 2) * 16, (0 + 2 * 2) * 16,
93     (0 + 3 * 2) * 16, (1 + 1 * 2) * 16,
94     (1 + 2 * 2) * 16, (1 + 3 * 2) * 16,
95 };
96
97 // zigzag_scan8x8_cavlc[i] = zigzag_scan8x8[(i/4) + 16*(i%4)]
98 static const uint8_t zigzag_scan8x8_cavlc[64+1] = {
99     0 + 0 * 8, 1 + 1 * 8, 1 + 2 * 8, 2 + 2 * 8,
100     4 + 1 * 8, 0 + 5 * 8, 3 + 3 * 8, 7 + 0 * 8,
101     3 + 4 * 8, 1 + 7 * 8, 5 + 3 * 8, 6 + 3 * 8,
102     2 + 7 * 8, 6 + 4 * 8, 5 + 6 * 8, 7 + 5 * 8,
103     1 + 0 * 8, 2 + 0 * 8, 0 + 3 * 8, 3 + 1 * 8,
104     3 + 2 * 8, 0 + 6 * 8, 4 + 2 * 8, 6 + 1 * 8,
105     2 + 5 * 8, 2 + 6 * 8, 6 + 2 * 8, 5 + 4 * 8,
106     3 + 7 * 8, 7 + 3 * 8, 4 + 7 * 8, 7 + 6 * 8,
107     0 + 1 * 8, 3 + 0 * 8, 0 + 4 * 8, 4 + 0 * 8,
108     2 + 3 * 8, 1 + 5 * 8, 5 + 1 * 8, 5 + 2 * 8,
109     1 + 6 * 8, 3 + 5 * 8, 7 + 1 * 8, 4 + 5 * 8,
110     4 + 6 * 8, 7 + 4 * 8, 5 + 7 * 8, 6 + 7 * 8,
111     0 + 2 * 8, 2 + 1 * 8, 1 + 3 * 8, 5 + 0 * 8,
112     1 + 4 * 8, 2 + 4 * 8, 6 + 0 * 8, 4 + 3 * 8,
113     0 + 7 * 8, 4 + 4 * 8, 7 + 2 * 8, 3 + 6 * 8,
114     5 + 5 * 8, 6 + 5 * 8, 6 + 6 * 8, 7 + 7 * 8,
115     0,
116 };
117
118 static const uint8_t field_scan8x8[64+1] = {
119     0 + 0 * 8, 0 + 1 * 8, 0 + 2 * 8, 1 + 0 * 8,
120     1 + 1 * 8, 0 + 3 * 8, 0 + 4 * 8, 1 + 2 * 8,
121     2 + 0 * 8, 1 + 3 * 8, 0 + 5 * 8, 0 + 6 * 8,
122     0 + 7 * 8, 1 + 4 * 8, 2 + 1 * 8, 3 + 0 * 8,
123     2 + 2 * 8, 1 + 5 * 8, 1 + 6 * 8, 1 + 7 * 8,
124     2 + 3 * 8, 3 + 1 * 8, 4 + 0 * 8, 3 + 2 * 8,
125     2 + 4 * 8, 2 + 5 * 8, 2 + 6 * 8, 2 + 7 * 8,
126     3 + 3 * 8, 4 + 1 * 8, 5 + 0 * 8, 4 + 2 * 8,
127     3 + 4 * 8, 3 + 5 * 8, 3 + 6 * 8, 3 + 7 * 8,
128     4 + 3 * 8, 5 + 1 * 8, 6 + 0 * 8, 5 + 2 * 8,
129     4 + 4 * 8, 4 + 5 * 8, 4 + 6 * 8, 4 + 7 * 8,
130     5 + 3 * 8, 6 + 1 * 8, 6 + 2 * 8, 5 + 4 * 8,
131     5 + 5 * 8, 5 + 6 * 8, 5 + 7 * 8, 6 + 3 * 8,
132     7 + 0 * 8, 7 + 1 * 8, 6 + 4 * 8, 6 + 5 * 8,
133     6 + 6 * 8, 6 + 7 * 8, 7 + 2 * 8, 7 + 3 * 8,
134     7 + 4 * 8, 7 + 5 * 8, 7 + 6 * 8, 7 + 7 * 8,
135     0,
136 };
137
138 static const uint8_t field_scan8x8_cavlc[64+1] = {
139     0 + 0 * 8, 1 + 1 * 8, 2 + 0 * 8, 0 + 7 * 8,
140     2 + 2 * 8, 2 + 3 * 8, 2 + 4 * 8, 3 + 3 * 8,
141     3 + 4 * 8, 4 + 3 * 8, 4 + 4 * 8, 5 + 3 * 8,
142     5 + 5 * 8, 7 + 0 * 8, 6 + 6 * 8, 7 + 4 * 8,
143     0 + 1 * 8, 0 + 3 * 8, 1 + 3 * 8, 1 + 4 * 8,
144     1 + 5 * 8, 3 + 1 * 8, 2 + 5 * 8, 4 + 1 * 8,
145     3 + 5 * 8, 5 + 1 * 8, 4 + 5 * 8, 6 + 1 * 8,
146     5 + 6 * 8, 7 + 1 * 8, 6 + 7 * 8, 7 + 5 * 8,
147     0 + 2 * 8, 0 + 4 * 8, 0 + 5 * 8, 2 + 1 * 8,
148     1 + 6 * 8, 4 + 0 * 8, 2 + 6 * 8, 5 + 0 * 8,
149     3 + 6 * 8, 6 + 0 * 8, 4 + 6 * 8, 6 + 2 * 8,
150     5 + 7 * 8, 6 + 4 * 8, 7 + 2 * 8, 7 + 6 * 8,
151     1 + 0 * 8, 1 + 2 * 8, 0 + 6 * 8, 3 + 0 * 8,
152     1 + 7 * 8, 3 + 2 * 8, 2 + 7 * 8, 4 + 2 * 8,
153     3 + 7 * 8, 5 + 2 * 8, 4 + 7 * 8, 5 + 4 * 8,
154     6 + 3 * 8, 6 + 5 * 8, 7 + 3 * 8, 7 + 7 * 8,
155     0,
156 };
157
158 typedef struct IMbInfo {
159     uint16_t type;
160     uint8_t pred_mode;
161     uint8_t cbp;
162 } IMbInfo;
163
164 static const IMbInfo i_mb_type_info[26] = {
165     { MB_TYPE_INTRA4x4,  -1,  -1 },
166     { MB_TYPE_INTRA16x16, 2,   0 },
167     { MB_TYPE_INTRA16x16, 1,   0 },
168     { MB_TYPE_INTRA16x16, 0,   0 },
169     { MB_TYPE_INTRA16x16, 3,   0 },
170     { MB_TYPE_INTRA16x16, 2,  16 },
171     { MB_TYPE_INTRA16x16, 1,  16 },
172     { MB_TYPE_INTRA16x16, 0,  16 },
173     { MB_TYPE_INTRA16x16, 3,  16 },
174     { MB_TYPE_INTRA16x16, 2,  32 },
175     { MB_TYPE_INTRA16x16, 1,  32 },
176     { MB_TYPE_INTRA16x16, 0,  32 },
177     { MB_TYPE_INTRA16x16, 3,  32 },
178     { MB_TYPE_INTRA16x16, 2,  15 +  0 },
179     { MB_TYPE_INTRA16x16, 1,  15 +  0 },
180     { MB_TYPE_INTRA16x16, 0,  15 +  0 },
181     { MB_TYPE_INTRA16x16, 3,  15 +  0 },
182     { MB_TYPE_INTRA16x16, 2,  15 + 16 },
183     { MB_TYPE_INTRA16x16, 1,  15 + 16 },
184     { MB_TYPE_INTRA16x16, 0,  15 + 16 },
185     { MB_TYPE_INTRA16x16, 3,  15 + 16 },
186     { MB_TYPE_INTRA16x16, 2,  15 + 32 },
187     { MB_TYPE_INTRA16x16, 1,  15 + 32 },
188     { MB_TYPE_INTRA16x16, 0,  15 + 32 },
189     { MB_TYPE_INTRA16x16, 3,  15 + 32 },
190     { MB_TYPE_INTRA_PCM,  -1, -1 },
191 };
192
193 typedef struct PMbInfo {
194     uint16_t type;
195     uint8_t partition_count;
196 } PMbInfo;
197
198 static const PMbInfo p_mb_type_info[5] = {
199     { MB_TYPE_16x16 | MB_TYPE_P0L0,                               1 },
200     { MB_TYPE_16x8  | MB_TYPE_P0L0 | MB_TYPE_P1L0,                2 },
201     { MB_TYPE_8x16  | MB_TYPE_P0L0 | MB_TYPE_P1L0,                2 },
202     { MB_TYPE_8x8   | MB_TYPE_P0L0 | MB_TYPE_P1L0,                4 },
203     { MB_TYPE_8x8   | MB_TYPE_P0L0 | MB_TYPE_P1L0 | MB_TYPE_REF0, 4 },
204 };
205
206 static const PMbInfo p_sub_mb_type_info[4] = {
207     { MB_TYPE_16x16 | MB_TYPE_P0L0, 1 },
208     { MB_TYPE_16x8  | MB_TYPE_P0L0, 2 },
209     { MB_TYPE_8x16  | MB_TYPE_P0L0, 2 },
210     { MB_TYPE_8x8   | MB_TYPE_P0L0, 4 },
211 };
212
213 static const PMbInfo b_mb_type_info[23] = {
214     { MB_TYPE_DIRECT2 | MB_TYPE_L0L1,                                              1, },
215     { MB_TYPE_16x16   | MB_TYPE_P0L0,                                              1, },
216     { MB_TYPE_16x16   | MB_TYPE_P0L1,                                              1, },
217     { MB_TYPE_16x16   | MB_TYPE_P0L0 | MB_TYPE_P0L1,                               1, },
218     { MB_TYPE_16x8    | MB_TYPE_P0L0 | MB_TYPE_P1L0,                               2, },
219     { MB_TYPE_8x16    | MB_TYPE_P0L0 | MB_TYPE_P1L0,                               2, },
220     { MB_TYPE_16x8    | MB_TYPE_P0L1 | MB_TYPE_P1L1,                               2, },
221     { MB_TYPE_8x16    | MB_TYPE_P0L1 | MB_TYPE_P1L1,                               2, },
222     { MB_TYPE_16x8    | MB_TYPE_P0L0 | MB_TYPE_P1L1,                               2, },
223     { MB_TYPE_8x16    | MB_TYPE_P0L0 | MB_TYPE_P1L1,                               2, },
224     { MB_TYPE_16x8    | MB_TYPE_P0L1 | MB_TYPE_P1L0,                               2, },
225     { MB_TYPE_8x16    | MB_TYPE_P0L1 | MB_TYPE_P1L0,                               2, },
226     { MB_TYPE_16x8    | MB_TYPE_P0L0 | MB_TYPE_P1L0 | MB_TYPE_P1L1,                2, },
227     { MB_TYPE_8x16    | MB_TYPE_P0L0 | MB_TYPE_P1L0 | MB_TYPE_P1L1,                2, },
228     { MB_TYPE_16x8    | MB_TYPE_P0L1 | MB_TYPE_P1L0 | MB_TYPE_P1L1,                2, },
229     { MB_TYPE_8x16    | MB_TYPE_P0L1 | MB_TYPE_P1L0 | MB_TYPE_P1L1,                2, },
230     { MB_TYPE_16x8    | MB_TYPE_P0L0 | MB_TYPE_P0L1 | MB_TYPE_P1L0,                2, },
231     { MB_TYPE_8x16    | MB_TYPE_P0L0 | MB_TYPE_P0L1 | MB_TYPE_P1L0,                2, },
232     { MB_TYPE_16x8    | MB_TYPE_P0L0 | MB_TYPE_P0L1 | MB_TYPE_P1L1,                2, },
233     { MB_TYPE_8x16    | MB_TYPE_P0L0 | MB_TYPE_P0L1 | MB_TYPE_P1L1,                2, },
234     { MB_TYPE_16x8    | MB_TYPE_P0L0 | MB_TYPE_P0L1 | MB_TYPE_P1L0 | MB_TYPE_P1L1, 2, },
235     { MB_TYPE_8x16    | MB_TYPE_P0L0 | MB_TYPE_P0L1 | MB_TYPE_P1L0 | MB_TYPE_P1L1, 2, },
236     { MB_TYPE_8x8     | MB_TYPE_P0L0 | MB_TYPE_P0L1 | MB_TYPE_P1L0 | MB_TYPE_P1L1, 4, },
237 };
238
239 static const PMbInfo b_sub_mb_type_info[13] = {
240     { MB_TYPE_DIRECT2,                                                           1, },
241     { MB_TYPE_16x16 | MB_TYPE_P0L0,                                              1, },
242     { MB_TYPE_16x16 | MB_TYPE_P0L1,                                              1, },
243     { MB_TYPE_16x16 | MB_TYPE_P0L0 | MB_TYPE_P0L1,                               1, },
244     { MB_TYPE_16x8  | MB_TYPE_P0L0 | MB_TYPE_P1L0,                               2, },
245     { MB_TYPE_8x16  | MB_TYPE_P0L0 | MB_TYPE_P1L0,                               2, },
246     { MB_TYPE_16x8  | MB_TYPE_P0L1 | MB_TYPE_P1L1,                               2, },
247     { MB_TYPE_8x16  | MB_TYPE_P0L1 | MB_TYPE_P1L1,                               2, },
248     { MB_TYPE_16x8  | MB_TYPE_P0L0 | MB_TYPE_P0L1 | MB_TYPE_P1L0 | MB_TYPE_P1L1, 2, },
249     { MB_TYPE_8x16  | MB_TYPE_P0L0 | MB_TYPE_P0L1 | MB_TYPE_P1L0 | MB_TYPE_P1L1, 2, },
250     { MB_TYPE_8x8   | MB_TYPE_P0L0 | MB_TYPE_P1L0,                               4, },
251     { MB_TYPE_8x8   | MB_TYPE_P0L1 | MB_TYPE_P1L1,                               4, },
252     { MB_TYPE_8x8   | MB_TYPE_P0L0 | MB_TYPE_P0L1 | MB_TYPE_P1L0 | MB_TYPE_P1L1, 4, },
253 };
254
255 static const uint8_t dequant4_coeff_init[6][3] = {
256     { 10, 13, 16 },
257     { 11, 14, 18 },
258     { 13, 16, 20 },
259     { 14, 18, 23 },
260     { 16, 20, 25 },
261     { 18, 23, 29 },
262 };
263
264 static const uint8_t dequant8_coeff_init_scan[16] = {
265     0, 3, 4, 3, 3, 1, 5, 1, 4, 5, 2, 5, 3, 1, 5, 1
266 };
267
268 static const uint8_t dequant8_coeff_init[6][6] = {
269     { 20, 18, 32, 19, 25, 24 },
270     { 22, 19, 35, 21, 28, 26 },
271     { 26, 23, 42, 24, 33, 31 },
272     { 28, 25, 45, 26, 35, 33 },
273     { 32, 28, 51, 30, 40, 38 },
274     { 36, 32, 58, 34, 46, 43 },
275 };
276
277 #endif /* AVCODEC_H264DATA_H */