]> git.sesse.net Git - ffmpeg/blob - libavcodec/ivi.h
avcodec/h264, videotoolbox: return AVERROR_INVALIDDATA when no frames are produced
[ffmpeg] / libavcodec / ivi.h
1 /*
2  * common functions for Indeo Video Interactive codecs (Indeo4 and Indeo5)
3  *
4  * Copyright (c) 2009 Maxim Poliakovski
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * This file contains structures and macros shared by both Indeo4 and
26  * Indeo5 decoders.
27  */
28
29 #ifndef AVCODEC_IVI_H
30 #define AVCODEC_IVI_H
31
32 #include "avcodec.h"
33 #include "get_bits.h"
34 #include <stdint.h>
35
36 /**
37  *  Indeo 4 frame types.
38  */
39 enum {
40     IVI4_FRAMETYPE_INTRA       = 0,
41     IVI4_FRAMETYPE_INTRA1      = 1,  ///< intra frame with slightly different bitstream coding
42     IVI4_FRAMETYPE_INTER       = 2,  ///< non-droppable P-frame
43     IVI4_FRAMETYPE_BIDIR       = 3,  ///< bidirectional frame
44     IVI4_FRAMETYPE_INTER_NOREF = 4,  ///< droppable P-frame
45     IVI4_FRAMETYPE_NULL_FIRST  = 5,  ///< empty frame with no data
46     IVI4_FRAMETYPE_NULL_LAST   = 6   ///< empty frame with no data
47 };
48
49 #define IVI_VLC_BITS 13 ///< max number of bits of the ivi's huffman codes
50 #define IVI5_IS_PROTECTED       0x20
51
52 /**
53  *  huffman codebook descriptor
54  */
55 typedef struct IVIHuffDesc {
56     int32_t     num_rows;
57     uint8_t     xbits[16];
58 } IVIHuffDesc;
59
60 /**
61  *  macroblock/block huffman table descriptor
62  */
63 typedef struct IVIHuffTab {
64     int32_t     tab_sel;    /// index of one of the predefined tables
65                             /// or "7" for custom one
66     VLC         *tab;       /// pointer to the table associated with tab_sel
67
68     /// the following are used only when tab_sel == 7
69     IVIHuffDesc cust_desc;  /// custom Huffman codebook descriptor
70     VLC         cust_tab;   /// vlc table for custom codebook
71 } IVIHuffTab;
72
73 enum {
74     IVI_MB_HUFF   = 0,      /// Huffman table is used for coding macroblocks
75     IVI_BLK_HUFF  = 1       /// Huffman table is used for coding blocks
76 };
77
78
79 /**
80  *  Common scan patterns (defined in ivi_common.c)
81  */
82 extern const uint8_t ff_ivi_vertical_scan_8x8[64];
83 extern const uint8_t ff_ivi_horizontal_scan_8x8[64];
84 extern const uint8_t ff_ivi_direct_scan_4x4[16];
85
86
87 /**
88  *  Declare inverse transform function types
89  */
90 typedef void (InvTransformPtr)(const int32_t *in, int16_t *out, ptrdiff_t pitch, const uint8_t *flags);
91 typedef void (DCTransformPtr) (const int32_t *in, int16_t *out, ptrdiff_t pitch, int blk_size);
92
93
94 /**
95  *  run-value (RLE) table descriptor
96  */
97 typedef struct RVMapDesc {
98     uint8_t     eob_sym; ///< end of block symbol
99     uint8_t     esc_sym; ///< escape symbol
100     uint8_t     runtab[256];
101     int8_t      valtab[256];
102 } RVMapDesc;
103
104 extern const RVMapDesc ff_ivi_rvmap_tabs[9];
105
106
107 /**
108  *  information for Indeo macroblock (16x16, 8x8 or 4x4)
109  */
110 typedef struct IVIMbInfo {
111     int16_t     xpos;
112     int16_t     ypos;
113     uint32_t    buf_offs; ///< address in the output buffer for this mb
114     uint8_t     type;     ///< macroblock type: 0 - INTRA, 1 - INTER
115     uint8_t     cbp;      ///< coded block pattern
116     int8_t      q_delta;  ///< quant delta
117     int8_t      mv_x;     ///< motion vector (x component)
118     int8_t      mv_y;     ///< motion vector (y component)
119     int8_t      b_mv_x;   ///< second motion vector (x component)
120     int8_t      b_mv_y;   ///< second motion vector (y component)
121 } IVIMbInfo;
122
123
124 /**
125  *  information for Indeo tile
126  */
127 typedef struct IVITile {
128     int         xpos;
129     int         ypos;
130     int         width;
131     int         height;
132     int         mb_size;
133     int         is_empty;  ///< = 1 if this tile doesn't contain any data
134     int         data_size; ///< size of the data in bytes
135     int         num_MBs;   ///< number of macroblocks in this tile
136     IVIMbInfo   *mbs;      ///< array of macroblock descriptors
137     IVIMbInfo   *ref_mbs;  ///< ptr to the macroblock descriptors of the reference tile
138 } IVITile;
139
140
141 /**
142  *  information for Indeo wavelet band
143  */
144 typedef struct IVIBandDesc {
145     int             plane;          ///< plane number this band belongs to
146     int             band_num;       ///< band number
147     int             width;
148     int             height;
149     int             aheight;        ///< aligned band height
150     const uint8_t   *data_ptr;      ///< ptr to the first byte of the band data
151     int             data_size;      ///< size of the band data
152     int16_t         *buf;           ///< pointer to the output buffer for this band
153     int16_t         *ref_buf;       ///< pointer to the reference frame buffer (for motion compensation)
154     int16_t         *b_ref_buf;     ///< pointer to the second reference frame buffer (for motion compensation)
155     int16_t         *bufs[4];       ///< array of pointers to the band buffers
156     ptrdiff_t       pitch;          ///< pitch associated with the buffers above
157     int             is_empty;       ///< = 1 if this band doesn't contain any data
158     int             mb_size;        ///< macroblock size
159     int             blk_size;       ///< block size
160     int             is_halfpel;     ///< precision of the motion compensation: 0 - fullpel, 1 - halfpel
161     int             inherit_mv;     ///< tells if motion vector is inherited from reference macroblock
162     int             inherit_qdelta; ///< tells if quantiser delta is inherited from reference macroblock
163     int             qdelta_present; ///< tells if Qdelta signal is present in the bitstream (Indeo5 only)
164     int             quant_mat;      ///< dequant matrix index
165     int             glob_quant;     ///< quant base for this band
166     const uint8_t   *scan;          ///< ptr to the scan pattern
167     int             scan_size;      ///< size of the scantable
168
169     IVIHuffTab      blk_vlc;        ///< vlc table for decoding block data
170
171     int             num_corr;       ///< number of correction entries
172     uint8_t         corr[61*2];     ///< rvmap correction pairs
173     int             rvmap_sel;      ///< rvmap table selector
174     RVMapDesc       *rv_map;        ///< ptr to the RLE table for this band
175     int             num_tiles;      ///< number of tiles in this band
176     IVITile         *tiles;         ///< array of tile descriptors
177     InvTransformPtr *inv_transform;
178     int             transform_size;
179     DCTransformPtr  *dc_transform;
180     int             is_2d_trans;    ///< 1 indicates that the two-dimensional inverse transform is used
181     int32_t         checksum;       ///< for debug purposes
182     int             checksum_present;
183     int             bufsize;        ///< band buffer size in bytes
184     const uint16_t  *intra_base;    ///< quantization matrix for intra blocks
185     const uint16_t  *inter_base;    ///< quantization matrix for inter blocks
186     const uint8_t   *intra_scale;   ///< quantization coefficient for intra blocks
187     const uint8_t   *inter_scale;   ///< quantization coefficient for inter blocks
188 } IVIBandDesc;
189
190
191 /**
192  *  color plane (luma or chroma) information
193  */
194 typedef struct IVIPlaneDesc {
195     uint16_t    width;
196     uint16_t    height;
197     uint8_t     num_bands;  ///< number of bands this plane subdivided into
198     IVIBandDesc *bands;     ///< array of band descriptors
199 } IVIPlaneDesc;
200
201
202 typedef struct IVIPicConfig {
203     uint16_t    pic_width;
204     uint16_t    pic_height;
205     uint16_t    chroma_width;
206     uint16_t    chroma_height;
207     uint16_t    tile_width;
208     uint16_t    tile_height;
209     uint8_t     luma_bands;
210     uint8_t     chroma_bands;
211 } IVIPicConfig;
212
213 typedef struct IVI45DecContext {
214     GetBitContext   gb;
215     RVMapDesc       rvmap_tabs[9];   ///< local corrected copy of the static rvmap tables
216
217     uint32_t        frame_num;
218     int             frame_type;
219     int             prev_frame_type; ///< frame type of the previous frame
220     uint32_t        data_size;       ///< size of the frame data in bytes from picture header
221     int             is_scalable;
222     const uint8_t   *frame_data;     ///< input frame data pointer
223     int             inter_scal;      ///< signals a sequence of scalable inter frames
224     uint32_t        frame_size;      ///< frame size in bytes
225     uint32_t        pic_hdr_size;    ///< picture header size in bytes
226     uint8_t         frame_flags;
227     uint16_t        checksum;        ///< frame checksum
228
229     IVIPicConfig    pic_conf;
230     IVIPlaneDesc    planes[3];       ///< color planes
231
232     int             buf_switch;      ///< used to switch between three buffers
233     int             dst_buf;         ///< buffer index for the currently decoded frame
234     int             ref_buf;         ///< inter frame reference buffer index
235     int             ref2_buf;        ///< temporal storage for switching buffers
236     int             b_ref_buf;       ///< second reference frame buffer index
237
238     IVIHuffTab      mb_vlc;          ///< current macroblock table descriptor
239     IVIHuffTab      blk_vlc;         ///< current block table descriptor
240
241     uint8_t         rvmap_sel;
242     uint8_t         in_imf;
243     uint8_t         in_q;            ///< flag for explicitly stored quantiser delta
244     uint8_t         pic_glob_quant;
245     uint8_t         unknown1;
246
247     uint16_t        gop_hdr_size;
248     uint8_t         gop_flags;
249     uint32_t        lock_word;
250
251     int             show_indeo4_info;
252     uint8_t         has_b_frames;
253     uint8_t         has_transp;      ///< transparency mode status: 1 - enabled
254     uint8_t         uses_tiling;
255     uint8_t         uses_haar;
256     uint8_t         uses_fullpel;
257
258     int             (*decode_pic_hdr)  (struct IVI45DecContext *ctx, AVCodecContext *avctx);
259     int             (*decode_band_hdr) (struct IVI45DecContext *ctx, IVIBandDesc *band, AVCodecContext *avctx);
260     int             (*decode_mb_info)  (struct IVI45DecContext *ctx, IVIBandDesc *band, IVITile *tile, AVCodecContext *avctx);
261     void            (*switch_buffers)  (struct IVI45DecContext *ctx);
262     int             (*is_nonnull_frame)(struct IVI45DecContext *ctx);
263
264     int gop_invalid;
265     int buf_invalid[4];
266
267     int is_indeo4;
268
269     AVFrame         *p_frame;
270     int             got_p_frame;
271 } IVI45DecContext;
272
273 /** compare some properties of two pictures */
274 static inline int ivi_pic_config_cmp(IVIPicConfig *str1, IVIPicConfig *str2)
275 {
276     return str1->pic_width    != str2->pic_width    || str1->pic_height    != str2->pic_height    ||
277            str1->chroma_width != str2->chroma_width || str1->chroma_height != str2->chroma_height ||
278            str1->tile_width   != str2->tile_width   || str1->tile_height   != str2->tile_height   ||
279            str1->luma_bands   != str2->luma_bands   || str1->chroma_bands  != str2->chroma_bands;
280 }
281
282 /** calculate number of tiles in a stride */
283 #define IVI_NUM_TILES(stride, tile_size) (((stride) + (tile_size) - 1) / (tile_size))
284
285 /** calculate number of macroblocks in a tile */
286 #define IVI_MBs_PER_TILE(tile_width, tile_height, mb_size) \
287     ((((tile_width) + (mb_size) - 1) / (mb_size)) * (((tile_height) + (mb_size) - 1) / (mb_size)))
288
289 /** convert unsigned values into signed ones (the sign is in the LSB) */
290 #define IVI_TOSIGNED(val) (-(((val) >> 1) ^ -((val) & 1)))
291
292 /** scale motion vector */
293 static inline int ivi_scale_mv(int mv, int mv_scale)
294 {
295     return (mv + (mv > 0) + (mv_scale - 1)) >> mv_scale;
296 }
297
298 /**
299  * Initialize static codes used for macroblock and block decoding.
300  */
301 void ff_ivi_init_static_vlc(void);
302
303 /**
304  *  Decode a huffman codebook descriptor from the bitstream
305  *  and select specified huffman table.
306  *
307  *  @param[in,out]  gb          the GetBit context
308  *  @param[in]      desc_coded  flag signalling if table descriptor was coded
309  *  @param[in]      which_tab   codebook purpose (IVI_MB_HUFF or IVI_BLK_HUFF)
310  *  @param[out]     huff_tab    pointer to the descriptor of the selected table
311  *  @param[in]      avctx       AVCodecContext pointer
312  *  @return             zero on success, negative value otherwise
313  */
314 int  ff_ivi_dec_huff_desc(GetBitContext *gb, int desc_coded, int which_tab,
315                           IVIHuffTab *huff_tab, AVCodecContext *avctx);
316
317 /**
318  *  Initialize planes (prepares descriptors, allocates buffers etc).
319  *
320  *  @param[in,out]  planes     pointer to the array of the plane descriptors
321  *  @param[in]      cfg        pointer to the ivi_pic_config structure describing picture layout
322  *  @param[in]      is_indeo4  flag signalling if it is Indeo 4 or not
323  *  @return             result code: 0 - OK
324  */
325 int  ff_ivi_init_planes(AVCodecContext *avctx, IVIPlaneDesc *planes,
326                         const IVIPicConfig *cfg, int is_indeo4);
327
328 /**
329  *  Initialize tile and macroblock descriptors.
330  *
331  *  @param[in,out]  planes       pointer to the array of the plane descriptors
332  *  @param[in]      tile_width   tile width
333  *  @param[in]      tile_height  tile height
334  *  @return             result code: 0 - OK
335  */
336 int  ff_ivi_init_tiles(IVIPlaneDesc *planes, int tile_width, int tile_height);
337
338 int ff_ivi_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
339                         AVPacket *avpkt);
340 int ff_ivi_decode_close(AVCodecContext *avctx);
341
342 #endif /* AVCODEC_IVI_H */