]> git.sesse.net Git - x264/blob - common/common.h
during RDO, skip the bitstream writing and just calculate the number of bits
[x264] / common / common.h
1 /*****************************************************************************
2  * common.h: h264 encoder
3  *****************************************************************************
4  * Copyright (C) 2003 Laurent Aimar
5  * $Id: common.h,v 1.1 2004/06/03 19:27:06 fenrir Exp $
6  *
7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
22  *****************************************************************************/
23
24 #ifndef _COMMON_H
25 #define _COMMON_H 1
26
27 #ifdef HAVE_STDINT_H
28 #include <stdint.h>
29 #else
30 #include <inttypes.h>
31 #endif
32 #include <stdarg.h>
33
34 #ifdef _MSC_VER
35 #define snprintf _snprintf
36 #define X264_VERSION "" // no configure script for msvc
37 #endif
38
39 #include "x264.h"
40 #include "bs.h"
41 #include "set.h"
42 #include "predict.h"
43 #include "pixel.h"
44 #include "mc.h"
45 #include "frame.h"
46 #include "dct.h"
47 #include "cabac.h"
48 #include "csp.h"
49 #include "quant.h"
50
51 /****************************************************************************
52  * Macros
53  ****************************************************************************/
54 #define X264_MIN(a,b) ( (a)<(b) ? (a) : (b) )
55 #define X264_MAX(a,b) ( (a)>(b) ? (a) : (b) )
56 #define X264_ABS(a)   ( (a)< 0 ? -(a) : (a) )
57 #define X264_MIN3(a,b,c) X264_MIN((a),X264_MIN((b),(c)))
58 #define X264_MAX3(a,b,c) X264_MAX((a),X264_MAX((b),(c)))
59 #define X264_MIN4(a,b,c,d) X264_MIN((a),X264_MIN3((b),(c),(d)))
60 #define X264_MAX4(a,b,c,d) X264_MAX((a),X264_MAX3((b),(c),(d)))
61 #define FIX8(f) ((int)(f*(1<<8)+.5))
62
63 /****************************************************************************
64  * Generals functions
65  ****************************************************************************/
66 /* x264_malloc : will do or emulate a memalign
67  * XXX you HAVE TO use x264_free for buffer allocated
68  * with x264_malloc
69  */
70 void *x264_malloc( int );
71 void *x264_realloc( void *p, int i_size );
72 void  x264_free( void * );
73
74 /* x264_slurp_file: malloc space for the whole file and read it */
75 char *x264_slurp_file( const char *filename );
76
77 /* mdate: return the current date in microsecond */
78 int64_t x264_mdate( void );
79
80 /* log */
81 void x264_log( x264_t *h, int i_level, const char *psz_fmt, ... );
82
83 static inline int x264_clip3( int v, int i_min, int i_max )
84 {
85     return ( (v < i_min) ? i_min : (v > i_max) ? i_max : v );
86 }
87
88 static inline float x264_clip3f( float v, float f_min, float f_max )
89 {
90     return ( (v < f_min) ? f_min : (v > f_max) ? f_max : v );
91 }
92
93 static inline int x264_median( int a, int b, int c )
94 {
95     int min = a, max =a;
96     if( b < min )
97         min = b;
98     else
99         max = b;    /* no need to do 'b > max' (more consuming than always doing affectation) */
100
101     if( c < min )
102         min = c;
103     else if( c > max )
104         max = c;
105
106     return a + b + c - min - max;
107 }
108
109
110 /****************************************************************************
111  *
112  ****************************************************************************/
113 enum slice_type_e
114 {
115     SLICE_TYPE_P  = 0,
116     SLICE_TYPE_B  = 1,
117     SLICE_TYPE_I  = 2,
118     SLICE_TYPE_SP = 3,
119     SLICE_TYPE_SI = 4
120 };
121
122 static const char slice_type_to_char[] = { 'P', 'B', 'I', 'S', 'S' };
123
124 typedef struct
125 {
126     x264_sps_t *sps;
127     x264_pps_t *pps;
128
129     int i_type;
130     int i_first_mb;
131     int i_last_mb;
132
133     int i_pps_id;
134
135     int i_frame_num;
136
137     int b_field_pic;
138     int b_bottom_field;
139
140     int i_idr_pic_id;   /* -1 if nal_type != 5 */
141
142     int i_poc_lsb;
143     int i_delta_poc_bottom;
144
145     int i_delta_poc[2];
146     int i_redundant_pic_cnt;
147
148     int b_direct_spatial_mv_pred;
149
150     int b_num_ref_idx_override;
151     int i_num_ref_idx_l0_active;
152     int i_num_ref_idx_l1_active;
153
154     int b_ref_pic_list_reordering_l0;
155     int b_ref_pic_list_reordering_l1;
156     struct {
157         int idc;
158         int arg;
159     } ref_pic_list_order[2][16];
160
161     int i_cabac_init_idc;
162
163     int i_qp;
164     int i_qp_delta;
165     int b_sp_for_swidth;
166     int i_qs_delta;
167
168     /* deblocking filter */
169     int i_disable_deblocking_filter_idc;
170     int i_alpha_c0_offset;
171     int i_beta_offset;
172
173 } x264_slice_header_t;
174
175 /* From ffmpeg
176  */
177 #define X264_SCAN8_SIZE (6*8)
178 #define X264_SCAN8_0 (4+1*8)
179
180 static const int x264_scan8[16+2*4] =
181 {
182     /* Luma */
183     4+1*8, 5+1*8, 4+2*8, 5+2*8,
184     6+1*8, 7+1*8, 6+2*8, 7+2*8,
185     4+3*8, 5+3*8, 4+4*8, 5+4*8,
186     6+3*8, 7+3*8, 6+4*8, 7+4*8,
187
188     /* Cb */
189     1+1*8, 2+1*8,
190     1+2*8, 2+2*8,
191
192     /* Cr */
193     1+4*8, 2+4*8,
194     1+5*8, 2+5*8,
195 };
196 /*
197    0 1 2 3 4 5 6 7
198  0
199  1   B B   L L L L
200  2   B B   L L L L
201  3         L L L L
202  4   R R   L L L L
203  5   R R
204 */
205
206 #define X264_BFRAME_MAX 16
207 #define X264_SLICE_MAX 4
208 #define X264_NAL_MAX (4 + X264_SLICE_MAX)
209
210 typedef struct x264_ratecontrol_t   x264_ratecontrol_t;
211 typedef struct x264_vlc_table_t     x264_vlc_table_t;
212
213 struct x264_t
214 {
215     /* encoder parameters */
216     x264_param_t    param;
217
218     x264_t *thread[X264_SLICE_MAX];
219
220     /* bitstream output */
221     struct
222     {
223         int         i_nal;
224         x264_nal_t  nal[X264_NAL_MAX];
225         int         i_bitstream;    /* size of p_bitstream */
226         uint8_t     *p_bitstream;   /* will hold data for all nal */
227         bs_t        bs;
228     } out;
229
230     /* frame number/poc */
231     int             i_frame;
232
233     int             i_frame_offset; /* decoding only */
234     int             i_frame_num;    /* decoding only */
235     int             i_poc_msb;      /* decoding only */
236     int             i_poc_lsb;      /* decoding only */
237     int             i_poc;          /* decoding only */
238
239     int             i_thread_num;   /* threads only */
240     int             i_nal_type;     /* threads only */
241     int             i_nal_ref_idc;  /* threads only */
242
243     /* We use only one SPS and one PPS */
244     x264_sps_t      sps_array[1];
245     x264_sps_t      *sps;
246     x264_pps_t      pps_array[1];
247     x264_pps_t      *pps;
248     int             i_idr_pic_id;
249
250     int             dequant4_mf[4][6][4][4];
251     int             dequant8_mf[2][6][8][8];
252     int             quant4_mf[4][6][4][4];
253     int             quant8_mf[2][6][8][8];
254
255     /* Slice header */
256     x264_slice_header_t sh;
257
258     /* cabac context */
259     x264_cabac_t    cabac;
260
261     struct
262     {
263         /* Frames to be encoded (whose types have been decided) */
264         x264_frame_t *current[X264_BFRAME_MAX+3];
265         /* Temporary buffer (frames types not yet decided) */
266         x264_frame_t *next[X264_BFRAME_MAX+3];
267         /* Unused frames */
268         x264_frame_t *unused[X264_BFRAME_MAX+3];
269         /* For adaptive B decision */
270         x264_frame_t *last_nonb;
271
272         /* frames used for reference +1 for decoding + sentinels */
273         x264_frame_t *reference[16+2+1+2];
274
275         int i_last_idr; /* Frame number of the last IDR */
276
277         int i_input;    /* Number of input frames already accepted */
278
279         int i_max_dpb;  /* Number of frames allocated in the decoded picture buffer */
280         int i_max_ref0;
281         int i_max_ref1;
282         int i_delay;    /* Number of frames buffered for B reordering */
283         int b_have_lowres;  /* Whether 1/2 resolution luma planes are being used */
284     } frames;
285
286     /* current frame being encoded */
287     x264_frame_t    *fenc;
288
289     /* frame being reconstructed */
290     x264_frame_t    *fdec;
291
292     /* references lists */
293     int             i_ref0;
294     x264_frame_t    *fref0[16+3];     /* ref list 0 */
295     int             i_ref1;
296     x264_frame_t    *fref1[16+3];     /* ref list 1 */
297     int             b_ref_reorder[2];
298
299
300
301     /* Current MB DCT coeffs */
302     struct
303     {
304         DECLARE_ALIGNED( int, luma16x16_dc[16], 16 );
305         DECLARE_ALIGNED( int, chroma_dc[2][4], 16 );
306         // FIXME merge with union
307         DECLARE_ALIGNED( int, luma8x8[4][64], 16 );
308         union
309         {
310             DECLARE_ALIGNED( int, residual_ac[15], 16 );
311             DECLARE_ALIGNED( int, luma4x4[16], 16 );
312         } block[16+8];
313     } dct;
314
315     /* MB table and cache for current frame/mb */
316     struct
317     {
318         int     i_mb_count;                 /* number of mbs in a frame */
319
320         /* Strides */
321         int     i_mb_stride;
322         int     i_b8_stride;
323         int     i_b4_stride;
324
325         /* Current index */
326         int     i_mb_x;
327         int     i_mb_y;
328         int     i_mb_xy;
329         int     i_b8_xy;
330         int     i_b4_xy;
331         
332         /* Search parameters */
333         int     i_me_method;
334         int     i_subpel_refine;
335         int     b_chroma_me;
336         /* Allowed qpel MV range to stay within the picture + emulated edge pixels */
337         int     mv_min[2];
338         int     mv_max[2];
339         /* Fullpel MV range for motion search */
340         int     mv_min_fpel[2];
341         int     mv_max_fpel[2];
342
343         /* neighboring MBs */
344         unsigned int i_neighbour;
345         unsigned int i_neighbour8[4];       /* neighbours of each 8x8 or 4x4 block that are available */
346         unsigned int i_neighbour4[16];      /* at the time the block is coded */
347         int     i_mb_type_top; 
348         int     i_mb_type_left; 
349         int     i_mb_type_topleft; 
350         int     i_mb_type_topright; 
351
352         /* mb table */
353         int8_t  *type;                      /* mb type */
354         int8_t  *qp;                        /* mb qp */
355         int16_t *cbp;                       /* mb cbp: 0x0?: luma, 0x?0: chroma, 0x100: luma dc, 0x0200 and 0x0400: chroma dc  (all set for PCM)*/
356         int8_t  (*intra4x4_pred_mode)[7];   /* intra4x4 pred mode. for non I4x4 set to I_PRED_4x4_DC(2) */
357         uint8_t (*non_zero_count)[16+4+4];  /* nzc. for I_PCM set to 16 */
358         int8_t  *chroma_pred_mode;          /* chroma_pred_mode. cabac only. for non intra I_PRED_CHROMA_DC(0) */
359         int16_t (*mv[2])[2];                /* mb mv. set to 0 for intra mb */
360         int16_t (*mvd[2])[2];               /* mb mv difference with predict. set to 0 if intra. cabac only */
361         int8_t   *ref[2];                   /* mb ref. set to -1 if non used (intra or Lx only) */
362         int16_t (*mvr[2][16])[2];           /* 16x16 mv for each possible ref */
363         int8_t  *skipbp;                    /* block pattern for SKIP or DIRECT (sub)mbs. B-frames + cabac only */
364         int8_t  *mb_transform_size;         /* transform_size_8x8_flag of each mb */
365
366         /* current value */
367         int     i_type;
368         int     i_partition;
369         int     i_sub_partition[4];
370         int     b_transform_8x8;
371
372         int     i_cbp_luma;
373         int     i_cbp_chroma;
374
375         int     i_intra16x16_pred_mode;
376         int     i_chroma_pred_mode;
377
378         struct
379         {
380             /* pointer over mb of the frame to be compressed */
381             uint8_t *p_fenc[3];
382
383             /* pointer over mb of the frame to be reconstrucated  */
384             uint8_t *p_fdec[3];
385
386             /* pointer over mb of the references */
387             uint8_t *p_fref[2][16][4+2]; /* last: lN, lH, lV, lHV, cU, cV */
388
389             /* common stride */
390             int     i_stride[3];
391         } pic;
392
393         /* cache */
394         struct
395         {
396             /* real intra4x4_pred_mode if I_4X4 or I_8X8, I_PRED_4x4_DC if mb available, -1 if not */
397             int     intra4x4_pred_mode[X264_SCAN8_SIZE];
398
399             /* i_non_zero_count if availble else 0x80 */
400             int     non_zero_count[X264_SCAN8_SIZE];
401
402             /* -1 if unused, -2 if unavaible */
403             int8_t  ref[2][X264_SCAN8_SIZE];
404
405             /* 0 if non avaible */
406             int16_t mv[2][X264_SCAN8_SIZE][2];
407             int16_t mvd[2][X264_SCAN8_SIZE][2];
408
409             /* 1 if SKIP or DIRECT. set only for B-frames + CABAC */
410             int8_t  skip[X264_SCAN8_SIZE];
411
412             int16_t direct_mv[2][X264_SCAN8_SIZE][2];
413             int8_t  direct_ref[2][X264_SCAN8_SIZE];
414
415             /* number of neighbors (top and left) that used 8x8 dct */
416             int     i_neighbour_transform_size;
417             int     b_transform_8x8_allowed;
418         } cache;
419
420         /* */
421         int     i_qp;       /* current qp */
422         int     i_last_qp;  /* last qp */
423         int     i_last_dqp; /* last delta qp */
424         int     b_variable_qp; /* whether qp is allowed to vary per macroblock */
425         int     b_lossless;
426
427         /* B_direct and weighted prediction */
428         int     dist_scale_factor[16][16];
429         int     bipred_weight[16][16];
430         /* maps fref1[0]'s ref indices into the current list0 */
431         int     map_col_to_list0_buf[2]; // for negative indices
432         int     map_col_to_list0[16];
433     } mb;
434
435     /* rate control encoding only */
436     x264_ratecontrol_t *rc;
437
438     int i_last_inter_size;
439     int i_last_intra_size;
440     int i_last_intra_qp;
441
442     /* stats */
443     struct
444     {
445         /* Current frame stats */
446         struct
447         {
448             /* Headers bits (MV+Ref+MB Block Type */
449             int i_hdr_bits;
450             /* Texture bits (Intra/Predicted) */
451             int i_itex_bits;
452             int i_ptex_bits;
453             /* ? */
454             int i_misc_bits;
455             /* MB type counts */
456             int i_mb_count[19];
457             int i_mb_count_i;
458             int i_mb_count_p;
459             int i_mb_count_skip;
460             int i_mb_count_8x8dct[2];
461             int i_mb_count_size[7];
462             int i_mb_count_ref[16];
463             /* Estimated (SATD) cost as Intra/Predicted frame */
464             /* XXX: both omit the cost of MBs coded as P_SKIP */
465             int i_intra_cost;
466             int i_inter_cost;
467         } frame;
468
469         /* Cummulated stats */
470
471         /* per slice info */
472         int   i_slice_count[5];
473         int64_t i_slice_size[5];
474         int     i_slice_qp[5];
475         /* */
476         int64_t i_sqe_global[5];
477         float   f_psnr_average[5];
478         float   f_psnr_mean_y[5];
479         float   f_psnr_mean_u[5];
480         float   f_psnr_mean_v[5];
481         /* */
482         int64_t i_mb_count[5][19];
483         int64_t i_mb_count_8x8dct[2];
484         int64_t i_mb_count_size[2][7];
485         int64_t i_mb_count_ref[2][16];
486
487     } stat;
488
489     /* CPU functions dependants */
490     x264_predict_t      predict_16x16[4+3];
491     x264_predict_t      predict_8x8c[4+3];
492     x264_predict8x8_t   predict_8x8[9+3];
493     x264_predict_t      predict_4x4[9+3];
494
495     x264_pixel_function_t pixf;
496     x264_mc_functions_t   mc;
497     x264_dct_function_t   dctf;
498     x264_csp_function_t   csp;
499     x264_quant_function_t quantf;
500
501     /* vlc table for decoding purpose only */
502     x264_vlc_table_t *x264_coeff_token_lookup[5];
503     x264_vlc_table_t *x264_level_prefix_lookup;
504     x264_vlc_table_t *x264_total_zeros_lookup[15];
505     x264_vlc_table_t *x264_total_zeros_dc_lookup[3];
506     x264_vlc_table_t *x264_run_before_lookup[7];
507
508 #if VISUALIZE
509     struct visualize_t *visualize;
510 #endif
511 };
512
513 // included at the end because it needs x264_t
514 #include "macroblock.h"
515
516 #endif
517