git.sesse.net Git - x264/blob - common/frame.h

   1 /*****************************************************************************
   2  * frame.h: frame handling
   3  *****************************************************************************
   4  * Copyright (C) 2003-2016 x264 project
   5  *
   6  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   7  *          Loren Merritt <lorenm@u.washington.edu>
   8  *          Fiona Glaser <fiona@x264.com>
   9  *
  10  * This program is free software; you can redistribute it and/or modify
  11  * it under the terms of the GNU General Public License as published by
  12  * the Free Software Foundation; either version 2 of the License, or
  13  * (at your option) any later version.
  14  *
  15  * This program is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with this program; if not, write to the Free Software
  22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  23  *
  24  * This program is also available under a commercial proprietary license.
  25  * For more information, contact us at licensing@x264.com.
  26  *****************************************************************************/
  27
  28 #ifndef X264_FRAME_H
  29 #define X264_FRAME_H
  30
  31 /* number of pixels past the edge of the frame, for motion estimation/compensation */
  32 #define PADH 32
  33 #define PADV 32
  34
  35 typedef struct x264_frame
  36 {
  37     /* */
  38     uint8_t *base;       /* Base pointer for all malloced data in this frame. */
  39     int     i_poc;
  40     int     i_delta_poc[2];
  41     int     i_type;
  42     int     i_forced_type;
  43     int     i_qpplus1;
  44     int64_t i_pts;
  45     int64_t i_dts;
  46     int64_t i_reordered_pts;
  47     int64_t i_duration;  /* in SPS time_scale units (i.e 2 * timebase units) used for vfr */
  48     float   f_duration;  /* in seconds */
  49     int64_t i_cpb_duration;
  50     int64_t i_cpb_delay; /* in SPS time_scale units (i.e 2 * timebase units) */
  51     int64_t i_dpb_output_delay;
  52     x264_param_t *param;
  53
  54     int     i_frame;     /* Presentation frame number */
  55     int     i_coded;     /* Coded frame number */
  56     int64_t i_field_cnt; /* Presentation field count */
  57     int     i_frame_num; /* 7.4.3 frame_num */
  58     int     b_kept_as_ref;
  59     int     i_pic_struct;
  60     int     b_keyframe;
  61     uint8_t b_fdec;
  62     uint8_t b_last_minigop_bframe; /* this frame is the last b in a sequence of bframes */
  63     uint8_t i_bframes;   /* number of bframes following this nonb in coded order */
  64     float   f_qp_avg_rc; /* QPs as decided by ratecontrol */
  65     float   f_qp_avg_aq; /* QPs as decided by AQ in addition to ratecontrol */
  66     float   f_crf_avg;   /* Average effective CRF for this frame */
  67     int     i_poc_l0ref0; /* poc of first refframe in L0, used to check if direct temporal is possible */
  68
  69     /* YUV buffer */
  70     int     i_csp; /* Internal csp */
  71     int     i_plane;
  72     int     i_stride[3];
  73     int     i_width[3];
  74     int     i_lines[3];
  75     int     i_stride_lowres;
  76     int     i_width_lowres;
  77     int     i_lines_lowres;
  78     pixel *plane[3];
  79     pixel *plane_fld[3];
  80     pixel *filtered[3][4]; /* plane[0], H, V, HV */
  81     pixel *filtered_fld[3][4];
  82     pixel *lowres[4]; /* half-size copy of input frame: Orig, H, V, HV */
  83     uint16_t *integral;
  84
  85     /* for unrestricted mv we allocate more data than needed
  86      * allocated data are stored in buffer */
  87     pixel *buffer[4];
  88     pixel *buffer_fld[4];
  89     pixel *buffer_lowres[4];
  90
  91     x264_weight_t weight[X264_REF_MAX][3]; /* [ref_index][plane] */
  92     pixel *weighted[X264_REF_MAX]; /* plane[0] weighted of the reference frames */
  93     int b_duplicate;
  94     struct x264_frame *orig;
  95
  96     /* motion data */
  97     int8_t  *mb_type;
  98     uint8_t *mb_partition;
  99     int16_t (*mv[2])[2];
 100     int16_t (*mv16x16)[2];
 101     int16_t (*lowres_mvs[2][X264_BFRAME_MAX+1])[2];
 102     uint8_t *field;
 103     uint8_t *effective_qp;
 104
 105     /* Stored as (lists_used << LOWRES_COST_SHIFT) + (cost).
 106      * Doesn't need special addressing for intra cost because
 107      * lists_used is guaranteed to be zero in that cast. */
 108     uint16_t (*lowres_costs[X264_BFRAME_MAX+2][X264_BFRAME_MAX+2]);
 109     #define LOWRES_COST_MASK ((1<<14)-1)
 110     #define LOWRES_COST_SHIFT 14
 111
 112     int     *lowres_mv_costs[2][X264_BFRAME_MAX+1];
 113     int8_t  *ref[2];
 114     int     i_ref[2];
 115     int     ref_poc[2][X264_REF_MAX];
 116     int16_t inv_ref_poc[2]; // inverse values of ref0 poc to avoid divisions in temporal MV prediction
 117
 118     /* for adaptive B-frame decision.
 119      * contains the SATD cost of the lowres frame encoded in various modes
 120      * FIXME: how big an array do we need? */
 121     int     i_cost_est[X264_BFRAME_MAX+2][X264_BFRAME_MAX+2];
 122     int     i_cost_est_aq[X264_BFRAME_MAX+2][X264_BFRAME_MAX+2];
 123     int     i_satd; // the i_cost_est of the selected frametype
 124     int     i_intra_mbs[X264_BFRAME_MAX+2];
 125     int     *i_row_satds[X264_BFRAME_MAX+2][X264_BFRAME_MAX+2];
 126     int     *i_row_satd;
 127     int     *i_row_bits;
 128     float   *f_row_qp;
 129     float   *f_row_qscale;
 130     float   *f_qp_offset;
 131     float   *f_qp_offset_aq;
 132     int     b_intra_calculated;
 133     uint16_t *i_intra_cost;
 134     uint16_t *i_propagate_cost;
 135     uint16_t *i_inv_qscale_factor;
 136     int     b_scenecut; /* Set to zero if the frame cannot possibly be part of a real scenecut. */
 137     float   f_weighted_cost_delta[X264_BFRAME_MAX+2];
 138     uint32_t i_pixel_sum[3];
 139     uint64_t i_pixel_ssd[3];
 140
 141     /* hrd */
 142     x264_hrd_t hrd_timing;
 143
 144     /* vbv */
 145     uint8_t i_planned_type[X264_LOOKAHEAD_MAX+1];
 146     int i_planned_satd[X264_LOOKAHEAD_MAX+1];
 147     double f_planned_cpb_duration[X264_LOOKAHEAD_MAX+1];
 148     int64_t i_coded_fields_lookahead;
 149     int64_t i_cpb_delay_lookahead;
 150
 151     /* threading */
 152     int     i_lines_completed; /* in pixels */
 153     int     i_lines_weighted; /* FIXME: this only supports weighting of one reference frame */
 154     int     i_reference_count; /* number of threads using this frame (not necessarily the number of pointers) */
 155     x264_pthread_mutex_t mutex;
 156     x264_pthread_cond_t  cv;
 157     int     i_slice_count; /* Atomically written to/read from with slice threads */
 158
 159     /* periodic intra refresh */
 160     float   f_pir_position;
 161     int     i_pir_start_col;
 162     int     i_pir_end_col;
 163     int     i_frames_since_pir;
 164
 165     /* interactive encoder control */
 166     int     b_corrupt;
 167
 168     /* user sei */
 169     x264_sei_t extra_sei;
 170
 171     /* user data */
 172     void *opaque;
 173
 174     /* user frame properties */
 175     uint8_t *mb_info;
 176     void (*mb_info_free)( void* );
 177
 178 #if HAVE_OPENCL
 179     x264_frame_opencl_t opencl;
 180 #endif
 181 } x264_frame_t;
 182
 183 /* synchronized frame list */
 184 typedef struct
 185 {
 186    x264_frame_t **list;
 187    int i_max_size;
 188    int i_size;
 189    x264_pthread_mutex_t     mutex;
 190    x264_pthread_cond_t      cv_fill;  /* event signaling that the list became fuller */
 191    x264_pthread_cond_t      cv_empty; /* event signaling that the list became emptier */
 192 } x264_sync_frame_list_t;
 193
 194 typedef void (*x264_deblock_inter_t)( pixel *pix, intptr_t stride, int alpha, int beta, int8_t *tc0 );
 195 typedef void (*x264_deblock_intra_t)( pixel *pix, intptr_t stride, int alpha, int beta );
 196 typedef struct
 197 {
 198     x264_deblock_inter_t deblock_luma[2];
 199     x264_deblock_inter_t deblock_chroma[2];
 200     x264_deblock_inter_t deblock_h_chroma_420;
 201     x264_deblock_inter_t deblock_h_chroma_422;
 202     x264_deblock_intra_t deblock_luma_intra[2];
 203     x264_deblock_intra_t deblock_chroma_intra[2];
 204     x264_deblock_intra_t deblock_h_chroma_420_intra;
 205     x264_deblock_intra_t deblock_h_chroma_422_intra;
 206     x264_deblock_inter_t deblock_luma_mbaff;
 207     x264_deblock_inter_t deblock_chroma_mbaff;
 208     x264_deblock_inter_t deblock_chroma_420_mbaff;
 209     x264_deblock_inter_t deblock_chroma_422_mbaff;
 210     x264_deblock_intra_t deblock_luma_intra_mbaff;
 211     x264_deblock_intra_t deblock_chroma_intra_mbaff;
 212     x264_deblock_intra_t deblock_chroma_420_intra_mbaff;
 213     x264_deblock_intra_t deblock_chroma_422_intra_mbaff;
 214     void (*deblock_strength) ( uint8_t nnz[X264_SCAN8_SIZE], int8_t ref[2][X264_SCAN8_LUMA_SIZE],
 215                                int16_t mv[2][X264_SCAN8_LUMA_SIZE][2], uint8_t bs[2][8][4], int mvy_limit,
 216                                int bframe );
 217 } x264_deblock_function_t;
 218
 219 void          x264_frame_delete( x264_frame_t *frame );
 220
 221 int           x264_frame_copy_picture( x264_t *h, x264_frame_t *dst, x264_picture_t *src );
 222
 223 void          x264_frame_expand_border( x264_t *h, x264_frame_t *frame, int mb_y );
 224 void          x264_frame_expand_border_filtered( x264_t *h, x264_frame_t *frame, int mb_y, int b_end );
 225 void          x264_frame_expand_border_lowres( x264_frame_t *frame );
 226 void          x264_frame_expand_border_chroma( x264_t *h, x264_frame_t *frame, int plane );
 227 void          x264_frame_expand_border_mod16( x264_t *h, x264_frame_t *frame );
 228 void          x264_expand_border_mbpair( x264_t *h, int mb_x, int mb_y );
 229
 230 void          x264_frame_deblock_row( x264_t *h, int mb_y );
 231 void          x264_macroblock_deblock( x264_t *h );
 232
 233 void          x264_frame_filter( x264_t *h, x264_frame_t *frame, int mb_y, int b_end );
 234 void          x264_frame_init_lowres( x264_t *h, x264_frame_t *frame );
 235
 236 void          x264_deblock_init( int cpu, x264_deblock_function_t *pf, int b_mbaff );
 237
 238 void          x264_frame_cond_broadcast( x264_frame_t *frame, int i_lines_completed );
 239 void          x264_frame_cond_wait( x264_frame_t *frame, int i_lines_completed );
 240 int           x264_frame_new_slice( x264_t *h, x264_frame_t *frame );
 241
 242 void          x264_threadslice_cond_broadcast( x264_t *h, int pass );
 243 void          x264_threadslice_cond_wait( x264_t *h, int pass );
 244
 245 void          x264_frame_push( x264_frame_t **list, x264_frame_t *frame );
 246 x264_frame_t *x264_frame_pop( x264_frame_t **list );
 247 void          x264_frame_unshift( x264_frame_t **list, x264_frame_t *frame );
 248 x264_frame_t *x264_frame_shift( x264_frame_t **list );
 249 void          x264_frame_push_unused( x264_t *h, x264_frame_t *frame );
 250 void          x264_frame_push_blank_unused( x264_t *h, x264_frame_t *frame );
 251 x264_frame_t *x264_frame_pop_blank_unused( x264_t *h );
 252 void x264_weight_scale_plane( x264_t *h, pixel *dst, intptr_t i_dst_stride, pixel *src, intptr_t i_src_stride,
 253                               int i_width, int i_height, x264_weight_t *w );
 254 x264_frame_t *x264_frame_pop_unused( x264_t *h, int b_fdec );
 255 void          x264_frame_delete_list( x264_frame_t **list );
 256
 257 int           x264_sync_frame_list_init( x264_sync_frame_list_t *slist, int nelem );
 258 void          x264_sync_frame_list_delete( x264_sync_frame_list_t *slist );
 259 void          x264_sync_frame_list_push( x264_sync_frame_list_t *slist, x264_frame_t *frame );
 260 x264_frame_t *x264_sync_frame_list_pop( x264_sync_frame_list_t *slist );
 261
 262 #endif