git.sesse.net Git - x264/blob - encoder/slicetype_decision.c

   1 /*****************************************************************************
   2  * slicetype_decision.c: h264 encoder library
   3  *****************************************************************************
   4  * Copyright (C) 2005 Loren Merritt
   5  *
   6  * Authors: Loren Merritt <lorenm@u.washington.edu>
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License as published by
  10  * the Free Software Foundation; either version 2 of the License, or
  11  * (at your option) any later version.
  12  *
  13  * This program is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16  * GNU General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * along with this program; if not, write to the Free Software
  20  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
  21  *****************************************************************************/
  22
  23 #include <string.h>
  24 #include <math.h>
  25 #include <limits.h>
  26
  27 #include "common/common.h"
  28 #include "common/cpu.h"
  29 #include "macroblock.h"
  30 #include "me.h"
  31
  32
  33 static void x264_lowres_context_init( x264_t *h, x264_mb_analysis_t *a )
  34 {
  35     a->i_qp = 12; // arbitrary, but low because SATD scores are 1/4 normal
  36     a->i_lambda = i_qp0_cost_table[ a->i_qp ];
  37     x264_mb_analyse_load_costs( h, a );
  38     h->mb.i_me_method = X264_MIN( X264_ME_HEX, h->param.analyse.i_me_method ); // maybe dia?
  39     h->mb.i_subpel_refine = 4; // 3 should be enough, but not tweaking for speed now
  40     h->mb.b_chroma_me = 0;
  41 }
  42
  43 int x264_slicetype_mb_cost( x264_t *h, x264_mb_analysis_t *a,
  44                             x264_frame_t **frames, int p0, int p1, int b,
  45                             int dist_scale_factor )
  46 {
  47     x264_frame_t *fref0 = frames[p0];
  48     x264_frame_t *fref1 = frames[p1];
  49     x264_frame_t *fenc  = frames[b];
  50     const int b_bidir = (b < p1);
  51     const int i_mb_x = h->mb.i_mb_x;
  52     const int i_mb_y = h->mb.i_mb_y;
  53     const int i_mb_stride = h->sps->i_mb_width;
  54     const int i_mb_xy = i_mb_x + i_mb_y * i_mb_stride;
  55     const int i_stride = fenc->i_stride_lowres;
  56     const int i_pel_offset = 8 * ( i_mb_x + i_mb_y * i_stride );
  57
  58     DECLARE_ALIGNED( uint8_t, pix1[9*FDEC_STRIDE], 8 );
  59     uint8_t *pix2 = pix1+8;
  60     x264_me_t m[2];
  61     int i_bcost = COST_MAX;
  62     int i_cost_bak;
  63     int l, i;
  64
  65     h->mb.pic.p_fenc[0] = h->mb.pic.fenc_buf;
  66     h->mc.copy[PIXEL_8x8]( h->mb.pic.p_fenc[0], FENC_STRIDE, &fenc->lowres[0][i_pel_offset], i_stride, 8 );
  67
  68     if( !p0 && !p1 && !b )
  69         goto lowres_intra_mb;
  70
  71     // no need for h->mb.mv_min[]
  72     h->mb.mv_min_fpel[0] = -8*h->mb.i_mb_x - 4;
  73     h->mb.mv_max_fpel[0] = 8*( h->sps->i_mb_width - h->mb.i_mb_x - 1 ) + 4;
  74     h->mb.mv_min_spel[0] = 4*( h->mb.mv_min_fpel[0] - 8 );
  75     h->mb.mv_max_spel[0] = 4*( h->mb.mv_max_fpel[0] + 8 );
  76     if( h->mb.i_mb_x <= 1 )
  77     {
  78         h->mb.mv_min_fpel[1] = -8*h->mb.i_mb_y - 4;
  79         h->mb.mv_max_fpel[1] = 8*( h->sps->i_mb_height - h->mb.i_mb_y - 1 ) + 4;
  80         h->mb.mv_min_spel[1] = 4*( h->mb.mv_min_fpel[1] - 8 );
  81         h->mb.mv_max_spel[1] = 4*( h->mb.mv_max_fpel[1] + 8 );
  82     }
  83
  84 #define LOAD_HPELS_LUMA(dst, src) \
  85     { \
  86         (dst)[0] = &(src)[0][i_pel_offset]; \
  87         (dst)[1] = &(src)[1][i_pel_offset]; \
  88         (dst)[2] = &(src)[2][i_pel_offset]; \
  89         (dst)[3] = &(src)[3][i_pel_offset]; \
  90     }
  91 #define SAVE_MVS( mv0, mv1 ) \
  92     { \
  93         fenc->mv[0][i_mb_xy][0] = mv0[0]; \
  94         fenc->mv[0][i_mb_xy][1] = mv0[1]; \
  95         if( b_bidir ) \
  96         { \
  97             fenc->mv[1][i_mb_xy][0] = mv1[0]; \
  98             fenc->mv[1][i_mb_xy][1] = mv1[1]; \
  99         } \
 100     }
 101 #define CLIP_MV( mv ) \
 102     { \
 103         mv[0] = x264_clip3( mv[0], h->mb.mv_min_spel[0], h->mb.mv_max_spel[0] ); \
 104         mv[1] = x264_clip3( mv[1], h->mb.mv_min_spel[1], h->mb.mv_max_spel[1] ); \
 105     }
 106 #define TRY_BIDIR( mv0, mv1, penalty ) \
 107     { \
 108         int stride2 = 16; \
 109         uint8_t *src2; \
 110         int i_cost; \
 111         h->mc.mc_luma( m[0].p_fref, m[0].i_stride[0], pix1, 16, \
 112                        (mv0)[0], (mv0)[1], 8, 8 ); \
 113         src2 = h->mc.get_ref( m[1].p_fref, m[1].i_stride[0], pix2, &stride2, \
 114                        (mv1)[0], (mv1)[1], 8, 8 ); \
 115         h->mc.avg[PIXEL_8x8]( pix1, 16, src2, stride2 ); \
 116         i_cost = penalty + h->pixf.mbcmp[PIXEL_8x8]( \
 117                            m[0].p_fenc[0], FENC_STRIDE, pix1, 16 ); \
 118         if( i_bcost > i_cost ) \
 119         { \
 120             i_bcost = i_cost; \
 121             SAVE_MVS( mv0, mv1 ); \
 122         } \
 123     }
 124
 125     m[0].i_pixel = PIXEL_8x8;
 126     m[0].p_cost_mv = a->p_cost_mv;
 127     m[0].i_stride[0] = i_stride;
 128     m[0].p_fenc[0] = h->mb.pic.p_fenc[0];
 129     LOAD_HPELS_LUMA( m[0].p_fref, fref0->lowres );
 130
 131     if( b_bidir )
 132     {
 133         int16_t *mvr = fref1->mv[0][i_mb_xy];
 134         int dmv[2][2];
 135         int mv0[2] = {0,0};
 136
 137         m[1] = m[0];
 138         LOAD_HPELS_LUMA( m[1].p_fref, fref1->lowres );
 139
 140         dmv[0][0] = ( mvr[0] * dist_scale_factor + 128 ) >> 8;
 141         dmv[0][1] = ( mvr[1] * dist_scale_factor + 128 ) >> 8;
 142         dmv[1][0] = dmv[0][0] - mvr[0];
 143         dmv[1][1] = dmv[0][1] - mvr[1];
 144         CLIP_MV( dmv[0] );
 145         CLIP_MV( dmv[1] );
 146
 147         TRY_BIDIR( dmv[0], dmv[1], 0 );
 148         if( dmv[0][0] || dmv[0][1] || dmv[1][0] || dmv[1][1] )
 149            TRY_BIDIR( mv0, mv0, 0 );
 150 //      if( i_bcost < 60 ) // arbitrary threshold
 151 //          return i_bcost;
 152     }
 153
 154     i_cost_bak = i_bcost;
 155     for( l = 0; l < 1 + b_bidir; l++ )
 156     {
 157         int mvc[4][2] = {{0}}, i_mvc;
 158         int16_t (*fenc_mv)[2] = &fenc->mv[l][i_mb_xy];
 159         i_mvc = 0;
 160         if( i_mb_x > 0 )
 161         {
 162             mvc[i_mvc][0] = fenc_mv[-1][0];
 163             mvc[i_mvc][1] = fenc_mv[-1][1];
 164             i_mvc++;
 165         }
 166         if( i_mb_y > 0 )
 167         {
 168             mvc[i_mvc][0] = fenc_mv[-i_mb_stride][0];
 169             mvc[i_mvc][1] = fenc_mv[-i_mb_stride][1];
 170             i_mvc++;
 171             if( i_mb_x < h->sps->i_mb_width - 1 )
 172             {
 173                 mvc[i_mvc][0] = fenc_mv[-i_mb_stride+1][0];
 174                 mvc[i_mvc][1] = fenc_mv[-i_mb_stride+1][1];
 175                 i_mvc++;
 176             }
 177             if( i_mb_x > 0 )
 178             {
 179                 mvc[i_mvc][0] = fenc_mv[-i_mb_stride-1][0];
 180                 mvc[i_mvc][1] = fenc_mv[-i_mb_stride-1][1];
 181                 i_mvc++;
 182             }
 183         }
 184         m[l].mvp[0] = x264_median( mvc[0][0], mvc[1][0], mvc[2][0] );
 185         m[l].mvp[1] = x264_median( mvc[0][1], mvc[1][1], mvc[2][1] );
 186
 187         x264_me_search( h, &m[l], mvc, i_mvc );
 188
 189         i_bcost = X264_MIN( i_bcost, m[l].cost + 3 );
 190     }
 191
 192     if( b_bidir && (m[0].mv[0] || m[0].mv[1] || m[1].mv[0] || m[1].mv[1]) )
 193         TRY_BIDIR( m[0].mv, m[1].mv, 5 );
 194
 195     if( i_bcost < i_cost_bak )
 196         SAVE_MVS( m[0].mv, m[1].mv );
 197
 198 lowres_intra_mb:
 199     {
 200         uint8_t *pix = &pix1[8+FDEC_STRIDE - 1];
 201         uint8_t *src = &fenc->lowres[0][i_pel_offset - 1];
 202         int intra_penalty = 5 + 10 * b_bidir;
 203         int satds[4], i_icost;
 204
 205         memcpy( pix-FDEC_STRIDE, src-i_stride, 9 );
 206         for( i=0; i<8; i++ )
 207             pix[i*FDEC_STRIDE] = src[i*i_stride];
 208         pix++;
 209
 210         if( h->pixf.intra_satd_x3_8x8c && h->pixf.mbcmp[0] == h->pixf.satd[0] )
 211         {
 212             h->pixf.intra_satd_x3_8x8c( h->mb.pic.p_fenc[0], pix, satds );
 213             h->predict_8x8c[I_PRED_CHROMA_P]( pix );
 214             satds[I_PRED_CHROMA_P] =
 215                 h->pixf.satd[PIXEL_8x8]( pix, FDEC_STRIDE, h->mb.pic.p_fenc[0], FENC_STRIDE );
 216         }
 217         else
 218         {
 219             for( i=0; i<4; i++ )
 220             {
 221                 h->predict_8x8c[i]( pix );
 222                 satds[i] = h->pixf.mbcmp[PIXEL_8x8]( pix, FDEC_STRIDE, h->mb.pic.p_fenc[0], FENC_STRIDE );
 223             }
 224         }
 225         i_icost = X264_MIN4( satds[0], satds[1], satds[2], satds[3] ) + intra_penalty;
 226         if( i_icost < i_bcost )
 227         {
 228             i_bcost = i_icost;
 229             if( !b_bidir
 230                 && i_mb_x > 0 && i_mb_x < h->sps->i_mb_width - 1
 231                 && i_mb_y > 0 && i_mb_y < h->sps->i_mb_height - 1 )
 232             {
 233                 fenc->i_intra_mbs[b-p0]++;
 234             }
 235             if( p1 > p0+1 )
 236                 i_bcost = i_bcost * 9 / 8; // arbitrary penalty for I-blocks in and after B-frames
 237         }
 238     }
 239
 240     return i_bcost;
 241 }
 242 #undef TRY_BIDIR
 243 #undef SAVE_MVS
 244
 245 int x264_slicetype_frame_cost( x264_t *h, x264_mb_analysis_t *a,
 246                                x264_frame_t **frames, int p0, int p1, int b )
 247 {
 248     int i_score = 0;
 249     int dist_scale_factor = 128;
 250     int *row_satd = frames[b]->i_row_satds[b-p0][p1-b];
 251
 252     /* Check whether we already evaluated this frame
 253      * If we have tried this frame as P, then we have also tried
 254      * the preceding frames as B. (is this still true?) */
 255     if( frames[b]->i_cost_est[b-p0][p1-b] >= 0 )
 256         return frames[b]->i_cost_est[b-p0][p1-b];
 257
 258     /* Init MVs so that we don't have to check edge conditions when loading predictors. */
 259     /* FIXME: not needed every time */
 260     memset( frames[b]->mv[0], 0, h->sps->i_mb_height * h->sps->i_mb_width * 2*sizeof(int16_t) );
 261     if( b != p1 )
 262         memset( frames[b]->mv[1], 0, h->sps->i_mb_height * h->sps->i_mb_width * 2*sizeof(int16_t) );
 263
 264     if( b == p1 )
 265         frames[b]->i_intra_mbs[b-p0] = 0;
 266     if( p1 != p0 )
 267         dist_scale_factor = ( ((b-p0) << 8) + ((p1-p0) >> 1) ) / (p1-p0);
 268
 269     /* the edge mbs seem to reduce the predictive quality of the
 270      * whole frame's score, but are needed for a spatial distribution. */
 271     if( h->param.rc.i_vbv_buffer_size )
 272     {
 273         for( h->mb.i_mb_y = 0; h->mb.i_mb_y < h->sps->i_mb_height; h->mb.i_mb_y++ )
 274         {
 275             row_satd[ h->mb.i_mb_y ] = 0;
 276             for( h->mb.i_mb_x = 0; h->mb.i_mb_x < h->sps->i_mb_width; h->mb.i_mb_x++ )
 277             {
 278                 int i_mb_cost = x264_slicetype_mb_cost( h, a, frames, p0, p1, b, dist_scale_factor );
 279                 row_satd[ h->mb.i_mb_y ] += i_mb_cost;
 280                 if( h->mb.i_mb_y > 0 && h->mb.i_mb_y < h->sps->i_mb_height - 1 &&
 281                     h->mb.i_mb_x > 0 && h->mb.i_mb_x < h->sps->i_mb_width - 1 )
 282                 {
 283                     i_score += i_mb_cost;
 284                 }
 285             }
 286         }
 287     }
 288     else
 289     {
 290         for( h->mb.i_mb_y = 1; h->mb.i_mb_y < h->sps->i_mb_height - 1; h->mb.i_mb_y++ )
 291             for( h->mb.i_mb_x = 1; h->mb.i_mb_x < h->sps->i_mb_width - 1; h->mb.i_mb_x++ )
 292                 i_score += x264_slicetype_mb_cost( h, a, frames, p0, p1, b, dist_scale_factor );
 293     }
 294
 295     if( b != p1 )
 296         i_score = i_score * 100 / (120 + h->param.i_bframe_bias);
 297
 298     frames[b]->i_cost_est[b-p0][p1-b] = i_score;
 299 //  fprintf( stderr, "frm %d %c(%d,%d): %6d I:%d  \n", frames[b]->i_frame,
 300 //           (p1==0?'I':b<p1?'B':'P'), b-p0, p1-b, i_score, frames[b]->i_intra_mbs[b-p0] );
 301     x264_cpu_restore( h->param.cpu );
 302     return i_score;
 303 }
 304
 305 void x264_slicetype_analyse( x264_t *h )
 306 {
 307     x264_mb_analysis_t a;
 308     x264_frame_t *frames[X264_BFRAME_MAX+3] = { NULL, };
 309     int num_frames;
 310     int keyint_limit;
 311     int j;
 312     int i_mb_count = (h->sps->i_mb_width - 2) * (h->sps->i_mb_height - 2);
 313     int cost1p0, cost2p0, cost1b1, cost2p1;
 314
 315     if( !h->frames.last_nonb )
 316         return;
 317     frames[0] = h->frames.last_nonb;
 318     for( j = 0; h->frames.next[j]; j++ )
 319         frames[j+1] = h->frames.next[j];
 320     keyint_limit = h->param.i_keyint_max - frames[0]->i_frame + h->frames.i_last_idr - 1;
 321     num_frames = X264_MIN( j, keyint_limit );
 322     if( num_frames == 0 )
 323         return;
 324     if( num_frames == 1 )
 325     {
 326 no_b_frames:
 327         frames[1]->i_type = X264_TYPE_P;
 328         return;
 329     }
 330
 331     x264_lowres_context_init( h, &a );
 332
 333     cost2p1 = x264_slicetype_frame_cost( h, &a, frames, 0, 2, 2 );
 334     if( frames[2]->i_intra_mbs[2] > i_mb_count / 2 )
 335         goto no_b_frames;
 336
 337     cost1b1 = x264_slicetype_frame_cost( h, &a, frames, 0, 2, 1 );
 338     cost1p0 = x264_slicetype_frame_cost( h, &a, frames, 0, 1, 1 );
 339     cost2p0 = x264_slicetype_frame_cost( h, &a, frames, 1, 2, 2 );
 340 //  fprintf( stderr, "PP: %d + %d <=> BP: %d + %d \n",
 341 //           cost1p0, cost2p0, cost1b1, cost2p1 );
 342     if( cost1p0 + cost2p0 < cost1b1 + cost2p1 )
 343         goto no_b_frames;
 344
 345 // arbitrary and untuned
 346 #define INTER_THRESH 300
 347 #define P_SENS_BIAS (50 - h->param.i_bframe_bias)
 348     frames[1]->i_type = X264_TYPE_B;
 349
 350     for( j = 2; j <= X264_MIN( h->param.i_bframe, num_frames-1 ); j++ )
 351     {
 352         int pthresh = X264_MAX(INTER_THRESH - P_SENS_BIAS * (j-1), INTER_THRESH/10);
 353         int pcost = x264_slicetype_frame_cost( h, &a, frames, 0, j+1, j+1 );
 354 //      fprintf( stderr, "frm%d+%d: %d <=> %d, I:%d/%d \n",
 355 //               frames[0]->i_frame, j-1, pthresh, pcost/i_mb_count,
 356 //               frames[j+1]->i_intra_mbs[j+1], i_mb_count );
 357         if( pcost > pthresh*i_mb_count || frames[j+1]->i_intra_mbs[j+1] > i_mb_count/3 )
 358         {
 359             frames[j]->i_type = X264_TYPE_P;
 360             break;
 361         }
 362         else
 363             frames[j]->i_type = X264_TYPE_B;
 364     }
 365 }
 366
 367 void x264_slicetype_decide( x264_t *h )
 368 {
 369     x264_frame_t *frm;
 370     int bframes;
 371     int i;
 372
 373     if( h->frames.next[0] == NULL )
 374         return;
 375
 376     if( h->param.rc.b_stat_read )
 377     {
 378         /* Use the frame types from the first pass */
 379         for( i = 0; h->frames.next[i] != NULL; i++ )
 380             h->frames.next[i]->i_type =
 381                 x264_ratecontrol_slice_type( h, h->frames.next[i]->i_frame );
 382     }
 383     else if( h->param.i_bframe && h->param.b_bframe_adaptive )
 384         x264_slicetype_analyse( h );
 385
 386     for( bframes = 0;; bframes++ )
 387     {
 388         frm = h->frames.next[bframes];
 389
 390         /* Limit GOP size */
 391         if( frm->i_frame - h->frames.i_last_idr >= h->param.i_keyint_max )
 392         {
 393             if( frm->i_type == X264_TYPE_AUTO )
 394                 frm->i_type = X264_TYPE_IDR;
 395             if( frm->i_type != X264_TYPE_IDR )
 396                 x264_log( h, X264_LOG_WARNING, "specified frame type (%d) is not compatible with keyframe interval\n", frm->i_type );
 397         }
 398         if( frm->i_type == X264_TYPE_IDR )
 399         {
 400             /* Close GOP */
 401             if( bframes > 0 )
 402             {
 403                 bframes--;
 404                 h->frames.next[bframes]->i_type = X264_TYPE_P;
 405             }
 406             else
 407             {
 408                 h->i_frame_num = 0;
 409             }
 410         }
 411
 412         if( bframes == h->param.i_bframe
 413             || h->frames.next[bframes+1] == NULL )
 414         {
 415             if( IS_X264_TYPE_B( frm->i_type ) )
 416                 x264_log( h, X264_LOG_WARNING, "specified frame type is not compatible with max B-frames\n" );
 417             if( frm->i_type == X264_TYPE_AUTO
 418                 || IS_X264_TYPE_B( frm->i_type ) )
 419                 frm->i_type = X264_TYPE_P;
 420         }
 421
 422         if( frm->i_type != X264_TYPE_AUTO && frm->i_type != X264_TYPE_B && frm->i_type != X264_TYPE_BREF )
 423             break;
 424
 425         frm->i_type = X264_TYPE_B;
 426     }
 427 }
 428
 429 int x264_rc_analyse_slice( x264_t *h )
 430 {
 431     x264_mb_analysis_t a;
 432     x264_frame_t *frames[X264_BFRAME_MAX+2] = { NULL, };
 433     int p0=0, p1, b;
 434     int cost;
 435
 436     x264_lowres_context_init( h, &a );
 437
 438     if( IS_X264_TYPE_I(h->fenc->i_type) )
 439     {
 440         p1 = b = 0;
 441     }
 442     else if( X264_TYPE_P == h->fenc->i_type )
 443     {
 444         p1 = 0;
 445         while( h->frames.current[p1] && IS_X264_TYPE_B( h->frames.current[p1]->i_type ) )
 446             p1++;
 447         p1++;
 448         b = p1;
 449     }
 450     else //B
 451     {
 452         p1 = (h->fref1[0]->i_poc - h->fref0[0]->i_poc)/2;
 453         b  = (h->fref1[0]->i_poc - h->fenc->i_poc)/2;
 454         frames[p1] = h->fref1[0];
 455     }
 456     frames[p0] = h->fref0[0];
 457     frames[b] = h->fenc;
 458
 459     cost = x264_slicetype_frame_cost( h, &a, frames, p0, p1, b );
 460     h->fenc->i_row_satd = h->fenc->i_row_satds[b-p0][p1-b];
 461     h->fdec->i_row_satd = h->fdec->i_row_satds[b-p0][p1-b];
 462     h->fdec->i_satd = cost;
 463     memcpy( h->fdec->i_row_satd, h->fenc->i_row_satd, h->sps->i_mb_height * sizeof(int) );
 464     return cost;
 465 }