git.sesse.net Git - x264/blob - encoder/slicetype_decision.c

   1 /*****************************************************************************
   2  * slicetype_decision.c: h264 encoder library
   3  *****************************************************************************
   4  * Copyright (C) 2005 Loren Merritt
   5  *
   6  * Authors: Loren Merritt <lorenm@u.washington.edu>
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License as published by
  10  * the Free Software Foundation; either version 2 of the License, or
  11  * (at your option) any later version.
  12  *
  13  * This program is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16  * GNU General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * along with this program; if not, write to the Free Software
  20  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
  21  *****************************************************************************/
  22
  23 #include <stdlib.h>
  24 #include <string.h>
  25 #include <math.h>
  26 #include <limits.h>
  27
  28 #include "common/common.h"
  29 #include "common/macroblock.h"
  30 #include "common/cpu.h"
  31 #include "macroblock.h"
  32 #include "me.h"
  33
  34
  35 static void x264_mb_analyse_load_costs_lowres( x264_t *h, x264_mb_analysis_t *a )
  36 {
  37     static int16_t *p_cost_mv;
  38
  39     if( !p_cost_mv )
  40     {
  41         int i;
  42         x264_cpu_restore( h->param.cpu );
  43         p_cost_mv = x264_malloc( (2*2*h->param.analyse.i_mv_range + 1) * sizeof(int16_t) );
  44         p_cost_mv += 2*h->param.analyse.i_mv_range;
  45         for( i = 0; i <= 2*h->param.analyse.i_mv_range; i++ )
  46             p_cost_mv[-i] =
  47             p_cost_mv[i]  = (int)( a->i_lambda * (1 + 2*log(2*i+1)/log(2)) );
  48     }
  49
  50     a->p_cost_mv = p_cost_mv;
  51 }
  52
  53 static void x264_lowres_context_init( x264_t *h, x264_mb_analysis_t *a )
  54 {
  55     a->i_qp = 12; // arbitrary, but low because SATD scores are 1/4 normal
  56     a->i_lambda = i_qp0_cost_table[ a->i_qp ];
  57     x264_mb_analyse_load_costs_lowres( h, a );
  58     h->mb.i_me_method = X264_MIN( X264_ME_HEX, h->param.analyse.i_me_method ); // maybe dia?
  59     h->mb.i_subpel_refine = 4; // 3 should be enough, but not tweaking for speed now
  60     h->mb.b_chroma_me = 0;
  61
  62     h->mb.mv_min_fpel[0] =
  63     h->mb.mv_min_fpel[1] = -16;
  64     h->mb.mv_max_fpel[0] =
  65     h->mb.mv_max_fpel[1] = 16;
  66     h->mb.mv_min[0] =
  67     h->mb.mv_min[1] = -4*32;
  68     h->mb.mv_max[0] =
  69     h->mb.mv_max[1] = 4*32;
  70 }
  71
  72 int x264_slicetype_mb_cost( x264_t *h, x264_mb_analysis_t *a,
  73                             x264_frame_t **frames, int p0, int p1, int b,
  74                             int dist_scale_factor )
  75 {
  76     x264_frame_t *fref0 = frames[p0];
  77     x264_frame_t *fref1 = frames[p1];
  78     x264_frame_t *fenc  = frames[b];
  79     const int b_bidir = (b < p1);
  80     const int i_mb_x = h->mb.i_mb_x;
  81     const int i_mb_y = h->mb.i_mb_y;
  82     const int i_mb_stride = h->sps->i_mb_width;
  83     const int i_mb_xy = i_mb_x + i_mb_y * i_mb_stride;
  84     const int i_stride = fenc->i_stride_lowres;
  85     const int i_pel_offset = 8 * ( i_mb_x + i_mb_y * i_stride );
  86
  87     uint8_t pix1[9*9], pix2[8*8];
  88     x264_me_t m[2];
  89     int mvc[4][2], i_mvc;
  90     int i_bcost = COST_MAX;
  91     int i_cost_bak;
  92     int l, i;
  93
  94     if( !p0 && !p1 && !b )
  95         goto lowres_intra_mb;
  96
  97 #define LOAD_HPELS_LUMA(dst, src) \
  98     { \
  99         (dst)[0] = &(src)[0][i_pel_offset]; \
 100         (dst)[1] = &(src)[1][i_pel_offset]; \
 101         (dst)[2] = &(src)[2][i_pel_offset]; \
 102         (dst)[3] = &(src)[3][i_pel_offset]; \
 103     }
 104 #define SAVE_MVS( mv0, mv1 ) \
 105     { \
 106         fenc->mv[0][i_mb_xy][0] = mv0[0]; \
 107         fenc->mv[0][i_mb_xy][1] = mv0[1]; \
 108         if( b_bidir ) \
 109         { \
 110             fenc->mv[1][i_mb_xy][0] = mv1[0]; \
 111             fenc->mv[1][i_mb_xy][1] = mv1[1]; \
 112         } \
 113     }
 114 #define TRY_BIDIR( mv0, mv1, penalty ) \
 115     { \
 116         int stride2 = 8; \
 117         uint8_t *src2; \
 118         int i_cost; \
 119         h->mc.mc_luma( m[0].p_fref, m[0].i_stride[0], pix1, 8, \
 120                        (mv0)[0], (mv0)[1], 8, 8 ); \
 121         src2 = h->mc.get_ref( m[1].p_fref, m[1].i_stride[0], pix2, &stride2, \
 122                        (mv1)[0], (mv1)[1], 8, 8 ); \
 123         h->pixf.avg[PIXEL_8x8]( pix1, 8, src2, stride2 ); \
 124         i_cost = penalty + h->pixf.mbcmp[PIXEL_8x8]( \
 125                            m[0].p_fenc[0], m[0].i_stride[0], pix1, 8 ); \
 126         if( i_bcost > i_cost ) \
 127         { \
 128             i_bcost = i_cost; \
 129             SAVE_MVS( mv0, mv1 ); \
 130         } \
 131     }
 132
 133     m[0].i_pixel = PIXEL_8x8;
 134     m[0].p_cost_mv = a->p_cost_mv;
 135     m[0].i_stride[0] = i_stride;
 136     m[0].p_fenc[0] = &fenc->lowres[0][ i_pel_offset ];
 137     LOAD_HPELS_LUMA( m[0].p_fref, fref0->lowres );
 138
 139     if( b_bidir )
 140     {
 141         int16_t *mvr = fref1->mv[0][i_mb_xy];
 142         int dmv[2][2];
 143         int mv0[2] = {0,0};
 144
 145         m[1] = m[0];
 146         LOAD_HPELS_LUMA( m[1].p_fref, fref1->lowres );
 147
 148         dmv[0][0] = ( mvr[0] * dist_scale_factor + 128 ) >> 8;
 149         dmv[0][1] = ( mvr[1] * dist_scale_factor + 128 ) >> 8;
 150         dmv[1][0] = dmv[0][0] - mvr[0];
 151         dmv[1][1] = dmv[0][1] - mvr[1];
 152
 153         TRY_BIDIR( dmv[0], dmv[1], 0 );
 154         TRY_BIDIR( mv0, mv0, 0 );
 155 //      if( i_bcost < 60 ) // arbitrary threshold
 156 //          return i_bcost;
 157     }
 158
 159     i_cost_bak = i_bcost;
 160     for( l = 0; l < 1 + b_bidir; l++ )
 161     {
 162         int16_t (*fenc_mv)[2] = &fenc->mv[0][i_mb_xy];
 163         mvc[0][0] = fenc_mv[-1][0];
 164         mvc[0][1] = fenc_mv[-1][1];
 165         mvc[1][0] = fenc_mv[-i_mb_stride][0];
 166         mvc[1][1] = fenc_mv[-i_mb_stride][1];
 167         mvc[2][0] = fenc_mv[-i_mb_stride+1][0];
 168         mvc[2][1] = fenc_mv[-i_mb_stride+1][1];
 169         mvc[3][0] = fenc_mv[-i_mb_stride-1][0];
 170         mvc[3][1] = fenc_mv[-i_mb_stride-1][1];
 171         m[l].mvp[0] = x264_median( mvc[0][0], mvc[1][0], mvc[2][0] );
 172         m[l].mvp[1] = x264_median( mvc[0][1], mvc[1][1], mvc[2][1] );
 173         i_mvc = 4;
 174
 175         x264_me_search( h, &m[l], mvc, i_mvc );
 176
 177         i_bcost = X264_MIN( i_bcost, m[l].cost + 3 );
 178     }
 179
 180     if( b_bidir )
 181         TRY_BIDIR( m[0].mv, m[1].mv, 5 );
 182
 183     if( i_bcost < i_cost_bak )
 184         SAVE_MVS( m[0].mv, m[1].mv );
 185
 186 lowres_intra_mb:
 187     {
 188         uint8_t *src = &fenc->lowres[0][ i_pel_offset - i_stride - 1 ];
 189         int intra_penalty = 5 + 10 * b_bidir;
 190         i_cost_bak = i_bcost;
 191
 192         memcpy( pix1, src, 9 );
 193         for( i=1; i<9; i++, src += i_stride )
 194             pix1[i*9] = src[0];
 195         src = &fenc->lowres[0][ i_pel_offset ];
 196
 197         for( i = I_PRED_CHROMA_DC; i <= I_PRED_CHROMA_P; i++ )
 198         {
 199             int i_cost;
 200             h->predict_8x8c[i]( &pix1[10], 9 );
 201             i_cost = h->pixf.mbcmp[PIXEL_8x8]( &pix1[10], 9, src, i_stride ) + intra_penalty;
 202             i_bcost = X264_MIN( i_bcost, i_cost );
 203         }
 204         if( i_bcost != i_cost_bak )
 205         {
 206             if( !b_bidir )
 207                 fenc->i_intra_mbs[b-p0]++;
 208             if( p1 > p0+1 )
 209                 i_bcost = i_bcost * 9 / 8; // arbitray penalty for I-blocks in and after B-frames
 210         }
 211     }
 212
 213     return i_bcost;
 214 }
 215 #undef TRY_BIDIR
 216 #undef SAVE_MVS
 217
 218 int x264_slicetype_frame_cost( x264_t *h, x264_mb_analysis_t *a,
 219                                x264_frame_t **frames, int p0, int p1, int b )
 220 {
 221     int i_score = 0;
 222     int dist_scale_factor = 128;
 223
 224     /* Check whether we already evaluated this frame
 225      * If we have tried this frame as P, then we have also tried
 226      * the preceding frames as B. (is this still true?) */
 227     if( frames[b]->i_cost_est[b-p0][p1-b] >= 0 )
 228         return frames[b]->i_cost_est[b-p0][p1-b];
 229
 230     /* Init MVs so that we don't have to check edge conditions when loading predictors. */
 231     /* FIXME: not needed every time */
 232     memset( frames[p1]->mv[0], 0, h->sps->i_mb_height * h->sps->i_mb_width * 2*sizeof(int) );
 233     if( b != p1 )
 234         memset( frames[p1]->mv[1], 0, h->sps->i_mb_height * h->sps->i_mb_width * 2*sizeof(int) );
 235
 236     if( b == p1 )
 237         frames[b]->i_intra_mbs[b-p0] = 0;
 238     if( p1 != p0 )
 239         dist_scale_factor = ( ((b-p0) << 8) + ((p1-p0) >> 1) ) / (p1-p0);
 240
 241     /* Skip the outermost ring of macroblocks, to simplify mv range and intra prediction. */
 242     for( h->mb.i_mb_y = 1; h->mb.i_mb_y < h->sps->i_mb_height - 1; h->mb.i_mb_y++ )
 243         for( h->mb.i_mb_x = 1; h->mb.i_mb_x < h->sps->i_mb_width - 1; h->mb.i_mb_x++ )
 244             i_score += x264_slicetype_mb_cost( h, a, frames, p0, p1, b, dist_scale_factor );
 245
 246     if( b != p1 )
 247         i_score = i_score * 100 / (120 + h->param.i_bframe_bias);
 248
 249     frames[b]->i_cost_est[b-p0][p1-b] = i_score;
 250 //  fprintf( stderr, "frm %d %c(%d,%d): %6d I:%d  \n", frames[b]->i_frame,
 251 //           (p1==0?'I':b<p1?'B':'P'), b-p0, p1-b, i_score, frames[b]->i_intra_mbs[b-p0] );
 252     x264_cpu_restore( h->param.cpu );
 253     return i_score;
 254 }
 255
 256 void x264_slicetype_analyse( x264_t *h )
 257 {
 258     x264_mb_analysis_t a;
 259     x264_frame_t *frames[X264_BFRAME_MAX+3] = { NULL, };
 260     int num_frames;
 261     int keyint_limit;
 262     int j;
 263
 264     if( !h->frames.last_nonb )
 265         return;
 266     frames[0] = h->frames.last_nonb;
 267     for( j = 0; h->frames.next[j]; j++ )
 268         frames[j+1] = h->frames.next[j];
 269     keyint_limit = h->param.i_keyint_max - frames[0]->i_frame + h->frames.i_last_idr - 1;
 270     num_frames = X264_MIN( j, keyint_limit );
 271     if( num_frames == 0 )
 272         return;
 273     if( num_frames == 1 )
 274     {
 275 no_b_frames:
 276         frames[1]->i_type = X264_TYPE_P;
 277         return;
 278     }
 279
 280     x264_lowres_context_init( h, &a );
 281
 282 #if 0
 283     /* BFS over possible frame types for minimum total SATD cost.
 284      * requires higher encoding delay to be effective. */
 285     {
 286         int p0, p1, b;
 287         struct {
 288             int64_t score;
 289             char path[X264_BFRAME_MAX+1];
 290         } paths[X264_BFRAME_MAX+1];
 291
 292         for( p1 = 1; frames[p1]; p1++ )
 293             for( p0 = X264_MAX(0, p1 - h->param.i_bframe - 1); p0 < p1; p0++ )
 294                 for( b = p0+1; b <= p1; b++ )
 295                     x264_slicetype_frame_cost( h, &a, frames, p0, p1, b );
 296         p1--;
 297
 298         paths[0].score = 0;
 299
 300         for( j = 1; j <= p1; j++ )
 301         {
 302             int k, i;
 303             paths[j].score = INT_MAX;
 304
 305             for( k = 1; k <= X264_MIN( j, h->param.i_bframe + 1 ); k++ )
 306             {
 307                 int64_t sum = paths[j-k].score;
 308                 for( i = 0; i < k; i++ )
 309                     sum += frames[j-k+i+1]->i_cost_est[(j-k+i+1) - (j-k)][j - (j-k+i+1)];
 310                 if( sum < paths[j].score )
 311                 {
 312                     paths[j].score = sum;
 313                     for( i = 0; i < j-k; i++ )
 314                         paths[j].path[i] = paths[j-k].path[i];
 315                     for( i = j-k; i < j-1; i++ )
 316                         paths[j].path[i] = 'B';
 317                     paths[j].path[j-1] = 'P';
 318                     paths[j].path[j] = 0;
 319                     fprintf( stderr, "path: %-8s %7lld \n", paths[j].path, sum );
 320                 }
 321             }
 322         }
 323
 324         for( j = 0; paths[p1].path[j] == 'B'; j++ )
 325             frames[j+1]->i_type = X264_TYPE_B;
 326         frames[j+1]->i_type = X264_TYPE_P;
 327     }
 328 #else
 329     {
 330         int i_mb_count = (h->sps->i_mb_width - 2) * (h->sps->i_mb_height - 2);
 331         int cost1p0, cost2p0, cost1b1, cost2p1;
 332
 333         cost2p1 = x264_slicetype_frame_cost( h, &a, frames, 0, 2, 2 );
 334         if( frames[2]->i_intra_mbs[2] > i_mb_count / 2 )
 335             goto no_b_frames;
 336
 337         cost2p0 = x264_slicetype_frame_cost( h, &a, frames, 1, 2, 2 );
 338         cost1p0 = x264_slicetype_frame_cost( h, &a, frames, 0, 1, 1 );
 339         cost1b1 = x264_slicetype_frame_cost( h, &a, frames, 0, 2, 1 );
 340 //      fprintf( stderr, "PP: %d + %d <=> BP: %d + %d \n",
 341 //               cost1p0, cost2p0, cost1b1, cost2p1 );
 342         if( cost1p0 + cost2p0 < cost1b1 + cost2p1 )
 343             goto no_b_frames;
 344
 345 // arbitrary and untuned
 346 #define INTER_THRESH 300
 347 #define P_SENS_BIAS (50 - h->param.i_bframe_bias)
 348         frames[1]->i_type = X264_TYPE_B;
 349
 350         for( j = 2; j <= X264_MIN( h->param.i_bframe, num_frames-1 ); j++ )
 351         {
 352             int pthresh = X264_MAX(INTER_THRESH - P_SENS_BIAS * (j-1), INTER_THRESH/10);
 353             int pcost = x264_slicetype_frame_cost( h, &a, frames, 0, j+1, j+1 );
 354 //          fprintf( stderr, "frm%d+%d: %d <=> %d, I:%d/%d \n",
 355 //                   frames[0]->i_frame, j-1, pthresh, pcost/i_mb_count,
 356 //                   frames[j+1]->i_intra_mbs[j+1], i_mb_count );
 357             if( pcost > pthresh*i_mb_count || frames[j+1]->i_intra_mbs[j+1] > i_mb_count/3 )
 358             {
 359                 frames[j]->i_type = X264_TYPE_P;
 360                 break;
 361             }
 362             else
 363                 frames[j]->i_type = X264_TYPE_B;
 364         }
 365     }
 366 #endif
 367 }
 368
 369 void x264_slicetype_decide( x264_t *h )
 370 {
 371     x264_frame_t *frm;
 372     int bframes;
 373     int i;
 374
 375     if( h->frames.next[0] == NULL )
 376         return;
 377
 378     if( h->param.rc.b_stat_read )
 379     {
 380         /* Use the frame types from the first pass */
 381         for( i = 0; h->frames.next[i] != NULL; i++ )
 382             h->frames.next[i]->i_type =
 383                 x264_ratecontrol_slice_type( h, h->frames.next[i]->i_frame );
 384     }
 385     else if( h->param.i_bframe && h->param.b_bframe_adaptive )
 386         x264_slicetype_analyse( h );
 387
 388     for( bframes = 0;; bframes++ )
 389     {
 390         frm = h->frames.next[bframes];
 391
 392         /* Limit GOP size */
 393         if( frm->i_frame - h->frames.i_last_idr >= h->param.i_keyint_max )
 394         {
 395             if( frm->i_type == X264_TYPE_AUTO )
 396                 frm->i_type = X264_TYPE_IDR;
 397             if( frm->i_type != X264_TYPE_IDR )
 398                 x264_log( h, X264_LOG_ERROR, "specified frame type (%d) is not compatible with keyframe interval\n", frm->i_type );
 399         }
 400         if( frm->i_type == X264_TYPE_IDR )
 401         {
 402             /* Close GOP */
 403             if( bframes > 0 )
 404             {
 405                 bframes--;
 406                 h->frames.next[bframes]->i_type = X264_TYPE_P;
 407             }
 408             else
 409             {
 410                 h->i_frame_num = 0;
 411             }
 412         }
 413
 414         if( bframes == h->param.i_bframe
 415             || h->frames.next[bframes+1] == NULL )
 416         {
 417             if( IS_X264_TYPE_B( frm->i_type ) )
 418                 x264_log( h, X264_LOG_ERROR, "specified frame type is not compatible with max B-frames\n" );
 419             if( frm->i_type == X264_TYPE_AUTO
 420                 || IS_X264_TYPE_B( frm->i_type ) )
 421                 frm->i_type = X264_TYPE_P;
 422         }
 423
 424         if( frm->i_type != X264_TYPE_AUTO && frm->i_type != X264_TYPE_B && frm->i_type != X264_TYPE_BREF )
 425             break;
 426
 427         frm->i_type = X264_TYPE_B;
 428     }
 429 }
 430
 431 int x264_rc_analyse_slice( x264_t *h )
 432 {
 433     int p1 = 0;
 434     x264_mb_analysis_t a;
 435     x264_frame_t *frames[X264_BFRAME_MAX+2] = { NULL, };
 436
 437     if( IS_X264_TYPE_I(h->fenc->i_type) )
 438         return x264_slicetype_frame_cost( h, &a, &h->fenc, 0, 0, 0 );
 439
 440     while( h->frames.current[p1] && IS_X264_TYPE_B( h->frames.current[p1]->i_type ) )
 441         p1++;
 442     p1++;
 443     if( h->fenc->i_cost_est[p1][0] >= 0 )
 444         return h->fenc->i_cost_est[p1][0];
 445
 446     frames[0] = h->fref0[0];
 447     frames[p1] = h->fenc;
 448     x264_lowres_context_init( h, &a );
 449
 450     return x264_slicetype_frame_cost( h, &a, frames, 0, p1, p1 );
 451 }