git.sesse.net Git - x264/blob - common/set.c

   1 /*****************************************************************************
   2  * set.c: quantization init
   3  *****************************************************************************
   4  * Copyright (C) 2005-2012 x264 project
   5  *
   6  * Authors: Loren Merritt <lorenm@u.washington.edu>
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License as published by
  10  * the Free Software Foundation; either version 2 of the License, or
  11  * (at your option) any later version.
  12  *
  13  * This program is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16  * GNU General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * along with this program; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  21  *
  22  * This program is also available under a commercial proprietary license.
  23  * For more information, contact us at licensing@x264.com.
  24  *****************************************************************************/
  25
  26 #define _ISOC99_SOURCE
  27 #include "common.h"
  28
  29 #define SHIFT(x,s) ((s)<=0 ? (x)<<-(s) : ((x)+(1<<((s)-1)))>>(s))
  30 #define DIV(n,d) (((n) + ((d)>>1)) / (d))
  31
  32 static const uint8_t dequant4_scale[6][3] =
  33 {
  34     { 10, 13, 16 },
  35     { 11, 14, 18 },
  36     { 13, 16, 20 },
  37     { 14, 18, 23 },
  38     { 16, 20, 25 },
  39     { 18, 23, 29 }
  40 };
  41 static const uint16_t quant4_scale[6][3] =
  42 {
  43     { 13107, 8066, 5243 },
  44     { 11916, 7490, 4660 },
  45     { 10082, 6554, 4194 },
  46     {  9362, 5825, 3647 },
  47     {  8192, 5243, 3355 },
  48     {  7282, 4559, 2893 },
  49 };
  50
  51 static const uint8_t quant8_scan[16] =
  52 {
  53     0,3,4,3, 3,1,5,1, 4,5,2,5, 3,1,5,1
  54 };
  55 static const uint8_t dequant8_scale[6][6] =
  56 {
  57     { 20, 18, 32, 19, 25, 24 },
  58     { 22, 19, 35, 21, 28, 26 },
  59     { 26, 23, 42, 24, 33, 31 },
  60     { 28, 25, 45, 26, 35, 33 },
  61     { 32, 28, 51, 30, 40, 38 },
  62     { 36, 32, 58, 34, 46, 43 },
  63 };
  64 static const uint16_t quant8_scale[6][6] =
  65 {
  66     { 13107, 11428, 20972, 12222, 16777, 15481 },
  67     { 11916, 10826, 19174, 11058, 14980, 14290 },
  68     { 10082,  8943, 15978,  9675, 12710, 11985 },
  69     {  9362,  8228, 14913,  8931, 11984, 11259 },
  70     {  8192,  7346, 13159,  7740, 10486,  9777 },
  71     {  7282,  6428, 11570,  6830,  9118,  8640 }
  72 };
  73
  74 int x264_cqm_init( x264_t *h )
  75 {
  76     int def_quant4[6][16];
  77     int def_quant8[6][64];
  78     int def_dequant4[6][16];
  79     int def_dequant8[6][64];
  80     int quant4_mf[4][6][16];
  81     int quant8_mf[4][6][64];
  82     int deadzone[4] = { 32 - h->param.analyse.i_luma_deadzone[1],
  83                         32 - h->param.analyse.i_luma_deadzone[0],
  84                         32 - 11, 32 - 21 };
  85     int max_qp_err = -1;
  86     int max_chroma_qp_err = -1;
  87     int min_qp_err = QP_MAX+1;
  88     int num_8x8_lists = h->sps->i_chroma_format_idc == CHROMA_444 ? 4 : 2; /* Checkasm may segfault if optimized out by --chroma-format */
  89
  90     for( int i = 0; i < 4 + num_8x8_lists; i++ )
  91     {
  92         int size = i<4 ? 16 : 64;
  93         int j;
  94         for( j = (i<4 ? 0 : 4); j < i; j++ )
  95             if( !memcmp( h->pps->scaling_list[i], h->pps->scaling_list[j], size*sizeof(uint8_t) ) )
  96                 break;
  97         if( j < i )
  98         {
  99             h->  quant4_mf[i] = h->  quant4_mf[j];
 100             h->dequant4_mf[i] = h->dequant4_mf[j];
 101             h->unquant4_mf[i] = h->unquant4_mf[j];
 102         }
 103         else
 104         {
 105             CHECKED_MALLOC( h->  quant4_mf[i], (QP_MAX+1)*size*sizeof(udctcoef) );
 106             CHECKED_MALLOC( h->dequant4_mf[i],  6*size*sizeof(int) );
 107             CHECKED_MALLOC( h->unquant4_mf[i], (QP_MAX+1)*size*sizeof(int) );
 108         }
 109
 110         for( j = (i<4 ? 0 : 4); j < i; j++ )
 111             if( deadzone[j&3] == deadzone[i&3] &&
 112                 !memcmp( h->pps->scaling_list[i], h->pps->scaling_list[j], size*sizeof(uint8_t) ) )
 113                 break;
 114         if( j < i )
 115         {
 116             h->quant4_bias[i] = h->quant4_bias[j];
 117             h->quant4_bias0[i] = h->quant4_bias0[j];
 118         }
 119         else
 120         {
 121             CHECKED_MALLOC( h->quant4_bias[i], (QP_MAX+1)*size*sizeof(udctcoef) );
 122             CHECKED_MALLOC( h->quant4_bias0[i], (QP_MAX+1)*size*sizeof(udctcoef) );
 123         }
 124     }
 125
 126     for( int q = 0; q < 6; q++ )
 127     {
 128         for( int i = 0; i < 16; i++ )
 129         {
 130             int j = (i&1) + ((i>>2)&1);
 131             def_dequant4[q][i] = dequant4_scale[q][j];
 132             def_quant4[q][i]   =   quant4_scale[q][j];
 133         }
 134         for( int i = 0; i < 64; i++ )
 135         {
 136             int j = quant8_scan[((i>>1)&12) | (i&3)];
 137             def_dequant8[q][i] = dequant8_scale[q][j];
 138             def_quant8[q][i]   =   quant8_scale[q][j];
 139         }
 140     }
 141
 142     for( int q = 0; q < 6; q++ )
 143     {
 144         for( int i_list = 0; i_list < 4; i_list++ )
 145             for( int i = 0; i < 16; i++ )
 146             {
 147                 h->dequant4_mf[i_list][q][i] = def_dequant4[q][i] * h->pps->scaling_list[i_list][i];
 148                      quant4_mf[i_list][q][i] = DIV(def_quant4[q][i] * 16, h->pps->scaling_list[i_list][i]);
 149             }
 150         for( int i_list = 0; i_list < num_8x8_lists; i_list++ )
 151             for( int i = 0; i < 64; i++ )
 152             {
 153                 h->dequant8_mf[i_list][q][i] = def_dequant8[q][i] * h->pps->scaling_list[4+i_list][i];
 154                      quant8_mf[i_list][q][i] = DIV(def_quant8[q][i] * 16, h->pps->scaling_list[4+i_list][i]);
 155             }
 156     }
 157     for( int q = 0; q < QP_MAX+1; q++ )
 158     {
 159         int j;
 160         for( int i_list = 0; i_list < 4; i_list++ )
 161             for( int i = 0; i < 16; i++ )
 162             {
 163                 h->unquant4_mf[i_list][q][i] = (1ULL << (q/6 + 15 + 8)) / quant4_mf[i_list][q%6][i];
 164                 h->quant4_mf[i_list][q][i] = j = SHIFT(quant4_mf[i_list][q%6][i], q/6 - 1);
 165                 if( !j )
 166                 {
 167                     min_qp_err = X264_MIN( min_qp_err, q );
 168                     continue;
 169                 }
 170                 // round to nearest, unless that would cause the deadzone to be negative
 171                 h->quant4_bias[i_list][q][i] = X264_MIN( DIV(deadzone[i_list]<<10, j), (1<<15)/j );
 172                 h->quant4_bias0[i_list][q][i] = (1<<15)/j;
 173                 if( j > 0xffff && q > max_qp_err && (i_list == CQM_4IY || i_list == CQM_4PY) )
 174                     max_qp_err = q;
 175                 if( j > 0xffff && q > max_chroma_qp_err && (i_list == CQM_4IC || i_list == CQM_4PC) )
 176                     max_chroma_qp_err = q;
 177             }
 178         if( h->param.analyse.b_transform_8x8 )
 179             for( int i_list = 0; i_list < num_8x8_lists; i_list++ )
 180                 for( int i = 0; i < 64; i++ )
 181                 {
 182                     h->unquant8_mf[i_list][q][i] = (1ULL << (q/6 + 16 + 8)) / quant8_mf[i_list][q%6][i];
 183                     j = SHIFT(quant8_mf[i_list][q%6][i], q/6);
 184                     h->quant8_mf[i_list][q][i] = (uint16_t)j;
 185
 186                     if( !j )
 187                     {
 188                         min_qp_err = X264_MIN( min_qp_err, q );
 189                         continue;
 190                     }
 191                     h->quant8_bias[i_list][q][i] = X264_MIN( DIV(deadzone[i_list]<<10, j), (1<<15)/j );
 192                     h->quant8_bias0[i_list][q][i] = (1<<15)/j;
 193                     if( j > 0xffff && q > max_qp_err && (i_list == CQM_8IY || i_list == CQM_8PY) )
 194                         max_qp_err = q;
 195                     if( j > 0xffff && q > max_chroma_qp_err && (i_list == CQM_8IC || i_list == CQM_8PC) )
 196                         max_chroma_qp_err = q;
 197                 }
 198     }
 199
 200     /* Emergency mode denoising. */
 201     x264_emms();
 202     CHECKED_MALLOC( h->nr_offset_emergency, sizeof(*h->nr_offset_emergency)*(QP_MAX-QP_MAX_SPEC) );
 203     for( int q = 0; q < QP_MAX - QP_MAX_SPEC; q++ )
 204         for( int cat = 0; cat < 3 + CHROMA444; cat++ )
 205         {
 206             int dct8x8 = cat&1;
 207             int size = dct8x8 ? 64 : 16;
 208             udctcoef *nr_offset = h->nr_offset_emergency[q][cat];
 209             /* Denoise chroma first (due to h264's chroma QP offset), then luma, then DC. */
 210             int dc_threshold =    (QP_MAX-QP_MAX_SPEC)*2/3;
 211             int luma_threshold =  (QP_MAX-QP_MAX_SPEC)*2/3;
 212             int chroma_threshold = 0;
 213
 214             for( int i = 0; i < size; i++ )
 215             {
 216                 int max = (1 << (7 + BIT_DEPTH)) - 1;
 217                 /* True "emergency mode": remove all DCT coefficients */
 218                 if( q == QP_MAX - QP_MAX_SPEC - 1 )
 219                 {
 220                     nr_offset[i] = max;
 221                     continue;
 222                 }
 223
 224                 int thresh = i == 0 ? dc_threshold : cat >= 2 ? chroma_threshold : luma_threshold;
 225                 if( q < thresh )
 226                 {
 227                     nr_offset[i] = 0;
 228                     continue;
 229                 }
 230                 double pos = (double)(q-thresh+1) / (QP_MAX - QP_MAX_SPEC - thresh);
 231
 232                 /* XXX: this math is largely tuned for /dev/random input. */
 233                 double start = dct8x8 ? h->unquant8_mf[CQM_8PY][QP_MAX_SPEC][i]
 234                                       : h->unquant4_mf[CQM_4PY][QP_MAX_SPEC][i];
 235                 /* Formula chosen as an exponential scale to vaguely mimic the effects
 236                  * of a higher quantizer. */
 237                 double bias = (pow( 2, pos*(QP_MAX - QP_MAX_SPEC)/10. )*0.003-0.003) * start;
 238                 nr_offset[i] = X264_MIN( bias + 0.5, max );
 239             }
 240         }
 241
 242     if( !h->mb.b_lossless )
 243     {
 244         while( h->chroma_qp_table[h->param.rc.i_qp_min] <= max_chroma_qp_err )
 245             h->param.rc.i_qp_min++;
 246         if( min_qp_err <= h->param.rc.i_qp_max )
 247             h->param.rc.i_qp_max = min_qp_err-1;
 248         if( max_qp_err >= h->param.rc.i_qp_min )
 249             h->param.rc.i_qp_min = max_qp_err+1;
 250         /* If long level-codes aren't allowed, we need to allow QP high enough to avoid them. */
 251         if( !h->param.b_cabac && h->sps->i_profile_idc < PROFILE_HIGH )
 252             while( h->chroma_qp_table[SPEC_QP(h->param.rc.i_qp_max)] <= 12 || h->param.rc.i_qp_max <= 12 )
 253                 h->param.rc.i_qp_max++;
 254         if( h->param.rc.i_qp_min > h->param.rc.i_qp_max )
 255         {
 256             x264_log( h, X264_LOG_ERROR, "Impossible QP constraints for CQM (min=%d, max=%d)\n", h->param.rc.i_qp_min, h->param.rc.i_qp_max );
 257             return -1;
 258         }
 259     }
 260     return 0;
 261 fail:
 262     x264_cqm_delete( h );
 263     return -1;
 264 }
 265
 266 #define CQM_DELETE( n, max )\
 267     for( int i = 0; i < (max); i++ )\
 268     {\
 269         int j;\
 270         for( j = 0; j < i; j++ )\
 271             if( h->quant##n##_mf[i] == h->quant##n##_mf[j] )\
 272                 break;\
 273         if( j == i )\
 274         {\
 275             x264_free( h->  quant##n##_mf[i] );\
 276             x264_free( h->dequant##n##_mf[i] );\
 277             x264_free( h->unquant##n##_mf[i] );\
 278         }\
 279         for( j = 0; j < i; j++ )\
 280             if( h->quant##n##_bias[i] == h->quant##n##_bias[j] )\
 281                 break;\
 282         if( j == i )\
 283         {\
 284             x264_free( h->quant##n##_bias[i] );\
 285             x264_free( h->quant##n##_bias0[i] );\
 286         }\
 287     }
 288
 289 void x264_cqm_delete( x264_t *h )
 290 {
 291     CQM_DELETE( 4, 4 );
 292     CQM_DELETE( 8, CHROMA444 ? 4 : 2 );
 293     x264_free( h->nr_offset_emergency );
 294 }
 295
 296 static int x264_cqm_parse_jmlist( x264_t *h, const char *buf, const char *name,
 297                                   uint8_t *cqm, const uint8_t *jvt, int length )
 298 {
 299     int i;
 300
 301     char *p = strstr( buf, name );
 302     if( !p )
 303     {
 304         memset( cqm, 16, length );
 305         return 0;
 306     }
 307
 308     p += strlen( name );
 309     if( *p == 'U' || *p == 'V' )
 310         p++;
 311
 312     char *nextvar = strstr( p, "INT" );
 313
 314     for( i = 0; i < length && (p = strpbrk( p, " \t\n," )) && (p = strpbrk( p, "0123456789" )); i++ )
 315     {
 316         int coef = -1;
 317         sscanf( p, "%d", &coef );
 318         if( i == 0 && coef == 0 )
 319         {
 320             memcpy( cqm, jvt, length );
 321             return 0;
 322         }
 323         if( coef < 1 || coef > 255 )
 324         {
 325             x264_log( h, X264_LOG_ERROR, "bad coefficient in list '%s'\n", name );
 326             return -1;
 327         }
 328         cqm[i] = coef;
 329     }
 330
 331     if( (nextvar && p > nextvar) || i != length )
 332     {
 333         x264_log( h, X264_LOG_ERROR, "not enough coefficients in list '%s'\n", name );
 334         return -1;
 335     }
 336
 337     return 0;
 338 }
 339
 340 int x264_cqm_parse_file( x264_t *h, const char *filename )
 341 {
 342     char *p;
 343     int b_error = 0;
 344
 345     h->param.i_cqm_preset = X264_CQM_CUSTOM;
 346
 347     char *buf = x264_slurp_file( filename );
 348     if( !buf )
 349     {
 350         x264_log( h, X264_LOG_ERROR, "can't open file '%s'\n", filename );
 351         return -1;
 352     }
 353
 354     while( (p = strchr( buf, '#' )) != NULL )
 355         memset( p, ' ', strcspn( p, "\n" ) );
 356
 357     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA4X4_LUMA",   h->param.cqm_4iy, x264_cqm_jvt4i, 16 );
 358     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER4X4_LUMA",   h->param.cqm_4py, x264_cqm_jvt4p, 16 );
 359     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA4X4_CHROMA", h->param.cqm_4ic, x264_cqm_jvt4i, 16 );
 360     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER4X4_CHROMA", h->param.cqm_4pc, x264_cqm_jvt4p, 16 );
 361     b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA8X8_LUMA",   h->param.cqm_8iy, x264_cqm_jvt8i, 64 );
 362     b_error |= x264_cqm_parse_jmlist( h, buf, "INTER8X8_LUMA",   h->param.cqm_8py, x264_cqm_jvt8p, 64 );
 363     if( CHROMA444 )
 364     {
 365         b_error |= x264_cqm_parse_jmlist( h, buf, "INTRA8X8_CHROMA", h->param.cqm_8ic, x264_cqm_jvt8i, 64 );
 366         b_error |= x264_cqm_parse_jmlist( h, buf, "INTER8X8_CHROMA", h->param.cqm_8pc, x264_cqm_jvt8p, 64 );
 367     }
 368
 369     x264_free( buf );
 370     return b_error;
 371 }
 372