git.sesse.net Git - nageru/blob - x264_speed_control.cpp

   1 #include "x264_speed_control.h"
   2
   3 #include <math.h>
   4 #include <stdio.h>
   5 #include <x264.h>
   6 #include <algorithm>
   7 #include <chrono>
   8 #include <cmath>
   9 #include <ratio>
  10 #include <type_traits>
  11
  12 #include "flags.h"
  13
  14 using namespace std;
  15 using namespace std::chrono;
  16
  17 X264SpeedControl::X264SpeedControl(x264_t *x264, float f_speed, int i_buffer_size, float f_buffer_init)
  18         : x264(x264), f_speed(f_speed)
  19 {
  20         x264_param_t param;
  21         x264_encoder_parameters(x264, &param);
  22
  23         float fps = (float)param.i_fps_num / param.i_fps_den;
  24         uspf = 1e6 / fps;
  25         set_buffer_size(i_buffer_size);
  26         buffer_fill = buffer_size * f_buffer_init;
  27         buffer_fill = max<int64_t>(buffer_fill, uspf);
  28         buffer_fill = min(buffer_fill, buffer_size);
  29         timestamp = steady_clock::now();
  30         preset = -1;
  31         cplx_num = 3e3; //FIXME estimate initial complexity
  32         cplx_den = .1;
  33         stat.min_buffer = buffer_size;
  34         stat.max_buffer = 0;
  35         stat.avg_preset = 0.0;
  36         stat.den = 0;
  37 }
  38
  39 X264SpeedControl::~X264SpeedControl()
  40 {
  41         fprintf(stderr, "speedcontrol: avg preset=%.3f  buffer min=%.3f max=%.3f\n",
  42                 stat.avg_preset / stat.den,
  43                 (float)stat.min_buffer / buffer_size,
  44                 (float)stat.max_buffer / buffer_size );
  45         //  x264_log( x264, X264_LOG_INFO, "speedcontrol: avg cplx=%.5f\n", cplx_num / cplx_den );
  46 }
  47
  48 typedef struct
  49 {
  50         float time; // relative encoding time, compared to the other presets
  51         int subme;
  52         int me;
  53         int refs;
  54         int mix;
  55         int trellis;
  56         int partitions;
  57         int badapt;
  58         int bframes;
  59         int direct;
  60         int merange;
  61 } sc_preset_t;
  62
  63 // The actual presets, including the equivalent commandline options. Note that
  64 // all presets are benchmarked with --weightp 1 --mbtree --rc-lookahead 20
  65 // on top of the given settings (equivalent settings to the "faster" preset).
  66 // Timings and SSIM measurements were done on a quadcore Haswell i5 3.2 GHz
  67 // on the first 1000 frames of "Tears of Steel" in 1080p.
  68 //
  69 // Note that the two first and the two last are also used for extrapolation
  70 // should the desired time be outside the range. Thus, it is disadvantageous if
  71 // they are chosen so that the timings are too close to each other.
  72 #define SC_PRESETS 26
  73 static const sc_preset_t presets[SC_PRESETS] = {
  74 #define I4 X264_ANALYSE_I4x4
  75 #define I8 X264_ANALYSE_I8x8
  76 #define P4 X264_ANALYSE_PSUB8x8
  77 #define P8 X264_ANALYSE_PSUB16x16
  78 #define B8 X264_ANALYSE_BSUB16x16
  79         // Preset 0: 14.179db, --preset superfast --b-adapt 0 --bframes 0
  80         { .time= 1.000, .subme=1, .me=X264_ME_DIA, .refs=1, .mix=0, .trellis=0, .partitions=I8|I4, .badapt=0, .bframes=0, .direct=0, .merange=16 },
  81
  82         // Preset 1: 14.459db, --preset superfast
  83         { .time= 1.283, .subme=1, .me=X264_ME_DIA, .refs=1, .mix=0, .trellis=0, .partitions=I8|I4, .badapt=1, .bframes=3, .direct=1, .merange=16 },
  84
  85         // Preset 2: 14.761db, --preset superfast --subme 2
  86         { .time= 1.603, .subme=2, .me=X264_ME_DIA, .refs=1, .mix=0, .trellis=0, .partitions=I8|I4, .badapt=1, .bframes=3, .direct=1, .merange=16 },
  87
  88         // Preset 3: 15.543db, --preset veryfast
  89         { .time= 1.843, .subme=2, .me=X264_ME_HEX, .refs=1, .mix=0, .trellis=0, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
  90
  91         // Preset 4: 15.716db, --preset veryfast --subme 3
  92         { .time= 2.452, .subme=3, .me=X264_ME_HEX, .refs=1, .mix=0, .trellis=0, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
  93
  94         // Preset 5: 15.786db, --preset veryfast --subme 3 --ref 2
  95         { .time= 2.733, .subme=3, .me=X264_ME_HEX, .refs=2, .mix=0, .trellis=0, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
  96
  97         // Preset 6: 15.813db, --preset veryfast --subme 4 --ref 2
  98         { .time= 3.085, .subme=4, .me=X264_ME_HEX, .refs=2, .mix=0, .trellis=0, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
  99
 100         // Preset 7: 15.849db, --preset faster
 101         { .time= 3.101, .subme=4, .me=X264_ME_HEX, .refs=2, .mix=0, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
 102
 103         // Preset 8: 15.857db, --preset faster --mixed-refs
 104         { .time= 3.284, .subme=4, .me=X264_ME_HEX, .refs=2, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
 105
 106         // Preset 9: 15.869db, --preset faster --mixed-refs --subme 5
 107         { .time= 3.587, .subme=5, .me=X264_ME_HEX, .refs=2, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
 108
 109         // Preset 10: 16.051db, --preset fast
 110         { .time= 3.947, .subme=6, .me=X264_ME_HEX, .refs=2, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
 111
 112         // Preset 11: 16.356db, --preset fast --subme 7
 113         { .time= 4.041, .subme=7, .me=X264_ME_HEX, .refs=2, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
 114
 115         // Preset 12: 16.418db, --preset fast --subme 7 --ref 3
 116         { .time= 4.406, .subme=7, .me=X264_ME_HEX, .refs=3, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
 117
 118         // Preset 13: 16.460db, --preset medium
 119         { .time= 4.707, .subme=7, .me=X264_ME_HEX, .refs=3, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
 120
 121         // Preset 14: 16.517db, --preset medium --subme 8
 122         { .time= 5.133, .subme=8, .me=X264_ME_HEX, .refs=3, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
 123
 124         // Preset 15: 16.523db, --preset medium --subme 8 --me umh
 125         { .time= 6.050, .subme=8, .me=X264_ME_UMH, .refs=3, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=1, .bframes=3, .direct=1, .merange=16 },
 126
 127         // Preset 16: 16.543db, --preset medium --subme 8 --me umh --direct auto --b-adapt 2
 128         { .time= 6.849, .subme=8, .me=X264_ME_UMH, .refs=3, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=2, .bframes=3, .direct=3, .merange=16 },
 129
 130         // Preset 17: 16.613db, --preset slow
 131         { .time= 8.042, .subme=8, .me=X264_ME_UMH, .refs=5, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=2, .bframes=3, .direct=3, .merange=16 },
 132
 133         // Preset 18: 16.641db, --preset slow --subme 9
 134         { .time= 8.972, .subme=9, .me=X264_ME_UMH, .refs=5, .mix=1, .trellis=1, .partitions=I8|I4|P8|B8, .badapt=2, .bframes=3, .direct=3, .merange=16 },
 135
 136         // Preset 19: 16.895db, --preset slow --subme 9 --trellis 2
 137         { .time=10.073, .subme=9, .me=X264_ME_UMH, .refs=5, .mix=1, .trellis=2, .partitions=I8|I4|P8|B8, .badapt=2, .bframes=3, .direct=3, .merange=16 },
 138
 139         // Preset 20: 16.918db, --preset slow --subme 9 --trellis 2 --ref 6
 140         { .time=11.147, .subme=9, .me=X264_ME_UMH, .refs=6, .mix=1, .trellis=2, .partitions=I8|I4|P8|B8, .badapt=2, .bframes=3, .direct=3, .merange=16 },
 141
 142         // Preset 21: 16.934db, --preset slow --subme 9 --trellis 2 --ref 7
 143         { .time=12.267, .subme=9, .me=X264_ME_UMH, .refs=7, .mix=1, .trellis=2, .partitions=I8|I4|P8|B8, .badapt=2, .bframes=3, .direct=3, .merange=16 },
 144
 145         // Preset 22: 16.948db, --preset slower
 146         { .time=13.829, .subme=9, .me=X264_ME_UMH, .refs=8, .mix=1, .trellis=2, .partitions=I8|I4|P8|B8|P4, .badapt=2, .bframes=3, .direct=3, .merange=16 },
 147
 148         // Preset 23: 17.058db, --preset slower --subme 10
 149         { .time=14.831, .subme=10, .me=X264_ME_UMH, .refs=8, .mix=1, .trellis=2, .partitions=I8|I4|P8|B8|P4, .badapt=2, .bframes=3, .direct=3, .merange=16 },
 150
 151         // Preset 24: 17.268db, --preset slower --subme 10 --bframes 8
 152         { .time=18.705, .subme=10, .me=X264_ME_UMH, .refs=8, .mix=1, .trellis=2, .partitions=I8|I4|P8|B8|P4, .badapt=2, .bframes=8, .direct=3, .merange=16 },
 153
 154         // Preset 25: 17.297db, --preset veryslow
 155         { .time=31.419, .subme=10, .me=X264_ME_UMH, .refs=16, .mix=1, .trellis=2, .partitions=I8|I4|P8|B8|P4, .badapt=2, .bframes=8, .direct=3, .merange=24 },
 156 #undef I4
 157 #undef I8
 158 #undef P4
 159 #undef P8
 160 #undef B8
 161 };
 162
 163 void X264SpeedControl::before_frame(float new_buffer_fill, int new_buffer_size, float new_uspf)
 164 {
 165         if (new_uspf > 0.0) {
 166                 uspf = new_uspf;
 167         }
 168         if (new_buffer_size) {
 169                 set_buffer_size(new_buffer_size);
 170         }
 171         buffer_fill = buffer_size * new_buffer_fill;
 172
 173         steady_clock::time_point t;
 174
 175         // update buffer state after encoding and outputting the previous frame(s)
 176         if (first) {
 177                 t = timestamp = steady_clock::now();
 178                 first = false;
 179         } else {
 180                 t = steady_clock::now();
 181         }
 182
 183         auto delta_t = t - timestamp;
 184         timestamp = t;
 185
 186         // update the time predictor
 187         if (preset >= 0) {
 188                 int cpu_time = duration_cast<microseconds>(cpu_time_last_frame).count();
 189                 cplx_num *= cplx_decay;
 190                 cplx_den *= cplx_decay;
 191                 cplx_num += cpu_time / presets[preset].time;
 192                 ++cplx_den;
 193
 194                 stat.avg_preset += preset;
 195                 ++stat.den;
 196         }
 197
 198         stat.min_buffer = min(buffer_fill, stat.min_buffer);
 199         stat.max_buffer = max(buffer_fill, stat.max_buffer);
 200
 201         if (buffer_fill >= buffer_size) { // oops, cpu was idle
 202                 // not really an error, but we'll warn for debugging purposes
 203                 static int64_t idle_t = 0;
 204                 static steady_clock::time_point print_interval;
 205                 static bool first = false;
 206                 idle_t += buffer_fill - buffer_size;
 207                 if (first || duration<double>(t - print_interval).count() > 0.1) {
 208                         //fprintf(stderr, "speedcontrol idle (%.6f sec)\n", idle_t/1e6);
 209                         print_interval = t;
 210                         idle_t = 0;
 211                         first = false;
 212                 }
 213                 buffer_fill = buffer_size;
 214         } else if (buffer_fill <= 0) {  // oops, we're late
 215                 // fprintf(stderr, "speedcontrol underflow (%.6f sec)\n", buffer_fill/1e6);
 216         }
 217
 218         {
 219                 // Pick the preset that should return the buffer to 3/4-full within a time
 220                 // specified by compensation_period.
 221                 //
 222                 // NOTE: This doesn't actually do that, at least assuming the same target is
 223                 // chosen for every frame; exactly what it does is unclear to me. It seems
 224                 // to consistently undershoot a bit, so it needs to be saved by the second
 225                 // predictor below. However, fixing the formula seems to yield somewhat less
 226                 // stable results in practice; in particular, once the buffer is half-full
 227                 // or so, it would give us a negative target. Perhaps increasing
 228                 // compensation_period would be a good idea, but initial (very brief) tests
 229                 // did not yield good results.
 230                 float target = uspf / f_speed
 231                         * (buffer_fill + compensation_period)
 232                         / (buffer_size*3/4 + compensation_period);
 233                 float cplx = cplx_num / cplx_den;
 234                 float set, t0, t1;
 235                 float filled = (float) buffer_fill / buffer_size;
 236                 int i;
 237                 t0 = presets[0].time * cplx;
 238                 for (i = 1; ; i++) {
 239                         t1 = presets[i].time * cplx;
 240                         if (t1 >= target || i == SC_PRESETS - 1)
 241                                 break;
 242                         t0 = t1;
 243                 }
 244                 // exponential interpolation between states
 245                 set = i-1 + (log(target) - log(t0)) / (log(t1) - log(t0));
 246                 set = max<float>(set, -5);
 247                 set = min<float>(set, (SC_PRESETS-1) + 5);
 248                 // Even if our time estimations in the SC_PRESETS array are off
 249                 // this will push us towards our target fullness
 250                 float s1 = set;
 251                 set += (40 * (filled-0.75));
 252                 float s2 = (40 * (filled-0.75));
 253                 set = min<float>(max<float>(set, 0), SC_PRESETS - 1);
 254                 apply_preset(dither_preset(set));
 255
 256                 if (global_flags.x264_speedcontrol_verbose) {
 257                         static float cpu, wall, tgt, den;
 258                         const float decay = 1-1/100.;
 259                         cpu = cpu*decay + duration_cast<microseconds>(cpu_time_last_frame).count();
 260                         wall = wall*decay + duration_cast<microseconds>(delta_t).count();
 261                         tgt = tgt*decay + target;
 262                         den = den*decay + 1;
 263                         fprintf(stderr, "speed: %.2f+%.2f %d[%.5f] (t/c/w: %6.0f/%6.0f/%6.0f = %.4f) fps=%.2f\r",
 264                                         s1, s2, preset, (float)buffer_fill / buffer_size,
 265                                         tgt/den, cpu/den, wall/den, cpu/wall, 1e6*den/wall );
 266                 }
 267         }
 268
 269 }
 270
 271 void X264SpeedControl::after_frame()
 272 {
 273         cpu_time_last_frame = steady_clock::now() - timestamp;
 274 }
 275
 276 void X264SpeedControl::set_buffer_size(int new_buffer_size)
 277 {
 278         new_buffer_size = max(3, new_buffer_size);
 279         buffer_size = new_buffer_size * uspf;
 280         cplx_decay = 1 - 1./new_buffer_size;
 281         compensation_period = buffer_size/4;
 282 }
 283
 284 int X264SpeedControl::dither_preset(float f)
 285 {
 286         int i = f;
 287         if (f < 0) {
 288                 i--;
 289         }
 290         dither += f - i;
 291         if (dither >= 1.0) {
 292                 dither--;
 293                 i++;
 294         }
 295         return i;
 296 }
 297
 298 void X264SpeedControl::apply_preset(int new_preset)
 299 {
 300         new_preset = max(new_preset, 0);
 301         new_preset = min(new_preset, SC_PRESETS - 1);
 302
 303         const sc_preset_t *s = &presets[new_preset];
 304         x264_param_t p;
 305         x264_encoder_parameters(x264, &p);
 306
 307         p.i_frame_reference = s->refs;
 308         p.i_bframe_adaptive = s->badapt;
 309         p.i_bframe = s->bframes;
 310         p.analyse.inter = s->partitions;
 311         p.analyse.i_subpel_refine = s->subme;
 312         p.analyse.i_me_method = s->me;
 313         p.analyse.i_trellis = s->trellis;
 314         p.analyse.b_mixed_references = s->mix;
 315         p.analyse.i_direct_mv_pred = s->direct;
 316         p.analyse.i_me_range = s->merange;
 317         if (override_func) {
 318                 override_func(&p);
 319         }
 320         x264_encoder_reconfig(x264, &p);
 321         preset = new_preset;
 322 }