]> git.sesse.net Git - movit/blob - resample_effect.cpp
Revert "Remove C++11 dependency from ResampleEffect."
[movit] / resample_effect.cpp
1 // Three-lobed Lanczos, the most common choice.
2 // Note that if you change this, the accuracy for LANCZOS_TABLE_SIZE
3 // needs to be recomputed.
4 #define LANCZOS_RADIUS 3.0f
5
6 #include <epoxy/gl.h>
7 #include <assert.h>
8 #include <limits.h>
9 #include <math.h>
10 #include <stdio.h>
11 #include <algorithm>
12 #include <Eigen/Sparse>
13 #include <Eigen/SparseQR>
14 #include <Eigen/OrderingMethods>
15
16 #include "effect_chain.h"
17 #include "effect_util.h"
18 #include "fp16.h"
19 #include "init.h"
20 #include "resample_effect.h"
21 #include "util.h"
22
23 using namespace Eigen;
24 using namespace std;
25
26 namespace movit {
27
28 namespace {
29
30 float sinc(float x)
31 {
32         if (fabs(x) < 1e-6) {
33                 return 1.0f - fabs(x);
34         } else {
35                 return sin(x) / x;
36         }
37 }
38
39 float lanczos_weight(float x)
40 {
41         if (fabs(x) > LANCZOS_RADIUS) {
42                 return 0.0f;
43         } else {
44                 return sinc(M_PI * x) * sinc((M_PI / LANCZOS_RADIUS) * x);
45         }
46 }
47
48 // The weight function can be expensive to compute over and over again
49 // (which will happen during e.g. a zoom), but it is also easy to interpolate
50 // linearly. We compute the right half of the function (in the range of
51 // 0..LANCZOS_RADIUS), with two guard elements for easier interpolation, and
52 // linearly interpolate to get our function.
53 //
54 // We want to scale the table so that the maximum error is always smaller
55 // than 1e-6. As per http://www-solar.mcs.st-andrews.ac.uk/~clare/Lectures/num-analysis/Numan_chap3.pdf,
56 // the error for interpolating a function linearly between points [a,b] is
57 //
58 //   e = 1/2 (x-a)(x-b) f''(u_x)
59 //
60 // for some point u_x in [a,b] (where f(x) is our Lanczos function; we're
61 // assuming LANCZOS_RADIUS=3 from here on). Obviously this is bounded by
62 // f''(x) over the entire range. Numeric optimization shows the maximum of
63 // |f''(x)| to be in x=1.09369819474562880, with the value 2.40067758733152381.
64 // So if the steps between consecutive values are called d, we get
65 //
66 //   |e| <= 1/2 (d/2)^2 2.4007
67 //   |e| <= 0.1367 d^2
68 //
69 // Solve for e = 1e-6 yields a step size of 0.0027, which to cover the range
70 // 0..3 needs 1109 steps. We round up to the next power of two, just to be sure.
71 //
72 // You need to call lanczos_table_init_done before the first call to
73 // lanczos_weight_cached.
74 #define LANCZOS_TABLE_SIZE 2048
75 bool lanczos_table_init_done = false;
76 float lanczos_table[LANCZOS_TABLE_SIZE + 2];
77
78 void init_lanczos_table()
79 {
80         for (unsigned i = 0; i < LANCZOS_TABLE_SIZE + 2; ++i) {
81                 lanczos_table[i] = lanczos_weight(float(i) * (LANCZOS_RADIUS / LANCZOS_TABLE_SIZE));
82         }
83         lanczos_table_init_done = true;
84 }
85
86 float lanczos_weight_cached(float x)
87 {
88         x = fabs(x);
89         if (x > LANCZOS_RADIUS) {
90                 return 0.0f;
91         }
92         float table_pos = x * (LANCZOS_TABLE_SIZE / LANCZOS_RADIUS);
93         unsigned table_pos_int = int(table_pos);  // Truncate towards zero.
94         float table_pos_frac = table_pos - table_pos_int;
95         assert(table_pos < LANCZOS_TABLE_SIZE + 2);
96         return lanczos_table[table_pos_int] +
97                 table_pos_frac * (lanczos_table[table_pos_int + 1] - lanczos_table[table_pos_int]);
98 }
99
100 // Euclid's algorithm, from Wikipedia.
101 unsigned gcd(unsigned a, unsigned b)
102 {
103         while (b != 0) {
104                 unsigned t = b;
105                 b = a % b;
106                 a = t;
107         }
108         return a;
109 }
110
111 template<class DestFloat>
112 unsigned combine_samples(const Tap<float> *src, Tap<DestFloat> *dst, float num_subtexels, float inv_num_subtexels, unsigned num_src_samples, unsigned max_samples_saved, float pos1_pos2_diff, float inv_pos1_pos2_diff)
113 {
114         // Cut off near-zero values at both sides.
115         unsigned num_samples_saved = 0;
116         while (num_samples_saved < max_samples_saved &&
117                num_src_samples > 0 &&
118                fabs(src[0].weight) < 1e-6) {
119                 ++src;
120                 --num_src_samples;
121                 ++num_samples_saved;
122         }
123         while (num_samples_saved < max_samples_saved &&
124                num_src_samples > 0 &&
125                fabs(src[num_src_samples - 1].weight) < 1e-6) {
126                 --num_src_samples;
127                 ++num_samples_saved;
128         }
129
130         for (unsigned i = 0, j = 0; i < num_src_samples; ++i, ++j) {
131                 // Copy the sample directly; it will be overwritten later if we can combine.
132                 if (dst != nullptr) {
133                         dst[j].weight = convert_float<float, DestFloat>(src[i].weight);
134                         dst[j].pos = convert_float<float, DestFloat>(src[i].pos);
135                 }
136
137                 if (i == num_src_samples - 1) {
138                         // Last sample; cannot combine.
139                         continue;
140                 }
141                 assert(num_samples_saved <= max_samples_saved);
142                 if (num_samples_saved == max_samples_saved) {
143                         // We could maybe save more here, but other rows can't, so don't bother.
144                         continue;
145                 }
146
147                 float w1 = src[i].weight;
148                 float w2 = src[i + 1].weight;
149                 if (w1 * w2 < 0.0f) {
150                         // Differing signs; cannot combine.
151                         continue;
152                 }
153
154                 float pos1 = src[i].pos;
155                 float pos2 = src[i + 1].pos;
156                 assert(pos2 > pos1);
157
158                 DestFloat pos, total_weight;
159                 float sum_sq_error;
160                 combine_two_samples(w1, w2, pos1, pos1_pos2_diff, inv_pos1_pos2_diff, num_subtexels, inv_num_subtexels, &pos, &total_weight, &sum_sq_error);
161
162                 // If the interpolation error is larger than that of about sqrt(2) of
163                 // a level at 8-bit precision, don't combine. (You'd think 1.0 was enough,
164                 // but since the artifacts are not really random, they can get quite
165                 // visible. On the other hand, going to 0.25f, I can see no change at
166                 // all with 8-bit output, so it would not seem to be worth it.)
167                 if (sum_sq_error > 0.5f / (255.0f * 255.0f)) {
168                         continue;
169                 }
170
171                 // OK, we can combine this and the next sample.
172                 if (dst != nullptr) {
173                         dst[j].weight = total_weight;
174                         dst[j].pos = pos;
175                 }
176
177                 ++i;  // Skip the next sample.
178                 ++num_samples_saved;
179         }
180         return num_samples_saved;
181 }
182
183 // Normalize so that the sum becomes one. Note that we do it twice;
184 // this sometimes helps a tiny little bit when we have many samples.
185 template<class T>
186 void normalize_sum(Tap<T>* vals, unsigned num)
187 {
188         for (int normalize_pass = 0; normalize_pass < 2; ++normalize_pass) {
189                 float sum = 0.0;
190                 for (unsigned i = 0; i < num; ++i) {
191                         sum += to_fp32(vals[i].weight);
192                 }
193                 float inv_sum = 1.0 / sum;
194                 for (unsigned i = 0; i < num; ++i) {
195                         vals[i].weight = from_fp32<T>(to_fp32(vals[i].weight) * inv_sum);
196                 }
197         }
198 }
199
200 // Make use of the bilinear filtering in the GPU to reduce the number of samples
201 // we need to make. This is a bit more complex than BlurEffect since we cannot combine
202 // two neighboring samples if their weights have differing signs, so we first need to
203 // figure out the maximum number of samples. Then, we downconvert all the weights to
204 // that number -- we could have gone for a variable-length system, but this is simpler,
205 // and the gains would probably be offset by the extra cost of checking when to stop.
206 //
207 // The greedy strategy for combining samples is optimal.
208 template<class DestFloat>
209 unsigned combine_many_samples(const Tap<float> *weights, unsigned src_size, unsigned src_samples, unsigned dst_samples, unique_ptr<Tap<DestFloat>[]> *bilinear_weights)
210 {
211         float num_subtexels = src_size / movit_texel_subpixel_precision;
212         float inv_num_subtexels = movit_texel_subpixel_precision / src_size;
213         float pos1_pos2_diff = 1.0f / src_size;
214         float inv_pos1_pos2_diff = src_size;
215
216         unsigned max_samples_saved = UINT_MAX;
217         for (unsigned y = 0; y < dst_samples && max_samples_saved > 0; ++y) {
218                 unsigned num_samples_saved = combine_samples<DestFloat>(weights + y * src_samples, nullptr, num_subtexels, inv_num_subtexels, src_samples, max_samples_saved, pos1_pos2_diff, inv_pos1_pos2_diff);
219                 max_samples_saved = min(max_samples_saved, num_samples_saved);
220         }
221
222         // Now that we know the right width, actually combine the samples.
223         unsigned src_bilinear_samples = src_samples - max_samples_saved;
224         bilinear_weights->reset(new Tap<DestFloat>[dst_samples * src_bilinear_samples]);
225         for (unsigned y = 0; y < dst_samples; ++y) {
226                 Tap<DestFloat> *bilinear_weights_ptr = bilinear_weights->get() + y * src_bilinear_samples;
227                 unsigned num_samples_saved = combine_samples(
228                         weights + y * src_samples,
229                         bilinear_weights_ptr,
230                         num_subtexels,
231                         inv_num_subtexels,
232                         src_samples,
233                         max_samples_saved,
234                         pos1_pos2_diff,
235                         inv_pos1_pos2_diff);
236                 assert(num_samples_saved == max_samples_saved);
237                 normalize_sum(bilinear_weights_ptr, src_bilinear_samples);
238         }
239         return src_bilinear_samples;
240 }
241
242 // Compute the sum of squared errors between the ideal weights (which are
243 // assumed to fall exactly on pixel centers) and the weights that result
244 // from sampling at <bilinear_weights>. The primary reason for the difference
245 // is inaccuracy in the sampling positions, both due to limited precision
246 // in storing them (already inherent in sending them in as fp16_int_t)
247 // and in subtexel sampling precision (which we calculate in this function).
248 template<class T>
249 double compute_sum_sq_error(const Tap<float>* weights, unsigned num_weights,
250                             const Tap<T>* bilinear_weights, unsigned num_bilinear_weights,
251                             unsigned size)
252 {
253         // Find the effective range of the bilinear-optimized kernel.
254         // Due to rounding of the positions, this is not necessarily the same
255         // as the intended range (ie., the range of the original weights).
256         int lower_pos = int(floor(to_fp32(bilinear_weights[0].pos) * size - 0.5f));
257         int upper_pos = int(ceil(to_fp32(bilinear_weights[num_bilinear_weights - 1].pos) * size - 0.5f)) + 2;
258         lower_pos = min<int>(lower_pos, lrintf(weights[0].pos * size - 0.5f));
259         upper_pos = max<int>(upper_pos, lrintf(weights[num_weights - 1].pos * size - 0.5f) + 1);
260
261         float* effective_weights = new float[upper_pos - lower_pos];
262         for (int i = 0; i < upper_pos - lower_pos; ++i) {
263                 effective_weights[i] = 0.0f;
264         }
265
266         // Now find the effective weights that result from this sampling.
267         for (unsigned i = 0; i < num_bilinear_weights; ++i) {
268                 const float pixel_pos = to_fp32(bilinear_weights[i].pos) * size - 0.5f;
269                 const int x0 = int(floor(pixel_pos)) - lower_pos;
270                 const int x1 = x0 + 1;
271                 const float f = lrintf((pixel_pos - (x0 + lower_pos)) / movit_texel_subpixel_precision) * movit_texel_subpixel_precision;
272
273                 assert(x0 >= 0);
274                 assert(x1 >= 0);
275                 assert(x0 < upper_pos - lower_pos);
276                 assert(x1 < upper_pos - lower_pos);
277
278                 effective_weights[x0] += to_fp32(bilinear_weights[i].weight) * (1.0f - f);
279                 effective_weights[x1] += to_fp32(bilinear_weights[i].weight) * f;
280         }
281
282         // Subtract the desired weights to get the error.
283         for (unsigned i = 0; i < num_weights; ++i) {
284                 const int x = lrintf(weights[i].pos * size - 0.5f) - lower_pos;
285                 assert(x >= 0);
286                 assert(x < upper_pos - lower_pos);
287
288                 effective_weights[x] -= weights[i].weight;
289         }
290
291         double sum_sq_error = 0.0;
292         for (unsigned i = 0; i < num_weights; ++i) {
293                 sum_sq_error += effective_weights[i] * effective_weights[i];
294         }
295
296         delete[] effective_weights;
297         return sum_sq_error;
298 }
299
300 }  // namespace
301
302 ResampleEffect::ResampleEffect()
303         : owns_effects(true),
304           input_width(1280),
305           input_height(720),
306           offset_x(0.0f), offset_y(0.0f),
307           zoom_x(1.0f), zoom_y(1.0f),
308           zoom_center_x(0.5f), zoom_center_y(0.5f)
309 {
310         register_int("width", &output_width);
311         register_int("height", &output_height);
312
313         // The first blur pass will forward resolution information to us.
314         hpass = new SingleResamplePassEffect(this);
315         CHECK(hpass->set_int("direction", SingleResamplePassEffect::HORIZONTAL));
316         vpass = new SingleResamplePassEffect(nullptr);
317         CHECK(vpass->set_int("direction", SingleResamplePassEffect::VERTICAL));
318
319         update_size();
320 }
321
322 ResampleEffect::~ResampleEffect()
323 {
324         if (owns_effects) {
325                 delete hpass;
326                 delete vpass;
327         }
328 }
329
330 void ResampleEffect::rewrite_graph(EffectChain *graph, Node *self)
331 {
332         Node *hpass_node = graph->add_node(hpass);
333         Node *vpass_node = graph->add_node(vpass);
334         graph->connect_nodes(hpass_node, vpass_node);
335         graph->replace_receiver(self, hpass_node);
336         graph->replace_sender(self, vpass_node);
337         self->disabled = true;
338         owns_effects = false;
339
340
341 // We get this information forwarded from the first blur pass,
342 // since we are not part of the chain ourselves.
343 void ResampleEffect::inform_input_size(unsigned input_num, unsigned width, unsigned height)
344 {
345         assert(input_num == 0);
346         assert(width != 0);
347         assert(height != 0);
348         input_width = width;
349         input_height = height;
350         update_size();
351 }
352
353 void ResampleEffect::update_size()
354 {
355         bool ok = true;
356         ok |= hpass->set_int("input_width", input_width);
357         ok |= hpass->set_int("input_height", input_height);
358         ok |= hpass->set_int("output_width", output_width);
359         ok |= hpass->set_int("output_height", input_height);
360
361         ok |= vpass->set_int("input_width", output_width);
362         ok |= vpass->set_int("input_height", input_height);
363         ok |= vpass->set_int("output_width", output_width);
364         ok |= vpass->set_int("output_height", output_height);
365
366         assert(ok);
367
368         // The offset added due to zoom may have changed with the size.
369         update_offset_and_zoom();
370 }
371
372 void ResampleEffect::update_offset_and_zoom()
373 {
374         bool ok = true;
375
376         // Zoom from the right origin. (zoom_center is given in normalized coordinates,
377         // i.e. 0..1.)
378         float extra_offset_x = zoom_center_x * (1.0f - 1.0f / zoom_x) * input_width;
379         float extra_offset_y = (1.0f - zoom_center_y) * (1.0f - 1.0f / zoom_y) * input_height;
380
381         ok |= hpass->set_float("offset", extra_offset_x + offset_x);
382         ok |= vpass->set_float("offset", extra_offset_y - offset_y);  // Compensate for the bottom-left origin.
383         ok |= hpass->set_float("zoom", zoom_x);
384         ok |= vpass->set_float("zoom", zoom_y);
385
386         assert(ok);
387 }
388
389 bool ResampleEffect::set_float(const string &key, float value) {
390         if (key == "width") {
391                 output_width = value;
392                 update_size();
393                 return true;
394         }
395         if (key == "height") {
396                 output_height = value;
397                 update_size();
398                 return true;
399         }
400         if (key == "top") {
401                 offset_y = value;
402                 update_offset_and_zoom();
403                 return true;
404         }
405         if (key == "left") {
406                 offset_x = value;
407                 update_offset_and_zoom();
408                 return true;
409         }
410         if (key == "zoom_x") {
411                 if (value <= 0.0f) {
412                         return false;
413                 }
414                 zoom_x = value;
415                 update_offset_and_zoom();
416                 return true;
417         }
418         if (key == "zoom_y") {
419                 if (value <= 0.0f) {
420                         return false;
421                 }
422                 zoom_y = value;
423                 update_offset_and_zoom();
424                 return true;
425         }
426         if (key == "zoom_center_x") {
427                 zoom_center_x = value;
428                 update_offset_and_zoom();
429                 return true;
430         }
431         if (key == "zoom_center_y") {
432                 zoom_center_y = value;
433                 update_offset_and_zoom();
434                 return true;
435         }
436         return false;
437 }
438
439 SingleResamplePassEffect::SingleResamplePassEffect(ResampleEffect *parent)
440         : parent(parent),
441           direction(HORIZONTAL),
442           input_width(1280),
443           input_height(720),
444           offset(0.0),
445           zoom(1.0),
446           last_input_width(-1),
447           last_input_height(-1),
448           last_output_width(-1),
449           last_output_height(-1),
450           last_offset(0.0 / 0.0),  // NaN.
451           last_zoom(0.0 / 0.0),  // NaN.
452           last_texture_width(-1), last_texture_height(-1)
453 {
454         register_int("direction", (int *)&direction);
455         register_int("input_width", &input_width);
456         register_int("input_height", &input_height);
457         register_int("output_width", &output_width);
458         register_int("output_height", &output_height);
459         register_float("offset", &offset);
460         register_float("zoom", &zoom);
461         register_uniform_sampler2d("sample_tex", &uniform_sample_tex);
462         register_uniform_int("num_samples", &uniform_num_samples);
463         register_uniform_float("num_loops", &uniform_num_loops);
464         register_uniform_float("slice_height", &uniform_slice_height);
465         register_uniform_float("sample_x_scale", &uniform_sample_x_scale);
466         register_uniform_float("sample_x_offset", &uniform_sample_x_offset);
467         register_uniform_float("whole_pixel_offset", &uniform_whole_pixel_offset);
468
469         glGenTextures(1, &texnum);
470
471         if (!lanczos_table_init_done) {
472                 // Could in theory race between two threads if we are unlucky,
473                 // but that is harmless, since they'll write the same data.
474                 init_lanczos_table();
475         }
476 }
477
478 SingleResamplePassEffect::~SingleResamplePassEffect()
479 {
480         glDeleteTextures(1, &texnum);
481 }
482
483 string SingleResamplePassEffect::output_fragment_shader()
484 {
485         char buf[256];
486         sprintf(buf, "#define DIRECTION_VERTICAL %d\n", (direction == VERTICAL));
487         return buf + read_file("resample_effect.frag");
488 }
489
490 // Using vertical scaling as an example:
491 //
492 // Generally out[y] = w0 * in[yi] + w1 * in[yi + 1] + w2 * in[yi + 2] + ...
493 //
494 // Obviously, yi will depend on y (in a not-quite-linear way), but so will
495 // the weights w0, w1, w2, etc.. The easiest way of doing this is to encode,
496 // for each sample, the weight and the yi value, e.g. <yi, w0>, <yi + 1, w1>,
497 // and so on. For each y, we encode these along the x-axis (since that is spare),
498 // so out[0] will read from parameters <x,y> = <0,0>, <1,0>, <2,0> and so on.
499 //
500 // For horizontal scaling, we fill in the exact same texture;
501 // the shader just interprets it differently.
502 void SingleResamplePassEffect::update_texture(GLuint glsl_program_num, const string &prefix, unsigned *sampler_num)
503 {
504         unsigned src_size, dst_size;
505         if (direction == SingleResamplePassEffect::HORIZONTAL) {
506                 assert(input_height == output_height);
507                 src_size = input_width;
508                 dst_size = output_width;
509         } else if (direction == SingleResamplePassEffect::VERTICAL) {
510                 assert(input_width == output_width);
511                 src_size = input_height;
512                 dst_size = output_height;
513         } else {
514                 assert(false);
515         }
516
517         ScalingWeights weights = calculate_scaling_weights(src_size, dst_size, zoom, offset);
518         src_bilinear_samples = weights.src_bilinear_samples;
519         num_loops = weights.num_loops;
520         slice_height = 1.0f / weights.num_loops;
521
522         // Encode as a two-component texture. Note the GL_REPEAT.
523         glActiveTexture(GL_TEXTURE0 + *sampler_num);
524         check_error();
525         glBindTexture(GL_TEXTURE_2D, texnum);
526         check_error();
527         if (last_texture_width == -1) {
528                 // Need to set this state the first time.
529                 glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
530                 check_error();
531                 glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_REPEAT);
532                 check_error();
533                 glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_REPEAT);
534                 check_error();
535         }
536
537         GLenum type, internal_format;
538         void *pixels;
539         assert((weights.bilinear_weights_fp16 == nullptr) != (weights.bilinear_weights_fp32 == nullptr));
540         if (weights.bilinear_weights_fp32 != nullptr) {
541                 type = GL_FLOAT;
542                 internal_format = GL_RG32F;
543                 pixels = weights.bilinear_weights_fp32.get();
544         } else {
545                 type = GL_HALF_FLOAT;
546                 internal_format = GL_RG16F;
547                 pixels = weights.bilinear_weights_fp16.get();
548         }
549
550         if (int(weights.src_bilinear_samples) == last_texture_width &&
551             int(weights.dst_samples) == last_texture_height &&
552             internal_format == last_texture_internal_format) {
553                 // Texture dimensions and type are unchanged; it is more efficient
554                 // to just update it rather than making an entirely new texture.
555                 glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, weights.src_bilinear_samples, weights.dst_samples, GL_RG, type, pixels);
556         } else {
557                 glTexImage2D(GL_TEXTURE_2D, 0, internal_format, weights.src_bilinear_samples, weights.dst_samples, 0, GL_RG, type, pixels);
558                 last_texture_width = weights.src_bilinear_samples;
559                 last_texture_height = weights.dst_samples;
560                 last_texture_internal_format = internal_format;
561         }
562         check_error();
563 }
564
565 ScalingWeights calculate_scaling_weights(unsigned src_size, unsigned dst_size, float zoom, float offset)
566 {
567         if (!lanczos_table_init_done) {
568                 // Only needed if run from outside ResampleEffect.
569                 init_lanczos_table();
570         }
571
572         // For many resamplings (e.g. 640 -> 1280), we will end up with the same
573         // set of samples over and over again in a loop. Thus, we can compute only
574         // the first such loop, and then ask the card to repeat the texture for us.
575         // This is both easier on the texture cache and lowers our CPU cost for
576         // generating the kernel somewhat.
577         float scaling_factor;
578         int num_loops;
579         if (fabs(zoom - 1.0f) < 1e-6) {
580                 num_loops = gcd(src_size, dst_size);
581                 scaling_factor = float(dst_size) / float(src_size);
582         } else {
583                 // If zooming is enabled (ie., zoom != 1), we turn off the looping.
584                 // We _could_ perhaps do it for rational zoom levels (especially
585                 // things like 2:1), but it doesn't seem to be worth it, given that
586                 // the most common use case would seem to be varying the zoom
587                 // from frame to frame.
588                 num_loops = 1;
589                 scaling_factor = zoom * float(dst_size) / float(src_size);
590         }
591         unsigned dst_samples = dst_size / num_loops;
592
593         // Sample the kernel in the right place. A diagram with a triangular kernel
594         // (corresponding to linear filtering, and obviously with radius 1)
595         // for easier ASCII art drawing:
596         //
597         //                *
598         //               / \                      |
599         //              /   \                     |
600         //             /     \                    |
601         //    x---x---x   x   x---x---x---x
602         //
603         // Scaling up (in this case, 2x) means sampling more densely:
604         //
605         //                *
606         //               / \                      |
607         //              /   \                     |
608         //             /     \                    |
609         //   x-x-x-x-x-x x x x-x-x-x-x-x-x-x
610         //
611         // When scaling up, any destination pixel will only be influenced by a few
612         // (in this case, two) neighboring pixels, and more importantly, the number
613         // will not be influenced by the scaling factor. (Note, however, that the
614         // pixel centers have moved, due to OpenGL's center-pixel convention.)
615         // The only thing that changes is the weights themselves, as the sampling
616         // points are at different distances from the original pixels.
617         //
618         // Scaling down is a different story:
619         //
620         //                *
621         //               / \                      |
622         //              /   \                     |
623         //             /     \                    |
624         //    --x------ x     --x-------x--
625         //
626         // Again, the pixel centers have moved in a maybe unintuitive fashion,
627         // although when you consider that there are multiple source pixels around,
628         // it's not so bad as at first look:
629         //
630         //            *   *   *   *
631         //           / \ / \ / \ / \              |
632         //          /   X   X   X   \             |
633         //         /   / \ / \ / \   \            |
634         //    --x-------x-------x-------x--
635         //
636         // As you can see, the new pixels become averages of the two neighboring old
637         // ones (the situation for Lanczos is of course more complex).
638         //
639         // Anyhow, in this case we clearly need to look at more source pixels
640         // to compute the destination pixel, and how many depend on the scaling factor.
641         // Thus, the kernel width will vary with how much we scale.
642         float radius_scaling_factor = min(scaling_factor, 1.0f);
643         int int_radius = lrintf(LANCZOS_RADIUS / radius_scaling_factor);
644         int src_samples = int_radius * 2 + 1;
645         unique_ptr<Tap<float>[]> weights(new Tap<float>[dst_samples * src_samples]);
646         float subpixel_offset = offset - lrintf(offset);  // The part not covered by whole_pixel_offset.
647         assert(subpixel_offset >= -0.5f && subpixel_offset <= 0.5f);
648         for (unsigned y = 0; y < dst_samples; ++y) {
649                 // Find the point around which we want to sample the source image,
650                 // compensating for differing pixel centers as the scale changes.
651                 float center_src_y = (y + 0.5f) / scaling_factor - 0.5f;
652                 int base_src_y = lrintf(center_src_y);
653
654                 // Now sample <int_radius> pixels on each side around that point.
655                 float inv_src_size = 1.0 / float(src_size);
656                 for (int i = 0; i < src_samples; ++i) {
657                         int src_y = base_src_y + i - int_radius;
658                         float weight = lanczos_weight_cached(radius_scaling_factor * (src_y - center_src_y - subpixel_offset));
659                         weights[y * src_samples + i].weight = weight * radius_scaling_factor;
660                         weights[y * src_samples + i].pos = (src_y + 0.5f) * inv_src_size;
661                 }
662         }
663
664         // Now make use of the bilinear filtering in the GPU to reduce the number of samples
665         // we need to make. Try fp16 first; if it's not accurate enough, we go to fp32.
666         // Our tolerance level for total error is a bit higher than the one for invididual
667         // samples, since one would assume overall errors in the shape don't matter as much.
668         const float max_error = 2.0f / (255.0f * 255.0f);
669         unique_ptr<Tap<fp16_int_t>[]> bilinear_weights_fp16;
670         int src_bilinear_samples = combine_many_samples(weights.get(), src_size, src_samples, dst_samples, &bilinear_weights_fp16);
671         unique_ptr<Tap<float>[]> bilinear_weights_fp32 = nullptr;
672         double max_sum_sq_error_fp16 = 0.0;
673         for (unsigned y = 0; y < dst_samples; ++y) {
674                 double sum_sq_error_fp16 = compute_sum_sq_error(
675                         weights.get() + y * src_samples, src_samples,
676                         bilinear_weights_fp16.get() + y * src_bilinear_samples, src_bilinear_samples,
677                         src_size);
678                 max_sum_sq_error_fp16 = std::max(max_sum_sq_error_fp16, sum_sq_error_fp16);
679                 if (max_sum_sq_error_fp16 > max_error) {
680                         break;
681                 }
682         }
683
684         if (max_sum_sq_error_fp16 > max_error) {
685                 bilinear_weights_fp16.reset();
686                 src_bilinear_samples = combine_many_samples(weights.get(), src_size, src_samples, dst_samples, &bilinear_weights_fp32);
687         }
688
689         ScalingWeights ret;
690         ret.src_bilinear_samples = src_bilinear_samples;
691         ret.dst_samples = dst_samples;
692         ret.num_loops = num_loops;
693         ret.bilinear_weights_fp16 = move(bilinear_weights_fp16);
694         ret.bilinear_weights_fp32 = move(bilinear_weights_fp32);
695         return ret;
696 }
697
698 void SingleResamplePassEffect::set_gl_state(GLuint glsl_program_num, const string &prefix, unsigned *sampler_num)
699 {
700         Effect::set_gl_state(glsl_program_num, prefix, sampler_num);
701
702         assert(input_width > 0);
703         assert(input_height > 0);
704         assert(output_width > 0);
705         assert(output_height > 0);
706
707         if (input_width != last_input_width ||
708             input_height != last_input_height ||
709             output_width != last_output_width ||
710             output_height != last_output_height ||
711             offset != last_offset ||
712             zoom != last_zoom) {
713                 update_texture(glsl_program_num, prefix, sampler_num);
714                 last_input_width = input_width;
715                 last_input_height = input_height;
716                 last_output_width = output_width;
717                 last_output_height = output_height;
718                 last_offset = offset;
719                 last_zoom = zoom;
720         }
721
722         glActiveTexture(GL_TEXTURE0 + *sampler_num);
723         check_error();
724         glBindTexture(GL_TEXTURE_2D, texnum);
725         check_error();
726
727         uniform_sample_tex = *sampler_num;
728         ++*sampler_num;
729         uniform_num_samples = src_bilinear_samples;
730         uniform_num_loops = num_loops;
731         uniform_slice_height = slice_height;
732
733         // Instructions for how to convert integer sample numbers to positions in the weight texture.
734         uniform_sample_x_scale = 1.0f / src_bilinear_samples;
735         uniform_sample_x_offset = 0.5f / src_bilinear_samples;
736
737         if (direction == SingleResamplePassEffect::VERTICAL) {
738                 uniform_whole_pixel_offset = lrintf(offset) / float(input_height);
739         } else {
740                 uniform_whole_pixel_offset = lrintf(offset) / float(input_width);
741         }
742
743         // We specifically do not want mipmaps on the input texture;
744         // they break minification.
745         Node *self = chain->find_node_for_effect(this);
746         if (chain->has_input_sampler(self, 0)) {
747                 glActiveTexture(chain->get_input_sampler(self, 0));
748                 check_error();
749                 glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
750                 check_error();
751         }
752 }
753
754 }  // namespace movit