git.sesse.net Git - movit/blob - resample_effect.h

   1 #ifndef _MOVIT_RESAMPLE_EFFECT_H
   2 #define _MOVIT_RESAMPLE_EFFECT_H 1
   3
   4 // High-quality image resizing, either up or down.
   5 //
   6 // The default scaling offered by the GPU (and as used in ResizeEffect)
   7 // is bilinear (optionally mipmapped), which is not the highest-quality
   8 // choice, especially for upscaling. ResampleEffect offers the three-lobed
   9 // Lanczos kernel, which is among the most popular choices in image
  10 // processing. While it does have its weaknesses, in particular a certain
  11 // ringing/sharpening effect with artifacts that accumulate over several
  12 // consecutive resizings, it is generally regarded as the best tradeoff.
  13 //
  14 // Works in two passes; first horizontal, then vertical (ResampleEffect,
  15 // which is what the user is intended to use, instantiates two copies of
  16 // SingleResamplePassEffect behind the scenes).
  17
  18 #include <epoxy/gl.h>
  19 #include <assert.h>
  20 #include <stddef.h>
  21 #include <memory>
  22 #include <string>
  23
  24 #include "effect.h"
  25 #include "fp16.h"
  26
  27 namespace movit {
  28
  29 class EffectChain;
  30 class Node;
  31 class SingleResamplePassEffect;
  32
  33 // Public so that it can be benchmarked externally.
  34 template<class T>
  35 struct Tap {
  36         T weight;
  37         T pos;
  38 };
  39 struct ScalingWeights {
  40         unsigned src_bilinear_samples;
  41         unsigned dst_samples, num_loops;
  42
  43         // Exactly one of these is set.
  44         std::unique_ptr<Tap<fp16_int_t>[]> bilinear_weights_fp16;
  45         std::unique_ptr<Tap<float>[]> bilinear_weights_fp32;
  46 };
  47 ScalingWeights calculate_scaling_weights(unsigned src_size, unsigned dst_size, float zoom, float offset);
  48
  49 // A simple manager for support data stored in a 2D texture.
  50 // Consider moving it to a shared location of more classes
  51 // should need similar functionality.
  52 class Support2DTexture {
  53 public:
  54         Support2DTexture();
  55         ~Support2DTexture();
  56
  57         void update(GLint width, GLint height, GLenum internal_format, GLenum format, GLenum type, const GLvoid * data);
  58         GLint get_texnum() const { return texnum; }
  59
  60 private:
  61         GLuint texnum = 0;
  62         GLint last_texture_width = -1, last_texture_height = -1;
  63         GLenum last_texture_internal_format = GL_INVALID_ENUM;
  64 };
  65
  66 class ResampleEffect : public Effect {
  67 public:
  68         ResampleEffect();
  69         ~ResampleEffect();
  70
  71         std::string effect_type_id() const override { return "ResampleEffect"; }
  72
  73         // We want this for the same reason as ResizeEffect; we could end up scaling
  74         // down quite a lot.
  75         bool needs_texture_bounce() const override { return true; }
  76         bool needs_srgb_primaries() const override { return false; }
  77
  78         void inform_input_size(unsigned input_num, unsigned width, unsigned height) override;
  79
  80         std::string output_fragment_shader() override {
  81                 assert(false);
  82         }
  83         void set_gl_state(GLuint glsl_program_num, const std::string &prefix, unsigned *sampler_num) override {
  84                 assert(false);
  85         }
  86
  87         void rewrite_graph(EffectChain *graph, Node *self) override;
  88         bool set_float(const std::string &key, float value) override;
  89
  90 private:
  91         void update_size();
  92         void update_offset_and_zoom();
  93
  94         // Both of these are owned by us if owns_effects is true (before finalize()),
  95         // and otherwise owned by the EffectChain.
  96         std::unique_ptr<SingleResamplePassEffect> hpass_owner, vpass_owner;
  97         SingleResamplePassEffect *hpass = nullptr, *vpass = nullptr;
  98         int input_width, input_height, output_width, output_height;
  99
 100         float offset_x, offset_y;
 101         float zoom_x, zoom_y;
 102         float zoom_center_x, zoom_center_y;
 103 };
 104
 105 class SingleResamplePassEffect : public Effect {
 106 public:
 107         // If parent is non-nullptr, calls to inform_input_size will be forwarded,
 108         // so that it can inform both passes about the right input and output
 109         // resolutions.
 110         SingleResamplePassEffect(ResampleEffect *parent);
 111         ~SingleResamplePassEffect();
 112         std::string effect_type_id() const override { return "SingleResamplePassEffect"; }
 113
 114         std::string output_fragment_shader() override;
 115
 116         bool needs_texture_bounce() const override { return true; }
 117         bool needs_srgb_primaries() const override { return false; }
 118         AlphaHandling alpha_handling() const override { return INPUT_PREMULTIPLIED_ALPHA_KEEP_BLANK; }
 119
 120         void inform_added(EffectChain *chain) override { this->chain = chain; }
 121         void inform_input_size(unsigned input_num, unsigned width, unsigned height) override {
 122                 if (parent != nullptr) {
 123                         parent->inform_input_size(input_num, width, height);
 124                 }
 125         }
 126         bool changes_output_size() const override { return true; }
 127         bool sets_virtual_output_size() const override { return false; }
 128
 129         void get_output_size(unsigned *width, unsigned *height, unsigned *virtual_width, unsigned *virtual_height) const override {
 130                 *virtual_width = *width = this->output_width;
 131                 *virtual_height = *height = this->output_height;
 132         }
 133
 134         void set_gl_state(GLuint glsl_program_num, const std::string &prefix, unsigned *sampler_num) override;
 135
 136         enum Direction { HORIZONTAL = 0, VERTICAL = 1 };
 137
 138 private:
 139         void update_texture(GLuint glsl_program_num, const std::string &prefix, unsigned *sampler_num);
 140
 141         ResampleEffect *parent;
 142         EffectChain *chain;
 143         Direction direction;
 144         GLint uniform_sample_tex;
 145         float uniform_num_loops, uniform_slice_height, uniform_sample_x_scale, uniform_sample_x_offset;
 146         float uniform_whole_pixel_offset;
 147         int uniform_num_samples;
 148
 149         int input_width, input_height, output_width, output_height;
 150         float offset, zoom;
 151         int last_input_width, last_input_height, last_output_width, last_output_height;
 152         float last_offset, last_zoom;
 153         int src_bilinear_samples, num_loops;
 154         float slice_height;
 155         Support2DTexture tex;
 156 };
 157
 158 }  // namespace movit
 159
 160 #endif // !defined(_MOVIT_RESAMPLE_EFFECT_H)