]> git.sesse.net Git - movit/blobdiff - effect_chain.h
Remove some unneeded conversions from ResampleEffect. Speeds up texture generation...
[movit] / effect_chain.h
index 9fb1d4ea6642a48ec38216a0c5a5b607b3f48015..6a6539955c4adf43bb4938cde62c70e39c9b19b0 100644 (file)
@@ -23,6 +23,7 @@
 
 #include <epoxy/gl.h>
 #include <stdio.h>
+#include <list>
 #include <map>
 #include <set>
 #include <string>
@@ -98,6 +99,19 @@ enum OutputOrigin {
        OUTPUT_ORIGIN_TOP_LEFT,
 };
 
+// Transformation to apply (if any) to pixel data in temporary buffers.
+// See set_intermediate_format() below for more information.
+enum FramebufferTransformation {
+       // The default; just store the value. This is what you usually want.
+       NO_FRAMEBUFFER_TRANSFORMATION,
+
+       // If the values are in linear light, store sqrt(x) to the framebuffer
+       // instead of x itself, of course undoing it with x² on read. Useful as
+       // a rough approximation to the sRGB curve. (If the values are not in
+       // linear light, just store them as-is.)
+       SQUARE_ROOT_FRAMEBUFFER_TRANSFORMATION,
+};
+
 // A node in the graph; basically an effect and some associated information.
 class Node {
 public:
@@ -147,6 +161,11 @@ struct Phase {
        Node *output_node;
 
        GLuint glsl_program_num;  // Owned by the resource_pool.
+
+       // Position and texcoord attribute indexes, although it doesn't matter
+       // which is which, because they contain the same data.
+       std::set<GLint> attribute_indexes;
+
        bool input_needs_mipmaps;
 
        // Inputs are only inputs from other phases (ie., those that come from RTT);
@@ -174,7 +193,8 @@ struct Phase {
        std::vector<Uniform<Eigen::Matrix3d> > uniforms_mat3;
 
        // For measurement of GPU time used.
-       GLuint timer_query_object;
+       std::list<GLuint> timer_query_objects_running;
+       std::list<GLuint> timer_query_objects_free;
        uint64_t time_elapsed_ns;
        uint64_t num_measured_iterations;
 };
@@ -220,25 +240,65 @@ public:
                inputs.push_back(input3);
                return add_effect(effect, inputs);
        }
+       Effect *add_effect(Effect *effect, Effect *input1, Effect *input2, Effect *input3, Effect *input4) {
+               std::vector<Effect *> inputs;
+               inputs.push_back(input1);
+               inputs.push_back(input2);
+               inputs.push_back(input3);
+               inputs.push_back(input4);
+               return add_effect(effect, inputs);
+       }
+       Effect *add_effect(Effect *effect, Effect *input1, Effect *input2, Effect *input3, Effect *input4, Effect *input5) {
+               std::vector<Effect *> inputs;
+               inputs.push_back(input1);
+               inputs.push_back(input2);
+               inputs.push_back(input3);
+               inputs.push_back(input4);
+               inputs.push_back(input5);
+               return add_effect(effect, inputs);
+       }
        Effect *add_effect(Effect *effect, const std::vector<Effect *> &inputs);
 
-       // Adds an RGBA output. Note that you can have at most one RGBA output and one
-       // Y'CbCr output (see below for details).
+       // Adds an RGBA output. Note that you can have at most one RGBA output and two
+       // Y'CbCr outputs (see below for details).
        void add_output(const ImageFormat &format, OutputAlphaFormat alpha_format);
 
-       // Adds an YCbCr output. Note that you can only have one output.
-       // Currently, only chunked packed output is supported, and only 4:4:4
-       // (so chroma_subsampling_x and chroma_subsampling_y must both be 1).
+       // Adds an YCbCr output. Note that you can only have at most two Y'CbCr
+       // outputs, and they must have the same <ycbcr_format> and <type>.
+       // (This limitation may be lifted in the future, to allow e.g. simultaneous
+       // 8- and 10-bit output. Currently, multiple Y'CbCr outputs are only
+       // useful in some very limited circumstances, like if one texture goes
+       // to some place you cannot easily read from later.)
+       //
+       // Only 4:4:4 output is supported due to fragment shader limitations,
+       // so chroma_subsampling_x and chroma_subsampling_y must both be 1.
+       // <type> should match the data type of the FBO you are rendering to,
+       // so that if you use 16-bit output (GL_UNSIGNED_SHORT), you will get
+       // 8-, 10- or 12-bit output correctly as determined by <ycbcr_format.num_levels>.
+       // Using e.g. ycbcr_format.num_levels == 1024 with GL_UNSIGNED_BYTE is
+       // nonsensical and invokes undefined behavior.
        //
-       // If you have both RGBA and Y'CbCr output, the RGBA output will come
+       // If you have both RGBA and Y'CbCr output(s), the RGBA output will come
        // in the last draw buffer. Also, <format> and <alpha_format> must be
        // identical between the two.
        void add_ycbcr_output(const ImageFormat &format, OutputAlphaFormat alpha_format,
                              const YCbCrFormat &ycbcr_format,
-                             YCbCrOutputSplitting output_splitting = YCBCR_OUTPUT_INTERLEAVED);
+                             YCbCrOutputSplitting output_splitting = YCBCR_OUTPUT_INTERLEAVED,
+                             GLenum output_type = GL_UNSIGNED_BYTE);
+
+       // Change Y'CbCr output format. (This can be done also after finalize()).
+       // Note that you are not allowed to change subsampling parameters;
+       // however, you can change the color space parameters, ie.,
+       // luma_coefficients, full_range and num_levels.
+       void change_ycbcr_output_format(const YCbCrFormat &ycbcr_format);
 
        // Set number of output bits, to scale the dither.
        // 8 is the right value for most outputs.
+       //
+       // Special note for 10- and 12-bit Y'CbCr packed into GL_UNSIGNED_SHORT:
+       // This is relative to the actual output, not the logical one, so you should
+       // specify 16 here, not 10 or 12.
+       //
        // The default, 0, is a special value that means no dither.
        void set_dither_bits(unsigned num_bits)
        {
@@ -253,6 +313,46 @@ public:
                this->output_origin = output_origin;
        }
 
+       // Set intermediate format for framebuffers used when we need to bounce
+       // to a temporary texture. The default, GL_RGBA16F, is good for most uses;
+       // it is precise, has good range, and is relatively efficient. However,
+       // if you need even more speed and your chain can do with some loss of
+       // accuracy, you can change the format here (before calling finalize).
+       // Calculations between bounce buffers are still in 32-bit floating-point
+       // no matter what you specify.
+       //
+       // Of special interest is GL_SRGB8_ALPHA8, which stores sRGB-encoded RGB
+       // and linear alpha; this is half the memory bandwidth of GL_RGBA16F,
+       // while retaining reasonable precision for typical image data. It will,
+       // however, cause some gamut clipping if your colorspace is far from sRGB,
+       // as it cannot represent values outside [0,1]. NOTE: If you construct
+       // a chain where you end up bouncing pixels in non-linear light
+       // (gamma different from GAMMA_LINEAR), this will be the wrong thing.
+       // However, it's hard to see how this could happen in a non-contrived
+       // chain; few effects ever need texture bounce or resizing without also
+       // combining multiple pixels, which really needs linear light and thus
+       // triggers a conversion before the bounce.
+       //
+       // If you don't need alpha (or can do with very little of it), GL_RGB10_A2
+       // is even better, as it has two more bits for each color component. There
+       // is no GL_SRGB10, unfortunately, so on its own, it is somewhat worse than
+       // GL_SRGB8, but you can set <transformation> to SQUARE_ROOT_FRAMEBUFFER_TRANSFORMATION,
+       // and sqrt(x) will be stored instead of x. This is a rough approximation to
+       // the sRGB curve, and reduces maximum error (in sRGB distance) by almost an
+       // order of magnitude, well below what you can get from 8-bit true sRGB.
+       // (Note that this strategy avoids the problem with bounced non-linear data
+       // above, since the square root is turned off in that case.) However, texture
+       // filtering will happen on the transformed values, so if you have heavy
+       // downscaling or the likes (e.g. mipmaps), you could get subtly bad results.
+       // You'll need to see which of the two that works the best for you in practice.
+       void set_intermediate_format(
+               GLenum intermediate_format,
+               FramebufferTransformation transformation = NO_FRAMEBUFFER_TRANSFORMATION)
+       {
+               this->intermediate_format = intermediate_format;
+               this->intermediate_transformation = transformation;
+       }
+
        void finalize();
 
        // Measure the GPU time used for each actual phase during rendering.
@@ -264,7 +364,6 @@ public:
        void reset_phase_timing();
        void print_phase_timing();
 
-       //void render(unsigned char *src, unsigned char *dst);
        void render_to_screen()
        {
                render_to_fbo(0, 0, 0);
@@ -303,6 +402,13 @@ public:
        // single-sampler input, or from an RTT texture.
        GLenum get_input_sampler(Node *node, unsigned input_num) const;
 
+       // Whether input <input_num> of <node> corresponds to a single sampler
+       // (see get_input_sampler()). Normally, you should not need to call this;
+       // however, if the input Effect has set override_texture_bounce(),
+       // this will return false, and you could be flexible and check it first
+       // if you want.
+       GLenum has_input_sampler(Node *node, unsigned input_num) const;
+
        // Get the current resource pool assigned to this EffectChain.
        // Primarily to let effects allocate textures as needed.
        // Any resources you get from the pool must be returned to the pool
@@ -336,7 +442,10 @@ private:
        Phase *construct_phase(Node *output, std::map<Node *, Phase *> *completed_effects);
 
        // Execute one phase, ie. set up all inputs, effects and outputs, and render the quad.
-       void execute_phase(Phase *phase, bool last_phase, std::map<Phase *, GLuint> *output_textures, std::set<Phase *> *generated_mipmaps);
+       void execute_phase(Phase *phase, bool last_phase,
+                          std::set<GLint> *bound__attribute_indices,
+                          std::map<Phase *, GLuint> *output_textures,
+                          std::set<Phase *> *generated_mipmaps);
 
        // Set up uniforms for one phase. The program must already be bound.
        void setup_uniforms(Phase *phase);
@@ -393,20 +502,26 @@ private:
        ImageFormat output_format;
        OutputAlphaFormat output_alpha_format;
 
-       bool output_color_rgba, output_color_ycbcr;
-       YCbCrFormat output_ycbcr_format;              // If output_color_ycbcr is true.
-       YCbCrOutputSplitting output_ycbcr_splitting;  // If output_color_ycbcr is true.
+       bool output_color_rgba;
+       int num_output_color_ycbcr;                      // Max 2.
+       YCbCrFormat output_ycbcr_format;                 // If num_output_color_ycbcr is > 0.
+       GLenum output_ycbcr_type;                        // If num_output_color_ycbcr is > 0.
+       YCbCrOutputSplitting output_ycbcr_splitting[2];  // If num_output_color_ycbcr is > N.
 
        std::vector<Node *> nodes;
        std::map<Effect *, Node *> node_map;
        Effect *dither_effect;
+       Node *ycbcr_conversion_effect_node;
 
        std::vector<Input *> inputs;  // Also contained in nodes.
        std::vector<Phase *> phases;
 
+       GLenum intermediate_format;
+       FramebufferTransformation intermediate_transformation;
        unsigned num_dither_bits;
        OutputOrigin output_origin;
        bool finalized;
+       GLuint vbo;  // Contains vertex and texture coordinate data.
 
        ResourcePool *resource_pool;
        bool owns_resource_pool;