]> git.sesse.net Git - movit/blobdiff - effect_chain.h
In ResampleEffect, precompute the Lanczos function into a table.
[movit] / effect_chain.h
index d1ab0a205148bd9d8a22e285a448d758a5fd7e00..2e89c3bcc38717473c10f8b05cfffe80a68b9689 100644 (file)
@@ -27,7 +27,9 @@
 #include <set>
 #include <string>
 #include <vector>
+#include <Eigen/Core>
 
+#include "effect.h"
 #include "image_format.h"
 #include "ycbcr.h"
 
@@ -53,6 +55,49 @@ enum OutputAlphaFormat {
        OUTPUT_ALPHA_FORMAT_POSTMULTIPLIED,
 };
 
+// RGBA output is nearly always packed; Y'CbCr, however, is often planar
+// due to chroma subsampling. This enum controls how add_ycbcr_output()
+// distributes the color channels between the fragment shader outputs.
+// Obviously, anything except YCBCR_OUTPUT_INTERLEAVED will be meaningless
+// unless you use render_to_fbo() and have an FBO with multiple render
+// targets attached (the other outputs will be discarded).
+enum YCbCrOutputSplitting {
+       // Only one output: Store Y'CbCr into the first three output channels,
+       // respectively, plus alpha. This is also called “chunked” or
+       // ”packed” mode.
+       YCBCR_OUTPUT_INTERLEAVED,
+
+       // Store Y' and alpha into the first output (in the red and alpha
+       // channels; effect to the others is undefined), and Cb and Cr into
+       // the first two channels of the second output. This is particularly
+       // useful if you want to end up in a format like NV12, where all the
+       // Y' samples come first and then Cb and Cr come interlevaed afterwards.
+       // You will still need to do the chroma subsampling yourself to actually
+       // get down to NV12, though.
+       YCBCR_OUTPUT_SPLIT_Y_AND_CBCR,
+
+       // Store Y' and alpha into the first output, Cb into the first channel
+       // of the second output and Cr into the first channel of the third output.
+       // (Effect on the other channels is undefined.) Essentially gives you
+       // 4:4:4 planar, or ”yuv444p”.
+       YCBCR_OUTPUT_PLANAR,
+};
+
+// Where (0,0) is taken to be in the output. If you want to render to an
+// OpenGL screen, you should keep the default of bottom-left, as that is
+// OpenGL's natural coordinate system. However, there are cases, such as if you
+// render to an FBO and read the pixels back into some other system, where
+// you'd want a top-left origin; if so, an additional flip step will be added
+// at the very end (but done in a vertex shader, so it will have zero extra
+// cost).
+//
+// Note that Movit's coordinate system in general consistently puts (0,0) in
+// the top left for _input_, no matter what you set as output origin.
+enum OutputOrigin {
+       OUTPUT_ORIGIN_BOTTOM_LEFT,
+       OUTPUT_ORIGIN_TOP_LEFT,
+};
+
 // A node in the graph; basically an effect and some associated information.
 class Node {
 public:
@@ -107,6 +152,10 @@ struct Phase {
        // Inputs are only inputs from other phases (ie., those that come from RTT);
        // input textures are counted as part of <effects>.
        std::vector<Phase *> inputs;
+       // Bound sampler numbers for each input. Redundant in a sense
+       // (it always corresponds to the index), but we need somewhere
+       // to hold the value for the uniform.
+       std::vector<int> input_samplers;
        std::vector<Node *> effects;  // In order.
        unsigned output_width, output_height, virtual_output_width, virtual_output_height;
 
@@ -114,6 +163,16 @@ struct Phase {
        // Unique per-phase to increase cacheability of compiled shaders.
        std::map<Node *, std::string> effect_ids;
 
+       // Uniforms for this phase; combined from all the effects.
+       std::vector<Uniform<int> > uniforms_sampler2d;
+       std::vector<Uniform<bool> > uniforms_bool;
+       std::vector<Uniform<int> > uniforms_int;
+       std::vector<Uniform<float> > uniforms_float;
+       std::vector<Uniform<float> > uniforms_vec2;
+       std::vector<Uniform<float> > uniforms_vec3;
+       std::vector<Uniform<float> > uniforms_vec4;
+       std::vector<Uniform<Eigen::Matrix3d> > uniforms_mat3;
+
        // For measurement of GPU time used.
        GLuint timer_query_object;
        uint64_t time_elapsed_ns;
@@ -170,7 +229,8 @@ public:
        // Currently, only chunked packed output is supported, and only 4:4:4
        // (so chroma_subsampling_x and chroma_subsampling_y must both be 1).
        void add_ycbcr_output(const ImageFormat &format, OutputAlphaFormat alpha_format,
-                             const YCbCrFormat &ycbcr_format);
+                             const YCbCrFormat &ycbcr_format,
+                             YCbCrOutputSplitting output_splitting = YCBCR_OUTPUT_INTERLEAVED);
 
        // Set number of output bits, to scale the dither.
        // 8 is the right value for most outputs.
@@ -180,6 +240,14 @@ public:
                this->num_dither_bits = num_bits;
        }
 
+       // Set where (0,0) is taken to be in the output. The default is
+       // OUTPUT_ORIGIN_BOTTOM_LEFT, which is usually what you want
+       // (see OutputOrigin above for more details).
+       void set_output_origin(OutputOrigin output_origin)
+       {
+               this->output_origin = output_origin;
+       }
+
        void finalize();
 
        // Measure the GPU time used for each actual phase during rendering.
@@ -265,9 +333,11 @@ private:
        // Execute one phase, ie. set up all inputs, effects and outputs, and render the quad.
        void execute_phase(Phase *phase, bool last_phase, std::map<Phase *, GLuint> *output_textures, std::set<Phase *> *generated_mipmaps);
 
-       // Set up the given sampler number for sampling from an RTT texture,
-       // and bind it to "tex_" plus the given GLSL variable.
-       void setup_rtt_sampler(GLuint glsl_program_num, int sampler_num, const std::string &effect_id, bool use_mipmaps);
+       // Set up uniforms for one phase. The program must already be bound.
+       void setup_uniforms(Phase *phase);
+
+       // Set up the given sampler number for sampling from an RTT texture.
+       void setup_rtt_sampler(int sampler_num, bool use_mipmaps);
 
        // Output the current graph to the given file in a Graphviz-compatible format;
        // only useful for debugging.
@@ -320,7 +390,8 @@ private:
 
        enum OutputColorType { OUTPUT_COLOR_RGB, OUTPUT_COLOR_YCBCR };
        OutputColorType output_color_type;
-       YCbCrFormat output_ycbcr_format;  // If output_color_type == OUTPUT_COLOR_YCBCR.
+       YCbCrFormat output_ycbcr_format;              // If output_color_type == OUTPUT_COLOR_YCBCR.
+       YCbCrOutputSplitting output_ycbcr_splitting;  // If output_color_type == OUTPUT_COLOR_YCBCR.
 
        std::vector<Node *> nodes;
        std::map<Effect *, Node *> node_map;
@@ -330,6 +401,7 @@ private:
        std::vector<Phase *> phases;
 
        unsigned num_dither_bits;
+       OutputOrigin output_origin;
        bool finalized;
 
        ResourcePool *resource_pool;