]> git.sesse.net Git - movit/blobdiff - effect_chain.h
Add support for Y'CbCr output split between multiple textures.
[movit] / effect_chain.h
index 2f088b607feeec92fd3bb98c69be5cafde2329dd..e07c2e9061b9b01f68d6baf753dacec03cead707 100644 (file)
 #include <set>
 #include <string>
 #include <vector>
+#include <Eigen/Core>
 
+#include "effect.h"
 #include "image_format.h"
+#include "ycbcr.h"
 
 namespace movit {
 
@@ -52,6 +55,34 @@ enum OutputAlphaFormat {
        OUTPUT_ALPHA_FORMAT_POSTMULTIPLIED,
 };
 
+// RGBA output is nearly always packed; Y'CbCr, however, is often planar
+// due to chroma subsampling. This enum controls how add_ycbcr_output()
+// distributes the color channels between the fragment shader outputs.
+// Obviously, anything except YCBCR_OUTPUT_INTERLEAVED will be meaningless
+// unless you use render_to_fbo() and have an FBO with multiple render
+// targets attached (the other outputs will be discarded).
+enum YCbCrOutputSplitting {
+       // Only one output: Store Y'CbCr into the first three output channels,
+       // respectively, plus alpha. This is also called “chunked” or
+       // ”packed” mode.
+       YCBCR_OUTPUT_INTERLEAVED,
+
+       // Store Y' and alpha into the first output (in the red and alpha
+       // channels; effect to the others is undefined), and Cb and Cr into
+       // the first two channels of the second output. This is particularly
+       // useful if you want to end up in a format like NV12, where all the
+       // Y' samples come first and then Cb and Cr come interlevaed afterwards.
+       // You will still need to do the chroma subsampling yourself to actually
+       // get down to NV12, though.
+       YCBCR_OUTPUT_SPLIT_Y_AND_CBCR,
+
+       // Store Y' and alpha into the first output, Cb into the first channel
+       // of the second output and Cr into the first channel of the third output.
+       // (Effect on the other channels is undefined.) Essentially gives you
+       // 4:4:4 planar, or ”yuv444p”.
+       YCBCR_OUTPUT_PLANAR,
+};
+
 // A node in the graph; basically an effect and some associated information.
 class Node {
 public:
@@ -106,6 +137,10 @@ struct Phase {
        // Inputs are only inputs from other phases (ie., those that come from RTT);
        // input textures are counted as part of <effects>.
        std::vector<Phase *> inputs;
+       // Bound sampler numbers for each input. Redundant in a sense
+       // (it always corresponds to the index), but we need somewhere
+       // to hold the value for the uniform.
+       std::vector<int> input_samplers;
        std::vector<Node *> effects;  // In order.
        unsigned output_width, output_height, virtual_output_width, virtual_output_height;
 
@@ -113,6 +148,16 @@ struct Phase {
        // Unique per-phase to increase cacheability of compiled shaders.
        std::map<Node *, std::string> effect_ids;
 
+       // Uniforms for this phase; combined from all the effects.
+       std::vector<Uniform<int> > uniforms_sampler2d;
+       std::vector<Uniform<bool> > uniforms_bool;
+       std::vector<Uniform<int> > uniforms_int;
+       std::vector<Uniform<float> > uniforms_float;
+       std::vector<Uniform<float> > uniforms_vec2;
+       std::vector<Uniform<float> > uniforms_vec3;
+       std::vector<Uniform<float> > uniforms_vec4;
+       std::vector<Uniform<Eigen::Matrix3d> > uniforms_mat3;
+
        // For measurement of GPU time used.
        GLuint timer_query_object;
        uint64_t time_elapsed_ns;
@@ -162,8 +207,16 @@ public:
        }
        Effect *add_effect(Effect *effect, const std::vector<Effect *> &inputs);
 
+       // Adds an RGB output. Note that you can only have one output.
        void add_output(const ImageFormat &format, OutputAlphaFormat alpha_format);
 
+       // Adds an YCbCr output. Note that you can only have one output.
+       // Currently, only chunked packed output is supported, and only 4:4:4
+       // (so chroma_subsampling_x and chroma_subsampling_y must both be 1).
+       void add_ycbcr_output(const ImageFormat &format, OutputAlphaFormat alpha_format,
+                             const YCbCrFormat &ycbcr_format,
+                             YCbCrOutputSplitting output_splitting = YCBCR_OUTPUT_INTERLEAVED);
+
        // Set number of output bits, to scale the dither.
        // 8 is the right value for most outputs.
        // The default, 0, is a special value that means no dither.
@@ -257,9 +310,11 @@ private:
        // Execute one phase, ie. set up all inputs, effects and outputs, and render the quad.
        void execute_phase(Phase *phase, bool last_phase, std::map<Phase *, GLuint> *output_textures, std::set<Phase *> *generated_mipmaps);
 
-       // Set up the given sampler number for sampling from an RTT texture,
-       // and bind it to "tex_" plus the given GLSL variable.
-       void setup_rtt_sampler(GLuint glsl_program_num, int sampler_num, const std::string &effect_id, bool use_mipmaps);
+       // Set up uniforms for one phase. The program must already be bound.
+       void setup_uniforms(Phase *phase);
+
+       // Set up the given sampler number for sampling from an RTT texture.
+       void setup_rtt_sampler(int sampler_num, bool use_mipmaps);
 
        // Output the current graph to the given file in a Graphviz-compatible format;
        // only useful for debugging.
@@ -303,12 +358,18 @@ private:
        void fix_internal_gamma_by_asking_inputs(unsigned step);
        void fix_internal_gamma_by_inserting_nodes(unsigned step);
        void fix_output_gamma();
+       void add_ycbcr_conversion_if_needed();
        void add_dither_if_needed();
 
        float aspect_nom, aspect_denom;
        ImageFormat output_format;
        OutputAlphaFormat output_alpha_format;
 
+       enum OutputColorType { OUTPUT_COLOR_RGB, OUTPUT_COLOR_YCBCR };
+       OutputColorType output_color_type;
+       YCbCrFormat output_ycbcr_format;              // If output_color_type == OUTPUT_COLOR_YCBCR.
+       YCbCrOutputSplitting output_ycbcr_splitting;  // If output_color_type == OUTPUT_COLOR_YCBCR.
+
        std::vector<Node *> nodes;
        std::map<Effect *, Node *> node_map;
        Effect *dither_effect;