Split out some private utilities into effect_util.cpp, so we do not need to include...
[movit] / effect.h
1 #ifndef _EFFECT_H
2 #define _EFFECT_H 1
3
4 // Effect is the base class for every effect. It basically represents a single
5 // GLSL function, with an optional set of user-settable parameters.
6 //
7 // A note on naming: Since all effects run in the same GLSL namespace,
8 // you can't use any name you want for global variables (e.g. uniforms).
9 // The framework assigns a prefix to you which will be unique for each
10 // effect instance; use the macro PREFIX() around your identifiers to
11 // automatically prepend that prefix.
12
13 #include <GL/glew.h>
14 #include <assert.h>
15 #include <stddef.h>
16 #include <map>
17 #include <string>
18
19 #include "util.h"
20
21 class EffectChain;
22 class Node;
23
24 // Can alias on a float[2].
25 struct Point2D {
26         Point2D(float x, float y)
27                 : x(x), y(y) {}
28
29         float x, y;
30 };
31
32 // Can alias on a float[3].
33 struct RGBTriplet {
34         RGBTriplet(float r, float g, float b)
35                 : r(r), g(g), b(b) {}
36
37         float r, g, b;
38 };
39
40 // Can alias on a float[4].
41 struct RGBATriplet {
42         RGBATriplet(float r, float g, float b, float a)
43                 : r(r), g(g), b(b), a(a) {}
44
45         float r, g, b, a;
46 };
47
48 class Effect {
49 public:
50         virtual ~Effect() {}
51
52         // An identifier for this type of effect, mostly used for debug output
53         // (but some special names, like "ColorspaceConversionEffect", holds special
54         // meaning). Same as the class name is fine.
55         virtual std::string effect_type_id() const = 0;
56
57         // Whether this effects expects its input (and output) to be in
58         // linear gamma, ie. without an applied gamma curve. Most effects
59         // will want this, although the ones that never actually look at
60         // the pixels, e.g. mirror, won't need to care, and can set this
61         // to false. If so, the input gamma will be undefined.
62         //
63         // Also see the note on needs_texture_bounce(), below.
64         virtual bool needs_linear_light() const { return true; }
65
66         // Whether this effect expects its input to be in the sRGB
67         // color space, ie. use the sRGB/Rec. 709 RGB primaries.
68         // (If not, it would typically come in as some slightly different
69         // set of RGB primaries; you would currently not get YCbCr
70         // or something similar).
71         //
72         // Again, most effects will want this, but you can set it to false
73         // if you process each channel independently, equally _and_
74         // in a linear fashion.
75         virtual bool needs_srgb_primaries() const { return true; }
76
77         // How this effect handles alpha, ie. what it outputs in its
78         // alpha channel. The choices are basically blank (alpha is always 1.0),
79         // premultiplied and postmultiplied.
80         //
81         // Premultiplied alpha is when the alpha value has been be multiplied
82         // into the three color components, so e.g. 100% red at 50% alpha
83         // would be (0.5, 0.0, 0.0, 0.5) instead of (1.0, 0.0, 0.0, 0.5)
84         // as it is stored in most image formats (postmultiplied alpha).
85         // The multiplication is taken to have happened in linear light.
86         // This is the most natural format for processing, and the default in
87         // most of Movit (just like linear light is).
88         //
89         // If you set INPUT_AND_OUTPUT_PREMULTIPLIED_ALPHA or
90         // INPUT_PREMULTIPLIED_ALPHA_KEEP_BLANK, all of your inputs
91         // (if any) are guaranteed to also be in premultiplied alpha.
92         // Otherwise, you can get postmultiplied or premultiplied alpha;
93         // you won't know. If you have multiple inputs, you will get the same
94         // (pre- or postmultiplied) for all inputs, although most likely,
95         // you will want to combine them in a premultiplied fashion anyway
96         // in that case.
97         enum AlphaHandling {
98                 // Always outputs blank alpha (ie. alpha=1.0). Only appropriate
99                 // for inputs that do not output an alpha channel.
100                 // Blank alpha is special in that it can be treated as both
101                 // pre- and postmultiplied.
102                 OUTPUT_BLANK_ALPHA,
103
104                 // Always outputs postmultiplied alpha. Only appropriate for inputs.
105                 OUTPUT_POSTMULTIPLIED_ALPHA,
106
107                 // Always outputs premultiplied alpha. As noted above,
108                 // you will then also get all inputs in premultiplied alpha.
109                 // If you set this, you should also set needs_linear_light().
110                 INPUT_AND_OUTPUT_PREMULTIPLIED_ALPHA,
111
112                 // Like INPUT_AND_OUTPUT_PREMULTIPLIED_ALPHA, but also guarantees
113                 // that if you get blank alpha in, you also keep blank alpha out.
114                 // This is a somewhat weaker guarantee than DONT_CARE_ALPHA_TYPE,
115                 // but is still useful in many situations, and appropriate when
116                 // e.g. you don't touch alpha at all.
117                 //
118                 // Does not make sense for inputs.
119                 INPUT_PREMULTIPLIED_ALPHA_KEEP_BLANK,
120
121                 // Keeps the type of alpha (premultiplied, postmultiplied, blank)
122                 // unchanged from input to output. Usually appropriate if you
123                 // process all color channels in a linear fashion, do not change
124                 // alpha, and do not produce any new pixels thare have alpha != 1.0.
125                 //
126                 // Does not make sense for inputs.
127                 DONT_CARE_ALPHA_TYPE,
128         };
129         virtual AlphaHandling alpha_handling() const { return INPUT_AND_OUTPUT_PREMULTIPLIED_ALPHA; }
130
131         // Whether this effect expects its input to come directly from
132         // a texture. If this is true, the framework will not chain the
133         // input from other effects, but will store the results of the
134         // chain to a temporary (RGBA fp16) texture and let this effect
135         // sample directly from that.
136         //
137         // There are two good reasons why you might want to set this:
138         //
139         //  1. You are sampling more than once from the input,
140         //     in which case computing all the previous steps might
141         //     be more expensive than going to a memory intermediate.
142         //  2. You rely on previous effects, possibly including gamma
143         //     expansion, to happen pre-filtering instead of post-filtering.
144         //     (This is only relevant if you actually need the filtering; if
145         //     you sample 1:1 between pixels and texels, it makes no difference.)
146         //
147         // Note that in some cases, you might get post-filtered gamma expansion
148         // even when setting this option. More specifically, if you are the
149         // first effect in the chain, and the GPU is doing sRGB gamma
150         // expansion, it is undefined (from OpenGL's side) whether expansion
151         // happens pre- or post-filtering. For most uses, however,
152         // either will be fine.
153         virtual bool needs_texture_bounce() const { return false; }
154
155         // Whether this effect expects mipmaps or not. If you set this to
156         // true, you will be sampling with bilinear filtering; if not,
157         // you could be sampling with simple linear filtering and no mipmaps
158         // (although there is no guarantee; if a different effect in the chain
159         // needs mipmaps, you will also get them).
160         virtual bool needs_mipmaps() const { return false; }
161
162         // Whether this effect wants to output to a different size than
163         // its input(s) (see inform_input_size(), below). If you set this to
164         // true, the output will be bounced to a texture (similarly to if the
165         // next effect set needs_texture_bounce()).
166         virtual bool changes_output_size() const { return false; }
167
168         // If changes_output_size() is true, you must implement this to tell
169         // the framework what output size you want. Also, you can set a
170         // virtual width/height, which is the size the next effect (if any)
171         // will _think_ your data is in. This is primarily useful if you are
172         // relying on getting OpenGL's bilinear resizing for free; otherwise,
173         // your virtual_width/virtual_height should be the same as width/height.
174         //
175         // Note that it is explicitly allowed to change width and height
176         // from frame to frame; EffectChain will reallocate textures as needed.
177         virtual void get_output_size(unsigned *width, unsigned *height,
178                                      unsigned *virtual_width, unsigned *virtual_height) const {
179                 assert(false);
180         }
181
182         // Tells the effect the resolution of each of its input.
183         // This will be called every frame, and always before get_output_size(),
184         // so you can change your output size based on the input if so desired.
185         //
186         // Note that in some cases, an input might not have a single well-defined
187         // resolution (for instance if you fade between two inputs with
188         // different resolutions). In this case, you will get width=0 and height=0
189         // for that input. If you cannot handle that, you will need to set
190         // needs_texture_bounce() to true, which will force a render to a single
191         // given resolution before you get the input.
192         virtual void inform_input_size(unsigned input_num, unsigned width, unsigned height) {}
193
194         // How many inputs this effect will take (a fixed number).
195         // If you have only one input, it will be called INPUT() in GLSL;
196         // if you have several, they will be INPUT1(), INPUT2(), and so on.
197         virtual unsigned num_inputs() const { return 1; }
198
199         // Let the effect rewrite the effect chain as it sees fit.
200         // Most effects won't need to do this, but this is very useful
201         // if you have an effect that consists of multiple sub-effects
202         // (for instance, two passes). The effect is given to its own
203         // pointer, and it can add new ones (by using add_node()
204         // and connect_node()) as it sees fit. This is called at
205         // EffectChain::finalize() time, when the entire graph is known,
206         // in the order that the effects were originally added.
207         //
208         // Note that if the effect wants to take itself entirely out
209         // of the chain, it must set “disabled” to true and then disconnect
210         // itself from all other effects.
211         virtual void rewrite_graph(EffectChain *graph, Node *self) {}
212
213         // Outputs one GLSL uniform declaration for each registered parameter
214         // (see below), with the right prefix prepended to each uniform name.
215         // If you do not want this behavior, you can override this function.
216         virtual std::string output_convenience_uniforms() const;
217
218         // Returns the GLSL fragment shader string for this effect.
219         virtual std::string output_fragment_shader() = 0;
220
221         // Set all OpenGL state that this effect needs before rendering.
222         // The default implementation sets one uniform per registered parameter,
223         // but no other state.
224         //
225         // <sampler_num> is the first free texture sampler. If you want to use
226         // textures, you can bind a texture to GL_TEXTURE0 + <sampler_num>,
227         // and then increment the number (so that the next effect in the chain
228         // will use a different sampler).
229         virtual void set_gl_state(GLuint glsl_program_num, const std::string& prefix, unsigned *sampler_num);
230
231         // If you set any special OpenGL state in set_gl_state(), you can clear it
232         // after rendering here. The default implementation does nothing.
233         virtual void clear_gl_state();
234
235         // Set a parameter; intended to be called from user code.
236         // Neither of these take ownership of the pointer.
237         virtual bool set_int(const std::string&, int value) MUST_CHECK_RESULT;
238         virtual bool set_float(const std::string &key, float value) MUST_CHECK_RESULT;
239         virtual bool set_vec2(const std::string &key, const float *values) MUST_CHECK_RESULT;
240         virtual bool set_vec3(const std::string &key, const float *values) MUST_CHECK_RESULT;
241         virtual bool set_vec4(const std::string &key, const float *values) MUST_CHECK_RESULT;
242
243 protected:
244         // Register a parameter. Whenever set_*() is called with the same key,
245         // it will update the value in the given pointer (typically a pointer
246         // to some private member variable in your effect).
247         //
248         // Neither of these take ownership of the pointer.
249
250         // int is special since GLSL pre-1.30 doesn't have integer uniforms.
251         // Thus, ints that you register will _not_ be converted to GLSL uniforms.
252         void register_int(const std::string &key, int *value);
253
254         // These correspond directly to float/vec2/vec3/vec4 in GLSL.
255         void register_float(const std::string &key, float *value);
256         void register_vec2(const std::string &key, float *values);
257         void register_vec3(const std::string &key, float *values);
258         void register_vec4(const std::string &key, float *values);
259
260         // This will register a 1D texture, which will be bound to a sampler
261         // when your GLSL code runs (so it corresponds 1:1 to a sampler2D uniform
262         // in GLSL).
263         //
264         // Note that if you change the contents of <values>, you will need to
265         // call invalidate_1d_texture() to have the picture re-uploaded on the
266         // next frame. This is in contrast to all the other parameters, which are
267         // set anew every frame.
268         void register_1d_texture(const std::string &key, float *values, size_t size);
269         void invalidate_1d_texture(const std::string &key);
270         
271 private:
272         struct Texture1D {
273                 float *values;
274                 size_t size;
275                 bool needs_update;
276                 GLuint texture_num;
277         };
278
279         std::map<std::string, int *> params_int;
280         std::map<std::string, float *> params_float;
281         std::map<std::string, float *> params_vec2;
282         std::map<std::string, float *> params_vec3;
283         std::map<std::string, float *> params_vec4;
284         std::map<std::string, Texture1D> params_tex_1d;
285 };
286
287 #endif // !defined(_EFFECT_H)