git.sesse.net Git - mlt/blob - src/modules/opengl/transition_movit_mix.cpp

   1 /*
   2  * transition_movit_mix.cpp
   3  * Copyright (C) 2013 Dan Dennedy <dan@dennedy.org>
   4  *
   5  * This program is free software; you can redistribute it and/or modify
   6  * it under the terms of the GNU General Public License as published by
   7  * the Free Software Foundation; either version 2 of the License, or
   8  * (at your option) any later version.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  * GNU General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License
  16  * along with this program; if not, write to the Free Software Foundation,
  17  * Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
  18  */
  19
  20
  21 #include <framework/mlt.h>
  22 #include <string.h>
  23 #include <assert.h>
  24
  25 #include "glsl_manager.h"
  26 #include <movit/init.h>
  27 #include <movit/effect_chain.h>
  28 #include <movit/util.h>
  29 #include <movit/mix_effect.h>
  30 #include "mlt_movit_input.h"
  31 #include "mlt_flip_effect.h"
  32
  33 static int get_image( mlt_frame a_frame, uint8_t **image, mlt_image_format *format, int *width, int *height, int writable )
  34 {
  35         int error = 0;
  36
  37         // Get the b frame from the stack
  38         mlt_frame b_frame = (mlt_frame) mlt_frame_pop_frame( a_frame );
  39
  40         // Get the transition object
  41         mlt_transition transition = (mlt_transition) mlt_frame_pop_service( a_frame );
  42
  43         // Get the properties of the transition
  44         mlt_properties properties = MLT_TRANSITION_PROPERTIES( transition );
  45
  46         // Get the properties of the a frame
  47         mlt_properties a_props = MLT_FRAME_PROPERTIES( a_frame );
  48
  49         // Get the movit objects
  50         mlt_service service = MLT_TRANSITION_SERVICE( transition );
  51         mlt_service_lock( service );
  52         EffectChain* chain = GlslManager::get_chain( service );
  53         Effect* effect = (Effect*) mlt_properties_get_data( properties, "movit effect", NULL );
  54         MltInput* a_input = GlslManager::get_input( service );
  55         MltInput* b_input = (MltInput*) mlt_properties_get_data( properties, "movit input B", NULL );
  56         mlt_image_format output_format = *format;
  57
  58         if ( !chain || !a_input ) {
  59                 mlt_service_unlock( service );
  60                 return 2;
  61         }
  62
  63         // Get the transition parameters
  64         mlt_position position = mlt_transition_get_position( transition, a_frame );
  65         mlt_position length = mlt_transition_get_length( transition );
  66         int reverse = mlt_properties_get_int( properties, "reverse" );
  67         double mix = mlt_properties_get( properties, "mix" ) ?
  68                 mlt_properties_anim_get_double( properties, "mix", position, length ) :
  69                 mlt_transition_get_progress( transition, a_frame );
  70         double inverse = 1.0 - mix;
  71
  72         // Set the movit parameters
  73         bool ok = effect->set_float( "strength_first",  reverse ? mix : inverse );
  74         ok     |= effect->set_float( "strength_second", reverse ? inverse : mix );
  75         assert( ok );
  76
  77         // Get the frames' textures
  78         GLuint* texture_id[2] = {0, 0};
  79         *format = mlt_image_glsl_texture;
  80         mlt_frame_get_image( a_frame, (uint8_t**) &texture_id[0], format, width, height, 0 );
  81         a_input->useFBOInput( chain, *texture_id[0] );
  82         *format = mlt_image_glsl_texture;
  83         mlt_frame_get_image( b_frame, (uint8_t**) &texture_id[1], format, width, height, 0 );
  84         b_input->useFBOInput( chain, *texture_id[1] );
  85
  86         // Set resolution to that of the a_frame
  87         *width = mlt_properties_get_int( a_props, "width" );
  88         *height = mlt_properties_get_int( a_props, "height" );
  89
  90         // Setup rendering to an FBO
  91         GlslManager* glsl = GlslManager::get_instance();
  92         glsl_fbo fbo = glsl->get_fbo( *width, *height );
  93         if ( output_format == mlt_image_glsl_texture ) {
  94                 glsl_texture texture = glsl->get_texture( *width, *height, GL_RGBA );
  95
  96                 glBindFramebuffer( GL_FRAMEBUFFER, fbo->fbo );
  97                 check_error();
  98                 glFramebufferTexture2D( GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, texture->texture, 0 );
  99                 check_error();
 100                 glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 101                 check_error();
 102
 103                 GlslManager::render( service, chain, fbo->fbo, *width, *height );
 104
 105                 glFinish();
 106                 check_error();
 107                 glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 108                 check_error();
 109
 110                 *image = (uint8_t*) &texture->texture;
 111                 mlt_frame_set_image( a_frame, *image, 0, NULL );
 112                 mlt_properties_set_data( properties, "movit.convert", texture, 0,
 113                         (mlt_destructor) GlslManager::release_texture, NULL );
 114                 *format = output_format;
 115         }
 116         else {
 117                 // Use a PBO to hold the data we read back with glReadPixels()
 118                 // (Intel/DRI goes into a slow path if we don't read to PBO)
 119                 GLenum gl_format = ( output_format == mlt_image_rgb24a || output_format == mlt_image_opengl )?
 120                         GL_RGBA : GL_RGB;
 121                 int img_size = *width * *height * ( gl_format == GL_RGB? 3 : 4 );
 122                 glsl_pbo pbo = glsl->get_pbo( img_size );
 123                 glsl_texture texture = glsl->get_texture( *width, *height, gl_format );
 124
 125                 if ( fbo && pbo && texture ) {
 126                         // Set the FBO
 127                         glBindFramebuffer( GL_FRAMEBUFFER, fbo->fbo );
 128                         check_error();
 129                         glFramebufferTexture2D( GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, texture->texture, 0 );
 130                         check_error();
 131                         glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 132                         check_error();
 133
 134                         GlslManager::render( service, chain, fbo->fbo, *width, *height );
 135
 136                         // Read FBO into PBO
 137                         glBindBuffer( GL_PIXEL_PACK_BUFFER_ARB, pbo->pbo );
 138                         check_error();
 139                         glBufferData( GL_PIXEL_PACK_BUFFER_ARB, img_size, NULL, GL_STREAM_READ );
 140                         check_error();
 141                         glReadPixels( 0, 0, *width, *height, gl_format, GL_UNSIGNED_BYTE, BUFFER_OFFSET(0) );
 142                         check_error();
 143
 144                         // Copy from PBO
 145                         uint8_t* buf = (uint8_t*) glMapBuffer( GL_PIXEL_PACK_BUFFER_ARB, GL_READ_ONLY );
 146                         check_error();
 147
 148                         *format = gl_format == GL_RGBA ? mlt_image_rgb24a : mlt_image_rgb24;
 149                         *image = (uint8_t*) mlt_pool_alloc( img_size );
 150                         mlt_frame_set_image( a_frame, *image, img_size, mlt_pool_release );
 151                         memcpy( *image, buf, img_size );
 152
 153                         // Release PBO and FBO
 154                         glUnmapBuffer( GL_PIXEL_PACK_BUFFER_ARB );
 155                         check_error();
 156                         glBindBuffer( GL_PIXEL_PACK_BUFFER_ARB, 0 );
 157                         check_error();
 158                         glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 159                         check_error();
 160                         glBindTexture( GL_TEXTURE_2D, 0 );
 161                         check_error();
 162                         GlslManager::release_texture( texture );
 163                 }
 164                 else {
 165                         error = 1;
 166                 }
 167         }
 168         if ( fbo ) GlslManager::release_fbo( fbo );
 169         mlt_service_unlock( service );
 170
 171         return error;
 172 }
 173
 174 static mlt_frame process( mlt_transition transition, mlt_frame a_frame, mlt_frame b_frame )
 175 {
 176         mlt_service service = MLT_TRANSITION_SERVICE(transition);
 177
 178         if ( !GlslManager::init_chain( service ) ) {
 179                 // Create the Movit effect chain
 180                 EffectChain* chain = GlslManager::get_chain( service );
 181                 mlt_profile profile = mlt_service_profile( service );
 182                 Input* b_input = new MltInput( profile->width, profile->height );
 183                 ImageFormat output_format;
 184                 output_format.color_space = COLORSPACE_sRGB;
 185                 output_format.gamma_curve = GAMMA_sRGB;
 186                 chain->add_input( b_input );
 187                 chain->add_output( output_format, OUTPUT_ALPHA_FORMAT_POSTMULTIPLIED );
 188                 chain->set_dither_bits( 8 );
 189
 190                 Effect* effect = chain->add_effect( new MixEffect(),
 191                         GlslManager::get_input( service ), b_input );
 192
 193                 // Save these new effects on properties for get_image
 194                 mlt_properties properties = MLT_TRANSITION_PROPERTIES(transition);
 195                 mlt_properties_set_data( properties, "movit effect", effect, 0, NULL, NULL );
 196                 mlt_properties_set_data( properties, "movit input B", b_input, 0, NULL, NULL );
 197         }
 198
 199         // Push the transition on to the frame
 200         mlt_frame_push_service( a_frame, transition );
 201
 202         // Push the b_frame on to the stack
 203         mlt_frame_push_frame( a_frame, b_frame );
 204
 205         // Push the transition method
 206         mlt_frame_push_get_image( a_frame, get_image );
 207
 208         return a_frame;
 209 }
 210
 211 extern "C"
 212 mlt_transition transition_movit_mix_init( mlt_profile profile, mlt_service_type type, const char *id, char *arg )
 213 {
 214         mlt_transition transition = NULL;
 215         GlslManager* glsl = GlslManager::get_instance();
 216         if ( glsl && ( transition = mlt_transition_new() ) ) {
 217                 transition->process = process;
 218                 mlt_properties_set( MLT_TRANSITION_PROPERTIES( transition ), "mix", arg );
 219
 220                 // Inform apps and framework that this is a video only transition
 221                 mlt_properties_set_int( MLT_TRANSITION_PROPERTIES( transition ), "_transition_type", 1 );
 222         }
 223         return transition;
 224 }