git.sesse.net Git - mlt/blob - src/modules/opengl/filter_glsl_manager.cpp

   1 /*
   2  * filter_glsl_manager.cpp
   3  * Copyright (C) 2011-2012 Christophe Thommeret <hftom@free.fr>
   4  * Copyright (C) 2013 Dan Dennedy <dan@dennedy.org>
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 2 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software Foundation,
  18  * Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
  19  */
  20
  21 #include <stdlib.h>
  22 #include <string>
  23 #include "filter_glsl_manager.h"
  24 #include <movit/init.h>
  25 #include <movit/util.h>
  26 #include <movit/effect_chain.h>
  27 #include "mlt_movit_input.h"
  28 #include "mlt_flip_effect.h"
  29 #include <mlt++/MltEvent.h>
  30 #include <mlt++/MltProducer.h>
  31
  32 extern "C" {
  33 #include <framework/mlt_factory.h>
  34 }
  35
  36 #if defined(__DARWIN__)
  37 #include <OpenGL/OpenGL.h>
  38 #elif defined(WIN32)
  39 #include <wingdi.h>
  40 #else
  41 #include <GL/glx.h>
  42 #endif
  43
  44 void dec_ref_and_delete(GlslManager *p)
  45 {
  46         if (p->dec_ref() == 0) {
  47                 delete p;
  48         }
  49 }
  50
  51 GlslManager::GlslManager()
  52         : Mlt::Filter( mlt_filter_new() )
  53         , pbo(0)
  54         , initEvent(0)
  55         , closeEvent(0)
  56         , prev_sync(NULL)
  57 {
  58         mlt_filter filter = get_filter();
  59         if ( filter ) {
  60                 // Set the mlt_filter child in case we choose to override virtual functions.
  61                 filter->child = this;
  62                 add_ref(mlt_global_properties());
  63
  64                 mlt_events_register( get_properties(), "init glsl", NULL );
  65                 mlt_events_register( get_properties(), "close glsl", NULL );
  66                 initEvent = listen("init glsl", this, (mlt_listener) GlslManager::onInit);
  67                 closeEvent = listen("close glsl", this, (mlt_listener) GlslManager::onClose);
  68         }
  69 }
  70
  71 GlslManager::~GlslManager()
  72 {
  73         mlt_log_debug(get_service(), "%s\n", __FUNCTION__);
  74         cleanupContext();
  75 // XXX If there is still a frame holding a reference to a texture after this
  76 // destructor is called, then it will crash in release_texture().
  77 //      while (texture_list.peek_back())
  78 //              delete (glsl_texture) texture_list.pop_back();
  79         delete initEvent;
  80         delete closeEvent;
  81         if (prev_sync != NULL) {
  82                 glDeleteSync( prev_sync );
  83         }
  84         while (syncs_to_delete.count() > 0) {
  85                 GLsync sync = (GLsync) syncs_to_delete.pop_front();
  86                 glDeleteSync( sync );
  87         }
  88 }
  89
  90 void GlslManager::add_ref(mlt_properties properties)
  91 {
  92         inc_ref();
  93         mlt_properties_set_data(properties, "glslManager", this, 0,
  94             (mlt_destructor) dec_ref_and_delete, NULL);
  95 }
  96
  97 GlslManager* GlslManager::get_instance()
  98 {
  99         return (GlslManager*) mlt_properties_get_data(mlt_global_properties(), "glslManager", 0);
 100 }
 101
 102 glsl_fbo GlslManager::get_fbo(int width, int height)
 103 {
 104 #if defined(__DARWIN__)
 105         CGLContextObj context = CGLGetCurrentContext();
 106 #elif defined(WIN32)
 107         HGLRC context = wglGetCurrentContext();
 108 #else
 109         GLXContext context = glXGetCurrentContext();
 110 #endif
 111
 112         lock();
 113         for (int i = 0; i < fbo_list.count(); ++i) {
 114                 glsl_fbo fbo = (glsl_fbo) fbo_list.peek(i);
 115                 if (!fbo->used && (fbo->width == width) && (fbo->height == height) && (fbo->context == context)) {
 116                         fbo->used = 1;
 117                         unlock();
 118                         return fbo;
 119                 }
 120         }
 121         unlock();
 122
 123         GLuint fb = 0;
 124         glGenFramebuffers(1, &fb);
 125         if (!fb)
 126                 return NULL;
 127
 128         glsl_fbo fbo = new glsl_fbo_s;
 129         if (!fbo) {
 130                 glDeleteFramebuffers(1, &fb);
 131                 return NULL;
 132         }
 133         fbo->fbo = fb;
 134         fbo->width = width;
 135         fbo->height = height;
 136         fbo->used = 1;
 137         fbo->context = context;
 138         lock();
 139         fbo_list.push_back(fbo);
 140         unlock();
 141         return fbo;
 142 }
 143
 144 void GlslManager::release_fbo(glsl_fbo fbo)
 145 {
 146         fbo->used = 0;
 147 }
 148
 149 glsl_texture GlslManager::get_texture(int width, int height, GLint internal_format)
 150 {
 151         lock();
 152         for (int i = 0; i < texture_list.count(); ++i) {
 153                 glsl_texture tex = (glsl_texture) texture_list.peek(i);
 154                 if (!tex->used && (tex->width == width) && (tex->height == height) && (tex->internal_format == internal_format)) {
 155                         glBindTexture(GL_TEXTURE_2D, tex->texture);
 156                         glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
 157                         glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_NEAREST);
 158                         glBindTexture( GL_TEXTURE_2D, 0);
 159                         tex->used = 1;
 160                         unlock();
 161                         return tex;
 162                 }
 163         }
 164
 165         // Recycle a glsl_texture with deleted glTexture.
 166         glsl_texture gtex = 0;
 167         for (int i = 0; i < texture_list.count(); ++i) {
 168                 glsl_texture tex = (glsl_texture) texture_list.peek(i);
 169                 if (!tex->used && !tex->width && !tex->height) {
 170                         gtex = tex;
 171                         break;
 172                 }
 173         }
 174         unlock();
 175
 176         GLuint tex = 0;
 177         glGenTextures(1, &tex);
 178         if (!tex) {
 179                 glDeleteTextures(1, &tex);
 180                 return NULL;
 181         }
 182
 183         if (!gtex) {
 184                 gtex = new glsl_texture_s;
 185                 if (!gtex)
 186                         return NULL;
 187         }
 188
 189         glBindTexture( GL_TEXTURE_2D, tex );
 190         glTexImage2D( GL_TEXTURE_2D, 0, internal_format, width, height, 0, internal_format, GL_UNSIGNED_BYTE, NULL );
 191     glTexParameterf( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE );
 192     glTexParameterf( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE );
 193     glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST );
 194     glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_NEAREST );
 195     glBindTexture( GL_TEXTURE_2D, 0 );
 196
 197         gtex->texture = tex;
 198         gtex->width = width;
 199         gtex->height = height;
 200         gtex->internal_format = internal_format;
 201         gtex->used = 1;
 202         lock();
 203         texture_list.push_back(gtex);
 204         unlock();
 205         return gtex;
 206 }
 207
 208 void GlslManager::release_texture(glsl_texture texture)
 209 {
 210         texture->used = 0;
 211 }
 212
 213 void GlslManager::delete_sync(GLsync sync)
 214 {
 215         // We do not know which thread we are called from, and we can only
 216         // delete this if we are in one with a valid OpenGL context.
 217         // Thus, store it for later deletion in render_frame_texture().
 218         GlslManager* g = GlslManager::get_instance();
 219         g->lock();
 220         g->syncs_to_delete.push_back(sync);
 221         g->unlock();
 222 }
 223
 224 glsl_pbo GlslManager::get_pbo(int size)
 225 {
 226         lock();
 227         if (!pbo) {
 228                 GLuint pb = 0;
 229                 glGenBuffers(1, &pb);
 230                 if (!pb) {
 231                         unlock();
 232                         return NULL;
 233                 }
 234
 235                 pbo = new glsl_pbo_s;
 236                 if (!pbo) {
 237                         glDeleteBuffers(1, &pb);
 238                         unlock();
 239                         return NULL;
 240                 }
 241                 pbo->pbo = pb;
 242                 pbo->size = 0;
 243         }
 244         if (size > pbo->size) {
 245                 glBindBuffer(GL_PIXEL_UNPACK_BUFFER_ARB, pbo->pbo);
 246                 glBufferData(GL_PIXEL_UNPACK_BUFFER_ARB, size, NULL, GL_STREAM_DRAW);
 247                 glBindBuffer(GL_PIXEL_UNPACK_BUFFER_ARB, 0);
 248                 pbo->size = size;
 249         }
 250         unlock();
 251         return pbo;
 252 }
 253
 254 void GlslManager::cleanupContext()
 255 {
 256         lock();
 257         while (fbo_list.peek_back()) {
 258                 glsl_fbo fbo = (glsl_fbo) fbo_list.pop_back();
 259                 glDeleteFramebuffers(1, &fbo->fbo);
 260                 delete fbo;
 261         }
 262         for (int i = 0; i < texture_list.count(); ++i) {
 263                 glsl_texture texture = (glsl_texture) texture_list.peek(i);
 264                 glDeleteTextures(1, &texture->texture);
 265                 texture->used = 0;
 266                 texture->width = 0;
 267                 texture->height = 0;
 268         }
 269         if (pbo) {
 270                 glDeleteBuffers(1, &pbo->pbo);
 271                 delete pbo;
 272                 pbo = 0;
 273         }
 274         unlock();
 275 }
 276
 277 void GlslManager::onInit( mlt_properties owner, GlslManager* filter )
 278 {
 279         mlt_log_debug( filter->get_service(), "%s\n", __FUNCTION__ );
 280 #ifdef WIN32
 281         std::string path = std::string(mlt_environment("MLT_APPDIR")).append("\\share\\movit");
 282 #elif defined(__DARWIN__) && defined(RELOCATABLE)
 283         std::string path = std::string(mlt_environment("MLT_APPDIR")).append("/share/movit");
 284 #else
 285         std::string path = std::string(getenv("MLT_MOVIT_PATH") ? getenv("MLT_MOVIT_PATH") : SHADERDIR);
 286 #endif
 287         ::init_movit( path, mlt_log_get_level() == MLT_LOG_DEBUG? MOVIT_DEBUG_ON : MOVIT_DEBUG_OFF );
 288         filter->set( "glsl_supported", movit_initialized );
 289 }
 290
 291 void GlslManager::onClose( mlt_properties owner, GlslManager *filter )
 292 {
 293         filter->cleanupContext();
 294 }
 295
 296 void GlslManager::onServiceChanged( mlt_properties owner, mlt_service aservice )
 297 {
 298         Mlt::Service service( aservice );
 299         service.lock();
 300         service.set( "movit chain", NULL, 0 );
 301         service.unlock();
 302 }
 303
 304 void GlslManager::onPropertyChanged( mlt_properties owner, mlt_service service, const char* property )
 305 {
 306         if ( property && std::string( property ) == "disable" )
 307                 onServiceChanged( owner, service );
 308 }
 309
 310 extern "C" {
 311
 312 mlt_filter filter_glsl_manager_init( mlt_profile profile, mlt_service_type type, const char *id, char *arg )
 313 {
 314         GlslManager* g = GlslManager::get_instance();
 315         if (g)
 316                 g->inc_ref();
 317         else
 318                 g = new GlslManager();
 319         return g->get_filter();
 320 }
 321
 322 } // extern "C"
 323
 324 static void deleteChain( GlslChain* chain )
 325 {
 326         delete chain->effect_chain;
 327         delete chain;
 328 }
 329
 330 void* GlslManager::get_frame_specific_data( mlt_service service, mlt_frame frame, const char *key, int *length )
 331 {
 332         const char *unique_id = mlt_properties_get( MLT_SERVICE_PROPERTIES(service), "_unique_id" );
 333         char buf[256];
 334         snprintf( buf, sizeof(buf), "%s_%s", key, unique_id );
 335         return mlt_properties_get_data( MLT_FRAME_PROPERTIES(frame), buf, length );
 336 }
 337
 338 int GlslManager::set_frame_specific_data( mlt_service service, mlt_frame frame, const char *key, void *value, int length, mlt_destructor destroy, mlt_serialiser serialise )
 339 {
 340         const char *unique_id = mlt_properties_get( MLT_SERVICE_PROPERTIES(service), "_unique_id" );
 341         char buf[256];
 342         snprintf( buf, sizeof(buf), "%s_%s", key, unique_id );
 343         return mlt_properties_set_data( MLT_FRAME_PROPERTIES(frame), buf, value, length, destroy, serialise );
 344 }
 345
 346 void GlslManager::set_chain( mlt_service service, GlslChain* chain )
 347 {
 348         mlt_properties_set_data( MLT_SERVICE_PROPERTIES(service), "_movit chain", chain, 0, (mlt_destructor) deleteChain, NULL );
 349 }
 350
 351 GlslChain* GlslManager::get_chain( mlt_service service )
 352 {
 353         return (GlslChain*) mlt_properties_get_data( MLT_SERVICE_PROPERTIES(service), "_movit chain", NULL );
 354 }
 355
 356 Effect* GlslManager::get_effect( mlt_service service, mlt_frame frame )
 357 {
 358         return (Effect*) get_frame_specific_data( service, frame, "_movit effect", NULL );
 359 }
 360
 361 Effect* GlslManager::set_effect( mlt_service service, mlt_frame frame, Effect* effect )
 362 {
 363         set_frame_specific_data( service, frame, "_movit effect", effect, 0, NULL, NULL );
 364         return effect;
 365 }
 366
 367 MltInput* GlslManager::get_input( mlt_producer producer, mlt_frame frame )
 368 {
 369         return (MltInput*) get_frame_specific_data( MLT_PRODUCER_SERVICE(producer), frame, "_movit input", NULL );
 370 }
 371
 372 MltInput* GlslManager::set_input( mlt_producer producer, mlt_frame frame, MltInput* input )
 373 {
 374         set_frame_specific_data( MLT_PRODUCER_SERVICE(producer), frame, "_movit input", input, 0, NULL, NULL );
 375         return input;
 376 }
 377
 378 uint8_t* GlslManager::get_input_pixel_pointer( mlt_producer producer, mlt_frame frame )
 379 {
 380         return (uint8_t*) get_frame_specific_data( MLT_PRODUCER_SERVICE(producer), frame, "_movit input pp", NULL );
 381 }
 382
 383 uint8_t* GlslManager::set_input_pixel_pointer( mlt_producer producer, mlt_frame frame, uint8_t* image )
 384 {
 385         set_frame_specific_data( MLT_PRODUCER_SERVICE(producer), frame, "_movit input pp", image, 0, NULL, NULL );
 386         return image;
 387 }
 388
 389 mlt_service GlslManager::get_effect_input( mlt_service service, mlt_frame frame )
 390 {
 391         return (mlt_service) get_frame_specific_data( service, frame, "_movit effect input", NULL );
 392 }
 393
 394 void GlslManager::set_effect_input( mlt_service service, mlt_frame frame, mlt_service input_service )
 395 {
 396         set_frame_specific_data( service, frame, "_movit effect input", input_service, 0, NULL, NULL );
 397 }
 398
 399 void GlslManager::get_effect_secondary_input( mlt_service service, mlt_frame frame, mlt_service *input_service, mlt_frame *input_frame)
 400 {
 401         *input_service = (mlt_service) get_frame_specific_data( service, frame, "_movit effect secondary input", NULL );
 402         *input_frame = (mlt_frame) get_frame_specific_data( service, frame, "_movit effect secondary input frame", NULL );
 403 }
 404
 405 void GlslManager::set_effect_secondary_input( mlt_service service, mlt_frame frame, mlt_service input_service, mlt_frame input_frame )
 406 {
 407         set_frame_specific_data( service, frame, "_movit effect secondary input", input_service, 0, NULL, NULL );
 408         set_frame_specific_data( service, frame, "_movit effect secondary input frame", input_frame, 0, NULL, NULL );
 409 }
 410
 411 int GlslManager::render_frame_texture(EffectChain *chain, mlt_frame frame, int width, int height, uint8_t **image)
 412 {
 413         glsl_fbo fbo = get_fbo( width, height );
 414         if (!fbo) return 1;
 415         glsl_texture texture = get_texture( width, height, GL_RGBA );
 416         if (!texture) {
 417                 release_fbo( fbo );
 418                 return 1;
 419         }
 420
 421         glBindFramebuffer( GL_FRAMEBUFFER, fbo->fbo );
 422         check_error();
 423         glFramebufferTexture2D( GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, texture->texture, 0 );
 424         check_error();
 425         glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 426         check_error();
 427
 428         lock();
 429         while (syncs_to_delete.count() > 0) {
 430                 GLsync sync = (GLsync) syncs_to_delete.pop_front();
 431                 glDeleteSync( sync );
 432         }
 433         unlock();
 434
 435         // Make sure we never have more than one frame pending at any time.
 436         // This ensures we do not swamp the GPU with so much work
 437         // that we cannot actually display the frames we generate.
 438         if (prev_sync != NULL) {
 439                 glFlush();
 440                 glClientWaitSync( prev_sync, 0, GL_TIMEOUT_IGNORED );
 441                 glDeleteSync( prev_sync );
 442         }
 443         chain->render_to_fbo( fbo->fbo, width, height );
 444         prev_sync = glFenceSync( GL_SYNC_GPU_COMMANDS_COMPLETE, 0 );
 445         GLsync sync = glFenceSync( GL_SYNC_GPU_COMMANDS_COMPLETE, 0 );
 446
 447         check_error();
 448         glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 449         check_error();
 450         release_fbo( fbo );
 451
 452         *image = (uint8_t*) &texture->texture;
 453         mlt_frame_set_image( frame, *image, 0, NULL );
 454         mlt_properties_set_data( MLT_FRAME_PROPERTIES(frame), "movit.convert.texture", texture, 0,
 455                 (mlt_destructor) GlslManager::release_texture, NULL );
 456         mlt_properties_set_data( MLT_FRAME_PROPERTIES(frame), "movit.convert.fence", sync, 0,
 457                 (mlt_destructor) GlslManager::delete_sync, NULL );
 458
 459         return 0;
 460 }
 461
 462 int GlslManager::render_frame_rgba(EffectChain *chain, mlt_frame frame, int width, int height, uint8_t **image)
 463 {
 464         glsl_fbo fbo = get_fbo( width, height );
 465         if (!fbo) return 1;
 466         glsl_texture texture = get_texture( width, height, GL_RGBA );
 467         if (!texture) {
 468                 release_fbo( fbo );
 469                 return 1;
 470         }
 471
 472         // Use a PBO to hold the data we read back with glReadPixels().
 473         // (Intel/DRI goes into a slow path if we don't read to PBO.)
 474         int img_size = width * height * 4;
 475         glsl_pbo pbo = get_pbo( img_size );
 476         if (!pbo) {
 477                 release_fbo( fbo );
 478                 release_texture(texture);
 479                 return 1;
 480         }
 481
 482         // Set the FBO
 483         check_error();
 484         glBindFramebuffer( GL_FRAMEBUFFER, fbo->fbo );
 485         check_error();
 486         glFramebufferTexture2D( GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, texture->texture, 0 );
 487         check_error();
 488         glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 489         check_error();
 490
 491         chain->render_to_fbo( fbo->fbo, width, height );
 492
 493         // Read FBO into PBO
 494         glBindFramebuffer( GL_FRAMEBUFFER, fbo->fbo );
 495         check_error();
 496         glBindBuffer( GL_PIXEL_PACK_BUFFER_ARB, pbo->pbo );
 497         check_error();
 498         glBufferData( GL_PIXEL_PACK_BUFFER_ARB, img_size, NULL, GL_STREAM_READ );
 499         check_error();
 500         glReadPixels( 0, 0, width, height, GL_BGRA, GL_UNSIGNED_BYTE, BUFFER_OFFSET(0) );
 501         check_error();
 502
 503         // Copy from PBO
 504         uint8_t* buf = (uint8_t*) glMapBuffer( GL_PIXEL_PACK_BUFFER_ARB, GL_READ_ONLY );
 505         check_error();
 506         *image = (uint8_t*) mlt_pool_alloc( img_size );
 507         mlt_frame_set_image( frame, *image, img_size, mlt_pool_release );
 508         memcpy( *image, buf, img_size );
 509
 510         // Convert BGRA to RGBA
 511         register uint8_t *p = *image;
 512         register int n = width * height + 1;
 513         while ( --n ) {
 514                 uint8_t b = p[0];
 515                 *p = p[2]; p += 2;
 516                 *p = b; p += 2;
 517         }
 518
 519         // Release PBO and FBO
 520         glUnmapBuffer( GL_PIXEL_PACK_BUFFER_ARB );
 521         check_error();
 522         glBindBuffer( GL_PIXEL_PACK_BUFFER_ARB, 0 );
 523         check_error();
 524         glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 525         check_error();
 526         glBindTexture( GL_TEXTURE_2D, 0 );
 527         check_error();
 528         mlt_properties_set_data( MLT_FRAME_PROPERTIES(frame), "movit.convert.texture", texture, 0,
 529                 (mlt_destructor) GlslManager::release_texture, NULL);
 530         release_fbo( fbo );
 531
 532         return 0;
 533 }
 534
 535 void GlslManager::lock_service( mlt_frame frame )
 536 {
 537         Mlt::Producer producer( mlt_producer_cut_parent( mlt_frame_get_original_producer( frame ) ) );
 538         producer.lock();
 539 }
 540
 541 void GlslManager::unlock_service( mlt_frame frame )
 542 {
 543         Mlt::Producer producer( mlt_producer_cut_parent( mlt_frame_get_original_producer( frame ) ) );
 544         producer.unlock();
 545 }