git.sesse.net Git - mlt/blob - src/modules/opengl/filter_glsl_manager.cpp

   1 /*
   2  * filter_glsl_manager.cpp
   3  * Copyright (C) 2011-2012 Christophe Thommeret <hftom@free.fr>
   4  * Copyright (C) 2013 Dan Dennedy <dan@dennedy.org>
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 2 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software Foundation,
  18  * Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
  19  */
  20
  21 #include <stdlib.h>
  22 #include <string>
  23 #include "filter_glsl_manager.h"
  24 #include <movit/init.h>
  25 #include <movit/util.h>
  26 #include <movit/effect_chain.h>
  27 #include "mlt_movit_input.h"
  28 #include "mlt_flip_effect.h"
  29 #include <mlt++/MltEvent.h>
  30 #include <mlt++/MltProducer.h>
  31
  32 extern "C" {
  33 #include <framework/mlt_factory.h>
  34 }
  35
  36 #if defined(__DARWIN__)
  37 #include <OpenGL/OpenGL.h>
  38 #elif defined(WIN32)
  39 #include <wingdi.h>
  40 #else
  41 #include <GL/glx.h>
  42 #endif
  43
  44 void deleteManager(GlslManager *p)
  45 {
  46         delete p;
  47 }
  48
  49 GlslManager::GlslManager()
  50         : Mlt::Filter( mlt_filter_new() )
  51         , pbo(0)
  52         , initEvent(0)
  53         , closeEvent(0)
  54         , prev_sync(NULL)
  55 {
  56         mlt_filter filter = get_filter();
  57         if ( filter ) {
  58                 // Set the mlt_filter child in case we choose to override virtual functions.
  59                 filter->child = this;
  60                 mlt_properties_set_data(mlt_global_properties(), "glslManager", this, 0,
  61                         (mlt_destructor) deleteManager, NULL);
  62
  63                 mlt_events_register( get_properties(), "init glsl", NULL );
  64                 mlt_events_register( get_properties(), "close glsl", NULL );
  65                 initEvent = listen("init glsl", this, (mlt_listener) GlslManager::onInit);
  66                 closeEvent = listen("close glsl", this, (mlt_listener) GlslManager::onClose);
  67         }
  68 }
  69
  70 GlslManager::~GlslManager()
  71 {
  72         mlt_log_debug(get_service(), "%s\n", __FUNCTION__);
  73         cleanupContext();
  74 // XXX If there is still a frame holding a reference to a texture after this
  75 // destructor is called, then it will crash in release_texture().
  76 //      while (texture_list.peek_back())
  77 //              delete (glsl_texture) texture_list.pop_back();
  78         delete initEvent;
  79         delete closeEvent;
  80         if (prev_sync != NULL) {
  81                 glDeleteSync( prev_sync );
  82         }
  83         while (syncs_to_delete.count() > 0) {
  84                 GLsync sync = (GLsync) syncs_to_delete.pop_front();
  85                 glDeleteSync( sync );
  86         }
  87 }
  88
  89 GlslManager* GlslManager::get_instance()
  90 {
  91         return (GlslManager*) mlt_properties_get_data(mlt_global_properties(), "glslManager", 0);
  92 }
  93
  94 glsl_fbo GlslManager::get_fbo(int width, int height)
  95 {
  96 #if defined(__DARWIN__)
  97         CGLContextObj context = CGLGetCurrentContext();
  98 #elif defined(WIN32)
  99         HGLRC context = wglGetCurrentContext();
 100 #else
 101         GLXContext context = glXGetCurrentContext();
 102 #endif
 103
 104         lock();
 105         for (int i = 0; i < fbo_list.count(); ++i) {
 106                 glsl_fbo fbo = (glsl_fbo) fbo_list.peek(i);
 107                 if (!fbo->used && (fbo->width == width) && (fbo->height == height) && (fbo->context == context)) {
 108                         fbo->used = 1;
 109                         unlock();
 110                         return fbo;
 111                 }
 112         }
 113         unlock();
 114
 115         GLuint fb = 0;
 116         glGenFramebuffers(1, &fb);
 117         if (!fb)
 118                 return NULL;
 119
 120         glsl_fbo fbo = new glsl_fbo_s;
 121         if (!fbo) {
 122                 glDeleteFramebuffers(1, &fb);
 123                 return NULL;
 124         }
 125         fbo->fbo = fb;
 126         fbo->width = width;
 127         fbo->height = height;
 128         fbo->used = 1;
 129         fbo->context = context;
 130         lock();
 131         fbo_list.push_back(fbo);
 132         unlock();
 133         return fbo;
 134 }
 135
 136 void GlslManager::release_fbo(glsl_fbo fbo)
 137 {
 138         fbo->used = 0;
 139 }
 140
 141 glsl_texture GlslManager::get_texture(int width, int height, GLint internal_format)
 142 {
 143         lock();
 144         for (int i = 0; i < texture_list.count(); ++i) {
 145                 glsl_texture tex = (glsl_texture) texture_list.peek(i);
 146                 if (!tex->used && (tex->width == width) && (tex->height == height) && (tex->internal_format == internal_format)) {
 147                         glBindTexture(GL_TEXTURE_2D, tex->texture);
 148                         glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
 149                         glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_NEAREST);
 150                         glBindTexture( GL_TEXTURE_2D, 0);
 151                         tex->used = 1;
 152                         unlock();
 153                         return tex;
 154                 }
 155         }
 156
 157         // Recycle a glsl_texture with deleted glTexture.
 158         glsl_texture gtex = 0;
 159         for (int i = 0; i < texture_list.count(); ++i) {
 160                 glsl_texture tex = (glsl_texture) texture_list.peek(i);
 161                 if (!tex->used && !tex->width && !tex->height) {
 162                         gtex = tex;
 163                         break;
 164                 }
 165         }
 166         unlock();
 167
 168         GLuint tex = 0;
 169         glGenTextures(1, &tex);
 170         if (!tex) {
 171                 glDeleteTextures(1, &tex);
 172                 return NULL;
 173         }
 174
 175         if (!gtex) {
 176                 gtex = new glsl_texture_s;
 177                 if (!gtex)
 178                         return NULL;
 179         }
 180
 181         glBindTexture( GL_TEXTURE_2D, tex );
 182         glTexImage2D( GL_TEXTURE_2D, 0, internal_format, width, height, 0, internal_format, GL_UNSIGNED_BYTE, NULL );
 183     glTexParameterf( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE );
 184     glTexParameterf( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE );
 185     glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST );
 186     glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_NEAREST );
 187     glBindTexture( GL_TEXTURE_2D, 0 );
 188
 189         gtex->texture = tex;
 190         gtex->width = width;
 191         gtex->height = height;
 192         gtex->internal_format = internal_format;
 193         gtex->used = 1;
 194         lock();
 195         texture_list.push_back(gtex);
 196         unlock();
 197         return gtex;
 198 }
 199
 200 void GlslManager::release_texture(glsl_texture texture)
 201 {
 202         texture->used = 0;
 203 }
 204
 205 void GlslManager::delete_sync(GLsync sync)
 206 {
 207         // We do not know which thread we are called from, and we can only
 208         // delete this if we are in one with a valid OpenGL context.
 209         // Thus, store it for later deletion in render_frame_texture().
 210         GlslManager* g = GlslManager::get_instance();
 211         g->lock();
 212         g->syncs_to_delete.push_back(sync);
 213         g->unlock();
 214 }
 215
 216 glsl_pbo GlslManager::get_pbo(int size)
 217 {
 218         lock();
 219         if (!pbo) {
 220                 GLuint pb = 0;
 221                 glGenBuffers(1, &pb);
 222                 if (!pb) {
 223                         unlock();
 224                         return NULL;
 225                 }
 226
 227                 pbo = new glsl_pbo_s;
 228                 if (!pbo) {
 229                         glDeleteBuffers(1, &pb);
 230                         unlock();
 231                         return NULL;
 232                 }
 233                 pbo->pbo = pb;
 234                 pbo->size = 0;
 235         }
 236         if (size > pbo->size) {
 237                 glBindBuffer(GL_PIXEL_UNPACK_BUFFER_ARB, pbo->pbo);
 238                 glBufferData(GL_PIXEL_UNPACK_BUFFER_ARB, size, NULL, GL_STREAM_DRAW);
 239                 glBindBuffer(GL_PIXEL_UNPACK_BUFFER_ARB, 0);
 240                 pbo->size = size;
 241         }
 242         unlock();
 243         return pbo;
 244 }
 245
 246 void GlslManager::cleanupContext()
 247 {
 248         lock();
 249         while (fbo_list.peek_back()) {
 250                 glsl_fbo fbo = (glsl_fbo) fbo_list.pop_back();
 251                 glDeleteFramebuffers(1, &fbo->fbo);
 252                 delete fbo;
 253         }
 254         for (int i = 0; i < texture_list.count(); ++i) {
 255                 glsl_texture texture = (glsl_texture) texture_list.peek(i);
 256                 glDeleteTextures(1, &texture->texture);
 257                 texture->used = 0;
 258                 texture->width = 0;
 259                 texture->height = 0;
 260         }
 261         if (pbo) {
 262                 glDeleteBuffers(1, &pbo->pbo);
 263                 delete pbo;
 264                 pbo = 0;
 265         }
 266         unlock();
 267 }
 268
 269 void GlslManager::onInit( mlt_properties owner, GlslManager* filter )
 270 {
 271         mlt_log_debug( filter->get_service(), "%s\n", __FUNCTION__ );
 272 #ifdef WIN32
 273         std::string path = std::string(mlt_environment("MLT_APPDIR")).append("\\share\\movit");
 274 #elif defined(__DARWIN__) && defined(RELOCATABLE)
 275         std::string path = std::string(mlt_environment("MLT_APPDIR")).append("/share/movit");
 276 #else
 277         std::string path = std::string(getenv("MLT_MOVIT_PATH") ? getenv("MLT_MOVIT_PATH") : SHADERDIR);
 278 #endif
 279         ::init_movit( path, mlt_log_get_level() == MLT_LOG_DEBUG? MOVIT_DEBUG_ON : MOVIT_DEBUG_OFF );
 280         filter->set( "glsl_supported", movit_initialized );
 281 }
 282
 283 void GlslManager::onClose( mlt_properties owner, GlslManager *filter )
 284 {
 285         filter->cleanupContext();
 286 }
 287
 288 void GlslManager::onServiceChanged( mlt_properties owner, mlt_service aservice )
 289 {
 290         Mlt::Service service( aservice );
 291         service.lock();
 292         service.set( "movit chain", NULL, 0 );
 293         service.unlock();
 294 }
 295
 296 void GlslManager::onPropertyChanged( mlt_properties owner, mlt_service service, const char* property )
 297 {
 298         if ( property && std::string( property ) == "disable" )
 299                 onServiceChanged( owner, service );
 300 }
 301
 302 extern "C" {
 303
 304 mlt_filter filter_glsl_manager_init( mlt_profile profile, mlt_service_type type, const char *id, char *arg )
 305 {
 306         GlslManager* g = GlslManager::get_instance();
 307         if (g)
 308                 g->inc_ref();
 309         else
 310                 g = new GlslManager();
 311         return g->get_filter();
 312 }
 313
 314 } // extern "C"
 315
 316 static void deleteChain( GlslChain* chain )
 317 {
 318         delete chain->effect_chain;
 319         delete chain;
 320 }
 321
 322 void* GlslManager::get_frame_specific_data( mlt_service service, mlt_frame frame, const char *key, int *length )
 323 {
 324         const char *unique_id = mlt_properties_get( MLT_SERVICE_PROPERTIES(service), "_unique_id" );
 325         char buf[256];
 326         snprintf( buf, sizeof(buf), "%s_%s", key, unique_id );
 327         return mlt_properties_get_data( MLT_FRAME_PROPERTIES(frame), buf, length );
 328 }
 329
 330 int GlslManager::set_frame_specific_data( mlt_service service, mlt_frame frame, const char *key, void *value, int length, mlt_destructor destroy, mlt_serialiser serialise )
 331 {
 332         const char *unique_id = mlt_properties_get( MLT_SERVICE_PROPERTIES(service), "_unique_id" );
 333         char buf[256];
 334         snprintf( buf, sizeof(buf), "%s_%s", key, unique_id );
 335         return mlt_properties_set_data( MLT_FRAME_PROPERTIES(frame), buf, value, length, destroy, serialise );
 336 }
 337
 338 void GlslManager::set_chain( mlt_service service, GlslChain* chain )
 339 {
 340         mlt_properties_set_data( MLT_SERVICE_PROPERTIES(service), "_movit chain", chain, 0, (mlt_destructor) deleteChain, NULL );
 341 }
 342
 343 GlslChain* GlslManager::get_chain( mlt_service service )
 344 {
 345         return (GlslChain*) mlt_properties_get_data( MLT_SERVICE_PROPERTIES(service), "_movit chain", NULL );
 346 }
 347
 348 Effect* GlslManager::get_effect( mlt_service service, mlt_frame frame )
 349 {
 350         return (Effect*) get_frame_specific_data( service, frame, "_movit effect", NULL );
 351 }
 352
 353 Effect* GlslManager::set_effect( mlt_service service, mlt_frame frame, Effect* effect )
 354 {
 355         set_frame_specific_data( service, frame, "_movit effect", effect, 0, NULL, NULL );
 356         return effect;
 357 }
 358
 359 MltInput* GlslManager::get_input( mlt_producer producer, mlt_frame frame )
 360 {
 361         return (MltInput*) get_frame_specific_data( MLT_PRODUCER_SERVICE(producer), frame, "_movit input", NULL );
 362 }
 363
 364 MltInput* GlslManager::set_input( mlt_producer producer, mlt_frame frame, MltInput* input )
 365 {
 366         set_frame_specific_data( MLT_PRODUCER_SERVICE(producer), frame, "_movit input", input, 0, NULL, NULL );
 367         return input;
 368 }
 369
 370 uint8_t* GlslManager::get_input_pixel_pointer( mlt_producer producer, mlt_frame frame )
 371 {
 372         return (uint8_t*) get_frame_specific_data( MLT_PRODUCER_SERVICE(producer), frame, "_movit input pp", NULL );
 373 }
 374
 375 uint8_t* GlslManager::set_input_pixel_pointer( mlt_producer producer, mlt_frame frame, uint8_t* image )
 376 {
 377         set_frame_specific_data( MLT_PRODUCER_SERVICE(producer), frame, "_movit input pp", image, 0, NULL, NULL );
 378         return image;
 379 }
 380
 381 mlt_service GlslManager::get_effect_input( mlt_service service, mlt_frame frame )
 382 {
 383         return (mlt_service) get_frame_specific_data( service, frame, "_movit effect input", NULL );
 384 }
 385
 386 void GlslManager::set_effect_input( mlt_service service, mlt_frame frame, mlt_service input_service )
 387 {
 388         set_frame_specific_data( service, frame, "_movit effect input", input_service, 0, NULL, NULL );
 389 }
 390
 391 void GlslManager::get_effect_secondary_input( mlt_service service, mlt_frame frame, mlt_service *input_service, mlt_frame *input_frame)
 392 {
 393         *input_service = (mlt_service) get_frame_specific_data( service, frame, "_movit effect secondary input", NULL );
 394         *input_frame = (mlt_frame) get_frame_specific_data( service, frame, "_movit effect secondary input frame", NULL );
 395 }
 396
 397 void GlslManager::set_effect_secondary_input( mlt_service service, mlt_frame frame, mlt_service input_service, mlt_frame input_frame )
 398 {
 399         set_frame_specific_data( service, frame, "_movit effect secondary input", input_service, 0, NULL, NULL );
 400         set_frame_specific_data( service, frame, "_movit effect secondary input frame", input_frame, 0, NULL, NULL );
 401 }
 402
 403 int GlslManager::render_frame_texture(EffectChain *chain, mlt_frame frame, int width, int height, uint8_t **image)
 404 {
 405         glsl_fbo fbo = get_fbo( width, height );
 406         if (!fbo) return 1;
 407         glsl_texture texture = get_texture( width, height, GL_RGBA );
 408         if (!texture) {
 409                 release_fbo( fbo );
 410                 return 1;
 411         }
 412
 413         glBindFramebuffer( GL_FRAMEBUFFER, fbo->fbo );
 414         check_error();
 415         glFramebufferTexture2D( GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, texture->texture, 0 );
 416         check_error();
 417         glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 418         check_error();
 419
 420         lock();
 421         while (syncs_to_delete.count() > 0) {
 422                 GLsync sync = (GLsync) syncs_to_delete.pop_front();
 423                 glDeleteSync( sync );
 424         }
 425         unlock();
 426
 427         // Make sure we never have more than one frame pending at any time.
 428         // This ensures we do not swamp the GPU with so much work
 429         // that we cannot actually display the frames we generate.
 430         if (prev_sync != NULL) {
 431                 glFlush();
 432                 glClientWaitSync( prev_sync, 0, GL_TIMEOUT_IGNORED );
 433                 glDeleteSync( prev_sync );
 434         }
 435         chain->render_to_fbo( fbo->fbo, width, height );
 436         prev_sync = glFenceSync( GL_SYNC_GPU_COMMANDS_COMPLETE, 0 );
 437         GLsync sync = glFenceSync( GL_SYNC_GPU_COMMANDS_COMPLETE, 0 );
 438
 439         check_error();
 440         glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 441         check_error();
 442         release_fbo( fbo );
 443
 444         *image = (uint8_t*) &texture->texture;
 445         mlt_frame_set_image( frame, *image, 0, NULL );
 446         mlt_properties_set_data( MLT_FRAME_PROPERTIES(frame), "movit.convert.texture", texture, 0,
 447                 (mlt_destructor) GlslManager::release_texture, NULL );
 448         mlt_properties_set_data( MLT_FRAME_PROPERTIES(frame), "movit.convert.fence", sync, 0,
 449                 (mlt_destructor) GlslManager::delete_sync, NULL );
 450
 451         return 0;
 452 }
 453
 454 int GlslManager::render_frame_rgba(EffectChain *chain, mlt_frame frame, int width, int height, uint8_t **image)
 455 {
 456         glsl_fbo fbo = get_fbo( width, height );
 457         if (!fbo) return 1;
 458         glsl_texture texture = get_texture( width, height, GL_RGBA );
 459         if (!texture) {
 460                 release_fbo( fbo );
 461                 return 1;
 462         }
 463
 464         // Use a PBO to hold the data we read back with glReadPixels().
 465         // (Intel/DRI goes into a slow path if we don't read to PBO.)
 466         int img_size = width * height * 4;
 467         glsl_pbo pbo = get_pbo( img_size );
 468         if (!pbo) {
 469                 release_fbo( fbo );
 470                 release_texture(texture);
 471                 return 1;
 472         }
 473
 474         // Set the FBO
 475         check_error();
 476         glBindFramebuffer( GL_FRAMEBUFFER, fbo->fbo );
 477         check_error();
 478         glFramebufferTexture2D( GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, texture->texture, 0 );
 479         check_error();
 480         glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 481         check_error();
 482
 483         chain->render_to_fbo( fbo->fbo, width, height );
 484
 485         // Read FBO into PBO
 486         glBindFramebuffer( GL_FRAMEBUFFER, fbo->fbo );
 487         check_error();
 488         glBindBuffer( GL_PIXEL_PACK_BUFFER_ARB, pbo->pbo );
 489         check_error();
 490         glBufferData( GL_PIXEL_PACK_BUFFER_ARB, img_size, NULL, GL_STREAM_READ );
 491         check_error();
 492         glReadPixels( 0, 0, width, height, GL_BGRA, GL_UNSIGNED_BYTE, BUFFER_OFFSET(0) );
 493         check_error();
 494
 495         // Copy from PBO
 496         uint8_t* buf = (uint8_t*) glMapBuffer( GL_PIXEL_PACK_BUFFER_ARB, GL_READ_ONLY );
 497         check_error();
 498         *image = (uint8_t*) mlt_pool_alloc( img_size );
 499         mlt_frame_set_image( frame, *image, img_size, mlt_pool_release );
 500         memcpy( *image, buf, img_size );
 501
 502         // Convert BGRA to RGBA
 503         register uint8_t *p = *image;
 504         register int n = width * height + 1;
 505         while ( --n ) {
 506                 uint8_t b = p[0];
 507                 *p = p[2]; p += 2;
 508                 *p = b; p += 2;
 509         }
 510
 511         // Release PBO and FBO
 512         glUnmapBuffer( GL_PIXEL_PACK_BUFFER_ARB );
 513         check_error();
 514         glBindBuffer( GL_PIXEL_PACK_BUFFER_ARB, 0 );
 515         check_error();
 516         glBindFramebuffer( GL_FRAMEBUFFER, 0 );
 517         check_error();
 518         glBindTexture( GL_TEXTURE_2D, 0 );
 519         check_error();
 520         mlt_properties_set_data( MLT_FRAME_PROPERTIES(frame), "movit.convert.texture", texture, 0,
 521                 (mlt_destructor) GlslManager::release_texture, NULL);
 522         release_fbo( fbo );
 523
 524         return 0;
 525 }
 526
 527 void GlslManager::lock_service( mlt_frame frame )
 528 {
 529         Mlt::Producer producer( mlt_producer_cut_parent( mlt_frame_get_original_producer( frame ) ) );
 530         producer.lock();
 531 }
 532
 533 void GlslManager::unlock_service( mlt_frame frame )
 534 {
 535         Mlt::Producer producer( mlt_producer_cut_parent( mlt_frame_get_original_producer( frame ) ) );
 536         producer.unlock();
 537 }