git.sesse.net Git - vlc/blob - modules/codec/libass.c

   1 /*****************************************************************************
   2  * SSA/ASS subtitle decoder using libass.
   3  *****************************************************************************
   4  * Copyright (C) 2008-2009 the VideoLAN team
   5  * $Id$
   6  *
   7  * Authors: Laurent Aimar <fenrir@videolan.org>
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License as published by
  11  * the Free Software Foundation; either version 2 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU General Public License
  20  * along with this program; if not, write to the Free Software
  21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  22  *****************************************************************************/
  23
  24 /*****************************************************************************
  25  * Preamble
  26  *****************************************************************************/
  27
  28 #ifdef HAVE_CONFIG_H
  29 #   include "config.h"
  30 #endif
  31
  32 #include <string.h>
  33 #include <limits.h>
  34 #include <assert.h>
  35 #include <math.h>
  36
  37 #include <vlc_common.h>
  38 #include <vlc_plugin.h>
  39 #include <vlc_codec.h>
  40 #include <vlc_input.h>
  41 #include <vlc_dialog.h>
  42
  43 #include <ass/ass.h>
  44
  45 #if defined(WIN32)
  46 #   include <vlc_charset.h>
  47 #endif
  48
  49 /*****************************************************************************
  50  * Module descriptor
  51  *****************************************************************************/
  52 static int  Create ( vlc_object_t * );
  53 static void Destroy( vlc_object_t * );
  54
  55 vlc_module_begin ()
  56     set_shortname( N_("Subtitles (advanced)"))
  57     set_description( N_("Subtitle renderers using libass") )
  58     set_capability( "decoder", 100 )
  59     set_category( CAT_INPUT )
  60     set_subcategory( SUBCAT_INPUT_SCODEC )
  61     set_callbacks( Create, Destroy )
  62 vlc_module_end ()
  63
  64 /*****************************************************************************
  65  * Local prototypes
  66  *****************************************************************************/
  67 static subpicture_t *DecodeBlock( decoder_t *, block_t ** );
  68
  69 /* */
  70 struct decoder_sys_t
  71 {
  72     mtime_t        i_max_stop;
  73
  74     /* The following fields of decoder_sys_t are shared between decoder and spu units */
  75     vlc_mutex_t    lock;
  76     int            i_refcount;
  77
  78     /* */
  79     ASS_Library    *p_library;
  80     ASS_Renderer   *p_renderer;
  81     video_format_t fmt;
  82
  83     /* */
  84     ASS_Track      *p_track;
  85 };
  86 static void DecSysRelease( decoder_sys_t *p_sys );
  87 static void DecSysHold( decoder_sys_t *p_sys );
  88
  89 /* */
  90 static int SubpictureValidate( subpicture_t *,
  91                                bool, const video_format_t *,
  92                                bool, const video_format_t *,
  93                                mtime_t );
  94 static void SubpictureUpdate( subpicture_t *,
  95                               const video_format_t *,
  96                               const video_format_t *,
  97                               mtime_t );
  98 static void SubpictureDestroy( subpicture_t * );
  99
 100 struct subpicture_updater_sys_t
 101 {
 102     decoder_sys_t *p_dec_sys;
 103     void          *p_subs_data;
 104     int           i_subs_len;
 105     mtime_t       i_pts;
 106
 107     ASS_Image     *p_img;
 108 };
 109
 110 typedef struct
 111 {
 112     int x0;
 113     int y0;
 114     int x1;
 115     int y1;
 116 } rectangle_t;
 117
 118 static int BuildRegions( rectangle_t *p_region, int i_max_region, ASS_Image *p_img_list, int i_width, int i_height );
 119 static void RegionDraw( subpicture_region_t *p_region, ASS_Image *p_img );
 120
 121 //#define DEBUG_REGION
 122
 123 static void MessageCallback( int level, const char *fmt, va_list args, void *data )
 124 {
 125     decoder_t *p_dec = (decoder_t *)data;
 126
 127     // translate verbosity level
 128     if( level > 6 )
 129         return;
 130     else if( level > 4 )
 131         level = VLC_MSG_DBG;
 132     else if( level > 1 )
 133         level = VLC_MSG_WARN;
 134     else
 135         level = VLC_MSG_ERR;
 136
 137     msg_GenericVa( p_dec, level, MODULE_STRING, fmt, args );
 138 }
 139
 140 /*****************************************************************************
 141  * Create: Open libass decoder.
 142  *****************************************************************************/
 143 static int Create( vlc_object_t *p_this )
 144 {
 145     decoder_t *p_dec = (decoder_t *)p_this;
 146     decoder_sys_t *p_sys;
 147
 148     if( p_dec->fmt_in.i_codec != VLC_CODEC_SSA )
 149         return VLC_EGENERIC;
 150
 151     p_dec->pf_decode_sub = DecodeBlock;
 152
 153     p_dec->p_sys = p_sys = malloc( sizeof( decoder_sys_t ) );
 154     if( !p_sys )
 155         return VLC_ENOMEM;
 156
 157     /* */
 158     vlc_mutex_init( &p_sys->lock );
 159     p_sys->i_refcount = 1;
 160     memset( &p_sys->fmt, 0, sizeof(p_sys->fmt) );
 161     p_sys->i_max_stop = VLC_TS_INVALID;
 162     p_sys->p_library  = NULL;
 163     p_sys->p_renderer = NULL;
 164     p_sys->p_track    = NULL;
 165
 166     /* Create libass library */
 167     ASS_Library *p_library = p_sys->p_library = ass_library_init();
 168     if( !p_library )
 169     {
 170         msg_Warn( p_dec, "Libass library creation failed" );
 171         DecSysRelease( p_sys );
 172         return VLC_EGENERIC;
 173     }
 174
 175     /* Add message callback for logging */
 176     ass_set_message_cb( p_sys->p_library, MessageCallback, p_dec );
 177
 178     /* load attachments */
 179     input_attachment_t  **pp_attachments;
 180     int                   i_attachments;
 181     if( decoder_GetInputAttachments( p_dec, &pp_attachments, &i_attachments ))
 182     {
 183         i_attachments = 0;
 184         pp_attachments = NULL;
 185     }
 186     for( int k = 0; k < i_attachments; k++ )
 187     {
 188         input_attachment_t *p_attach = pp_attachments[k];
 189
 190         bool found = false;
 191
 192         /* Check mimetype*/
 193         if( !strcasecmp( p_attach->psz_mime, "application/x-truetype-font" ) )
 194             found = true;
 195         /* Then extension */
 196         else if( !found && strlen( p_attach->psz_name ) > 4 )
 197         {
 198             char *ext = p_attach->psz_name + strlen( p_attach->psz_name ) - 4;
 199
 200             if( !strcasecmp( ext, ".ttf" ) || !strcasecmp( ext, ".otf" ) || !strcasecmp( ext, ".ttc" ) )
 201                 found = true;
 202         }
 203
 204         if( found )
 205         {
 206             msg_Dbg( p_dec, "adding embedded font %s", p_attach->psz_name );
 207
 208             ass_add_font( p_sys->p_library, p_attach->psz_name, p_attach->p_data, p_attach->i_data );
 209         }
 210         vlc_input_attachment_Delete( p_attach );
 211     }
 212     free( pp_attachments );
 213
 214     ass_set_extract_fonts( p_library, true );
 215     ass_set_style_overrides( p_library, NULL );
 216
 217     /* Create the renderer */
 218     ASS_Renderer *p_renderer = p_sys->p_renderer = ass_renderer_init( p_library );
 219     if( !p_renderer )
 220     {
 221         msg_Warn( p_dec, "Libass renderer creation failed" );
 222         DecSysRelease( p_sys );
 223         return VLC_EGENERIC;
 224     }
 225
 226     ass_set_use_margins( p_renderer, false);
 227     //if( false )
 228     //    ass_set_margins( p_renderer, int t, int b, int l, int r);
 229     ass_set_hinting( p_renderer, ASS_HINTING_LIGHT );
 230     ass_set_font_scale( p_renderer, 1.0 );
 231     ass_set_line_spacing( p_renderer, 0.0 );
 232
 233     const char *psz_font = NULL; /* We don't ship a default font with VLC */
 234     const char *psz_family = "Arial"; /* Use Arial if we can't find anything more suitable */
 235
 236 #ifdef HAVE_FONTCONFIG
 237 #if defined(WIN32)
 238     dialog_progress_bar_t *p_dialog =
 239         dialog_ProgressCreate( p_dec,
 240                                _("Building font cache"),
 241                                _( "Please wait while your font cache is rebuilt.\n"
 242                                   "This should take less than a minute." ), NULL );
 243     if( p_dialog )
 244         dialog_ProgressSet( p_dialog, NULL, 0.2 );
 245 #endif
 246     ass_set_fonts( p_renderer, psz_font, psz_family, true, NULL, 1 );  // setup default font/family
 247 #ifdef WIN32
 248     if( p_dialog )
 249     {
 250         dialog_ProgressSet( p_dialog, NULL, 1.0 );
 251         dialog_ProgressDestroy( p_dialog );
 252     }
 253 #endif
 254 #else
 255     /* FIXME you HAVE to give him a font if no fontconfig */
 256     ass_set_fonts( p_renderer, psz_font, psz_family, false, NULL, 1 );
 257 #endif
 258
 259     /* Add a track */
 260     ASS_Track *p_track = p_sys->p_track = ass_new_track( p_sys->p_library );
 261     if( !p_track )
 262     {
 263         DecSysRelease( p_sys );
 264         return VLC_EGENERIC;
 265     }
 266     ass_process_codec_private( p_track, p_dec->fmt_in.p_extra, p_dec->fmt_in.i_extra );
 267
 268     p_dec->fmt_out.i_cat = SPU_ES;
 269     p_dec->fmt_out.i_codec = VLC_CODEC_RGBA;
 270
 271     return VLC_SUCCESS;
 272 }
 273
 274 /*****************************************************************************
 275  * Destroy: finish
 276  *****************************************************************************/
 277 static void Destroy( vlc_object_t *p_this )
 278 {
 279     decoder_t *p_dec = (decoder_t *)p_this;
 280
 281     DecSysRelease( p_dec->p_sys );
 282 }
 283
 284 static void DecSysHold( decoder_sys_t *p_sys )
 285 {
 286     vlc_mutex_lock( &p_sys->lock );
 287     p_sys->i_refcount++;
 288     vlc_mutex_unlock( &p_sys->lock );
 289 }
 290 static void DecSysRelease( decoder_sys_t *p_sys )
 291 {
 292     /* */
 293     vlc_mutex_lock( &p_sys->lock );
 294     p_sys->i_refcount--;
 295     if( p_sys->i_refcount > 0 )
 296     {
 297         vlc_mutex_unlock( &p_sys->lock );
 298         return;
 299     }
 300     vlc_mutex_unlock( &p_sys->lock );
 301     vlc_mutex_destroy( &p_sys->lock );
 302
 303     if( p_sys->p_track )
 304         ass_free_track( p_sys->p_track );
 305     if( p_sys->p_renderer )
 306         ass_renderer_done( p_sys->p_renderer );
 307     if( p_sys->p_library )
 308         ass_library_done( p_sys->p_library );
 309
 310     free( p_sys );
 311 }
 312
 313 /****************************************************************************
 314  * DecodeBlock:
 315  ****************************************************************************/
 316 static subpicture_t *DecodeBlock( decoder_t *p_dec, block_t **pp_block )
 317 {
 318     decoder_sys_t *p_sys = p_dec->p_sys;
 319
 320     subpicture_t *p_spu = NULL;
 321     block_t *p_block;
 322
 323     if( !pp_block || *pp_block == NULL )
 324         return NULL;
 325
 326     p_block = *pp_block;
 327     if( p_block->i_flags & (BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED) )
 328     {
 329         p_sys->i_max_stop = VLC_TS_INVALID;
 330         block_Release( p_block );
 331         return NULL;
 332     }
 333     *pp_block = NULL;
 334
 335     if( p_block->i_buffer == 0 || p_block->p_buffer[0] == '\0' )
 336     {
 337         block_Release( p_block );
 338         return NULL;
 339     }
 340
 341     subpicture_updater_sys_t *p_spu_sys = malloc( sizeof(*p_spu_sys) );
 342     if( !p_spu_sys )
 343     {
 344         block_Release( p_block );
 345         return NULL;
 346     }
 347
 348     subpicture_updater_t updater = {
 349         .pf_validate = SubpictureValidate,
 350         .pf_update   = SubpictureUpdate,
 351         .pf_destroy  = SubpictureDestroy,
 352         .p_sys       = p_spu_sys,
 353     };
 354     p_spu = decoder_NewSubpicture( p_dec, &updater );
 355     if( !p_spu )
 356     {
 357         msg_Warn( p_dec, "can't get spu buffer" );
 358         free( p_spu_sys );
 359         block_Release( p_block );
 360         return NULL;
 361     }
 362
 363     p_spu_sys->p_img = NULL;
 364     p_spu_sys->p_dec_sys = p_sys;
 365     p_spu_sys->i_subs_len = p_block->i_buffer;
 366     p_spu_sys->p_subs_data = malloc( p_block->i_buffer );
 367     p_spu_sys->i_pts = p_block->i_pts;
 368     if( !p_spu_sys->p_subs_data )
 369     {
 370         decoder_DeleteSubpicture( p_dec, p_spu );
 371         block_Release( p_block );
 372         return NULL;
 373     }
 374     memcpy( p_spu_sys->p_subs_data, p_block->p_buffer,
 375             p_block->i_buffer );
 376
 377     p_spu->i_start = p_block->i_pts;
 378     p_spu->i_stop = __MAX( p_sys->i_max_stop, p_block->i_pts + p_block->i_length );
 379     p_spu->b_ephemer = true;
 380     p_spu->b_absolute = true;
 381
 382     p_sys->i_max_stop = p_spu->i_stop;
 383
 384     vlc_mutex_lock( &p_sys->lock );
 385     if( p_sys->p_track )
 386     {
 387         ass_process_chunk( p_sys->p_track, p_spu_sys->p_subs_data, p_spu_sys->i_subs_len,
 388                            p_block->i_pts / 1000, p_block->i_length / 1000 );
 389     }
 390     vlc_mutex_unlock( &p_sys->lock );
 391
 392     DecSysHold( p_sys ); /* Keep a reference for the returned subpicture */
 393
 394     block_Release( p_block );
 395
 396     return p_spu;
 397 }
 398
 399 /****************************************************************************
 400  *
 401  ****************************************************************************/
 402 static int SubpictureValidate( subpicture_t *p_subpic,
 403                                bool b_fmt_src, const video_format_t *p_fmt_src,
 404                                bool b_fmt_dst, const video_format_t *p_fmt_dst,
 405                                mtime_t i_ts )
 406 {
 407     decoder_sys_t *p_sys = p_subpic->updater.p_sys->p_dec_sys;
 408
 409     vlc_mutex_lock( &p_sys->lock );
 410
 411     video_format_t fmt = *p_fmt_dst;
 412     fmt.i_chroma         = VLC_CODEC_RGBA;
 413     fmt.i_bits_per_pixel = 0;
 414     fmt.i_visible_width  = fmt.i_width;
 415     fmt.i_visible_height = fmt.i_height;
 416     fmt.i_x_offset       = 0;
 417     fmt.i_y_offset       = 0;
 418     if( b_fmt_src || b_fmt_dst )
 419     {
 420         ass_set_frame_size( p_sys->p_renderer, fmt.i_width, fmt.i_height );
 421         const double src_ratio = (double)p_fmt_src->i_width / p_fmt_src->i_height;
 422         const double dst_ratio = (double)p_fmt_dst->i_width / p_fmt_dst->i_height;
 423         ass_set_aspect_ratio( p_sys->p_renderer, dst_ratio / src_ratio, 1 );
 424         p_sys->fmt = fmt;
 425     }
 426
 427     /* */
 428     const mtime_t i_stream_date = p_subpic->updater.p_sys->i_pts + (i_ts - p_subpic->i_start);
 429     int i_changed;
 430     ASS_Image *p_img = ass_render_frame( p_sys->p_renderer, p_sys->p_track,
 431                                          i_stream_date/1000, &i_changed );
 432
 433     if( !i_changed && !b_fmt_src && !b_fmt_dst &&
 434         (p_img != NULL) == (p_subpic->p_region != NULL) )
 435     {
 436         vlc_mutex_unlock( &p_sys->lock );
 437         return VLC_SUCCESS;
 438     }
 439     p_subpic->updater.p_sys->p_img = p_img;
 440
 441     /* The lock is released by SubpictureUpdate */
 442     return VLC_EGENERIC;
 443 }
 444
 445 static void SubpictureUpdate( subpicture_t *p_subpic,
 446                               const video_format_t *p_fmt_src,
 447                               const video_format_t *p_fmt_dst,
 448                               mtime_t i_ts )
 449 {
 450     VLC_UNUSED( p_fmt_src ); VLC_UNUSED( p_fmt_dst ); VLC_UNUSED( i_ts );
 451
 452     decoder_sys_t *p_sys = p_subpic->updater.p_sys->p_dec_sys;
 453
 454     video_format_t fmt = p_sys->fmt;
 455     ASS_Image *p_img = p_subpic->updater.p_sys->p_img;
 456
 457     /* */
 458     p_subpic->i_original_picture_height = fmt.i_height;
 459     p_subpic->i_original_picture_width = fmt.i_width;
 460
 461     /* XXX to improve efficiency we merge regions that are close minimizing
 462      * the lost surface.
 463      * libass tends to create a lot of small regions and thus spu engine
 464      * reinstanciate a lot the scaler, and as we do not support subpel blending
 465      * it looks ugly (text unaligned).
 466      */
 467     const int i_max_region = 4;
 468     rectangle_t region[i_max_region];
 469     const int i_region = BuildRegions( region, i_max_region, p_img, fmt.i_width, fmt.i_height );
 470
 471     if( i_region <= 0 )
 472     {
 473         vlc_mutex_unlock( &p_sys->lock );
 474         return;
 475     }
 476
 477     /* Allocate the regions and draw them */
 478     subpicture_region_t **pp_region_last = &p_subpic->p_region;
 479
 480     for( int i = 0; i < i_region; i++ )
 481     {
 482         subpicture_region_t *r;
 483         video_format_t fmt_region;
 484
 485         /* */
 486         fmt_region = fmt;
 487         fmt_region.i_width =
 488         fmt_region.i_visible_width  = region[i].x1 - region[i].x0;
 489         fmt_region.i_height =
 490         fmt_region.i_visible_height = region[i].y1 - region[i].y0;
 491
 492         r = subpicture_region_New( &fmt_region );
 493         if( !r )
 494             break;
 495         r->i_x = region[i].x0;
 496         r->i_y = region[i].y0;
 497         r->i_align = SUBPICTURE_ALIGN_TOP | SUBPICTURE_ALIGN_LEFT;
 498
 499         /* */
 500         RegionDraw( r, p_img );
 501
 502         /* */
 503         *pp_region_last = r;
 504         pp_region_last = &r->p_next;
 505     }
 506     vlc_mutex_unlock( &p_sys->lock );
 507
 508 }
 509 static void SubpictureDestroy( subpicture_t *p_subpic )
 510 {
 511     subpicture_updater_sys_t *p_sys = p_subpic->updater.p_sys;
 512
 513     DecSysRelease( p_sys->p_dec_sys );
 514     free( p_sys->p_subs_data );
 515     free( p_sys );
 516 }
 517
 518 static rectangle_t r_create( int x0, int y0, int x1, int y1 )
 519 {
 520     rectangle_t r = { x0, y0, x1, y1 };
 521     return r;
 522 }
 523 static rectangle_t r_img( const ASS_Image *p_img )
 524 {
 525     return r_create( p_img->dst_x, p_img->dst_y, p_img->dst_x+p_img->w, p_img->dst_y+p_img->h );
 526 }
 527 static void r_add( rectangle_t *r, const rectangle_t *n )
 528 {
 529     r->x0 = __MIN( r->x0, n->x0 );
 530     r->y0 = __MIN( r->y0, n->y0 );
 531     r->x1 = __MAX( r->x1, n->x1 );
 532     r->y1 = __MAX( r->y1, n->y1 );
 533 }
 534 static int r_surface( const rectangle_t *r )
 535 {
 536     return (r->x1-r->x0) * (r->y1-r->y0);
 537 }
 538 static bool r_overlap( const rectangle_t *a, const rectangle_t *b, int i_dx, int i_dy )
 539 {
 540     return  __MAX(a->x0-i_dx, b->x0) < __MIN( a->x1+i_dx, b->x1 ) &&
 541             __MAX(a->y0-i_dy, b->y0) < __MIN( a->y1+i_dy, b->y1 );
 542 }
 543
 544 static int BuildRegions( rectangle_t *p_region, int i_max_region, ASS_Image *p_img_list, int i_width, int i_height )
 545 {
 546     ASS_Image *p_tmp;
 547     int i_count;
 548
 549 #ifdef DEBUG_REGION
 550     int64_t i_ck_start = mdate();
 551 #endif
 552
 553     for( p_tmp = p_img_list, i_count = 0; p_tmp != NULL; p_tmp = p_tmp->next )
 554         if( p_tmp->w > 0 && p_tmp->h > 0 )
 555             i_count++;
 556     if( i_count <= 0 )
 557         return 0;
 558
 559     ASS_Image **pp_img = calloc( i_count, sizeof(*pp_img) );
 560     if( !pp_img )
 561         return 0;
 562
 563     for( p_tmp = p_img_list, i_count = 0; p_tmp != NULL; p_tmp = p_tmp->next )
 564         if( p_tmp->w > 0 && p_tmp->h > 0 )
 565             pp_img[i_count++] = p_tmp;
 566
 567     /* */
 568     const int i_w_inc = __MAX( ( i_width + 49 ) / 50, 32 );
 569     const int i_h_inc = __MAX( ( i_height + 99 ) / 100, 32 );
 570     int i_maxh = i_w_inc;
 571     int i_maxw = i_h_inc;
 572     int i_region;
 573     rectangle_t region[i_max_region+1];
 574
 575     i_region = 0;
 576     for( int i_used = 0; i_used < i_count; )
 577     {
 578         int n;
 579         for( n = 0; n < i_count; n++ )
 580         {
 581             if( pp_img[n] )
 582                 break;
 583         }
 584         assert( i_region < i_max_region + 1 );
 585         region[i_region++] = r_img( pp_img[n] );
 586         pp_img[n] = NULL; i_used++;
 587
 588         bool b_ok;
 589         do {
 590             b_ok = false;
 591             for( n = 0; n < i_count; n++ )
 592             {
 593                 ASS_Image *p_img = pp_img[n];
 594                 if( !p_img )
 595                     continue;
 596                 rectangle_t r = r_img( p_img );
 597
 598                 int k;
 599                 int i_best = -1;
 600                 int i_best_s = INT_MAX;
 601                 for( k = 0; k < i_region; k++ )
 602                 {
 603                     if( !r_overlap( &region[k], &r, i_maxw, i_maxh ) )
 604                         continue;
 605                     int s = r_surface( &r );
 606                     if( s < i_best_s )
 607                     {
 608                         i_best_s = s;
 609                         i_best = k;
 610                     }
 611                 }
 612                 if( i_best >= 0 )
 613                 {
 614                     r_add( &region[i_best], &r );
 615                     pp_img[n] = NULL; i_used++;
 616                     b_ok = true;
 617                 }
 618             }
 619         } while( b_ok );
 620
 621         if( i_region > i_max_region )
 622         {
 623             int i_best_i = -1;
 624             int i_best_j = -1;
 625             int i_best_ds = INT_MAX;
 626
 627             /* merge best */
 628             for( int i = 0; i < i_region; i++ )
 629             {
 630                 for( int j = i+1; j < i_region; j++ )
 631                 {
 632                     rectangle_t n = region[i];
 633                     r_add( &n, &region[j] );
 634                     int ds = r_surface( &n ) - r_surface( &region[i] ) - r_surface( &region[j] );
 635
 636                     if( ds < i_best_ds )
 637                     {
 638                         i_best_i = i;
 639                         i_best_j = j;
 640                         i_best_ds = ds;
 641                     }
 642                 }
 643             }
 644 #ifdef DEBUG_REGION
 645             msg_Err( p_spu, "Merging %d and %d", i_best_i, i_best_j );
 646 #endif
 647             r_add( &region[i_best_i], &region[i_best_j] );
 648
 649             if( i_best_j+1 < i_region )
 650                 memmove( &region[i_best_j], &region[i_best_j+1], sizeof(*region) * ( i_region - (i_best_j+1)  ) );
 651             i_region--;
 652         }
 653     }
 654
 655     /* */
 656     for( int n = 0; n < i_region; n++ )
 657         p_region[n] = region[n];
 658
 659 #ifdef DEBUG_REGION
 660     int64_t i_ck_time = mdate() - i_ck_start;
 661     msg_Err( p_spu, "ASS: %d objects merged into %d region in %d micros", i_count, i_region, (int)(i_ck_time) );
 662 #endif
 663
 664     free( pp_img );
 665
 666     return i_region;
 667 }
 668
 669 static void RegionDraw( subpicture_region_t *p_region, ASS_Image *p_img )
 670 {
 671     const plane_t *p = &p_region->p_picture->p[0];
 672     const int i_x = p_region->i_x;
 673     const int i_y = p_region->i_y;
 674     const int i_width  = p_region->fmt.i_width;
 675     const int i_height = p_region->fmt.i_height;
 676
 677     memset( p->p_pixels, 0x00, p->i_pitch * p->i_lines );
 678     for( ; p_img != NULL; p_img = p_img->next )
 679     {
 680         if( p_img->dst_x < i_x || p_img->dst_x + p_img->w > i_x + i_width ||
 681             p_img->dst_y < i_y || p_img->dst_y + p_img->h > i_y + i_height )
 682             continue;
 683
 684         const unsigned r = (p_img->color >> 24)&0xff;
 685         const unsigned g = (p_img->color >> 16)&0xff;
 686         const unsigned b = (p_img->color >>  8)&0xff;
 687         const unsigned a = (p_img->color      )&0xff;
 688         int x, y;
 689
 690         for( y = 0; y < p_img->h; y++ )
 691         {
 692             for( x = 0; x < p_img->w; x++ )
 693             {
 694                 const unsigned alpha = p_img->bitmap[y*p_img->stride+x];
 695                 const unsigned an = (255 - a) * alpha / 255;
 696
 697                 uint8_t *p_rgba = &p->p_pixels[(y+p_img->dst_y-i_y) * p->i_pitch + 4 * (x+p_img->dst_x-i_x)];
 698                 const unsigned ao = p_rgba[3];
 699
 700                 /* Native endianness, but RGBA ordering */
 701                 if( ao == 0 )
 702                 {
 703                     /* Optimized but the else{} will produce the same result */
 704                     p_rgba[0] = r;
 705                     p_rgba[1] = g;
 706                     p_rgba[2] = b;
 707                     p_rgba[3] = an;
 708                 }
 709                 else
 710                 {
 711                     p_rgba[3] = 255 - ( 255 - p_rgba[3] ) * ( 255 - an ) / 255;
 712                     if( p_rgba[3] != 0 )
 713                     {
 714                         p_rgba[0] = ( p_rgba[0] * ao * (255-an) / 255 + r * an ) / p_rgba[3];
 715                         p_rgba[1] = ( p_rgba[1] * ao * (255-an) / 255 + g * an ) / p_rgba[3];
 716                         p_rgba[2] = ( p_rgba[2] * ao * (255-an) / 255 + b * an ) / p_rgba[3];
 717                     }
 718                 }
 719             }
 720         }
 721     }
 722
 723 #ifdef DEBUG_REGION
 724     /* XXX Draw a box for debug */
 725 #define P(x,y) ((uint32_t*)&p->p_pixels[(y)*p->i_pitch + 4*(x)])
 726     for( int y = 0; y < p->i_lines; y++ )
 727         *P(0,y) = *P(p->i_visible_pitch/4-1,y) = 0xff000000;
 728     for( int x = 0; x < p->i_visible_pitch; x++ )
 729         *P(x/4,0) = *P(x/4,p->i_visible_lines-1) = 0xff000000;
 730 #undef P
 731 #endif
 732 }
 733