]> git.sesse.net Git - vlc/blob - modules/codec/spudec/parse.c
* modules/codec/spudec/*: automatic cropping of fullscreen subpictures (most of them...
[vlc] / modules / codec / spudec / parse.c
1 /*****************************************************************************
2  * parse.c: SPU parser
3  *****************************************************************************
4  * Copyright (C) 2000-2001 VideoLAN
5  * $Id$
6  *
7  * Authors: Samuel Hocevar <sam@zoy.org>
8  *          Laurent Aimar <fenrir@via.ecp.fr>
9  *          Gildas Bazin <gbazin@videolan.org>
10  *
11  * This program is free software; you can redistribute it and/or modify
12  * it under the terms of the GNU General Public License as published by
13  * the Free Software Foundation; either version 2 of the License, or
14  * (at your option) any later version.
15  *
16  * This program is distributed in the hope that it will be useful,
17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19  * GNU General Public License for more details.
20  *
21  * You should have received a copy of the GNU General Public License
22  * along with this program; if not, write to the Free Software
23  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
24  *****************************************************************************/
25
26 /*****************************************************************************
27  * Preamble
28  *****************************************************************************/
29 #include <vlc/vlc.h>
30 #include <vlc/vout.h>
31 #include <vlc/decoder.h>
32
33 #include "spudec.h"
34
35 /*****************************************************************************
36  * Local prototypes.
37  *****************************************************************************/
38 static int  ParseControlSeq( decoder_t *, subpicture_t *, subpicture_data_t *);
39 static int  ParseRLE       ( decoder_t *, subpicture_t *, subpicture_data_t *);
40 static void Render         ( decoder_t *, subpicture_t *, subpicture_data_t *);
41
42 /*****************************************************************************
43  * AddNibble: read a nibble from a source packet and add it to our integer.
44  *****************************************************************************/
45 static inline unsigned int AddNibble( unsigned int i_code,
46                                       uint8_t *p_src, int *pi_index )
47 {
48     if( *pi_index & 0x1 )
49     {
50         return( i_code << 4 | ( p_src[(*pi_index)++ >> 1] & 0xf ) );
51     }
52     else
53     {
54         return( i_code << 4 | p_src[(*pi_index)++ >> 1] >> 4 );
55     }
56 }
57
58 /*****************************************************************************
59  * ParsePacket: parse an SPU packet and send it to the video output
60  *****************************************************************************
61  * This function parses the SPU packet and, if valid, sends it to the
62  * video output.
63  *****************************************************************************/
64 subpicture_t * E_(ParsePacket)( decoder_t *p_dec )
65 {
66     decoder_sys_t *p_sys = p_dec->p_sys;
67     subpicture_data_t *p_spu_data;
68     subpicture_t *p_spu;
69
70     /* Allocate the subpicture internal data. */
71     p_spu = p_dec->pf_spu_buffer_new( p_dec );
72     if( !p_spu ) return NULL;
73
74     /* Rationale for the "p_spudec->i_rle_size * 4": we are going to
75      * expand the RLE stuff so that we won't need to read nibbles later
76      * on. This will speed things up a lot. Plus, we'll only need to do
77      * this stupid interlacing stuff once. */
78     p_spu_data = malloc( sizeof(subpicture_data_t) + 4 * p_sys->i_rle_size );
79     p_spu_data->p_data = (uint8_t *)p_spu_data + sizeof(subpicture_data_t);
80     p_spu_data->b_palette = VLC_FALSE;
81     p_spu_data->b_auto_crop = VLC_FALSE;
82     p_spu_data->i_y_top_offset = 0;
83     p_spu_data->i_y_bottom_offset = 0;
84
85     p_spu_data->pi_alpha[0] = 0x00;
86     p_spu_data->pi_alpha[1] = 0x0f;
87     p_spu_data->pi_alpha[2] = 0x0f;
88     p_spu_data->pi_alpha[3] = 0x0f;
89
90     /* Get display time now. If we do it later, we may miss the PTS. */
91     p_spu_data->i_pts = p_sys->i_pts;
92
93     /* Getting the control part */
94     if( ParseControlSeq( p_dec, p_spu, p_spu_data ) )
95     {
96         /* There was a parse error, delete the subpicture */
97         p_dec->pf_spu_buffer_del( p_dec, p_spu );
98         return NULL;
99     }
100
101      /* We try to display it */
102     if( ParseRLE( p_dec, p_spu, p_spu_data ) )
103     {
104         /* There was a parse error, delete the subpicture */
105         p_dec->pf_spu_buffer_del( p_dec, p_spu );
106         return NULL;
107     }
108
109     msg_Dbg( p_dec, "total size: 0x%x, RLE offsets: 0x%x 0x%x",
110              p_sys->i_spu_size,
111              p_spu_data->pi_offset[0], p_spu_data->pi_offset[1] );
112
113     Render( p_dec, p_spu, p_spu_data );
114     free( p_spu_data );
115
116     return p_spu;
117 }
118
119 /*****************************************************************************
120  * ParseControlSeq: parse all SPU control sequences
121  *****************************************************************************
122  * This is the most important part in SPU decoding. We get dates, palette
123  * information, coordinates, and so on. For more information on the
124  * subtitles format, see http://sam.zoy.org/doc/dvd/subtitles/index.html
125  *****************************************************************************/
126 static int ParseControlSeq( decoder_t *p_dec, subpicture_t *p_spu,
127                             subpicture_data_t *p_spu_data )
128 {
129     decoder_sys_t *p_sys = p_dec->p_sys;
130
131     /* Our current index in the SPU packet */
132     unsigned int i_index = p_sys->i_rle_size + 4;
133
134     /* The next start-of-control-sequence index and the previous one */
135     unsigned int i_next_seq = 0, i_cur_seq = 0;
136
137     /* Command and date */
138     uint8_t i_command = SPU_CMD_END;
139     mtime_t date = 0;
140
141     unsigned int i, pi_alpha[4];
142
143     /* Initialize the structure */
144     p_spu->i_start = p_spu->i_stop = 0;
145     p_spu->b_ephemer = VLC_FALSE;
146
147     do
148     {
149         if( (int)i_index >= p_sys->i_spu_size + 1 )
150         {
151             /* sanity
152              * XXX only on test by loop as p_sys->buffer is bigger than needed
153              * to avoid checking at each access
154              */
155             break;
156         }
157
158         /* If we just read a command sequence, read the next one;
159          * otherwise, go on with the commands of the current sequence. */
160         if( i_command == SPU_CMD_END )
161         {
162             /* Get the control sequence date */
163             date = (mtime_t)GetWBE( &p_sys->buffer[i_index] ) * 11000;
164             /* FIXME How to access i_rate
165                     * p_spudec->bit_stream.p_pes->i_rate / DEFAULT_RATE;
166             */
167
168             /* Next offset */
169             i_cur_seq = i_index;
170             i_next_seq = GetWBE( &p_sys->buffer[i_index+2] );
171
172             /* Skip what we just read */
173             i_index += 4;
174         }
175
176         i_command = p_sys->buffer[i_index++];
177
178         switch( i_command )
179         {
180         case SPU_CMD_FORCE_DISPLAY: /* 00 (force displaying) */
181             p_spu->i_start = p_spu_data->i_pts + date;
182             p_spu->b_ephemer = VLC_TRUE;
183             break;
184
185         /* Convert the dates in seconds to PTS values */
186         case SPU_CMD_START_DISPLAY: /* 01 (start displaying) */
187             p_spu->i_start = p_spu_data->i_pts + date;
188             break;
189
190         case SPU_CMD_STOP_DISPLAY: /* 02 (stop displaying) */
191             p_spu->i_stop = p_spu_data->i_pts + date;
192             break;
193
194         case SPU_CMD_SET_PALETTE:
195
196             /* 03xxxx (palette) */
197             if( p_dec->fmt_in.subs.spu.palette[0] == 0xBeeF )
198             {
199                 unsigned int idx[4];
200
201                 p_spu_data->b_palette = VLC_TRUE;
202
203                 idx[0] = (p_sys->buffer[i_index+0]>>4)&0x0f;
204                 idx[1] = (p_sys->buffer[i_index+0])&0x0f;
205                 idx[2] = (p_sys->buffer[i_index+1]>>4)&0x0f;
206                 idx[3] = (p_sys->buffer[i_index+1])&0x0f;
207
208                 for( i = 0; i < 4 ; i++ )
209                 {
210                     uint32_t i_color = p_dec->fmt_in.subs.spu.palette[1+idx[i]];
211
212                     /* FIXME: this job should be done sooner */
213                     p_spu_data->pi_yuv[3-i][0] = (i_color>>16) & 0xff;
214                     p_spu_data->pi_yuv[3-i][1] = (i_color>>0) & 0xff;
215                     p_spu_data->pi_yuv[3-i][2] = (i_color>>8) & 0xff;
216                 }
217             }
218             i_index += 2;
219
220             break;
221
222         case SPU_CMD_SET_ALPHACHANNEL: /* 04xxxx (alpha channel) */
223             pi_alpha[3] = (p_sys->buffer[i_index+0]>>4)&0x0f;
224             pi_alpha[2] = (p_sys->buffer[i_index+0])&0x0f;
225             pi_alpha[1] = (p_sys->buffer[i_index+1]>>4)&0x0f;
226             pi_alpha[0] = (p_sys->buffer[i_index+1])&0x0f;
227
228             /* Ignore blank alpha palette. Sometimes spurious blank
229              * alpha palettes are present - dunno why. */
230             if( pi_alpha[0] | pi_alpha[1] | pi_alpha[2] | pi_alpha[3] )
231             {
232                 p_spu_data->pi_alpha[0] = pi_alpha[0];
233                 p_spu_data->pi_alpha[1] = pi_alpha[1];
234                 p_spu_data->pi_alpha[2] = pi_alpha[2];
235                 p_spu_data->pi_alpha[3] = pi_alpha[3];
236             }
237             else
238             {
239                 msg_Warn( p_dec, "ignoring blank alpha palette" );
240             }
241
242             i_index += 2;
243             break;
244
245         case SPU_CMD_SET_COORDINATES: /* 05xxxyyyxxxyyy (coordinates) */
246             p_spu->i_x = (p_sys->buffer[i_index+0]<<4)|
247                          ((p_sys->buffer[i_index+1]>>4)&0x0f);
248             p_spu->i_width = (((p_sys->buffer[i_index+1]&0x0f)<<8)|
249                               p_sys->buffer[i_index+2]) - p_spu->i_x + 1;
250
251             p_spu->i_y = (p_sys->buffer[i_index+3]<<4)|
252                          ((p_sys->buffer[i_index+4]>>4)&0x0f);
253             p_spu->i_height = (((p_sys->buffer[i_index+4]&0x0f)<<8)|
254                               p_sys->buffer[i_index+5]) - p_spu->i_y + 1;
255
256             /* Auto crop fullscreen subtitles */
257             if( p_spu->i_height > 250 )
258                 p_spu_data->b_auto_crop = VLC_TRUE;
259
260             i_index += 6;
261             break;
262
263         case SPU_CMD_SET_OFFSETS: /* 06xxxxyyyy (byte offsets) */
264             p_spu_data->pi_offset[0] = GetWBE(&p_sys->buffer[i_index+0]) - 4;
265             p_spu_data->pi_offset[1] = GetWBE(&p_sys->buffer[i_index+2]) - 4;
266             i_index += 4;
267             break;
268
269         case SPU_CMD_END: /* ff (end) */
270             break;
271
272         default: /* xx (unknown command) */
273             msg_Warn( p_dec, "unknown command 0x%.2x", i_command );
274             return VLC_EGENERIC;
275         }
276
277         /* We need to check for quit commands here */
278         if( p_dec->b_die )
279         {
280             return VLC_EGENERIC;
281         }
282
283     } while( i_command != SPU_CMD_END || i_index == i_next_seq );
284
285     /* Check that the next sequence index matches the current one */
286     if( i_next_seq != i_cur_seq )
287     {
288         msg_Err( p_dec, "index mismatch (0x%.4x != 0x%.4x)",
289                  i_next_seq, i_cur_seq );
290         return VLC_EGENERIC;
291     }
292
293     if( (int)i_index > p_sys->i_spu_size )
294     {
295         msg_Err( p_dec, "uh-oh, we went too far (0x%.4x > 0x%.4x)",
296                  i_index, p_sys->i_spu_size );
297         return VLC_EGENERIC;
298     }
299
300     if( !p_spu->i_start )
301     {
302         msg_Err( p_dec, "no `start display' command" );
303     }
304
305     if( p_spu->i_stop <= p_spu->i_start && !p_spu->b_ephemer )
306     {
307         /* This subtitle will live for 5 seconds or until the next subtitle */
308         p_spu->i_stop = p_spu->i_start + (mtime_t)500 * 11000;
309         p_spu->b_ephemer = VLC_TRUE;
310     }
311
312     /* Get rid of padding bytes */
313     if( p_sys->i_spu_size > (int)i_index + 1 )
314     {
315         /* Zero or one padding byte, are quite usual
316          * More than one padding byte - this is very strange, but
317          * we can deal with it */
318         msg_Warn( p_dec, "%i padding bytes, we usually get 0 or 1 of them",
319                   p_sys->i_spu_size - i_index );
320     }
321
322     /* Successfully parsed ! */
323     return VLC_SUCCESS;
324 }
325
326 /*****************************************************************************
327  * ParseRLE: parse the RLE part of the subtitle
328  *****************************************************************************
329  * This part parses the subtitle graphical data and stores it in a more
330  * convenient structure for later decoding. For more information on the
331  * subtitles format, see http://sam.zoy.org/doc/dvd/subtitles/index.html
332  *****************************************************************************/
333 static int ParseRLE( decoder_t *p_dec, subpicture_t * p_spu,
334                      subpicture_data_t *p_spu_data )
335 {
336     decoder_sys_t *p_sys = p_dec->p_sys;
337     uint8_t       *p_src = &p_sys->buffer[4];
338
339     unsigned int i_code;
340
341     unsigned int i_width = p_spu->i_width;
342     unsigned int i_height = p_spu->i_height;
343     unsigned int i_x, i_y;
344
345     uint16_t *p_dest = (uint16_t *)p_spu_data->p_data;
346
347     /* The subtitles are interlaced, we need two offsets */
348     unsigned int  i_id = 0;                   /* Start on the even SPU layer */
349     unsigned int  pi_table[ 2 ];
350     unsigned int *pi_offset;
351
352     /* Cropping */
353     vlc_bool_t b_empty_top = VLC_TRUE;
354     unsigned int i_skipped_top = 0, i_skipped_bottom = 0;
355     unsigned int i_transparent_code = 0;
356  
357     /* Colormap statistics */
358     int i_border = -1;
359     int stats[4]; stats[0] = stats[1] = stats[2] = stats[3] = 0;
360
361     pi_table[ 0 ] = p_spu_data->pi_offset[ 0 ] << 1;
362     pi_table[ 1 ] = p_spu_data->pi_offset[ 1 ] << 1;
363
364     for( i_y = 0 ; i_y < i_height ; i_y++ )
365     {
366         pi_offset = pi_table + i_id;
367
368         for( i_x = 0 ; i_x < i_width ; i_x += i_code >> 2 )
369         {
370             i_code = AddNibble( 0, p_src, pi_offset );
371
372             if( i_code < 0x04 )
373             {
374                 i_code = AddNibble( i_code, p_src, pi_offset );
375
376                 if( i_code < 0x10 )
377                 {
378                     i_code = AddNibble( i_code, p_src, pi_offset );
379
380                     if( i_code < 0x040 )
381                     {
382                         i_code = AddNibble( i_code, p_src, pi_offset );
383
384                         if( i_code < 0x0100 )
385                         {
386                             /* If the 14 first bits are set to 0, then it's a
387                              * new line. We emulate it. */
388                             if( i_code < 0x0004 )
389                             {
390                                 i_code |= ( i_width - i_x ) << 2;
391                             }
392                             else
393                             {
394                                 /* We have a boo boo ! */
395                                 msg_Err( p_dec, "unknown RLE code "
396                                          "0x%.4x", i_code );
397                                 return VLC_EGENERIC;
398                             }
399                         }
400                     }
401                 }
402             }
403
404             if( ( (i_code >> 2) + i_x + i_y * i_width ) > i_height * i_width )
405             {
406                 msg_Err( p_dec, "out of bounds, %i at (%i,%i) is out of %ix%i",
407                          i_code >> 2, i_x, i_y, i_width, i_height );
408                 return VLC_EGENERIC;
409             }
410
411             /* Try to find the border color */
412             if( p_spu_data->pi_alpha[ i_code & 0x3 ] != 0x00 )
413             {
414                 i_border = i_code & 0x3;
415                 stats[i_border] += i_code >> 2;
416             }
417
418             /* Auto crop subtitles (a lot more optimized) */
419             if( p_spu_data->b_auto_crop )
420             {
421                 if( !i_y )
422                 {
423                     /* We assume that if the first line is transparent, then
424                      * it is using the palette index for the
425                      * (background) transparent color */
426                     if( (i_code >> 2) == i_width &&
427                         p_spu_data->pi_alpha[ i_code & 0x3 ] == 0x00 )
428                     {
429                         i_transparent_code = i_code;
430                     }
431                     else
432                     {
433                         p_spu_data->b_auto_crop = VLC_FALSE;
434                     }
435                 }
436
437                 if( i_code == i_transparent_code )
438                 {
439                     if( b_empty_top )
440                     {
441                         /* This is a blank top line, we skip it */
442                       i_skipped_top++;
443                     }
444                     else
445                     {
446                         /* We can't be sure the current lines will be skipped,
447                          * so we store the code just in case. */
448                       *p_dest++ = i_code;
449                       i_skipped_bottom++;
450                     }
451                 }
452                 else
453                 {
454                     /* We got a valid code, store it */
455                     *p_dest++ = i_code;
456
457                     /* Valid code means no blank line */
458                     b_empty_top = VLC_FALSE;
459                     i_skipped_bottom = 0;
460                 }
461             }
462             else
463             {
464                 *p_dest++ = i_code;
465             }
466         }
467
468         /* Check that we didn't go too far */
469         if( i_x > i_width )
470         {
471             msg_Err( p_dec, "i_x overflowed, %i > %i", i_x, i_width );
472             return VLC_EGENERIC;
473         }
474
475         /* Byte-align the stream */
476         if( *pi_offset & 0x1 )
477         {
478             (*pi_offset)++;
479         }
480
481         /* Swap fields */
482         i_id = ~i_id & 0x1;
483     }
484
485     /* We shouldn't get any padding bytes */
486     if( i_y < i_height )
487     {
488         msg_Err( p_dec, "padding bytes found in RLE sequence" );
489         msg_Err( p_dec, "send mail to <sam@zoy.org> if you "
490                         "want to help debugging this" );
491
492         /* Skip them just in case */
493         while( i_y < i_height )
494         {
495             *p_dest++ = i_width << 2;
496             i_y++;
497         }
498
499         return VLC_EGENERIC;
500     }
501
502     msg_Dbg( p_dec, "valid subtitle, size: %ix%i, position: %i,%i",
503              p_spu->i_width, p_spu->i_height, p_spu->i_x, p_spu->i_y );
504
505     /* Crop if necessary */
506     if( i_skipped_top || i_skipped_bottom )
507     {
508         int i_y = p_spu->i_y + i_skipped_top;
509         int i_height = p_spu->i_height - (i_skipped_top + i_skipped_bottom);
510
511         p_spu_data->i_y_top_offset = i_skipped_top;
512         p_spu_data->i_y_bottom_offset = i_skipped_bottom;
513         msg_Dbg( p_dec, "cropped to: %ix%i, position: %i,%i",
514                  p_spu->i_width, i_height, p_spu->i_x, i_y );
515     }
516  
517     /* Handle color if no palette was found */
518     if( !p_spu_data->b_palette )
519     {
520         int i, i_inner = -1, i_shade = -1;
521
522         /* Set the border color */
523         p_spu_data->pi_yuv[i_border][0] = 0x00;
524         p_spu_data->pi_yuv[i_border][1] = 0x80;
525         p_spu_data->pi_yuv[i_border][2] = 0x80;
526         stats[i_border] = 0;
527
528         /* Find the inner colors */
529         for( i = 0 ; i < 4 && i_inner == -1 ; i++ )
530         {
531             if( stats[i] )
532             {
533                 i_inner = i;
534             }
535         }
536
537         for(       ; i < 4 && i_shade == -1 ; i++ )
538         {
539             if( stats[i] )
540             {
541                 if( stats[i] > stats[i_inner] )
542                 {
543                     i_shade = i_inner;
544                     i_inner = i;
545                 }
546                 else
547                 {
548                     i_shade = i;
549                 }
550             }
551         }
552
553         /* Set the inner color */
554         if( i_inner != -1 )
555         {
556             p_spu_data->pi_yuv[i_inner][0] = 0xff;
557             p_spu_data->pi_yuv[i_inner][1] = 0x80;
558             p_spu_data->pi_yuv[i_inner][2] = 0x80;
559         }
560
561         /* Set the anti-aliasing color */
562         if( i_shade != -1 )
563         {
564             p_spu_data->pi_yuv[i_shade][0] = 0x80;
565             p_spu_data->pi_yuv[i_shade][1] = 0x80;
566             p_spu_data->pi_yuv[i_shade][2] = 0x80;
567         }
568
569         msg_Dbg( p_dec, "using custom palette (border %i, inner %i, shade %i)",
570                  i_border, i_inner, i_shade );
571     }
572
573     return VLC_SUCCESS;
574 }
575
576 static void Render( decoder_t *p_dec, subpicture_t *p_spu,
577                     subpicture_data_t *p_spu_data )
578 {
579     uint8_t *p_p;
580     int i_x, i_y, i_len, i_color, i_pitch;
581     uint16_t *p_source = (uint16_t *)p_spu_data->p_data;
582     video_format_t fmt;
583
584     /* Create a new subpicture region */
585     memset( &fmt, 0, sizeof(video_format_t) );
586     fmt.i_chroma = VLC_FOURCC('Y','U','V','P');
587     fmt.i_aspect = VOUT_ASPECT_FACTOR;
588     fmt.i_width = fmt.i_visible_width = p_spu->i_width;
589     fmt.i_height = fmt.i_visible_height = p_spu->i_height -
590         p_spu_data->i_y_top_offset - p_spu_data->i_y_bottom_offset;
591     fmt.i_x_offset = fmt.i_y_offset = 0;
592     p_spu->p_region = p_spu->pf_create_region( VLC_OBJECT(p_dec), &fmt );
593     if( !p_spu->p_region )
594     {
595         msg_Err( p_dec, "cannot allocate SPU region" );
596         return;
597     }
598
599     p_spu->p_region->i_x = 0;
600     p_spu->p_region->i_y = p_spu_data->i_y_top_offset;
601     p_p = p_spu->p_region->picture.p->p_pixels;
602     i_pitch = p_spu->p_region->picture.p->i_pitch;
603
604     /* Build palette */
605     fmt.p_palette->i_entries = 4;
606     for( i_x = 0; i_x < fmt.p_palette->i_entries; i_x++ )
607     {
608         fmt.p_palette->palette[i_x][0] = p_spu_data->pi_yuv[i_x][0];
609         fmt.p_palette->palette[i_x][1] = p_spu_data->pi_yuv[i_x][1];
610         fmt.p_palette->palette[i_x][2] = p_spu_data->pi_yuv[i_x][2];
611         fmt.p_palette->palette[i_x][3] =
612             p_spu_data->pi_alpha[i_x] == 0xf ? 0xff :
613             p_spu_data->pi_alpha[i_x] << 4;
614     }
615
616     /* Draw until we reach the bottom of the subtitle */
617     for( i_y = 0; i_y < (int)fmt.i_height * i_pitch; i_y += i_pitch )
618     {
619         /* Draw until we reach the end of the line */
620         for( i_x = 0 ; i_x < (int)fmt.i_width; i_x += i_len )
621         {
622             /* Get the RLE part, then draw the line */
623             i_color = *p_source & 0x3;
624             i_len = *p_source++ >> 2;
625             memset( p_p + i_x + i_y, i_color, i_len );
626         }
627     }
628 }