]> git.sesse.net Git - vlc/blob - modules/video_filter/swscale.c
macosx: Ask to send a mail to our bugreport ML if a crash log is detected.
[vlc] / modules / video_filter / swscale.c
1 /*****************************************************************************
2  * swscale.c: scaling and chroma conversion using libswscale
3  *****************************************************************************
4  * Copyright (C) 1999-2008 the VideoLAN team
5  * $Id$
6  *
7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
8  *          Gildas Bazin <gbazin@videolan.org>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
23  *****************************************************************************/
24
25 /*****************************************************************************
26  * Preamble
27  *****************************************************************************/
28 #ifdef HAVE_CONFIG_H
29 # include "config.h"
30 #endif
31
32 #include <vlc_common.h>
33 #include <vlc_plugin.h>
34 #include <vlc_vout.h>
35 #include <vlc_filter.h>
36
37 #ifdef HAVE_LIBSWSCALE_SWSCALE_H
38 #   include <libswscale/swscale.h>
39 #elif defined(HAVE_FFMPEG_SWSCALE_H)
40 #   include <ffmpeg/swscale.h>
41 #endif
42
43 /* Gruikkkkkkkkkk!!!!! */
44 #include "../codec/avcodec/chroma.h"
45
46 /*****************************************************************************
47  * Module descriptor
48  *****************************************************************************/
49 static int  OpenScaler( vlc_object_t * );
50 static void CloseScaler( vlc_object_t * );
51
52 #define SCALEMODE_TEXT N_("Scaling mode")
53 #define SCALEMODE_LONGTEXT N_("Scaling mode to use.")
54
55 static const int pi_mode_values[] = { 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 };
56 const char *const ppsz_mode_descriptions[] =
57 { N_("Fast bilinear"), N_("Bilinear"), N_("Bicubic (good quality)"),
58   N_("Experimental"), N_("Nearest neighbour (bad quality)"),
59   N_("Area"), N_("Luma bicubic / chroma bilinear"), N_("Gauss"),
60   N_("SincR"), N_("Lanczos"), N_("Bicubic spline") };
61
62 vlc_module_begin();
63     set_description( N_("Video scaling filter") );
64     set_capability( "video filter2", 1000 );
65     set_category( CAT_VIDEO );
66     set_subcategory( SUBCAT_VIDEO_VFILTER );
67     set_callbacks( OpenScaler, CloseScaler );
68     add_integer( "swscale-mode", 2, NULL, SCALEMODE_TEXT, SCALEMODE_LONGTEXT, true );
69         change_integer_list( pi_mode_values, ppsz_mode_descriptions, 0 );
70 vlc_module_end();
71
72 /* Version checking */
73 #if LIBSWSCALE_VERSION_INT >= ((0<<16)+(5<<8)+0)
74 /****************************************************************************
75  * Local prototypes
76  ****************************************************************************/
77
78 void *( *swscale_fast_memcpy )( void *, const void *, size_t );
79
80 /**
81  * Internal swscale filter structure.
82  */
83 struct filter_sys_t
84 {
85     SwsFilter *p_src_filter;
86     SwsFilter *p_dst_filter;
87     int i_cpu_mask, i_sws_flags;
88
89     video_format_t fmt_in;
90     video_format_t fmt_out;
91
92     struct SwsContext *ctx;
93     struct SwsContext *ctxA;
94     picture_t *p_src_a;
95     picture_t *p_dst_a;
96     int i_extend_factor;
97     picture_t *p_src_e;
98     picture_t *p_dst_e;
99 };
100
101 static picture_t *Filter( filter_t *, picture_t * );
102 static int  Init( filter_t * );
103 static void Clean( filter_t * );
104
105 static int GetParameters( int *pi_fmti, int *pi_fmto, bool *pb_has_a, int *pi_sws_flags,
106                           const video_format_t *p_fmti, 
107                           const video_format_t *p_fmto,
108                           int i_sws_flags_default );
109
110 static int GetSwsCpuMask(void);
111
112 /* SwScaler point resize quality seems really bad, let our scale module do it
113  * (change it to true to try) */
114 #define ALLOW_YUVP (false)
115 /* SwScaler does not like too small picture */
116 #define MINIMUM_WIDTH (16)
117
118 /*****************************************************************************
119  * OpenScaler: probe the filter and return score
120  *****************************************************************************/
121 static int OpenScaler( vlc_object_t *p_this )
122 {
123     filter_t *p_filter = (filter_t*)p_this;
124     filter_sys_t *p_sys;
125
126     int i_sws_mode;
127
128     float sws_lum_gblur = 0.0, sws_chr_gblur = 0.0;
129     int sws_chr_vshift = 0, sws_chr_hshift = 0;
130     float sws_chr_sharpen = 0.0, sws_lum_sharpen = 0.0;
131
132     if( GetParameters( NULL, NULL, NULL, NULL,
133                        &p_filter->fmt_in.video,
134                        &p_filter->fmt_out.video, 0 ) )
135     {
136         return VLC_EGENERIC;
137     }
138
139     /* */
140     p_filter->pf_video_filter = Filter;
141     /* Allocate the memory needed to store the decoder's structure */
142     if( ( p_filter->p_sys = p_sys = malloc(sizeof(filter_sys_t)) ) == NULL )
143         return VLC_ENOMEM;
144
145     /* FIXME pointer assignment may not be atomic */
146     swscale_fast_memcpy = vlc_memcpy;
147
148     /* Set CPU capabilities */
149     p_sys->i_cpu_mask = GetSwsCpuMask();
150
151     /* */
152     i_sws_mode = var_CreateGetInteger( p_filter, "swscale-mode" );
153     switch( i_sws_mode )
154     {
155     case 0:  p_sys->i_sws_flags = SWS_FAST_BILINEAR; break;
156     case 1:  p_sys->i_sws_flags = SWS_BILINEAR; break;
157     case 2:  p_sys->i_sws_flags = SWS_BICUBIC; break;
158     case 3:  p_sys->i_sws_flags = SWS_X; break;
159     case 4:  p_sys->i_sws_flags = SWS_POINT; break;
160     case 5:  p_sys->i_sws_flags = SWS_AREA; break;
161     case 6:  p_sys->i_sws_flags = SWS_BICUBLIN; break;
162     case 7:  p_sys->i_sws_flags = SWS_GAUSS; break;
163     case 8:  p_sys->i_sws_flags = SWS_SINC; break;
164     case 9:  p_sys->i_sws_flags = SWS_LANCZOS; break;
165     case 10: p_sys->i_sws_flags = SWS_SPLINE; break;
166     default: p_sys->i_sws_flags = SWS_BICUBIC; i_sws_mode = 2; break;
167     }
168
169     p_sys->p_src_filter =
170         sws_getDefaultFilter( sws_lum_gblur, sws_chr_gblur,
171                               sws_lum_sharpen, sws_chr_sharpen,
172                               sws_chr_hshift, sws_chr_vshift, 0 );
173     p_sys->p_dst_filter = NULL;
174
175     /* Misc init */
176     p_sys->ctx = NULL;
177     p_sys->ctxA = NULL;
178     p_sys->p_src_a = NULL;
179     p_sys->p_dst_a = NULL;
180     p_sys->p_src_e = NULL;
181     p_sys->p_dst_e = NULL;
182     memset( &p_sys->fmt_in,  0, sizeof(p_sys->fmt_in) );
183     memset( &p_sys->fmt_out, 0, sizeof(p_sys->fmt_out) );
184
185     if( Init( p_filter ) )
186     {
187         if( p_sys->p_src_filter )
188             sws_freeFilter( p_sys->p_src_filter );
189         free( p_sys );
190         return VLC_EGENERIC;
191     }
192
193     msg_Dbg( p_filter, "%ix%i chroma: %4.4s -> %ix%i chroma: %4.4s with scaling using %s",
194              p_filter->fmt_in.video.i_width, p_filter->fmt_in.video.i_height,
195              (char *)&p_filter->fmt_in.video.i_chroma,
196              p_filter->fmt_out.video.i_width, p_filter->fmt_out.video.i_height,
197              (char *)&p_filter->fmt_out.video.i_chroma,
198              ppsz_mode_descriptions[i_sws_mode] );
199
200     return VLC_SUCCESS;
201 }
202
203 /*****************************************************************************
204  * CloseFilter: clean up the filter
205  *****************************************************************************/
206 static void CloseScaler( vlc_object_t *p_this )
207 {
208     filter_t *p_filter = (filter_t*)p_this;
209     filter_sys_t *p_sys = p_filter->p_sys;
210
211     Clean( p_filter );
212     if( p_sys->p_src_filter )
213         sws_freeFilter( p_sys->p_src_filter );
214     free( p_sys );
215 }
216
217 /*****************************************************************************
218  * Helpers
219  *****************************************************************************/
220 static int GetSwsCpuMask(void)
221 {
222     const unsigned int i_cpu = vlc_CPU();
223     int i_sws_cpu = 0;
224
225     if( i_cpu & CPU_CAPABILITY_MMX )
226         i_sws_cpu |= SWS_CPU_CAPS_MMX;
227 #if (LIBSWSCALE_VERSION_INT >= ((0<<16)+(5<<8)+0))
228     if( i_cpu & CPU_CAPABILITY_MMXEXT )
229         i_sws_cpu |= SWS_CPU_CAPS_MMX2;
230 #endif
231     if( i_cpu & CPU_CAPABILITY_3DNOW )
232         i_sws_cpu |= SWS_CPU_CAPS_3DNOW;
233
234     if( i_cpu & CPU_CAPABILITY_ALTIVEC )
235         i_sws_cpu |= SWS_CPU_CAPS_ALTIVEC;
236
237     return i_sws_cpu;
238 }
239 static bool IsFmtSimilar( const video_format_t *p_fmt1, const video_format_t *p_fmt2 )
240 {
241     return p_fmt1->i_chroma == p_fmt2->i_chroma &&
242            p_fmt1->i_width  == p_fmt2->i_width &&
243            p_fmt1->i_height == p_fmt2->i_height;
244 }
245
246 static int GetParameters( int *pi_fmti, int *pi_fmto, bool *pb_has_a, int *pi_sws_flags,
247                           const video_format_t *p_fmti, 
248                           const video_format_t *p_fmto,
249                           int i_sws_flags_default )
250 {
251     /* Supported Input formats: YV12, I420/IYUV, YUY2, UYVY, BGR32, BGR24,
252      * BGR16, BGR15, RGB32, RGB24, Y8/Y800, YVU9/IF09 */
253     int i_fmti = GetFfmpegChroma( p_fmti->i_chroma );
254
255     /* Supported output formats: YV12, I420/IYUV, YUY2, UYVY,
256      * {BGR,RGB}{1,4,8,15,16,24,32}, Y8/Y800, YVU9/IF09 */
257     int i_fmto = GetFfmpegChroma( p_fmto->i_chroma );
258
259     bool b_has_a = false;
260     int i_sws_flags = i_sws_flags_default;
261
262     if( p_fmti->i_chroma == p_fmto->i_chroma )
263     {
264         if( p_fmti->i_chroma == VLC_FOURCC( 'Y', 'U', 'V', 'P' ) && ALLOW_YUVP )
265         {
266             i_fmti = i_fmto = PIX_FMT_GRAY8;
267             i_sws_flags = SWS_POINT;
268         }
269         else if( p_fmti->i_chroma == VLC_FOURCC( 'Y', 'U', 'V', 'A' ) )
270         {
271             i_fmti = i_fmto = PIX_FMT_YUV444P;
272             b_has_a = true;
273         }
274         else if( p_fmti->i_chroma == VLC_FOURCC( 'R', 'G', 'B', 'A' ) )
275         {
276             i_fmti = i_fmto = PIX_FMT_RGBA32;
277             b_has_a = true;
278         }
279     }
280
281     if( pi_fmti )
282         *pi_fmti = i_fmti;
283     if( pi_fmto )
284         *pi_fmto = i_fmto;
285     if( pb_has_a )
286         *pb_has_a = b_has_a;
287     if( pi_sws_flags )
288         *pi_sws_flags = i_sws_flags;
289
290     if( i_fmti < 0 || i_fmto < 0 )
291         return VLC_EGENERIC;
292
293     return VLC_SUCCESS;
294 }
295
296 static int Init( filter_t *p_filter )
297 {
298     filter_sys_t *p_sys = p_filter->p_sys;
299     const video_format_t *p_fmti = &p_filter->fmt_in.video;
300     const video_format_t *p_fmto = &p_filter->fmt_out.video;
301
302     if( IsFmtSimilar( p_fmti, &p_sys->fmt_in ) &&
303         IsFmtSimilar( p_fmto, &p_sys->fmt_out ) &&
304         p_sys->ctx )
305     {
306         return VLC_SUCCESS;
307     }
308     Clean( p_filter );
309
310     /* Init with new parameters */
311     int i_fmt_in, i_fmt_out;
312     bool b_has_a;
313     int i_sws_flags;
314     if( GetParameters( &i_fmt_in, &i_fmt_out, &b_has_a, &i_sws_flags,
315                        p_fmti, p_fmto, p_sys->i_sws_flags ) )
316     {
317         msg_Err( p_filter, "format not supported" );
318         return VLC_EGENERIC;
319     }
320     if( p_fmti->i_width <= 0 || p_fmto->i_width <= 0 )
321     {
322         msg_Err( p_filter, "0 width not supported" );
323         return VLC_EGENERIC;
324     }
325
326     /* swscale does not like too small width */
327     p_sys->i_extend_factor = 1;
328     while( __MIN( p_fmti->i_width, p_fmto->i_width ) * p_sys->i_extend_factor < MINIMUM_WIDTH)
329         p_sys->i_extend_factor++;
330
331     const unsigned i_fmti_width = p_fmti->i_width * p_sys->i_extend_factor;
332     const unsigned i_fmto_width = p_fmto->i_width * p_sys->i_extend_factor;
333     for( int n = 0; n < (b_has_a ? 2 : 1); n++ )
334     {
335         const int i_fmti = n == 0 ? i_fmt_in  : PIX_FMT_GRAY8;
336         const int i_fmto = n == 0 ? i_fmt_out : PIX_FMT_GRAY8;
337         struct SwsContext *ctx;
338
339         ctx = sws_getContext( i_fmti_width, p_fmti->i_height, i_fmti,
340                               i_fmto_width, p_fmto->i_height, i_fmto,
341                               i_sws_flags | p_sys->i_cpu_mask,
342                               p_sys->p_src_filter, p_sys->p_dst_filter, 0 );
343         if( n == 0 )
344             p_sys->ctx = ctx;
345         else
346             p_sys->ctxA = ctx;
347     }
348     if( p_sys->ctxA )
349     {
350         p_sys->p_src_a = picture_New( VLC_FOURCC( 'G', 'R', 'E', 'Y' ), i_fmti_width, p_fmti->i_height, 0 );
351         p_sys->p_dst_a = picture_New( VLC_FOURCC( 'G', 'R', 'E', 'Y' ), i_fmto_width, p_fmto->i_height, 0 );
352     }
353     if( p_sys->i_extend_factor != 1 )
354     {
355         p_sys->p_src_e = picture_New( p_fmti->i_chroma, i_fmti_width, p_fmti->i_height, 0 );
356         p_sys->p_dst_e = picture_New( p_fmto->i_chroma, i_fmto_width, p_fmto->i_height, 0 );
357
358         memset( p_sys->p_src_e->p[0].p_pixels, 0, p_sys->p_src_e->p[0].i_pitch * p_sys->p_src_e->p[0].i_lines );
359         memset( p_sys->p_dst_e->p[0].p_pixels, 0, p_sys->p_dst_e->p[0].i_pitch * p_sys->p_dst_e->p[0].i_lines );
360     }
361
362     if( !p_sys->ctx ||
363         ( b_has_a && ( !p_sys->ctxA || !p_sys->p_src_a || !p_sys->p_dst_a ) ) ||
364         ( p_sys->i_extend_factor != 1 && ( !p_sys->p_src_e || !p_sys->p_dst_e ) ) )
365     {
366         msg_Err( p_filter, "could not init SwScaler and/or allocate memory" );
367         Clean( p_filter );
368         return VLC_EGENERIC;
369     }
370
371     p_sys->fmt_in  = *p_fmti;
372     p_sys->fmt_out = *p_fmto;
373
374 #if 0
375     msg_Dbg( p_filter, "%ix%i chroma: %4.4s -> %ix%i chroma: %4.4s extend by %d",
376              p_fmti->i_width, p_fmti->i_height, (char *)&p_fmti->i_chroma,
377              p_fmto->i_width, p_fmto->i_height, (char *)&p_fmto->i_chroma,
378              p_sys->i_extend_factor );
379 #endif
380     return VLC_SUCCESS;
381 }
382 static void Clean( filter_t *p_filter )
383 {
384     filter_sys_t *p_sys = p_filter->p_sys;
385
386     if( p_sys->p_src_e )
387         picture_Release( p_sys->p_src_e );
388     if( p_sys->p_dst_e )
389         picture_Release( p_sys->p_dst_e );
390
391     if( p_sys->p_src_a )
392         picture_Release( p_sys->p_src_a );
393     if( p_sys->p_dst_a )
394         picture_Release( p_sys->p_dst_a );
395
396     if( p_sys->ctxA )
397         sws_freeContext( p_sys->ctxA );
398
399     if( p_sys->ctx )
400         sws_freeContext( p_sys->ctx );
401
402     /* We have to set it to null has we call be called again :( */
403     p_sys->ctx = NULL;
404     p_sys->ctxA = NULL;
405     p_sys->p_src_a = NULL;
406     p_sys->p_dst_a = NULL;
407     p_sys->p_src_e = NULL;
408     p_sys->p_dst_e = NULL;
409 }
410
411 static void GetPixels( uint8_t *pp_pixel[3], int pi_pitch[3],
412                        const picture_t *p_picture,
413                        int i_plane_start, int i_plane_count )
414 {
415     int n;
416     for( n = 0; n < __MIN(i_plane_count, p_picture->i_planes-i_plane_start ); n++ )
417     {
418         pp_pixel[n] = p_picture->p[i_plane_start+n].p_pixels;
419         pi_pitch[n] = p_picture->p[i_plane_start+n].i_pitch;
420     }
421     for( ; n < 3; n++ )
422     {
423         pp_pixel[n] = NULL;
424         pi_pitch[n] = 0;
425     }
426 }
427
428 /* XXX is it always 3 even for BIG_ENDIAN (blend.c seems to think so) ? */
429 #define OFFSET_A (3)
430 static void ExtractA( picture_t *p_dst, const picture_t *p_src, unsigned i_width, unsigned i_height )
431 {
432     plane_t *d = &p_dst->p[0];
433     const plane_t *s = &p_src->p[0];
434     
435     for( unsigned y = 0; y < i_height; y++ )
436         for( unsigned x = 0; x < i_width; x++ )
437             d->p_pixels[y*d->i_pitch+x] = s->p_pixels[y*s->i_pitch+4*x+OFFSET_A];
438 }
439 static void InjectA( picture_t *p_dst, const picture_t *p_src, unsigned i_width, unsigned i_height )
440 {
441     plane_t *d = &p_dst->p[0];
442     const plane_t *s = &p_src->p[0];
443     
444     for( unsigned y = 0; y < i_height; y++ )
445         for( unsigned x = 0; x < i_width; x++ )
446             d->p_pixels[y*d->i_pitch+4*x+OFFSET_A] = s->p_pixels[y*s->i_pitch+x];
447 }
448 #undef OFFSET_A
449
450 static void CopyPad( picture_t *p_dst, const picture_t *p_src )
451 {
452     picture_Copy( p_dst, p_src );
453     for( int n = 0; n < p_dst->i_planes; n++ )
454     {
455         const plane_t *s = &p_src->p[n];
456         plane_t *d = &p_dst->p[n];
457
458         for( int y = 0; y < s->i_lines; y++ )
459         {
460             for( int x = s->i_visible_pitch; x < d->i_visible_pitch; x += s->i_pixel_pitch )
461                 memcpy( &d->p_pixels[y*d->i_pitch + x], &d->p_pixels[y*d->i_pitch + s->i_visible_pitch - s->i_pixel_pitch], s->i_pixel_pitch );
462         }
463     }
464 }
465
466 static void Convert( struct SwsContext *ctx,
467                      picture_t *p_dst, picture_t *p_src, int i_height, int i_plane_start, int i_plane_count )
468 {
469     uint8_t *src[3]; int src_stride[3];
470     uint8_t *dst[3]; int dst_stride[3];
471
472     GetPixels( src, src_stride, p_src, i_plane_start, i_plane_count );
473     GetPixels( dst, dst_stride, p_dst, i_plane_start, i_plane_count );
474
475 #if LIBSWSCALE_VERSION_INT  >= ((0<<16)+(5<<8)+0)
476     sws_scale( ctx, src, src_stride, 0, i_height,
477                dst, dst_stride );
478 #else
479     sws_scale_ordered( ctx, src, src_stride, 0, i_height,
480                        dst, dst_stride );
481 #endif
482 }
483
484 /****************************************************************************
485  * Filter: the whole thing
486  ****************************************************************************
487  * This function is called just after the thread is launched.
488  ****************************************************************************/
489 static picture_t *Filter( filter_t *p_filter, picture_t *p_pic )
490 {
491     filter_sys_t *p_sys = p_filter->p_sys;
492     const video_format_t *p_fmti = &p_filter->fmt_in.video;
493     const video_format_t *p_fmto = &p_filter->fmt_out.video;
494     picture_t *p_pic_dst;
495
496     /* Check if format properties changed */
497     if( Init( p_filter ) )
498     {
499         picture_Release( p_pic );
500         return NULL;
501     }
502
503     /* Request output picture */
504     p_pic_dst = filter_NewPicture( p_filter );
505     if( !p_pic_dst )
506     {
507         picture_Release( p_pic );
508         return NULL;
509     }
510
511     /* */
512     picture_t *p_src = p_pic;
513     picture_t *p_dst = p_pic_dst;
514     if( p_sys->i_extend_factor != 1 )
515     {
516         p_src = p_sys->p_src_e;
517         p_dst = p_sys->p_dst_e;
518
519         CopyPad( p_src, p_pic );
520     }
521
522     Convert( p_sys->ctx, p_dst, p_src, p_fmti->i_height, 0, 3 );
523     if( p_sys->ctxA )
524     {
525         if( p_fmto->i_chroma == VLC_FOURCC( 'R', 'G', 'B', 'A' ) )
526         {
527             /* We extract the A plane to rescale it, and then we reinject it. */
528             ExtractA( p_sys->p_src_a, p_src, p_fmti->i_width * p_sys->i_extend_factor, p_fmti->i_height );
529
530             Convert( p_sys->ctxA, p_sys->p_dst_a, p_sys->p_src_a, p_fmti->i_height, 0, 1 );
531
532             InjectA( p_dst, p_sys->p_dst_a, p_fmto->i_width * p_sys->i_extend_factor, p_fmto->i_height );
533         }
534         else
535         {
536             Convert( p_sys->ctxA, p_dst, p_src, p_fmti->i_height, 3, 1 );
537         }
538     }
539
540     if( p_sys->i_extend_factor != 1 )
541     {
542         picture_CopyPixels( p_pic_dst, p_dst );
543     }
544
545     picture_CopyProperties( p_pic_dst, p_pic );
546     picture_Release( p_pic );
547     return p_pic_dst;
548 }
549
550 #else /* LIBSWSCALE_VERSION_INT >= ((0<<16)+(5<<8)+0) */
551
552 int OpenScaler( vlc_object_t *p_this )
553 {
554     return VLC_EGENERIC;
555 }
556
557 void CloseScaler( vlc_object_t *p_this )
558 {
559 }
560
561 #endif /* LIBSWSCALE_VERSION_INT >= ((0<<16)+(5<<8)+0) */