]> git.sesse.net Git - vlc/blobdiff - modules/codec/x264.c
add_bool: wants a boolean.
[vlc] / modules / codec / x264.c
index 93df88d8956581ace5c4eca0097f6d7c8d815d0b..dad242d5628d7a776c612ebb2601f84ef5efa3c6 100644 (file)
@@ -128,6 +128,10 @@ static void Close( vlc_object_t * );
     "a level compatible with the rest of the encoding options. Range 1 to 5.1 " \
     "(10 to 51 is also allowed).")
 
+#define PROFILE_TEXT N_("H.264 profile")
+#define PROFILE_LONGTEXT N_("Specify H.264 profile which limits are enforced over" \
+        "other settings" )
+
 /* In order to play an interlaced output stream encoded by x264, a decoder needs
    mbaff support. r570 is using the 'mb' part and not 'aff' yet; so it's really
    'pure-interlaced' mode */
@@ -173,10 +177,10 @@ static void Close( vlc_object_t * );
 
 #if X264_BUILD >= 59
 #define AQ_MODE_TEXT N_("How AQ distributes bits")
-#define AQ_MODE_LONGTEXT N_("Defines bitdistribution mode for AQ, default 2\n" \
+#define AQ_MODE_LONGTEXT N_("Defines bitdistribution mode for AQ, default 1\n" \
         " - 0: Disabled\n"\
-        " - 1: Avoid moving bits between frames\n"\
-        " - 2: Move bits between frames")
+        " - 1: Current x264 default mode\n"\
+        " - 2: uses log(var)^2 instead of log(var) and attempts to adapt strength per frame")
 
 #define AQ_STRENGTH_TEXT N_("Strength of AQ")
 #define AQ_STRENGTH_LONGTEXT N_("Strength to reduce blocking and blurring in flat\n"\
@@ -272,6 +276,13 @@ static void Close( vlc_object_t * );
     "-1 is automatic, based on number of threads." )
 #endif
 
+#if X264_BUILD >= 65
+#define PSY_RD_TEXT N_( "Strength of psychovisual optimization, default is \"1.0:0.0\"")
+#define PSY_RD_LONGTEXT N_( "First parameter controls if RD is on (subme>=6) or off"\
+        "second parameter controls if Trellis is used on psychovisual optimization," \
+        "default off")
+#endif
+
 #define SUBME_TEXT N_("Subpixel motion estimation and partition decision " \
     "quality")
 #if X264_BUILD >= 65 
@@ -396,6 +407,9 @@ static const char *const enc_me_list_text[] =
   { N_("dia"), N_("hex"), N_("umh"), N_("esa"), N_("tesa") };
 #endif
 
+static const char *const profile_list[] =
+  { "baseline", "main", "high" };
+
 static const char *const enc_analyse_list[] =
   { "none", "fast", "normal", "slow", "all" };
 static const char *const enc_analyse_list_text[] =
@@ -435,14 +449,14 @@ vlc_module_begin ()
 
 #if X264_BUILD >= 55 /* r607 */
 #  if X264_BUILD < 67 /* r1117 */
-    add_bool( SOUT_CFG_PREFIX "pre-scenecut", 0, NULL, PRESCENE_TEXT,
+    add_bool( SOUT_CFG_PREFIX "pre-scenecut", false, NULL, PRESCENE_TEXT,
               PRESCENE_LONGTEXT, false )
 #  else
     add_obsolete_bool( SOUT_CFG_PREFIX "pre-scenecut" )
 #  endif
 #endif
 
-    add_integer( SOUT_CFG_PREFIX "bframes", 0, NULL, BFRAMES_TEXT,
+    add_integer( SOUT_CFG_PREFIX "bframes", 3, NULL, BFRAMES_TEXT,
                  BFRAMES_LONGTEXT, false )
         change_integer_range( 0, 16 )
 
@@ -451,7 +465,7 @@ vlc_module_begin ()
                  B_ADAPT_LONGTEXT, false )
         change_integer_range( 0, 2 )
 #elif  X264_BUILD >= 0x0013 /* r137 */
-    add_bool( SOUT_CFG_PREFIX "b-adapt", 1, NULL, B_ADAPT_TEXT,
+    add_bool( SOUT_CFG_PREFIX "b-adapt", true, NULL, B_ADAPT_TEXT,
               B_ADAPT_LONGTEXT, false )
 #endif
 
@@ -461,18 +475,18 @@ vlc_module_begin ()
         change_integer_range( -100, 100 )
 #endif
 
-    add_bool( SOUT_CFG_PREFIX "bpyramid", 0, NULL, BPYRAMID_TEXT,
+    add_bool( SOUT_CFG_PREFIX "bpyramid", false, NULL, BPYRAMID_TEXT,
               BPYRAMID_LONGTEXT, false )
 
-    add_bool( SOUT_CFG_PREFIX "cabac", 1, NULL, CABAC_TEXT, CABAC_LONGTEXT,
+    add_bool( SOUT_CFG_PREFIX "cabac", true, NULL, CABAC_TEXT, CABAC_LONGTEXT,
               false )
 
-    add_integer( SOUT_CFG_PREFIX "ref", 1, NULL, REF_TEXT,
+    add_integer( SOUT_CFG_PREFIX "ref", 3, NULL, REF_TEXT,
                  REF_LONGTEXT, false )
         change_integer_range( 1, 16 )
         add_deprecated_alias( SOUT_CFG_PREFIX "frameref" ) /* Deprecated since 0.8.5 */
 
-    add_bool( SOUT_CFG_PREFIX "nf", 0, NULL, NF_TEXT,
+    add_bool( SOUT_CFG_PREFIX "nf", false, NULL, NF_TEXT,
               NF_LONGTEXT, false )
         add_deprecated_alias( SOUT_CFG_PREFIX "loopfilter" ) /* Deprecated since 0.8.5 */
 
@@ -480,22 +494,31 @@ vlc_module_begin ()
                  FILTER_LONGTEXT, false )
         add_deprecated_alias( SOUT_CFG_PREFIX "filter" ) /* Deprecated since 0.8.6 */
 
+#if X264_BUILD >= 65
+    add_string( SOUT_CFG_PREFIX "psy-rd", "1.0:0.0", NULL, PSY_RD_TEXT,
+                PSY_RD_LONGTEXT, false )
+
+#endif
     add_string( SOUT_CFG_PREFIX "level", "5.1", NULL, LEVEL_TEXT,
                LEVEL_LONGTEXT, false )
 
+    add_string( SOUT_CFG_PREFIX "profile", "high", NULL, PROFILE_TEXT,
+               PROFILE_LONGTEXT, false )
+        change_string_list( profile_list, profile_list, 0 );
+
 #if X264_BUILD >= 51 /* r570 */
-    add_bool( SOUT_CFG_PREFIX "interlaced", 0, NULL, INTERLACED_TEXT, INTERLACED_LONGTEXT,
+    add_bool( SOUT_CFG_PREFIX "interlaced", false, NULL, INTERLACED_TEXT, INTERLACED_LONGTEXT,
               false )
 #endif
 
 /* Ratecontrol */
 
-    add_integer( SOUT_CFG_PREFIX "qp", 26, NULL, QP_TEXT, QP_LONGTEXT,
+    add_integer( SOUT_CFG_PREFIX "qp", -1, NULL, QP_TEXT, QP_LONGTEXT,
                  false )
-        change_integer_range( 0, 51 ) /* QP 0 -> lossless encoding */
+        change_integer_range( -1, 51 ) /* QP 0 -> lossless encoding */
 
 #if X264_BUILD >= 37 /* r334 */
-    add_integer( SOUT_CFG_PREFIX "crf", 0, NULL, CRF_TEXT,
+    add_integer( SOUT_CFG_PREFIX "crf", 23, NULL, CRF_TEXT,
                  CRF_LONGTEXT, false )
         change_integer_range( 0, 51 )
 #endif
@@ -556,7 +579,7 @@ vlc_module_begin ()
     add_float( SOUT_CFG_PREFIX "qblur", 0.5, NULL, QBLUR_TEXT,
                QBLUR_LONGTEXT, false )
 #if X264_BUILD >= 59
-    add_integer( SOUT_CFG_PREFIX "aq-mode", 2, NULL, AQ_MODE_TEXT,
+    add_integer( SOUT_CFG_PREFIX "aq-mode", X264_AQ_VARIANCE, NULL, AQ_MODE_TEXT,
                  AQ_MODE_LONGTEXT, false )
          change_integer_range( 0, 2 )
     add_float( SOUT_CFG_PREFIX "aq-strength", 1.0, NULL, AQ_STRENGTH_TEXT,
@@ -576,13 +599,13 @@ vlc_module_begin ()
         change_string_list( direct_pred_list, direct_pred_list_text, 0 );
 
 #if X264_BUILD >= 52 /* r573 */
-    add_integer( SOUT_CFG_PREFIX "direct-8x8", -1, NULL, DIRECT_PRED_SIZE_TEXT,
+    add_integer( SOUT_CFG_PREFIX "direct-8x8", 1, NULL, DIRECT_PRED_SIZE_TEXT,
                  DIRECT_PRED_SIZE_LONGTEXT, false )
         change_integer_range( -1, 1 )
 #endif
 
 #if X264_BUILD >= 0x0012 /* r134 */
-    add_bool( SOUT_CFG_PREFIX "weightb", 0, NULL, WEIGHTB_TEXT,
+    add_bool( SOUT_CFG_PREFIX "weightb", true, NULL, WEIGHTB_TEXT,
               WEIGHTB_LONGTEXT, false )
 #endif
 
@@ -611,7 +634,7 @@ vlc_module_begin ()
 
 #if X264_BUILD >= 41
 # if X264_BUILD < 65 /* r368 */
-    add_bool( SOUT_CFG_PREFIX "b-rdo", 0, NULL, B_RDO_TEXT,
+    add_bool( SOUT_CFG_PREFIX "b-rdo", false, NULL, B_RDO_TEXT,
               B_RDO_LONGTEXT, false )
 # else
     add_obsolete_bool( SOUT_CFG_PREFIX "b-rdo" )
@@ -619,18 +642,18 @@ vlc_module_begin ()
 #endif
 
 #if X264_BUILD >= 36 /* r318 */
-    add_bool( SOUT_CFG_PREFIX "mixed-refs", 0, NULL, MIXED_REFS_TEXT,
+    add_bool( SOUT_CFG_PREFIX "mixed-refs", true, NULL, MIXED_REFS_TEXT,
               MIXED_REFS_LONGTEXT, false )
 #endif
 
 #if X264_BUILD >= 23 /* r171 */
-    add_bool( SOUT_CFG_PREFIX "chroma-me", 1, NULL, CHROMA_ME_TEXT,
+    add_bool( SOUT_CFG_PREFIX "chroma-me", true, NULL, CHROMA_ME_TEXT,
               CHROMA_ME_LONGTEXT, false )
 #endif
 
 #if X264_BUILD >= 43
 # if X264_BUILD < 65 /* r390 */
-    add_bool( SOUT_CFG_PREFIX "bime", 0, NULL, BIME_TEXT,
+    add_bool( SOUT_CFG_PREFIX "bime", false, NULL, BIME_TEXT,
               BIME_LONGTEXT, false )
 # else
     add_obsolete_bool( SOUT_CFG_PREFIX "bime" )
@@ -638,23 +661,23 @@ vlc_module_begin ()
 #endif
 
 #if X264_BUILD >= 30 /* r251 */
-    add_bool( SOUT_CFG_PREFIX "8x8dct", 0, NULL, TRANSFORM_8X8DCT_TEXT,
+    add_bool( SOUT_CFG_PREFIX "8x8dct", false, NULL, TRANSFORM_8X8DCT_TEXT,
               TRANSFORM_8X8DCT_LONGTEXT, false )
 #endif
 
 #if X264_BUILD >= 39 /* r360 */
-    add_integer( SOUT_CFG_PREFIX "trellis", 0, NULL, TRELLIS_TEXT,
+    add_integer( SOUT_CFG_PREFIX "trellis", 1, NULL, TRELLIS_TEXT,
                  TRELLIS_LONGTEXT, false )
         change_integer_range( 0, 2 )
 #endif
 
 #if X264_BUILD >= 42 /* r384 */
-    add_bool( SOUT_CFG_PREFIX "fast-pskip", 1, NULL, FAST_PSKIP_TEXT,
+    add_bool( SOUT_CFG_PREFIX "fast-pskip", true, NULL, FAST_PSKIP_TEXT,
               FAST_PSKIP_LONGTEXT, false )
 #endif
 
 #if X264_BUILD >= 46 /* r503 */
-    add_bool( SOUT_CFG_PREFIX "dct-decimate", 1, NULL, DCT_DECIMATE_TEXT,
+    add_bool( SOUT_CFG_PREFIX "dct-decimate", true, NULL, DCT_DECIMATE_TEXT,
               DCT_DECIMATE_LONGTEXT, false )
 #endif
 
@@ -677,24 +700,24 @@ vlc_module_begin ()
 /* Input/Output */
 
 #if X264_BUILD >= 55 /* r607 */
-    add_bool( SOUT_CFG_PREFIX "non-deterministic", 0, NULL, NON_DETERMINISTIC_TEXT,
+    add_bool( SOUT_CFG_PREFIX "non-deterministic", false, NULL, NON_DETERMINISTIC_TEXT,
               NON_DETERMINISTIC_LONGTEXT, false )
 #endif
 
-    add_bool( SOUT_CFG_PREFIX "asm", 1, NULL, ASM_TEXT,
+    add_bool( SOUT_CFG_PREFIX "asm", true, NULL, ASM_TEXT,
               ASM_LONGTEXT, false )
 
     /* x264 psnr = 1 (default). disable PSNR computation for speed. */
-    add_bool( SOUT_CFG_PREFIX "psnr", 0, NULL, PSNR_TEXT,
+    add_bool( SOUT_CFG_PREFIX "psnr", false, NULL, PSNR_TEXT,
               PSNR_LONGTEXT, false )
 
 #if X264_BUILD >= 50 /* r554 */
     /* x264 ssim = 1 (default). disable SSIM computation for speed. */
-    add_bool( SOUT_CFG_PREFIX "ssim", 0, NULL, SSIM_TEXT,
+    add_bool( SOUT_CFG_PREFIX "ssim", false, NULL, SSIM_TEXT,
               SSIM_LONGTEXT, false )
 #endif
 
-    add_bool( SOUT_CFG_PREFIX "quiet", 0, NULL, QUIET_TEXT,
+    add_bool( SOUT_CFG_PREFIX "quiet", false, NULL, QUIET_TEXT,
               QUIET_LONGTEXT, false )
 
 #if X264_BUILD >= 47 /* r518 */
@@ -702,11 +725,11 @@ vlc_module_begin ()
                  SPS_ID_LONGTEXT, false )
 #endif
 
-    add_bool( SOUT_CFG_PREFIX "aud", 0, NULL, AUD_TEXT,
+    add_bool( SOUT_CFG_PREFIX "aud", false, NULL, AUD_TEXT,
               AUD_LONGTEXT, false )
 
 #if X264_BUILD >= 0x000e /* r81 */
-    add_bool( SOUT_CFG_PREFIX "verbose", 0, NULL, VERBOSE_TEXT,
+    add_bool( SOUT_CFG_PREFIX "verbose", false, NULL, VERBOSE_TEXT,
               VERBOSE_LONGTEXT, false )
 #endif
 
@@ -730,7 +753,7 @@ static const char *const ppsz_sout_options[] = {
     "qpmin", "qp-max", "qp-min", "quiet", "ratetol", "ref", "scenecut",
     "sps-id", "ssim", "stats", "subme", "subpel", "tolerance", "trellis",
     "verbose", "vbv-bufsize", "vbv-init", "vbv-maxrate", "weightb", "aq-mode",
-    "aq-strength",NULL
+    "aq-strength", "psy-rd", "profile", NULL
 };
 
 static block_t *Encode( encoder_t *, picture_t * );
@@ -802,6 +825,7 @@ static int  Open ( vlc_object_t *p_this )
         return VLC_ENOMEM;
     p_sys->i_interpolated_dts = 0;
     p_sys->psz_stat_name = NULL;
+    p_sys->p_buffer = NULL;
 
     x264_param_default( &p_sys->param );
     p_sys->param.i_width  = p_enc->fmt_in.video.i_width;
@@ -811,8 +835,39 @@ static int  Open ( vlc_object_t *p_this )
     p_sys->param.i_height = p_sys->param.i_height >> 4 << 4;
 #endif
 
-    /* average bitrate specified by transcode vb */
-    p_sys->param.rc.i_bitrate = p_enc->fmt_out.i_bitrate / 1000;
+
+    var_Get( p_enc, SOUT_CFG_PREFIX "qcomp", &val );
+    p_sys->param.rc.f_qcompress = val.f_float;
+
+    /* transcode-default bitrate is 0,
+     * set more to ABR if user specifies bitrate */
+    if( p_enc->fmt_out.i_bitrate > 0 )
+    {
+        p_sys->param.rc.i_bitrate = p_enc->fmt_out.i_bitrate / 1000;
+#if X264_BUILD < 48
+    /* cbr = 1 overrides qp or crf and sets an average bitrate
+       but maxrate = average bitrate is needed for "real" CBR */
+        p_sys->param.rc.b_cbr=1;
+#endif
+        p_sys->param.rc.i_rc_method = X264_RC_ABR;
+    }
+    else /* Set default to CRF */
+    {
+#if X264_BUILD >= 37
+        var_Get( p_enc, SOUT_CFG_PREFIX "crf", &val );
+        if( val.i_int > 0 && val.i_int <= 51 )
+        {
+#   if X264_BUILD >= 54
+            p_sys->param.rc.f_rf_constant = val.i_int;
+#   else
+            p_sys->param.rc.i_rf_constant = val.i_int;
+#   endif
+#   if X264_BUILD >= 48
+            p_sys->param.rc.i_rc_method = X264_RC_CRF;
+#   endif
+        }
+#endif
+    }
 
     var_Get( p_enc, SOUT_CFG_PREFIX "qpstep", &val );
     if( val.i_int >= 0 && val.i_int <= 51 ) p_sys->param.rc.i_qp_step = val.i_int;
@@ -835,6 +890,7 @@ static int  Open ( vlc_object_t *p_this )
         if( i_qmin > val.i_int ) i_qmin = val.i_int;
         if( i_qmax < val.i_int ) i_qmax = val.i_int;
 
+        /* User defined QP-value, so change ratecontrol method */
         p_sys->param.rc.i_rc_method = X264_RC_CQP;
 #if X264_BUILD >= 0x000a
         p_sys->param.rc.i_qp_constant = val.i_int;
@@ -845,13 +901,6 @@ static int  Open ( vlc_object_t *p_this )
 #endif
     }
 
-#if X264_BUILD < 48
-    /* cbr = 1 overrides qp or crf and sets an average bitrate
-       but maxrate = average bitrate is needed for "real" CBR */
-    if( p_sys->param.rc.i_bitrate > 0 ) p_sys->param.rc.b_cbr = 1;
-#else
-    if( p_sys->param.rc.i_bitrate > 0 ) p_sys->param.rc.i_rc_method = X264_RC_ABR;
-#endif
 
 #if X264_BUILD >= 24
     var_Get( p_enc, SOUT_CFG_PREFIX "ratetol", &val );
@@ -863,15 +912,14 @@ static int  Open ( vlc_object_t *p_this )
     var_Get( p_enc, SOUT_CFG_PREFIX "vbv-bufsize", &val );
     p_sys->param.rc.i_vbv_buffer_size = val.i_int;
 
-    /* x264 vbv-bufsize = 0 (default). if not provided set period
-       in seconds for local maximum bitrate (cache/bufsize) based
-       on average bitrate. */
-    if( !val.i_int )
-        p_sys->param.rc.i_vbv_buffer_size = p_sys->param.rc.i_bitrate * 2;
-
     /* max bitrate = average bitrate -> CBR */
     var_Get( p_enc, SOUT_CFG_PREFIX "vbv-maxrate", &val );
-    p_sys->param.rc.i_vbv_max_bitrate = val.i_int;
+#if X264_BUILD >= 48
+    if( !val.i_int && p_sys->param.rc.i_rc_method == X264_RC_ABR )
+        p_sys->param.rc.i_vbv_max_bitrate = p_sys->param.rc.i_bitrate;
+    else if ( val.i_int )
+#endif
+        p_sys->param.rc.i_vbv_max_bitrate = val.i_int;
 
 #else
     p_sys->param.rc.i_rc_buffer_size = p_sys->param.rc.i_bitrate;
@@ -894,6 +942,18 @@ static int  Open ( vlc_object_t *p_this )
         free( val.psz_string );
     }
 
+#if X264_BUILD >= 65
+    var_Get( p_enc, SOUT_CFG_PREFIX "psy-rd", &val );
+    if( val.psz_string )
+    {
+        char *p = strchr( val.psz_string, ':' );
+        p_sys->param.analyse.f_psy_rd = atof( val.psz_string );
+        p_sys->param.analyse.f_psy_trellis = p ? atof( p+1 ) : 0;
+        free( val.psz_string );
+    }
+
+#endif
+
     var_Get( p_enc, SOUT_CFG_PREFIX "level", &val );
     if( val.psz_string )
     {
@@ -915,8 +975,6 @@ static int  Open ( vlc_object_t *p_this )
     var_Get( p_enc, SOUT_CFG_PREFIX "pbratio", &val );
     p_sys->param.rc.f_pb_factor = val.f_float;
 
-    var_Get( p_enc, SOUT_CFG_PREFIX "qcomp", &val );
-    p_sys->param.rc.f_qcompress = val.f_float;
 
     var_Get( p_enc, SOUT_CFG_PREFIX "cplxblur", &val );
     p_sys->param.rc.f_complexity_blur = val.f_float;
@@ -1093,20 +1151,6 @@ static int  Open ( vlc_object_t *p_this )
     p_sys->param.analyse.b_mixed_references = val.b_bool;
 #endif
 
-#if X264_BUILD >= 37
-    var_Get( p_enc, SOUT_CFG_PREFIX "crf", &val );
-    if( val.i_int > 0 && val.i_int <= 51 )
-    {
-#   if X264_BUILD >= 54
-        p_sys->param.rc.f_rf_constant = val.i_int;
-#   else
-        p_sys->param.rc.i_rf_constant = val.i_int;
-#   endif
-#   if X264_BUILD >= 48
-        p_sys->param.rc.i_rc_method = X264_RC_CRF;
-#   endif
-    }
-#endif
 
 #if X264_BUILD >= 39
     var_Get( p_enc, SOUT_CFG_PREFIX "trellis", &val );
@@ -1192,14 +1236,7 @@ static int  Open ( vlc_object_t *p_this )
     }
     else if( !strcmp( val.psz_string, "all" ) )
     {
-        p_sys->param.analyse.inter =
-            X264_ANALYSE_I4x4 |
-            X264_ANALYSE_PSUB16x16 |
-            X264_ANALYSE_BSUB16x16 |
-            X264_ANALYSE_PSUB8x8;
-#ifdef X264_ANALYSE_I8x8
-        p_sys->param.analyse.inter |= X264_ANALYSE_I8x8;
-#endif
+        p_sys->param.analyse.inter = ~0;
     }
     free( val.psz_string );
 
@@ -1228,6 +1265,46 @@ static int  Open ( vlc_object_t *p_this )
         p_sys->param.i_fps_den = p_enc->fmt_in.video.i_frame_rate_base;
     }
 
+    /* x264 vbv-bufsize = 0 (default). if not provided set period
+       in seconds for local maximum bitrate (cache/bufsize) based
+       on average bitrate when use has told bitrate.
+       vbv-buffer size is set to bitrate * secods between keyframes */
+    if( !p_sys->param.rc.i_vbv_buffer_size &&
+         p_sys->param.rc.i_rc_method == X264_RC_ABR &&
+         p_sys->param.i_fps_num )
+    {
+        p_sys->param.rc.i_vbv_buffer_size = p_sys->param.rc.i_bitrate *
+            p_sys->param.i_fps_den;
+#if X264_BUILD >= 0x000e
+        p_sys->param.rc.i_vbv_buffer_size *= p_sys->param.i_keyint_max;
+#else
+        p_sys->param.rc.i_vbv_buffer_size *= p_sys->param.i_idrframe;
+#endif
+        p_sys->param.rc.i_vbv_buffer_size /= p_sys->param.i_fps_num;
+    }
+
+    /* Check if user has given some profile (baseline,main,high) to limit
+     * settings, and apply those*/
+    var_Get( p_enc, SOUT_CFG_PREFIX "profile", &val );
+    if( val.psz_string )
+    {
+        if( !strcasecmp( val.psz_string, "baseline" ) )
+        {
+            msg_Dbg( p_enc, "Limiting to baseline profile");
+            p_sys->param.analyse.b_transform_8x8 = 0;
+            p_sys->param.b_cabac = 0;
+            p_sys->param.i_bframe = 0;
+        }
+        else if (!strcasecmp( val.psz_string, "main" ) )
+        {
+            msg_Dbg( p_enc, "Limiting to main-profile");
+            p_sys->param.analyse.b_transform_8x8 = 0;
+        }
+        /* high profile don't restrict stuff*/
+    }
+    free( val.psz_string );
+
+
     unsigned i_cpu = vlc_CPU();
     if( !(i_cpu & CPU_CAPABILITY_MMX) )
     {
@@ -1271,7 +1348,7 @@ static int  Open ( vlc_object_t *p_this )
     }
 
     /* We need to initialize pthreadw32 before we open the encoder,
-       but only oncce for the whole application. Since pthreadw32
+       but only once for the whole application. Since pthreadw32
        doesn't keep a refcount, do it ourselves. */
 #ifdef PTW32_STATIC_LIB
     vlc_value_t lock, count;
@@ -1286,7 +1363,7 @@ static int  Open ( vlc_object_t *p_this )
     if( count.i_int == 0 )
     {
         msg_Dbg( p_enc, "initializing pthread-win32" );
-        if( !pthread_win32_process_attach_np() || !pthread_win32_thread_attach_np() )   
+        if( !pthread_win32_process_attach_np() || !pthread_win32_thread_attach_np() )
         {
             msg_Warn( p_enc, "pthread Win32 Initialization failed" );
             vlc_mutex_unlock( lock.p_address );
@@ -1303,6 +1380,13 @@ static int  Open ( vlc_object_t *p_this )
     /* Open the encoder */
     p_sys->h = x264_encoder_open( &p_sys->param );
 
+    if( p_sys->h == NULL )
+    {
+        msg_Err( p_enc, "cannot open x264 encoder" );
+        Close( VLC_OBJECT(p_enc) );
+        return VLC_EGENERIC;
+    }
+
     /* alloc mem */
     p_sys->i_buffer = 4 * p_enc->fmt_in.video.i_width *
         p_enc->fmt_in.video.i_height + 1000;
@@ -1439,16 +1523,15 @@ static void Close( vlc_object_t *p_this )
 
     free( p_sys->psz_stat_name );
 
-    x264_encoder_close( p_sys->h );
+    if( p_sys->h )
+        x264_encoder_close( p_sys->h );
 
 #ifdef PTW32_STATIC_LIB
     vlc_value_t lock, count;
 
-    var_Create( p_enc->p_libvlc, "pthread_win32_mutex", VLC_VAR_MUTEX );
     var_Get( p_enc->p_libvlc, "pthread_win32_mutex", &lock );
     vlc_mutex_lock( lock.p_address );
 
-    var_Create( p_enc->p_libvlc, "pthread_win32_count", VLC_VAR_INTEGER );
     var_Get( p_enc->p_libvlc, "pthread_win32_count", &count );
     count.i_int--;
     var_Set( p_enc->p_libvlc, "pthread_win32_count", count );