]> git.sesse.net Git - vlc/blobdiff - modules/access/http.c
http: use vlc_getProxyUrl() (fixes #8340)
[vlc] / modules / access / http.c
index c786c966c19fda252302aae1618ecc73a910aca7..cb63f4a8c7b4f83f6b2f74cc68f7e6cdbb85dd16 100644 (file)
@@ -1,7 +1,7 @@
 /*****************************************************************************
  * http.c: HTTP input module
  *****************************************************************************
- * Copyright (C) 2001-2008 the VideoLAN team
+ * Copyright (C) 2001-2008 VLC authors and VideoLAN
  * $Id$
  *
  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
@@ -9,19 +9,19 @@
  *          Rémi Denis-Courmont <rem # videolan.org>
  *          Antoine Cellerier <dionoea at videolan dot org>
  *
- * This program is free software; you can redistribute it and/or modify
- * it under the terms of the GNU General Public License as published by
- * the Free Software Foundation; either version 2 of the License, or
+ * This program is free software; you can redistribute it and/or modify it
+ * under the terms of the GNU Lesser General Public License as published by
+ * the Free Software Foundation; either version 2.1 of the License, or
  * (at your option) any later version.
  *
  * This program is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
- * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
- * GNU General Public License for more details.
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
+ * GNU Lesser General Public License for more details.
  *
- * You should have received a copy of the GNU General Public License
- * along with this program; if not, write to the Free Software
- * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
+ * You should have received a copy of the GNU Lesser General Public License
+ * along with this program; if not, write to the Free Software Foundation,
+ * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  *****************************************************************************/
 
 /*****************************************************************************
 #endif
 
 #include <assert.h>
-
-#ifdef HAVE_LIBPROXY
-#    include <proxy.h>
-#endif
-
-#ifdef WIN32
-#   include <windows.h>
-#endif
+#include <limits.h>
 
 /*****************************************************************************
  * Module descriptor
@@ -78,15 +71,6 @@ static void Close( vlc_object_t * );
 #define PROXY_PASS_LONGTEXT N_( \
     "If your HTTP proxy requires a password, set it here." )
 
-#define CACHING_TEXT N_("Caching value in ms")
-#define CACHING_LONGTEXT N_( \
-    "Caching value for HTTP streams. This " \
-    "value should be set in milliseconds." )
-
-#define AGENT_TEXT N_("HTTP user agent")
-#define AGENT_LONGTEXT N_("User agent that will be " \
-    "used for the connection.")
-
 #define RECONNECT_TEXT N_("Auto re-connect")
 #define RECONNECT_LONGTEXT N_( \
     "Automatically try to reconnect to the stream in case of a sudden " \
@@ -101,13 +85,14 @@ static void Close( vlc_object_t * );
 #define FORWARD_COOKIES_TEXT N_("Forward Cookies")
 #define FORWARD_COOKIES_LONGTEXT N_("Forward Cookies across http redirections.")
 
-#define MAX_REDIRECT_TEXT N_("Max number of redirection")
-#define MAX_REDIRECT_LONGTEXT N_("Limit the number of redirection to follow.")
+#define REFERER_TEXT N_("HTTP referer value")
+#define REFERER_LONGTEXT N_("Customize the HTTP referer, simulating a previous document")
 
-#define USE_IE_PROXY_TEXT N_("Use Internet Explorer entered HTTP proxy server")
-#define USE_IE_PROXY_LONGTEXT N_("Use Internet Explorer entered HTTP proxy " \
-    "server for all URL. Don't take into account bypasses settings and auto " \
-    "configuration scripts.")
+#define UA_TEXT N_("User Agent")
+#define UA_LONGTEXT N_("The name and version of the program will be " \
+    "provided to the HTTP server. They must be separated by a forward " \
+    "slash, e.g. FooBar/1.2.3. This option can only be specified per input " \
+    "item, not globally.")
 
 vlc_module_begin ()
     set_description( N_("HTTP input") )
@@ -116,36 +101,25 @@ vlc_module_begin ()
     set_category( CAT_INPUT )
     set_subcategory( SUBCAT_INPUT_ACCESS )
 
-    add_string( "http-proxy", NULL, NULL, PROXY_TEXT, PROXY_LONGTEXT,
+    add_string( "http-proxy", NULL, PROXY_TEXT, PROXY_LONGTEXT,
                 false )
-    add_password( "http-proxy-pwd", NULL, NULL,
+    add_password( "http-proxy-pwd", NULL,
                   PROXY_PASS_TEXT, PROXY_PASS_LONGTEXT, false )
-    add_integer( "http-caching", 4 * DEFAULT_PTS_DELAY / 1000, NULL,
-                 CACHING_TEXT, CACHING_LONGTEXT, true )
+    add_obsolete_bool( "http-use-IE-proxy" )
+    add_string( "http-referrer", NULL, REFERER_TEXT, REFERER_LONGTEXT, false )
         change_safe()
-    add_string( "http-user-agent", COPYRIGHT_MESSAGE , NULL, AGENT_TEXT,
-                AGENT_LONGTEXT, true )
+    add_string( "http-user-agent", NULL, UA_TEXT, UA_LONGTEXT, false )
         change_safe()
-    add_bool( "http-reconnect", false, NULL, RECONNECT_TEXT,
+        change_private()
+    add_bool( "http-reconnect", false, RECONNECT_TEXT,
               RECONNECT_LONGTEXT, true )
-    add_bool( "http-continuous", false, NULL, CONTINUOUS_TEXT,
+    add_bool( "http-continuous", false, CONTINUOUS_TEXT,
               CONTINUOUS_LONGTEXT, true )
         change_safe()
-    add_bool( "http-forward-cookies", true, NULL, FORWARD_COOKIES_TEXT,
+    add_bool( "http-forward-cookies", true, FORWARD_COOKIES_TEXT,
               FORWARD_COOKIES_LONGTEXT, true )
-    add_integer( "http-max-redirect", 5, NULL, MAX_REDIRECT_TEXT,
-                 MAX_REDIRECT_LONGTEXT, true )
-#ifdef WIN32
-    add_bool( "http-use-IE-proxy", false, NULL, USE_IE_PROXY_TEXT,
-              USE_IE_PROXY_LONGTEXT, true )
-#endif
-    add_obsolete_string("http-user")
-    add_obsolete_string("http-pwd")
-    add_shortcut( "http" )
-    add_shortcut( "https" )
-    add_shortcut( "unsv" )
-    add_shortcut( "itpc" ) /* iTunes Podcast */
-    add_shortcut( "icyx" )
+    /* 'itpc' = iTunes Podcast */
+    add_shortcut( "http", "https", "unsv", "itpc", "icyx" )
     set_callbacks( Open, Close )
 vlc_module_end ()
 
@@ -157,12 +131,14 @@ struct access_sys_t
 {
     int fd;
     bool b_error;
-    tls_session_t *p_tls;
-    v_socket_t    *p_vs;
+    vlc_tls_creds_t *p_creds;
+    vlc_tls_t *p_tls;
+    v_socket_t *p_vs;
 
     /* From uri */
     vlc_url_t url;
     char    *psz_user_agent;
+    char    *psz_referrer;
     http_auth_t auth;
 
     /* Proxy */
@@ -181,7 +157,6 @@ struct access_sys_t
     char       *psz_location;
     bool b_mms;
     bool b_icecast;
-    bool b_ssl;
 #ifdef HAVE_ZLIB_H
     bool b_compressed;
     struct
@@ -214,8 +189,7 @@ struct access_sys_t
 
 /* */
 static int OpenWithCookies( vlc_object_t *p_this, const char *psz_access,
-                            int i_nb_redirect, int i_max_redirect,
-                            vlc_array_t *cookies );
+                            unsigned i_redirect, vlc_array_t *cookies );
 
 /* */
 static ssize_t Read( access_t *, uint8_t *, size_t );
@@ -246,8 +220,7 @@ static int AuthCheckReply( access_t *p_access, const char *psz_header,
 static int Open( vlc_object_t *p_this )
 {
     access_t *p_access = (access_t*)p_this;
-    return OpenWithCookies( p_this, p_access->psz_access, 0,
-                var_CreateGetInteger( p_access, "http-max-redirect" ), NULL );
+    return OpenWithCookies( p_this, p_access->psz_access, 5, NULL );
 }
 
 /**
@@ -255,21 +228,19 @@ static int Open( vlc_object_t *p_this )
  * @param p_this: the vlc object
  * @psz_access: the acces to use (http, https, ...) (this value must be used
  *              instead of p_access->psz_access)
- * @i_nb_redirect: the number of redirection already done
- * @i_max_redirect: limit to the number of redirection to follow
+ * @i_redirect: number of redirections remaining
  * @cookies: the available cookies
  * @return vlc error codes
  */
 static int OpenWithCookies( vlc_object_t *p_this, const char *psz_access,
-                            int i_nb_redirect, int i_max_redirect,
-                            vlc_array_t *cookies )
+                            unsigned i_redirect, vlc_array_t *cookies )
 {
     access_t     *p_access = (access_t*)p_this;
     access_sys_t *p_sys;
     char         *psz, *p;
 
     /* Only forward an store cookies if the corresponding option is activated */
-    bool   b_forward_cookies = var_CreateGetBool( p_access, "http-forward-cookies" );
+    bool   b_forward_cookies = var_InheritBool( p_access, "http-forward-cookies" );
     vlc_array_t * saved_cookies = b_forward_cookies ? (cookies ? cookies : vlc_array_new()) : NULL;
 
     /* Set up p_access */
@@ -288,8 +259,8 @@ static int OpenWithCookies( vlc_object_t *p_this, const char *psz_access,
     p_sys->b_icecast = false;
     p_sys->psz_location = NULL;
     p_sys->psz_user_agent = NULL;
+    p_sys->psz_referrer = NULL;
     p_sys->b_pace_control = true;
-    p_sys->b_ssl = false;
 #ifdef HAVE_ZLIB_H
     p_sys->b_compressed = false;
     /* 15 is the max windowBits, +32 to enable optional gzip decoding */
@@ -320,7 +291,7 @@ static int OpenWithCookies( vlc_object_t *p_this, const char *psz_access,
     http_auth_Init( &p_sys->proxy_auth );
 
     /* Parse URI - remove spaces */
-    p = psz = strdup( p_access->psz_path );
+    p = psz = strdup( p_access->psz_location );
     while( (p = strchr( p, ' ' )) != NULL )
         *p = '+';
     vlc_UrlParse( &p_sys->url, psz, 0 );
@@ -334,7 +305,9 @@ static int OpenWithCookies( vlc_object_t *p_this, const char *psz_access,
     if( !strncmp( psz_access, "https", 5 ) )
     {
         /* HTTP over SSL */
-        p_sys->b_ssl = true;
+        p_sys->p_creds = vlc_tls_ClientCreate( p_this );
+        if( p_sys->p_creds == NULL )
+            goto error;
         if( p_sys->url.i_port <= 0 )
             p_sys->url.i_port = 443;
     }
@@ -344,132 +317,75 @@ static int OpenWithCookies( vlc_object_t *p_this, const char *psz_access,
             p_sys->url.i_port = 80;
     }
 
-    /* Do user agent */
-    p_sys->psz_user_agent = var_CreateGetString( p_access, "http-user-agent" );
-
-    /* Check proxy */
-    psz = var_CreateGetNonEmptyString( p_access, "http-proxy" );
-    if( psz )
+    /* Determine the HTTP user agent */
+    /* See RFC2616 §2.2 token and comment definition, and §3.8 and
+     * §14.43 user-agent header */
+    p_sys->psz_user_agent = var_InheritString( p_access, "http-user-agent" );
+    if (p_sys->psz_user_agent)
     {
-        p_sys->b_proxy = true;
-        vlc_UrlParse( &p_sys->proxy, psz, 0 );
-        free( psz );
-    }
-#ifdef HAVE_LIBPROXY
-    else
-    {
-        pxProxyFactory *pf = px_proxy_factory_new();
-        if (pf)
+        unsigned comment_level = 0;
+        for( char *p = p_sys->psz_user_agent; *p; p++ )
         {
-            char *buf;
-            int i;
-            i=asprintf(&buf, "%s://%s", psz_access, p_access->psz_path);
-            if (i >= 0)
+            uint8_t c = *p;
+            if (comment_level == 0)
             {
-                msg_Dbg(p_access, "asking libproxy about url '%s'", buf);
-                char **proxies = px_proxy_factory_get_proxies(pf, buf);
-                if (proxies[0])
-                {
-                    msg_Dbg(p_access, "libproxy suggest to use '%s'", proxies[0]);
-                    if(strcmp(proxies[0],"direct://") != 0)
-                    {
-                        p_sys->b_proxy = true;
-                        vlc_UrlParse( &p_sys->proxy, proxies[0], 0);
-                    }
-                }
-                for(i=0;proxies[i];i++) free(proxies[i]);
-                free(proxies);
-                free(buf);
+                if( c < 32 || strchr( ")<>@,;:\\\"[]?={}", c ) )
+                    *p = '_'; /* remove potentially harmful characters */
+            }
+            else
+            {
+                if (c == ')')
+                    comment_level--;
+                else if( c < 32 && strchr( "\t\r\n", c ) == NULL)
+                    *p = '_'; /* remove potentially harmful characters */
+            }
+            if (c == '(')
+            {
+                if (comment_level == UINT_MAX)
+                    break;
+                comment_level++;
             }
-            px_proxy_factory_free(pf);
         }
-        else
+        /* truncate evil unclosed comments */
+        if (comment_level > 0)
         {
-            msg_Err(p_access, "Allocating memory for libproxy failed");
+            char *p = strchr(p_sys->psz_user_agent, '(');
+            *p = '\0';
         }
     }
-#elif defined( WIN32 )
-    else
+
+    /* HTTP referrer */
+    p_sys->psz_referrer = var_InheritString( p_access, "http-referrer" );
+
+    /* Check proxy */
+    psz = var_InheritString( p_access, "http-proxy" );
+    if( psz == NULL )
     {
-        if( var_CreateGetBool( p_access, "http-use-IE-proxy" ) )
+        char *url;
+
+        if (likely(asprintf(&url, "%s://%s", psz_access,
+                            p_access->psz_location) != -1))
         {
-            /* Try to get the proxy server address from Windows internet settings using registry. */
-            HKEY h_key;
-            /* Open the key */
-            if( RegOpenKeyEx( HKEY_CURRENT_USER, "Software\\Microsoft" \
-                              "\\Windows\\CurrentVersion\\Internet Settings",
-                              0, KEY_READ, &h_key ) == ERROR_SUCCESS )
-            {
-                DWORD i_dataReadSize = 4; /* sizeof( DWORD ); */
-                DWORD proxyEnable = 0;
-                /* Get the proxy enable value */
-                if( RegQueryValueEx( h_key, "ProxyEnable", NULL, NULL,
-                                     (char *)&proxyEnable, &i_dataReadSize )
-                                     == ERROR_SUCCESS )
-                {
-                    if( proxyEnable )
-                    {
-                        /* Proxy is enable */
-                        char psz_key[256];
-                        i_dataReadSize = 256;
-                        if( RegQueryValueEx( h_key, "ProxyServer",
-                                             NULL, NULL, psz_key,
-                                             &i_dataReadSize )
-                                             == ERROR_SUCCESS )
-                        {
-                            /* Get the proxy URL :
-                            Proxy server value in the registry can be something like "address:port"
-                            or "ftp=adress1:port1;http=adress2:port2 ..." depending of the
-                            confirguration. */
-                            char *psz_proxy;
-                            psz_proxy = strstr( psz_key, "http=" );
-                            if( psz_proxy != NULL )
-                            {
-                                psz_proxy += strlen( "http=" );
-                                char *psz_endUrl = strchr( psz_proxy, ';' );
-                                if( psz_endUrl != NULL )
-                                    *psz_endUrl = '\0';
-                            }
-                            else
-                                psz_proxy = psz_key;
-                            /* Set proxy enable for this connection. */
-                            p_sys->b_proxy = true;
-                            vlc_UrlParse( &p_sys->proxy, psz_proxy, 0 );
-                        }
-                        msg_Warn( p_access, "Couldn't read in registry " \
-                                  "the proxy server address." );
-                    }
-                }
-                else
-                    msg_Warn( p_access, "Couldn't read in registry if the " \
-                              "proxy is enable or not." );
-            }
-            else
-                msg_Warn( p_access, "Couldn't open internet settings key " \
-                          "in registry." );
+            msg_Dbg(p_access, "querying proxy for %s", url);
+            psz = vlc_getProxyUrl(url);
+            free(url);
         }
+
+        if (psz != NULL)
+            msg_Dbg(p_access, "proxy: %s", psz);
+        else
+            msg_Dbg(p_access, "no proxy");
     }
-#elif HAVE_GETENV
-    else
+    if( psz != NULL )
     {
-        psz = getenv( "http_proxy" );
-        if( psz )
-        {
-            p_sys->b_proxy = true;
-            vlc_UrlParse( &p_sys->proxy, psz, 0 );
-        }
-    }
-#endif
+        p_sys->b_proxy = true;
+        vlc_UrlParse( &p_sys->proxy, psz, 0 );
+        free( psz );
 
-    if( psz ) /* No, this is NOT a use-after-free error */
-    {
-        psz = var_CreateGetNonEmptyString( p_access, "http-proxy-pwd" );
+        psz = var_InheritString( p_access, "http-proxy-pwd" );
         if( psz )
             p_sys->proxy.psz_password = p_sys->psz_proxy_passbuf = psz;
-    }
 
-    if( p_sys->b_proxy )
-    {
         if( p_sys->proxy.psz_host == NULL || *p_sys->proxy.psz_host == '\0' )
         {
             msg_Warn( p_access, "invalid proxy host" );
@@ -481,8 +397,9 @@ static int OpenWithCookies( vlc_object_t *p_this, const char *psz_access,
         }
     }
 
-    msg_Dbg( p_access, "http: server='%s' port=%d file='%s",
-             p_sys->url.psz_host, p_sys->url.i_port, p_sys->url.psz_path );
+    msg_Dbg( p_access, "http: server='%s' port=%d file='%s'",
+             p_sys->url.psz_host, p_sys->url.i_port,
+             p_sys->url.psz_path != NULL ? p_sys->url.psz_path : "" );
     if( p_sys->b_proxy )
     {
         msg_Dbg( p_access, "      proxy %s:%d", p_sys->proxy.psz_host,
@@ -493,8 +410,8 @@ static int OpenWithCookies( vlc_object_t *p_this, const char *psz_access,
         msg_Dbg( p_access, "      user='%s'", p_sys->url.psz_username );
     }
 
-    p_sys->b_reconnect = var_CreateGetBool( p_access, "http-reconnect" );
-    p_sys->b_continuous = var_CreateGetBool( p_access, "http-continuous" );
+    p_sys->b_reconnect = var_InheritBool( p_access, "http-reconnect" );
+    p_sys->b_continuous = var_InheritBool( p_access, "http-continuous" );
 
 connect:
     /* Connect */
@@ -512,14 +429,11 @@ connect:
             if( !vlc_object_alive (p_access) || Connect( p_access, 0 ) )
                 goto error;
 
-#ifndef NDEBUG
         case 0:
             break;
 
         default:
-            msg_Err( p_access, "You should not be here" );
-            abort();
-#endif
+            assert(0);
     }
 
     if( p_sys->i_code == 401 )
@@ -561,27 +475,26 @@ connect:
         msg_Dbg( p_access, "redirection to %s", p_sys->psz_location );
 
         /* Check the number of redirection already done */
-        if( i_nb_redirect >= i_max_redirect )
+        if( i_redirect == 0 )
         {
             msg_Err( p_access, "Too many redirection: break potential infinite"
                      "loop" );
             goto error;
         }
 
-
-        /* Do not accept redirection outside of HTTP works */
         const char *psz_protocol;
-        if( !strncmp( p_sys->psz_location, "http:", 5 ) )
+        if( !strncmp( p_sys->psz_location, "http://", 7 ) )
             psz_protocol = "http";
-        else if( !strncmp( p_sys->psz_location, "https:", 6 ) )
+        else if( !strncmp( p_sys->psz_location, "https://", 8 ) )
             psz_protocol = "https";
         else
-        {
-            msg_Err( p_access, "insecure redirection ignored" );
+        {   /* Do not accept redirection outside of HTTP */
+            msg_Err( p_access, "unsupported redirection ignored" );
             goto error;
         }
-        free( p_access->psz_path );
-        p_access->psz_path = strdup( p_sys->psz_location );
+        free( p_access->psz_location );
+        p_access->psz_location = strdup( p_sys->psz_location
+                                       + strlen( psz_protocol ) + 3 );
         /* Clean up current Open() run */
         vlc_UrlClean( &p_sys->url );
         http_auth_Reset( &p_sys->auth );
@@ -592,8 +505,10 @@ connect:
         free( p_sys->psz_pragma );
         free( p_sys->psz_location );
         free( p_sys->psz_user_agent );
+        free( p_sys->psz_referrer );
 
         Disconnect( p_access );
+        vlc_tls_Delete( p_sys->p_creds );
         cookies = p_sys->cookies;
 #ifdef HAVE_ZLIB_H
         inflateEnd( &p_sys->inflate.stream );
@@ -601,8 +516,8 @@ connect:
         free( p_sys );
 
         /* Do new Open() run with new data */
-        return OpenWithCookies( p_this, psz_protocol, i_nb_redirect + 1,
-                                i_max_redirect, cookies );
+        return OpenWithCookies( p_this, psz_protocol, i_redirect - 1,
+                                cookies );
     }
 
     if( p_sys->b_mms )
@@ -673,9 +588,6 @@ connect:
 
     if( p_sys->b_reconnect ) msg_Dbg( p_access, "auto re-connect enabled" );
 
-    /* PTS delay */
-    var_Create( p_access, "http-caching", VLC_VAR_INTEGER |VLC_VAR_DOINHERIT );
-
     return VLC_SUCCESS;
 
 error:
@@ -686,8 +598,10 @@ error:
     free( p_sys->psz_pragma );
     free( p_sys->psz_location );
     free( p_sys->psz_user_agent );
+    free( p_sys->psz_referrer );
 
     Disconnect( p_access );
+    vlc_tls_Delete( p_sys->p_creds );
 
     if( p_sys->cookies )
     {
@@ -726,8 +640,10 @@ static void Close( vlc_object_t *p_this )
     free( p_sys->psz_icy_title );
 
     free( p_sys->psz_user_agent );
+    free( p_sys->psz_referrer );
 
     Disconnect( p_access );
+    vlc_tls_Delete( p_sys->p_creds );
 
     if( p_sys->cookies )
     {
@@ -745,39 +661,15 @@ static void Close( vlc_object_t *p_this )
     free( p_sys );
 }
 
-/*****************************************************************************
- * Read: Read up to i_len bytes from the http connection and place in
- * p_buffer. Return the actual number of bytes read
- *****************************************************************************/
-static int ReadICYMeta( access_t *p_access );
-static ssize_t Read( access_t *p_access, uint8_t *p_buffer, size_t i_len )
+/* Read data from the socket taking care of chunked transfer if needed */
+static int ReadData( access_t *p_access, int *pi_read,
+                     uint8_t *p_buffer, size_t i_len )
 {
     access_sys_t *p_sys = p_access->p_sys;
-    int i_read;
-
-    if( p_sys->fd == -1 )
-    {
-        p_access->info.b_eof = true;
-        return 0;
-    }
-
-    if( p_sys->b_has_size &&
-        i_len + p_access->info.i_pos > p_access->info.i_size )
-    {
-        if( ( i_len = p_access->info.i_size - p_access->info.i_pos ) == 0 )
-        {
-            p_access->info.b_eof = true;
-            return 0;
-        }
-    }
-
     if( p_sys->b_chunked )
     {
         if( p_sys->i_chunk < 0 )
-        {
-            p_access->info.b_eof = true;
-            return 0;
-        }
+            return VLC_EGENERIC;
 
         if( p_sys->i_chunk <= 0 )
         {
@@ -787,7 +679,7 @@ static ssize_t Read( access_t *p_access, uint8_t *p_buffer, size_t i_len )
             {
                 /* fatal error - end of file */
                 msg_Dbg( p_access, "failed reading chunk-header line" );
-                return 0;
+                return VLC_EGENERIC;
             }
             p_sys->i_chunk = strtoll( psz, NULL, 16 );
             free( psz );
@@ -795,27 +687,58 @@ static ssize_t Read( access_t *p_access, uint8_t *p_buffer, size_t i_len )
             if( p_sys->i_chunk <= 0 )   /* eof */
             {
                 p_sys->i_chunk = -1;
-                p_access->info.b_eof = true;
-                return 0;
+                return VLC_EGENERIC;
             }
         }
 
         if( i_len > p_sys->i_chunk )
-        {
             i_len = p_sys->i_chunk;
-        }
     }
-    else if( p_sys->b_has_size && i_len > p_sys->i_remaining) {
-        /* Only ask for the remaining length */
-        i_len = p_sys->i_remaining;
-        if(i_len == 0) {
-            p_access->info.b_eof = true;
-            return 0;
+    *pi_read = net_Read( p_access, p_sys->fd, p_sys->p_vs, p_buffer, i_len, false );
+    if( *pi_read <= 0 )
+        return VLC_SUCCESS;
+
+    if( p_sys->b_chunked )
+    {
+        p_sys->i_chunk -= *pi_read;
+        if( p_sys->i_chunk <= 0 )
+        {
+            /* read the empty line */
+            char *psz = net_Gets( p_access, p_sys->fd, p_sys->p_vs );
+            free( psz );
         }
     }
+    return VLC_SUCCESS;
+}
+
+/*****************************************************************************
+ * Read: Read up to i_len bytes from the http connection and place in
+ * p_buffer. Return the actual number of bytes read
+ *****************************************************************************/
+static int ReadICYMeta( access_t *p_access );
+static ssize_t Read( access_t *p_access, uint8_t *p_buffer, size_t i_len )
+{
+    access_sys_t *p_sys = p_access->p_sys;
+    int i_read;
 
+    if( p_sys->fd == -1 )
+        goto fatal;
+
+    if( p_sys->b_has_size )
+    {
+        /* Remaining bytes in the file */
+        uint64_t remainder = p_access->info.i_size - p_access->info.i_pos;
+        if( remainder < i_len )
+            i_len = remainder;
+
+        /* Remaining bytes in the response */
+        if( p_sys->i_remaining < i_len )
+            i_len = p_sys->i_remaining;
+    }
+    if( i_len == 0 )
+        goto fatal;
 
-    if( p_sys->i_icy_meta > 0 && p_access->info.i_pos-p_sys->i_icy_offset > 0 )
+    if( p_sys->i_icy_meta > 0 && p_access->info.i_pos - p_sys->i_icy_offset > 0 )
     {
         int64_t i_next = p_sys->i_icy_meta -
                                     (p_access->info.i_pos - p_sys->i_icy_offset ) % p_sys->i_icy_meta;
@@ -823,33 +746,16 @@ static ssize_t Read( access_t *p_access, uint8_t *p_buffer, size_t i_len )
         if( i_next == p_sys->i_icy_meta )
         {
             if( ReadICYMeta( p_access ) )
-            {
-                p_access->info.b_eof = true;
-                return -1;
-            }
+                goto fatal;
         }
         if( i_len > i_next )
             i_len = i_next;
     }
 
-    i_read = net_Read( p_access, p_sys->fd, p_sys->p_vs, p_buffer, i_len, false );
+    if( ReadData( p_access, &i_read, p_buffer, i_len ) )
+        goto fatal;
 
-    if( i_read > 0 )
-    {
-        p_access->info.i_pos += i_read;
-
-        if( p_sys->b_chunked )
-        {
-            p_sys->i_chunk -= i_read;
-            if( p_sys->i_chunk <= 0 )
-            {
-                /* read the empty line */
-                char *psz = net_Gets( p_access, p_sys->fd, p_sys->p_vs );
-                free( psz );
-            }
-        }
-    }
-    else if( i_read <= 0 )
+    if( i_read <= 0 )
     {
         /*
          * I very much doubt that this will work.
@@ -877,22 +783,33 @@ static ssize_t Read( access_t *p_access, uint8_t *p_buffer, size_t i_len )
                 p_sys->b_reconnect = false;
                 i_read = Read( p_access, p_buffer, i_len );
                 p_sys->b_reconnect = true;
+
+                return i_read;
             }
         }
 
-        if( i_read == 0 )
-            p_access->info.b_eof = true;
-        if( i_read < 0 )
-            p_sys->b_error = true;
+        if( i_read <= 0 )
+        {
+            if( i_read < 0 )
+                p_sys->b_error = true;
+            goto fatal;
+        }
     }
 
+    assert( i_read >= 0 );
+    p_access->info.i_pos += i_read;
     if( p_sys->b_has_size )
     {
-        assert( i_read <= p_sys->i_remaining );
+        assert( p_access->info.i_pos <= p_access->info.i_size );
+        assert( (unsigned)i_read <= p_sys->i_remaining );
         p_sys->i_remaining -= i_read;
     }
 
     return i_read;
+
+fatal:
+    p_access->info.b_eof = true;
+    return 0;
 }
 
 static int ReadICYMeta( access_t *p_access )
@@ -904,24 +821,24 @@ static int ReadICYMeta( access_t *p_access )
     int i_read;
 
     /* Read meta data length */
-    i_read = net_Read( p_access, p_sys->fd, p_sys->p_vs, &buffer, 1,
-                       true );
-    if( i_read <= 0 )
+    if( ReadData( p_access, &i_read, &buffer, 1 ) )
         return VLC_EGENERIC;
-    if( buffer == 0 )
-        return VLC_SUCCESS;
-
-    i_read = buffer << 4;
-    /* msg_Dbg( p_access, "ICY meta size=%u", i_read); */
+    if( i_read != 1 )
+        return VLC_EGENERIC;
+    const int i_size = buffer << 4;
+    /* msg_Dbg( p_access, "ICY meta size=%u", i_size); */
 
-    psz_meta = malloc( i_read + 1 );
-    if( net_Read( p_access, p_sys->fd, p_sys->p_vs,
-                  (uint8_t *)psz_meta, i_read, true ) != i_read )
+    psz_meta = malloc( i_size + 1 );
+    for( i_read = 0; i_read < i_size; )
     {
-        free( psz_meta );
-        return VLC_EGENERIC;
+        int i_tmp;
+        if( ReadData( p_access, &i_tmp, (uint8_t *)&psz_meta[i_read], i_size - i_read ) || i_tmp <= 0 )
+        {
+            free( psz_meta );
+            return VLC_EGENERIC;
+        }
+        i_read += i_tmp;
     }
-
     psz_meta[i_read] = '\0'; /* Just in case */
 
     /* msg_Dbg( p_access, "icy-meta=%s", psz_meta ); */
@@ -980,7 +897,7 @@ static ssize_t ReadCompressed( access_t *p_access, uint8_t *p_buffer,
 
         if( p_sys->inflate.stream.avail_in == 0 )
         {
-            ssize_t i_read = Read( p_access, p_sys->inflate.p_buffer + p_sys->inflate.stream.avail_in, 256 * 1024 );
+            ssize_t i_read = Read( p_access, p_sys->inflate.p_buffer, 256 * 1024 );
             if( i_read <= 0 ) return i_read;
             p_sys->inflate.stream.next_in = p_sys->inflate.p_buffer;
             p_sys->inflate.stream.avail_in = i_read;
@@ -1065,7 +982,8 @@ static int Control( access_t *p_access, int i_query, va_list args )
         /* */
         case ACCESS_GET_PTS_DELAY:
             pi_64 = (int64_t*)va_arg( args, int64_t * );
-            *pi_64 = (int64_t)var_GetInteger( p_access, "http-caching" ) * 1000;
+            *pi_64 = INT64_C(1000)
+                * var_InheritInteger( p_access, "network-caching" );
             break;
 
         /* */
@@ -1149,7 +1067,7 @@ static int Connect( access_t *p_access, uint64_t i_tell )
     setsockopt (p_sys->fd, SOL_SOCKET, SO_KEEPALIVE, &(int){ 1 }, sizeof (int));
 
     /* Initialize TLS/SSL session */
-    if( p_sys->b_ssl == true )
+    if( p_sys->p_creds != NULL )
     {
         /* CONNECT to establish TLS tunnel through HTTP proxy */
         if( p_sys->b_proxy )
@@ -1213,8 +1131,8 @@ static int Connect( access_t *p_access, uint64_t i_tell )
         }
 
         /* TLS/SSL handshake */
-        p_sys->p_tls = tls_ClientCreate( VLC_OBJECT(p_access), p_sys->fd,
-                                         p_sys->url.psz_host );
+        p_sys->p_tls = vlc_tls_ClientSessionCreate( p_sys->p_creds, p_sys->fd,
+                                                p_sys->url.psz_host, "https" );
         if( p_sys->p_tls == NULL )
         {
             msg_Err( p_access, "cannot establish HTTP/TLS session" );
@@ -1236,53 +1154,40 @@ static int Request( access_t *p_access, uint64_t i_tell )
     p_sys->b_persist = false;
 
     p_sys->i_remaining = 0;
-    if( p_sys->b_proxy )
-    {
-        if( p_sys->url.psz_path )
-        {
-            net_Printf( p_access, p_sys->fd, NULL,
-                        "GET http://%s:%d%s HTTP/1.%d\r\n",
-                        p_sys->url.psz_host, p_sys->url.i_port,
-                        p_sys->url.psz_path, p_sys->i_version );
-        }
-        else
-        {
-            net_Printf( p_access, p_sys->fd, NULL,
-                        "GET http://%s:%d/ HTTP/1.%d\r\n",
-                        p_sys->url.psz_host, p_sys->url.i_port,
-                        p_sys->i_version );
-        }
-    }
+
+    const char *psz_path = p_sys->url.psz_path;
+    if( !psz_path || !*psz_path )
+        psz_path = "/";
+    if( p_sys->b_proxy && pvs == NULL )
+        net_Printf( p_access, p_sys->fd, NULL,
+                    "GET http://%s:%d%s HTTP/1.%d\r\n",
+                    p_sys->url.psz_host, p_sys->url.i_port,
+                    psz_path, p_sys->i_version );
     else
-    {
-        const char *psz_path = p_sys->url.psz_path;
-        if( !psz_path || !*psz_path )
-        {
-            psz_path = "/";
-        }
-        if( p_sys->url.i_port != (pvs ? 443 : 80) )
-        {
-            net_Printf( p_access, p_sys->fd, pvs,
-                        "GET %s HTTP/1.%d\r\nHost: %s:%d\r\n",
-                        psz_path, p_sys->i_version, p_sys->url.psz_host,
-                        p_sys->url.i_port );
-        }
-        else
-        {
-            net_Printf( p_access, p_sys->fd, pvs,
-                        "GET %s HTTP/1.%d\r\nHost: %s\r\n",
-                        psz_path, p_sys->i_version, p_sys->url.psz_host );
-        }
-    }
+        net_Printf( p_access, p_sys->fd, pvs, "GET %s HTTP/1.%d\r\n",
+                    psz_path, p_sys->i_version );
+    if( p_sys->url.i_port != (pvs ? 443 : 80) )
+        net_Printf( p_access, p_sys->fd, pvs, "Host: %s:%d\r\n",
+                    p_sys->url.psz_host, p_sys->url.i_port );
+    else
+        net_Printf( p_access, p_sys->fd, pvs, "Host: %s\r\n",
+                    p_sys->url.psz_host );
     /* User Agent */
     net_Printf( p_access, p_sys->fd, pvs, "User-Agent: %s\r\n",
                 p_sys->psz_user_agent );
+    /* Referrer */
+    if (p_sys->psz_referrer)
+    {
+        net_Printf( p_access, p_sys->fd, pvs, "Referer: %s\r\n",
+                    p_sys->psz_referrer);
+    }
     /* Offset */
     if( p_sys->i_version == 1 && ! p_sys->b_continuous )
     {
         p_sys->b_persist = true;
         net_Printf( p_access, p_sys->fd, pvs,
                     "Range: bytes=%"PRIu64"-\r\n", i_tell );
+        net_Printf( p_access, p_sys->fd, pvs, "Connection: close\r\n" );
     }
 
     /* Cookies */
@@ -1381,6 +1286,7 @@ static int Request( access_t *p_access, uint64_t i_tell )
     {
         char *psz = net_Gets( p_access, p_sys->fd, pvs );
         char *p;
+        char *p_trailing;
 
         if( psz == NULL )
         {
@@ -1408,7 +1314,19 @@ static int Request( access_t *p_access, uint64_t i_tell )
             goto error;
         }
         *p++ = '\0';
-        while( *p == ' ' ) p++;
+        p += strspn( p, " \t" );
+
+        /* trim trailing white space */
+        p_trailing = p + strlen( p );
+        if( p_trailing > p )
+        {
+            p_trailing--;
+            while( ( *p_trailing == ' ' || *p_trailing == '\t' ) && p_trailing > p )
+            {
+                *p_trailing = '\0';
+                p_trailing--;
+            }
+        }
 
         if( !strcasecmp( psz, "Content-Length" ) )
         {
@@ -1426,8 +1344,9 @@ static int Request( access_t *p_access, uint64_t i_tell )
             sscanf(p,"bytes %"SCNu64"-%"SCNu64"/%"SCNu64,&i_ntell,&i_nend,&i_nsize);
             if(i_nend > i_ntell ) {
                 p_access->info.i_pos = i_ntell;
+                p_sys->i_icy_offset  = i_ntell;
                 p_sys->i_remaining = i_nend+1-i_ntell;
-                int64_t i_size = (i_nsize > i_nend) ? i_nsize : (i_nend + 1);
+                uint64_t i_size = (i_nsize > i_nend) ? i_nsize : (i_nend + 1);
                 if(i_size > p_access->info.i_size) {
                     p_sys->b_has_size = true;
                     p_access->info.i_size = i_size;
@@ -1452,9 +1371,9 @@ static int Request( access_t *p_access, uint64_t i_tell )
              * handle it as everyone does. */
             if( p[0] == '/' )
             {
-                const char *psz_http_ext = p_sys->b_ssl ? "s" : "" ;
+                const char *psz_http_ext = p_sys->p_tls ? "s" : "" ;
 
-                if( p_sys->url.i_port == ( p_sys->b_ssl ? 443 : 80 ) )
+                if( p_sys->url.i_port == ( p_sys->p_tls ? 443 : 80 ) )
                 {
                     if( asprintf(&psz_new_loc, "http%s://%s%s", psz_http_ext,
                                  p_sys->url.psz_host, p) < 0 )
@@ -1604,6 +1523,11 @@ static int Request( access_t *p_access, uint64_t i_tell )
             if( AuthCheckReply( p_access, p, &p_sys->proxy, &p_sys->proxy_auth ) )
                 goto error;
         }
+        else if( !strcasecmp( psz, "Accept-Ranges" ) )
+        {
+            if( !strcasecmp( p, "bytes" ) )
+                p_sys->b_seekable = true;
+        }
 
         free( psz );
     }
@@ -1629,7 +1553,7 @@ static void Disconnect( access_t *p_access )
 
     if( p_sys->p_tls != NULL)
     {
-        tls_ClientDelete( p_sys->p_tls );
+        vlc_tls_SessionDelete( p_sys->p_tls );
         p_sys->p_tls = NULL;
         p_sys->p_vs = NULL;
     }
@@ -1723,8 +1647,10 @@ static void cookie_append( vlc_array_t * cookies, char * cookie )
 
         assert( current_cookie_name );
 
-        bool is_domain_matching = ( cookie_domain && current_cookie_domain &&
-                                         !strcmp( cookie_domain, current_cookie_domain ) );
+        bool is_domain_matching = (
+                      ( !cookie_domain && !current_cookie_domain ) ||
+                      ( cookie_domain && current_cookie_domain &&
+                        !strcmp( cookie_domain, current_cookie_domain ) ) );
 
         if( is_domain_matching && !strcmp( cookie_name, current_cookie_name )  )
         {