git.sesse.net Git - vlc/blob - src/misc/charset.c

   1 /*****************************************************************************
   2  * charset.c: Determine a canonical name for the current locale's character
   3  *            encoding.
   4  *****************************************************************************
   5  * Copyright (C) 2003-2005 the VideoLAN team
   6  * $Id$
   7  *
   8  * Author: Derk-Jan Hartman <thedj at users.sf.net>
   9  *
  10  * vlc_current_charset() an adaption of mp_locale_charset():
  11  *
  12  *  Copyright (C) 2001-2003 The Mape Project
  13  *  Written by Karel Zak  <zakkr@zf.jcu.cz>.
  14  *
  15  * This program is free software; you can redistribute it and/or modify
  16  * it under the terms of the GNU General Public License as published by
  17  * the Free Software Foundation; either version 2 of the License, or
  18  * (at your option) any later version.
  19  *
  20  * This program is distributed in the hope that it will be useful,
  21  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  22  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  23  * GNU General Public License for more details.
  24  *
  25  * You should have received a copy of the GNU General Public License
  26  * along with this program; if not, write to the Free Software
  27  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  28  *****************************************************************************/
  29
  30 #include <stdlib.h>
  31 #include <stdio.h>
  32 #include <vlc/vlc.h>
  33
  34 #if !defined WIN32
  35 # if HAVE_LANGINFO_CODESET
  36 #  include <langinfo.h>
  37 # else
  38 #  if HAVE_SETLOCALE
  39 #   include <locale.h>
  40 #  endif
  41 # endif
  42 #elif defined WIN32
  43 # include <windows.h>
  44 #endif
  45
  46 #ifdef SYS_DARWIN
  47 #   include <errno.h>
  48 #   include <string.h>
  49 #endif
  50
  51 #include "charset.h"
  52
  53 typedef struct VLCCharsetAlias
  54 {
  55     char *psz_alias, *psz_name;
  56 } VLCCharsetAlias;
  57
  58 /*
  59  * The libcharset load all from external text file, but it's strange and
  60  * slow solution, we rather use array(s) compiled into source. In the
  61  * "good" libc this is not needful -- for example in linux.
  62  *
  63  * Please, put to this funtion exotic aliases only. The libc 'iconv' knows
  64  * a lot of basic aliases (check it first by iconv -l).
  65  *
  66  */
  67 #if defined WIN32 || defined OS2 || !HAVE_LANGINFO_CODESET
  68 static const char* vlc_encoding_from_language( const char *l )
  69 {
  70     /* check for language (and perhaps country) codes */
  71     if (strstr(l, "zh_TW")) return "Big5";
  72     if (strstr(l, "zh_HK")) return "Big5HKSCS";   /* no MIME charset */
  73     if (strstr(l, "zh")) return "GB2312";
  74     if (strstr(l, "th")) return "TIS-620";
  75     if (strstr(l, "ja")) return "EUC-JP";
  76     if (strstr(l, "ko")) return "EUC-KR";
  77     if (strstr(l, "ru")) return "KOI8-R";
  78     if (strstr(l, "uk")) return "KOI8-U";
  79     if (strstr(l, "pl") || strstr(l, "hr") ||
  80         strstr(l, "hu") || strstr(l, "cs") ||
  81         strstr(l, "sk") || strstr(l, "sl")) return "ISO-8859-2";
  82     if (strstr(l, "eo") || strstr(l, "mt")) return "ISO-8859-3";
  83     if (strstr(l, "lt") || strstr(l, "la")) return "ISO-8859-4";
  84     if (strstr(l, "bg") || strstr(l, "be") ||
  85         strstr(l, "mk") || strstr(l, "uk")) return "ISO-8859-5";
  86     if (strstr(l, "ar")) return "ISO-8859-6";
  87     if (strstr(l, "el")) return "ISO-8859-7";
  88     if (strstr(l, "he") || strstr(l, "iw")) return "ISO-8859-8";
  89     if (strstr(l, "tr")) return "ISO-8859-9";
  90     if (strstr(l, "th")) return "ISO-8859-11";
  91     if (strstr(l, "lv")) return "ISO-8859-13";
  92     if (strstr(l, "cy")) return "ISO-8859-14";
  93     if (strstr(l, "et")) return "ISO-8859-15"; /* all latin1 could be iso15 as well */
  94     if (strstr(l, "ro")) return "ISO-8859-2";   /* or ISO-8859-16 */
  95     if (strstr(l, "am") || strstr(l, "vi")) return "UTF-8";
  96     /* We don't know. This ain't working go to default. */
  97     return "ISO-8859-1";
  98 }
  99 #endif
 100
 101 static const char* vlc_charset_aliases( const char *psz_name )
 102 {
 103     VLCCharsetAlias     *a;
 104
 105 #if defined WIN32
 106     VLCCharsetAlias aliases[] =
 107     {
 108         { "CP936",      "GBK" },
 109         { "CP1361",     "JOHAB" },
 110         { "CP20127",    "ASCII" },
 111         { "CP20866",    "KOI8-R" },
 112         { "CP21866",    "KOI8-RU" },
 113         { "CP28591",    "ISO-8859-1" },
 114         { "CP28592",    "ISO-8859-2" },
 115         { "CP28593",    "ISO-8859-3" },
 116         { "CP28594",    "ISO-8859-4" },
 117         { "CP28595",    "ISO-8859-5" },
 118         { "CP28596",    "ISO-8859-6" },
 119         { "CP28597",    "ISO-8859-7" },
 120         { "CP28598",    "ISO-8859-8" },
 121         { "CP28599",    "ISO-8859-9" },
 122         { "CP28605",    "ISO-8859-15" },
 123         { NULL,         NULL }
 124     };
 125 #elif SYS_AIX
 126     VLCCharsetAlias aliases[] =
 127     {
 128         { "IBM-850",    "CP850" },
 129         { "IBM-856",    "CP856" },
 130         { "IBM-921",    "ISO-8859-13" },
 131         { "IBM-922",    "CP922" },
 132         { "IBM-932",    "CP932" },
 133         { "IBM-943",    "CP943" },
 134         { "IBM-1046",   "CP1046" },
 135         { "IBM-1124",   "CP1124" },
 136         { "IBM-1129",   "CP1129" },
 137         { "IBM-1252",   "CP1252" },
 138         { "IBM-EUCCN",  "GB2312" },
 139         { "IBM-EUCJP",  "EUC-JP" },
 140         { "IBM-EUCKR",  "EUC-KR" },
 141         { "IBM-EUCTW",  "EUC-TW" },
 142         { NULL, NULL }
 143     };
 144 #elif SYS_HPUX
 145     VLCCharsetAlias aliases[] =
 146     {
 147         { "ROMAN8",     "HP-ROMAN8" },
 148         { "ARABIC8",    "HP-ARABIC8" },
 149         { "GREEK8",     "HP-GREEK8" },
 150         { "HEBREW8",    "HP-HEBREW8" },
 151         { "TURKISH8",   "HP-TURKISH8" },
 152         { "KANA8",      "HP-KANA8" },
 153         { "HP15CN",     "GB2312" },
 154         { NULL, NULL }
 155     };
 156 #elif SYS_IRIX
 157     VLCCharsetAlias aliases[] =
 158     {
 159         { "EUCCN",      "GB2312" },
 160         { NULL, NULL }
 161     };
 162 #elif SYS_OSF
 163     VLCCharsetAlias aliases[] =
 164     {
 165         { "KSC5601",    "CP949" },
 166         { "SDECKANJI",  "EUC-JP" },
 167         { "TACTIS",     "TIS-620" },
 168         { NULL, NULL }
 169     };
 170 #elif SYS_SOLARIS
 171     VLCCharsetAlias aliases[] =
 172     {
 173         { "646",        "ASCII" },
 174         { "CNS11643",   "EUC-TW" },
 175         { "5601",       "EUC-KR" },
 176         { "JOHAP92",    "JOHAB" },
 177         { "PCK",        "SHIFT_JIS" },
 178         { "2533",       "TIS-620" },
 179         { NULL, NULL }
 180     };
 181 #elif SYS_BSD
 182     VLCCharsetAlias aliases[] =
 183     {
 184         { "646", " ASCII" },
 185         { "EUCCN", "GB2312" },
 186         { NULL, NULL }
 187     };
 188 #else
 189     VLCCharsetAlias aliases[] = {{NULL, NULL}};
 190 #endif
 191
 192     if( aliases )
 193     {
 194         for (a = aliases; a->psz_alias; a++)
 195             if (strcasecmp (a->psz_alias, psz_name) == 0)
 196                 return a->psz_name;
 197     }
 198
 199     /* we return original name beacuse iconv() probably will know
 200      * something better about name if we don't know it :-) */
 201     return psz_name;
 202 }
 203
 204 /* Returns charset from "language_COUNTRY.charset@modifier" string */
 205 #if defined WIN32 || defined OS2 || !HAVE_LANGINFO_CODESET
 206 static void vlc_encoding_from_locale( char *psz_locale, char *psz_charset )
 207 {
 208     char *psz_dot = strchr( psz_locale, '.' );
 209
 210     if( psz_dot != NULL )
 211     {
 212         const char *psz_modifier;
 213
 214         psz_dot++;
 215
 216         /* Look for the possible @... trailer and remove it, if any.  */
 217         psz_modifier = strchr( psz_dot, '@' );
 218
 219         if( psz_modifier == NULL )
 220         {
 221             strcpy( psz_charset, psz_dot );
 222             return;
 223         }
 224         if( 0 < ( psz_modifier - psz_dot )
 225              && ( psz_modifier - psz_dot ) < 2 + 10 + 1 )
 226         {
 227             memcpy( psz_charset, psz_dot, psz_modifier - psz_dot );
 228             psz_charset[ psz_modifier - psz_dot ] = '\0';
 229             return;
 230         }
 231     }
 232     /* try language mapping */
 233     strcpy( psz_charset, vlc_encoding_from_language( psz_locale ) );
 234 }
 235 #endif
 236
 237 vlc_bool_t vlc_current_charset( char **psz_charset )
 238 {
 239     const char *psz_codeset;
 240
 241 #if !(defined WIN32 || defined OS2 || defined SYS_DARWIN)
 242
 243 # if HAVE_LANGINFO_CODESET
 244     /* Most systems support nl_langinfo( CODESET ) nowadays.  */
 245     psz_codeset = nl_langinfo( CODESET );
 246     if( !strcmp( psz_codeset, "ANSI_X3.4-1968" ) )
 247         psz_codeset = "ASCII";
 248 # else
 249     /* On old systems which lack it, use setlocale or getenv.  */
 250     const char *psz_locale = NULL;
 251     char buf[2 + 10 + 1];
 252
 253     /* But most old systems don't have a complete set of locales.  Some
 254      * (like SunOS 4 or DJGPP) have only the C locale.  Therefore we don't
 255      * use setlocale here; it would return "C" when it doesn't support the
 256      * locale name the user has set. Darwin's setlocale is broken. */
 257 #  if HAVE_SETLOCALE && !SYS_DARWIN
 258     psz_locale = setlocale( LC_ALL, NULL );
 259 #  endif
 260     if( psz_locale == NULL || psz_locale[0] == '\0' )
 261     {
 262         psz_locale = getenv( "LC_ALL" );
 263         if( psz_locale == NULL || psz_locale[0] == '\0' )
 264         {
 265             psz_locale = getenv( "LC_CTYPE" );
 266             if( psz_locale == NULL || psz_locale[0] == '\0')
 267                 psz_locale = getenv( "LANG" );
 268         }
 269     }
 270
 271     /* On some old systems, one used to set locale = "iso8859_1". On others,
 272      * you set it to "language_COUNTRY.charset". Darwin only has LANG :( */
 273     vlc_encoding_from_locale( (char *)psz_locale, buf );
 274     psz_codeset =  buf;
 275 # endif /* HAVE_LANGINFO_CODESET */
 276
 277 #elif defined SYS_DARWIN
 278
 279     /* Darwin is always using UTF-8 internally. */
 280     psz_codeset = "UTF-8";
 281
 282 #elif defined WIN32
 283
 284     char buf[2 + 10 + 1];
 285
 286     /* Woe32 has a function returning the locale's codepage as a number.  */
 287     sprintf( buf, "CP%u", GetACP() );
 288     psz_codeset = buf;
 289
 290 #elif defined OS2
 291
 292     const char *psz_locale;
 293     char buf[2 + 10 + 1];
 294     ULONG cp[3];
 295     ULONG cplen;
 296
 297     /* Allow user to override the codeset, as set in the operating system,
 298      * with standard language environment variables. */
 299     psz_locale = getenv( "LC_ALL" );
 300     if( psz_locale == NULL || psz_locale[0] == '\0' )
 301     {
 302         psz+locale = getenv( "LC_CTYPE" );
 303         if( psz_locale == NULL || locale[0] == '\0' )
 304             locale = getenv( "LANG" );
 305     }
 306     if( psz_locale != NULL && psz_locale[0] != '\0' )
 307         vlc_encoding_from_locale( psz_locale, buf );
 308         psz_codeset = buf;
 309     else
 310     {
 311         /* OS/2 has a function returning the locale's codepage as a number. */
 312         if( DosQueryCp( sizeof( cp ), cp, &cplen ) )
 313             psz_codeset = "";
 314         else
 315         {
 316             sprintf( buf, "CP%u", cp[0] );
 317             psz_codeset = buf;
 318         }
 319     }
 320 #endif
 321     if( psz_codeset == NULL )
 322         /* The canonical name cannot be determined. */
 323         psz_codeset = "";
 324     else
 325         psz_codeset = vlc_charset_aliases( psz_codeset );
 326
 327     /* Don't return an empty string.  GNU libc and GNU libiconv interpret
 328      * the empty string as denoting "the locale's character encoding",
 329      * thus GNU libiconv would call this function a second time. */
 330     if( psz_codeset[0] == '\0' )
 331     {
 332         /* Last possibility is 'CHARSET' enviroment variable */
 333         if( !( psz_codeset = getenv( "CHARSET" ) ) )
 334             psz_codeset = "ISO-8859-1";
 335     }
 336
 337     if( psz_charset )
 338         *psz_charset = strdup(psz_codeset);
 339
 340     if( !strcasecmp(psz_codeset, "UTF8") || !strcasecmp(psz_codeset, "UTF-8") )
 341         return VLC_TRUE;
 342
 343     return VLC_FALSE;
 344 }
 345
 346 char *__vlc_fix_readdir_charset( vlc_object_t *p_this, const char *psz_string )
 347 {
 348 #ifdef SYS_DARWIN
 349     if ( p_this->p_libvlc->iconv_macosx != (vlc_iconv_t)-1 )
 350     {
 351         const char *psz_in = psz_string;
 352         size_t i_in = strlen(psz_in);
 353         size_t i_out = i_in * 2;
 354         char *psz_utf8 = malloc(i_out + 1);
 355         char *psz_out = psz_utf8;
 356
 357         vlc_mutex_lock( &p_this->p_libvlc->iconv_lock );
 358         size_t i_ret = vlc_iconv( p_this->p_libvlc->iconv_macosx,
 359                                   &psz_in, &i_in, &psz_out, &i_out );
 360         vlc_mutex_unlock( &p_this->p_libvlc->iconv_lock );
 361         if( i_ret == (size_t)-1 || i_in )
 362         {
 363             msg_Warn( p_this,
 364                       "failed to convert \"%s\" from HFS+ charset (%s)",
 365                       psz_string, strerror(errno) );
 366             free( psz_utf8 );
 367             return strdup( psz_string );
 368         }
 369
 370         *psz_out = '\0';
 371         return psz_utf8;
 372     }
 373 #endif
 374
 375     return strdup( psz_string );
 376 }