git.sesse.net Git - vlc/blob - src/text/unicode.c

   1 /*****************************************************************************
   2  * unicode.c: Unicode <-> locale functions
   3  *****************************************************************************
   4  * Copyright (C) 2005-2006 the VideoLAN team
   5  * Copyright © 2005-2008 Rémi Denis-Courmont
   6  *
   7  * Authors: Rémi Denis-Courmont <rem # videolan.org>
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License as published by
  11  * the Free Software Foundation; either version 2 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU General Public License
  20  * along with this program; if not, write to the Free Software
  21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  22  *****************************************************************************/
  23
  24 /*****************************************************************************
  25  * Preamble
  26  *****************************************************************************/
  27 #ifdef HAVE_CONFIG_H
  28 # include "config.h"
  29 #endif
  30
  31 #include <vlc_common.h>
  32 #include <vlc_charset.h>
  33 #include "libvlc.h" /* utf8_mkdir */
  34
  35 #include <assert.h>
  36
  37 #include <stdio.h>
  38 #include <stdarg.h>
  39 #include <stdlib.h>
  40 #include <errno.h>
  41 #include <sys/types.h>
  42 #ifdef HAVE_DIRENT_H
  43 #  include <dirent.h>
  44 #endif
  45 #ifdef UNDER_CE
  46 #  include <tchar.h>
  47 #endif
  48 #ifdef HAVE_SYS_STAT_H
  49 # include <sys/stat.h>
  50 #endif
  51 #ifdef HAVE_FCNTL_H
  52 # include <fcntl.h>
  53 #endif
  54 #ifdef WIN32
  55 # include <io.h>
  56 #else
  57 # include <unistd.h>
  58 #endif
  59
  60 #ifndef HAVE_LSTAT
  61 # define lstat( a, b ) stat(a, b)
  62 #endif
  63
  64 #ifdef __APPLE__
  65 /* Define this if the OS always use UTF-8 internally */
  66 # define ASSUME_UTF8 1
  67 #endif
  68
  69 #if defined (ASSUME_UTF8)
  70 /* Cool */
  71 #elif defined (WIN32) || defined (UNDER_CE)
  72 # define USE_MB2MB 1
  73 #elif defined (HAVE_ICONV)
  74 # define USE_ICONV 1
  75 #else
  76 # error No UTF8 charset conversion implemented on this platform!
  77 #endif
  78
  79 #if defined (USE_ICONV)
  80 # include <langinfo.h>
  81 static char charset[sizeof ("CSISO11SWEDISHFORNAMES")] = "";
  82
  83 static void find_charset_once (void)
  84 {
  85     strlcpy (charset, nl_langinfo (CODESET), sizeof (charset));
  86     if (!strcasecmp (charset, "ASCII")
  87      || !strcasecmp (charset, "ANSI_X3.4-1968"))
  88         strcpy (charset, "UTF-8"); /* superset... */
  89 }
  90
  91 static int find_charset (void)
  92 {
  93     static pthread_once_t once = PTHREAD_ONCE_INIT;
  94     pthread_once (&once, find_charset_once);
  95     return !strcasecmp (charset, "UTF-8");
  96 }
  97 #endif
  98
  99
 100 static char *locale_fast (const char *string, bool from)
 101 {
 102 #if defined (USE_ICONV)
 103     if (find_charset ())
 104         return (char *)string;
 105
 106     vlc_iconv_t hd = vlc_iconv_open (from ? "UTF-8" : charset,
 107                                      from ? charset : "UTF-8");
 108     if (hd == (vlc_iconv_t)(-1))
 109         return NULL; /* Uho! */
 110
 111     const char *iptr = string;
 112     size_t inb = strlen (string);
 113     size_t outb = inb * 6 + 1;
 114     char output[outb], *optr = output;
 115
 116     if (string == NULL)
 117         return NULL;
 118
 119     while (vlc_iconv (hd, &iptr, &inb, &optr, &outb) == (size_t)(-1))
 120     {
 121         *optr++ = '?';
 122         outb--;
 123         iptr++;
 124         inb--;
 125         vlc_iconv (hd, NULL, NULL, NULL, NULL); /* reset */
 126     }
 127     *optr = '\0';
 128     vlc_iconv_close (hd);
 129
 130     assert (inb == 0);
 131     assert (*iptr == '\0');
 132     assert (*optr == '\0');
 133     assert (strlen (output) == (size_t)(optr - output));
 134     return strdup (output);
 135 #elif defined (USE_MB2MB)
 136     char *out;
 137     int len;
 138
 139     if (string == NULL)
 140         return NULL;
 141
 142     len = 1 + MultiByteToWideChar (from ? CP_ACP : CP_UTF8,
 143                                    0, string, -1, NULL, 0);
 144     wchar_t wide[len];
 145
 146     MultiByteToWideChar (from ? CP_ACP : CP_UTF8, 0, string, -1, wide, len);
 147     len = 1 + WideCharToMultiByte (from ? CP_UTF8 : CP_ACP, 0, wide, -1,
 148                                    NULL, 0, NULL, NULL);
 149     out = malloc (len);
 150     if (out == NULL)
 151         return NULL;
 152
 153     WideCharToMultiByte (from ? CP_UTF8 : CP_ACP, 0, wide, -1, out, len,
 154                          NULL, NULL);
 155     return out;
 156 #else
 157     (void)from;
 158     return (char *)string;
 159 #endif
 160 }
 161
 162
 163 static inline char *locale_dup (const char *string, bool from)
 164 {
 165     assert( string );
 166
 167 #if defined (USE_ICONV)
 168     if (find_charset ())
 169         return strdup (string);
 170     return locale_fast (string, from);
 171 #elif defined (USE_MB2MB)
 172     return locale_fast (string, from);
 173 #else
 174     (void)from;
 175     return strdup (string);
 176 #endif
 177 }
 178
 179 /**
 180  * Releases (if needed) a localized or uniformized string.
 181  * @param str non-NULL return value from FromLocale() or ToLocale().
 182  */
 183 void LocaleFree (const char *str)
 184 {
 185 #if defined (USE_ICONV)
 186     if (!find_charset ())
 187         free ((char *)str);
 188 #elif defined (USE_MB2MB)
 189     free ((char *)str);
 190 #else
 191     (void)str;
 192 #endif
 193 }
 194
 195
 196 /**
 197  * Converts a string from the system locale character encoding to UTF-8.
 198  *
 199  * @param locale nul-terminated string to convert
 200  *
 201  * @return a nul-terminated UTF-8 string, or NULL in case of error.
 202  * To avoid memory leak, you have to pass the result to LocaleFree()
 203  * when it is no longer needed.
 204  */
 205 char *FromLocale (const char *locale)
 206 {
 207     return locale_fast (locale, true);
 208 }
 209
 210 /**
 211  * converts a string from the system locale character encoding to utf-8,
 212  * the result is always allocated on the heap.
 213  *
 214  * @param locale nul-terminated string to convert
 215  *
 216  * @return a nul-terminated utf-8 string, or null in case of error.
 217  * The result must be freed using free() - as with the strdup() function.
 218  */
 219 char *FromLocaleDup (const char *locale)
 220 {
 221     return locale_dup (locale, true);
 222 }
 223
 224
 225 /**
 226  * ToLocale: converts an UTF-8 string to local system encoding.
 227  *
 228  * @param utf8 nul-terminated string to be converted
 229  *
 230  * @return a nul-terminated string, or NULL in case of error.
 231  * To avoid memory leak, you have to pass the result to LocaleFree()
 232  * when it is no longer needed.
 233  */
 234 char *ToLocale (const char *utf8)
 235 {
 236     return locale_fast (utf8, false);
 237 }
 238
 239
 240 /**
 241  * converts a string from UTF-8 to the system locale character encoding,
 242  * the result is always allocated on the heap.
 243  *
 244  * @param utf8 nul-terminated string to convert
 245  *
 246  * @return a nul-terminated string, or null in case of error.
 247  * The result must be freed using free() - as with the strdup() function.
 248  */
 249 char *ToLocaleDup (const char *utf8)
 250 {
 251     return locale_dup (utf8, false);
 252 }
 253
 254
 255 /**
 256  * Opens a system file handle using UTF-8 paths.
 257  *
 258  * @param filename file path to open (with UTF-8 encoding)
 259  * @param flags open() flags, see the C library open() documentation
 260  * @param mode file permissions if creating a new file
 261  * @return a file handle on success, -1 on error (see errno).
 262  */
 263 int utf8_open (const char *filename, int flags, mode_t mode)
 264 {
 265 #ifdef WIN32
 266     /* for Windows NT and above */
 267     wchar_t wpath[MAX_PATH + 1];
 268
 269     if (!MultiByteToWideChar (CP_UTF8, 0, filename, -1, wpath, MAX_PATH))
 270     {
 271         errno = ENOENT;
 272         return -1;
 273     }
 274     wpath[MAX_PATH] = L'\0';
 275
 276     /*
 277         * open() cannot open files with non-“ANSI” characters on Windows.
 278         * We use _wopen() instead. Same thing for mkdir() and stat().
 279         */
 280     return _wopen (wpath, flags, mode);
 281
 282 #endif
 283     const char *local_name = ToLocale (filename);
 284
 285     if (local_name == NULL)
 286     {
 287         errno = ENOENT;
 288         return -1;
 289     }
 290
 291     int fd = open (local_name, flags, mode);
 292     LocaleFree (local_name);
 293     return fd;
 294 }
 295
 296 /**
 297  * Opens a FILE pointer using UTF-8 filenames.
 298  * @param filename file path, using UTF-8 encoding
 299  * @param mode fopen file open mode
 300  * @return NULL on error, an open FILE pointer on success.
 301  */
 302 FILE *utf8_fopen (const char *filename, const char *mode)
 303 {
 304     int rwflags = 0, oflags = 0;
 305     bool append = false;
 306
 307     for (const char *ptr = mode; *ptr; ptr++)
 308     {
 309         switch (*ptr)
 310         {
 311             case 'r':
 312                 rwflags = O_RDONLY;
 313                 break;
 314
 315             case 'a':
 316                 rwflags = O_WRONLY;
 317                 oflags |= O_CREAT;
 318                 append = true;
 319                 break;
 320
 321             case 'w':
 322                 rwflags = O_WRONLY;
 323                 oflags |= O_CREAT | O_TRUNC;
 324                 break;
 325
 326             case '+':
 327                 rwflags = O_RDWR;
 328                 break;
 329
 330 #ifdef O_TEXT
 331             case 't':
 332                 oflags |= O_TEXT;
 333                 break;
 334 #endif
 335         }
 336     }
 337
 338     int fd = utf8_open (filename, rwflags | oflags, 0666);
 339     if (fd == -1)
 340         return NULL;
 341
 342     if (append && (lseek (fd, 0, SEEK_END) == -1))
 343     {
 344         close (fd);
 345         return NULL;
 346     }
 347
 348     FILE *stream = fdopen (fd, mode);
 349     if (stream == NULL)
 350         close (fd);
 351
 352     return stream;
 353 }
 354
 355 /**
 356  * Creates a directory using UTF-8 paths.
 357  *
 358  * @param dirname a UTF-8 string with the name of the directory that you
 359  *        want to create.
 360  * @param mode directory permissions
 361  * @return 0 on success, -1 on error (see errno).
 362  */
 363 int utf8_mkdir( const char *dirname, mode_t mode )
 364 {
 365 #if defined (UNDER_CE) || defined (WIN32)
 366     VLC_UNUSED( mode );
 367
 368     wchar_t wname[MAX_PATH + 1];
 369     char mod[MAX_PATH + 1];
 370     int i;
 371
 372     /* Convert '/' into '\' */
 373     for( i = 0; *dirname; i++ )
 374     {
 375         if( i == MAX_PATH )
 376             return -1; /* overflow */
 377
 378         if( *dirname == '/' )
 379             mod[i] = '\\';
 380         else
 381             mod[i] = *dirname;
 382         dirname++;
 383
 384     }
 385     mod[i] = 0;
 386
 387     if( MultiByteToWideChar( CP_UTF8, 0, mod, -1, wname, MAX_PATH ) == 0 )
 388     {
 389         errno = ENOENT;
 390         return -1;
 391     }
 392     wname[MAX_PATH] = L'\0';
 393
 394     if( CreateDirectoryW( wname, NULL ) == 0 )
 395     {
 396         if( GetLastError( ) == ERROR_ALREADY_EXISTS )
 397             errno = EEXIST;
 398         else
 399             errno = ENOENT;
 400         return -1;
 401     }
 402     return 0;
 403 #else
 404     char *locname = ToLocale( dirname );
 405     int res;
 406
 407     if( locname == NULL )
 408     {
 409         errno = ENOENT;
 410         return -1;
 411     }
 412     res = mkdir( locname, mode );
 413
 414     LocaleFree( locname );
 415     return res;
 416 #endif
 417 }
 418
 419 /**
 420  * Opens a DIR pointer using UTF-8 paths
 421  *
 422  * @param dirname UTF-8 representation of the directory name
 423  * @return a pointer to the DIR struct, or NULL in case of error.
 424  * Release with standard closedir().
 425  */
 426 DIR *utf8_opendir( const char *dirname )
 427 {
 428 #ifdef WIN32
 429     wchar_t wname[MAX_PATH + 1];
 430
 431     if (MultiByteToWideChar (CP_UTF8, 0, dirname, -1, wname, MAX_PATH))
 432     {
 433         wname[MAX_PATH] = L'\0';
 434         return (DIR *)vlc_wopendir (wname);
 435     }
 436 #else
 437     const char *local_name = ToLocale( dirname );
 438
 439     if( local_name != NULL )
 440     {
 441         DIR *dir = opendir( local_name );
 442         LocaleFree( local_name );
 443         return dir;
 444     }
 445 #endif
 446
 447     errno = ENOENT;
 448     return NULL;
 449 }
 450
 451 /**
 452  * Reads the next file name from an open directory.
 453  *
 454  * @param dir The directory that is being read
 455  *
 456  * @return a UTF-8 string of the directory entry.
 457  * Use free() to free this memory.
 458  */
 459 char *utf8_readdir( DIR *dir )
 460 {
 461 #ifdef WIN32
 462     struct _wdirent *ent = vlc_wreaddir (dir);
 463     if (ent == NULL)
 464         return NULL;
 465
 466     return FromWide (ent->d_name);
 467 #else
 468     struct dirent *ent;
 469
 470     ent = readdir( (DIR *)dir );
 471     if( ent == NULL )
 472         return NULL;
 473
 474     return vlc_fix_readdir( ent->d_name );
 475 #endif
 476 }
 477
 478 static int dummy_select( const char *str )
 479 {
 480     (void)str;
 481     return 1;
 482 }
 483
 484 /**
 485  * Does the same as utf8_scandir(), but takes an open directory pointer
 486  * instead of a directory path.
 487  */
 488 int utf8_loaddir( DIR *dir, char ***namelist,
 489                   int (*select)( const char * ),
 490                   int (*compar)( const char **, const char ** ) )
 491 {
 492     if( select == NULL )
 493         select = dummy_select;
 494
 495     if( dir == NULL )
 496         return -1;
 497     else
 498     {
 499         char **tab = NULL;
 500         char *entry;
 501         unsigned num = 0;
 502
 503         rewinddir( dir );
 504
 505         while( ( entry = utf8_readdir( dir ) ) != NULL )
 506         {
 507             char **newtab;
 508
 509             if( !select( entry ) )
 510             {
 511                 free( entry );
 512                 continue;
 513             }
 514
 515             newtab = realloc( tab, sizeof( char * ) * (num + 1) );
 516             if( newtab == NULL )
 517             {
 518                 free( entry );
 519                 goto error;
 520             }
 521             tab = newtab;
 522             tab[num++] = entry;
 523         }
 524
 525         if( compar != NULL )
 526             qsort( tab, num, sizeof( tab[0] ),
 527                    (int (*)( const void *, const void *))compar );
 528
 529         *namelist = tab;
 530         return num;
 531
 532     error:{
 533         unsigned i;
 534
 535         for( i = 0; i < num; i++ )
 536             free( tab[i] );
 537         if( tab != NULL )
 538             free( tab );
 539         }
 540     }
 541     return -1;
 542 }
 543
 544 /**
 545  * Selects file entries from a directory, as GNU C scandir(), yet using
 546  * UTF-8 file names.
 547  *
 548  * @param dirname UTF-8 diretory path
 549  * @param pointer [OUT] pointer set, on succesful completion, to the address
 550  * of a table of UTF-8 filenames. All filenames must be freed with free().
 551  * The table itself must be freed with free() as well.
 552  *
 553  * @return How many file names were selected (possibly 0),
 554  * or -1 in case of error.
 555  */
 556 int utf8_scandir( const char *dirname, char ***namelist,
 557                   int (*select)( const char * ),
 558                   int (*compar)( const char **, const char ** ) )
 559 {
 560     DIR *dir = utf8_opendir (dirname);
 561     int val = -1;
 562
 563     if (dir != NULL)
 564     {
 565         val = utf8_loaddir (dir, namelist, select, compar);
 566         closedir (dir);
 567     }
 568     return val;
 569 }
 570
 571 static int utf8_statEx( const char *filename, struct stat *buf,
 572                         bool deref )
 573 {
 574 #if defined (WIN32)
 575     /* for Windows NT and above */
 576     wchar_t wpath[MAX_PATH + 1];
 577
 578     if( !MultiByteToWideChar( CP_UTF8, 0, filename, -1, wpath, MAX_PATH ) )
 579     {
 580         errno = ENOENT;
 581         return -1;
 582     }
 583     wpath[MAX_PATH] = L'\0';
 584
 585     return _wstati64( wpath, buf );
 586
 587 #endif
 588 #ifdef HAVE_SYS_STAT_H
 589     const char *local_name = ToLocale( filename );
 590
 591     if( local_name != NULL )
 592     {
 593         int res = deref ? stat( local_name, buf )
 594                        : lstat( local_name, buf );
 595         LocaleFree( local_name );
 596         return res;
 597     }
 598     errno = ENOENT;
 599 #endif
 600     return -1;
 601 }
 602
 603 /**
 604  * Finds file/inode informations, as stat().
 605  * Consider usign fstat() instead, if possible.
 606  *
 607  * @param filename UTF-8 file path
 608  */
 609 int utf8_stat( const char *filename, struct stat *buf)
 610 {
 611     return utf8_statEx( filename, buf, true );
 612 }
 613
 614 /**
 615  * Finds file/inode informations, as lstat().
 616  * Consider usign fstat() instead, if possible.
 617  *
 618  * @param filename UTF-8 file path
 619  */
 620 int utf8_lstat( const char *filename, struct stat *buf)
 621 {
 622     return utf8_statEx( filename, buf, false );
 623 }
 624
 625 /**
 626  * Removes a file.
 627  *
 628  * @param filename a UTF-8 string with the name of the file you want to delete.
 629  * @return A 0 return value indicates success. A -1 return value indicates an
 630  *        error, and an error code is stored in errno
 631  */
 632 int utf8_unlink( const char *filename )
 633 {
 634 #if defined (WIN32)
 635     /* for Windows NT and above */
 636     wchar_t wpath[MAX_PATH + 1];
 637
 638     if( !MultiByteToWideChar( CP_UTF8, 0, filename, -1, wpath, MAX_PATH ) )
 639     {
 640         errno = ENOENT;
 641         return -1;
 642     }
 643     wpath[MAX_PATH] = L'\0';
 644
 645     /*
 646         * unlink() cannot open files with non-“ANSI” characters on Windows.
 647         * We use _wunlink() instead.
 648         */
 649     return _wunlink( wpath );
 650 #endif
 651     const char *local_name = ToLocale( filename );
 652
 653     if( local_name == NULL )
 654     {
 655         errno = ENOENT;
 656         return -1;
 657     }
 658
 659     int ret = unlink( local_name );
 660     LocaleFree( local_name );
 661     return ret;
 662 }
 663
 664
 665
 666 /**
 667  * Formats an UTF-8 string as vasprintf(), then print it to stdout, with
 668  * appropriate conversion to local encoding.
 669  */
 670 static int utf8_vasprintf( char **str, const char *fmt, va_list ap )
 671 {
 672     char *utf8;
 673     int res = vasprintf( &utf8, fmt, ap );
 674     if( res == -1 )
 675         return -1;
 676
 677     *str = ToLocaleDup( utf8 );
 678     free( utf8 );
 679     return res;
 680 }
 681
 682 /**
 683  * Formats an UTF-8 string as vfprintf(), then print it, with
 684  * appropriate conversion to local encoding.
 685  */
 686 int utf8_vfprintf( FILE *stream, const char *fmt, va_list ap )
 687 {
 688     char *str;
 689     int res = utf8_vasprintf( &str, fmt, ap );
 690     if( res == -1 )
 691         return -1;
 692
 693     fputs( str, stream );
 694     free( str );
 695     return res;
 696 }
 697
 698 /**
 699  * Formats an UTF-8 string as fprintf(), then print it, with
 700  * appropriate conversion to local encoding.
 701  */
 702 int utf8_fprintf( FILE *stream, const char *fmt, ... )
 703 {
 704     va_list ap;
 705     int res;
 706
 707     va_start( ap, fmt );
 708     res = utf8_vfprintf( stream, fmt, ap );
 709     va_end( ap );
 710     return res;
 711 }
 712
 713
 714 static char *CheckUTF8( char *str, char rep )
 715 {
 716     uint8_t *ptr = (uint8_t *)str;
 717     assert (str != NULL);
 718
 719     for (;;)
 720     {
 721         uint8_t c = ptr[0];
 722         int charlen = -1;
 723
 724         if (c == '\0')
 725             break;
 726
 727         for (int i = 0; i < 7; i++)
 728             if ((c >> (7 - i)) == ((0xff >> (7 - i)) ^ 1))
 729             {
 730                 charlen = i;
 731                 break;
 732             }
 733
 734         switch (charlen)
 735         {
 736             case 0: // 7-bit ASCII character -> OK
 737                 ptr++;
 738                 continue;
 739
 740             case -1: // 1111111x -> error
 741             case 1: // continuation byte -> error
 742                 goto error;
 743         }
 744
 745         assert (charlen >= 2);
 746
 747         uint32_t cp = c & ~((0xff >> (7 - charlen)) << (7 - charlen));
 748         for (int i = 1; i < charlen; i++)
 749         {
 750             assert (cp < (1 << 26));
 751             c = ptr[i];
 752
 753             if ((c == '\0') // unexpected end of string
 754              || ((c >> 6) != 2)) // not a continuation byte
 755                 goto error;
 756
 757             cp = (cp << 6) | (ptr[i] & 0x3f);
 758         }
 759
 760         if (cp < 128) // overlong (special case for ASCII)
 761             goto error;
 762         if (cp < (1u << (5 * charlen - 3))) // overlong
 763             goto error;
 764
 765         ptr += charlen;
 766         continue;
 767
 768     error:
 769         if (rep == 0)
 770             return NULL;
 771         *ptr++ = rep;
 772         str = NULL;
 773     }
 774
 775     return str;
 776 }
 777
 778 /**
 779  * Replaces invalid/overlong UTF-8 sequences with question marks.
 780  * Note that it is not possible to convert from Latin-1 to UTF-8 on the fly,
 781  * so we don't try that, even though it would be less disruptive.
 782  *
 783  * @return str if it was valid UTF-8, NULL if not.
 784  */
 785 char *EnsureUTF8( char *str )
 786 {
 787     return CheckUTF8( str, '?' );
 788 }
 789
 790
 791 /**
 792  * Checks whether a string is a valid UTF-8 byte sequence.
 793  *
 794  * @param str nul-terminated string to be checked
 795  *
 796  * @return str if it was valid UTF-8, NULL if not.
 797  */
 798 const char *IsUTF8( const char *str )
 799 {
 800     return CheckUTF8( (char *)str, 0 );
 801 }