git.sesse.net Git - vlc/blob - modules/access/mmap.c

   1 /*****************************************************************************
   2  * mmap.c: memory-mapped file input
   3  *****************************************************************************
   4  * Copyright © 2007-2008 Rémi Denis-Courmont
   5  * $Id$
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License as published by
   9  * the Free Software Foundation; either version 2 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with this program; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  20  *****************************************************************************/
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include <config.h>
  24 #endif
  25
  26 #include <vlc_common.h>
  27 #include <vlc_plugin.h>
  28 #include <vlc_access.h>
  29 #include <vlc_input.h>
  30 #include <vlc_charset.h>
  31 #include <vlc_dialog.h>
  32
  33 #include <assert.h>
  34
  35 #include <sys/types.h>
  36 #include <unistd.h>
  37 #include <fcntl.h>
  38 #include <sys/stat.h>
  39 #include <sys/mman.h>
  40
  41 #define FILE_MMAP_TEXT N_("Use file memory mapping")
  42 #define FILE_MMAP_LONGTEXT N_( \
  43     "Try to use memory mapping to read files and block devices." )
  44
  45 #ifndef NDEBUG
  46 /*# define MMAP_DEBUG 1*/
  47 #endif
  48
  49 static int Open (vlc_object_t *);
  50 static void Close (vlc_object_t *);
  51
  52 vlc_module_begin ()
  53     set_shortname (N_("MMap"))
  54     set_description (N_("Memory-mapped file input"))
  55     set_category (CAT_INPUT)
  56     set_subcategory (SUBCAT_INPUT_ACCESS)
  57     set_capability ("access", 52)
  58     add_shortcut ("file")
  59     set_callbacks (Open, Close)
  60 #ifdef __APPLE__
  61     add_bool ("file-mmap", true, NULL,
  62               FILE_MMAP_TEXT, FILE_MMAP_LONGTEXT, true)
  63 #else
  64     add_bool ("file-mmap", false, NULL,
  65               FILE_MMAP_TEXT, FILE_MMAP_LONGTEXT, true)
  66 #endif
  67 vlc_module_end ()
  68
  69 static block_t *Block (access_t *);
  70 static int Seek (access_t *, int64_t);
  71 static int Control (access_t *, int, va_list);
  72
  73 struct access_sys_t
  74 {
  75     size_t page_size;
  76     size_t mtu;
  77     int    fd;
  78 };
  79
  80 #define MMAP_SIZE (1 << 20)
  81
  82 static int Open (vlc_object_t *p_this)
  83 {
  84     access_t *p_access = (access_t *)p_this;
  85     access_sys_t *p_sys;
  86     const char *path = p_access->psz_path;
  87     int fd;
  88
  89     assert ((INT64_C(1) << 63) == ((off_t)(INT64_C(1) << 63)));
  90
  91     if (!var_CreateGetBool (p_this, "file-mmap"))
  92         return VLC_EGENERIC; /* disabled */
  93
  94     STANDARD_BLOCK_ACCESS_INIT;
  95
  96     if (!strcmp (p_access->psz_path, "-"))
  97         fd = dup (0);
  98     else
  99     {
 100         msg_Dbg (p_access, "opening file %s", path);
 101         fd = utf8_open (path, O_RDONLY | O_NOCTTY);
 102     }
 103
 104     if (fd == -1)
 105     {
 106         msg_Warn (p_access, "cannot open %s: %m", path);
 107         goto error;
 108     }
 109
 110     /* mmap() is only safe for regular and block special files.
 111      * For other types, it may be some idiosyncrasic interface (e.g. packet
 112      * sockets are a good example), if it works at all. */
 113     struct stat st;
 114
 115     if (fstat (fd, &st))
 116     {
 117         msg_Err (p_access, "cannot stat %s: %m", path);
 118         goto error;
 119     }
 120
 121     if (!S_ISREG (st.st_mode) && !S_ISBLK (st.st_mode))
 122     {
 123         msg_Dbg (p_access, "skipping non-regular file %s", path);
 124         goto error;
 125     }
 126
 127 #if defined(HAVE_FCNTL_H)
 128     /* We'd rather use any available memory for reading ahead
 129      * than for caching what we've already mmap'ed */
 130 # if defined(F_RDAHEAD)
 131     fcntl (fd, F_RDAHEAD, 1);
 132 # endif
 133 # if defined(F_NOCACHE)
 134     fcntl (fd, F_NOCACHE, 1);
 135 # endif
 136 #endif
 137
 138     /* Autodetect mmap() support */
 139     if (st.st_size > 0)
 140     {
 141         void *addr = mmap (NULL, 1, PROT_READ|PROT_WRITE, MAP_PRIVATE, fd, 0);
 142         if (addr != MAP_FAILED)
 143             munmap (addr, 1);
 144         else
 145             goto error;
 146     }
 147
 148     p_sys->page_size = sysconf (_SC_PAGE_SIZE);
 149     p_sys->mtu = MMAP_SIZE;
 150     if (p_sys->mtu < p_sys->page_size)
 151         p_sys->mtu = p_sys->page_size;
 152     p_sys->fd = fd;
 153
 154     p_access->info.i_size = st.st_size;
 155 #ifdef HAVE_POSIX_FADVISE
 156     posix_fadvise (fd, 0, 0, POSIX_FADV_SEQUENTIAL);
 157 #endif
 158
 159     return VLC_SUCCESS;
 160
 161 error:
 162     if (fd != -1)
 163         close (fd);
 164     free (p_sys);
 165     return VLC_EGENERIC;
 166 }
 167
 168
 169 static void Close (vlc_object_t * p_this)
 170 {
 171     access_t *p_access = (access_t *)p_this;
 172     access_sys_t *p_sys = p_access->p_sys;
 173
 174     close (p_sys->fd); /* don't care about error when only reading */
 175     free (p_sys);
 176 }
 177
 178 static block_t *Block (access_t *p_access)
 179 {
 180     access_sys_t *p_sys = p_access->p_sys;
 181
 182     /* Check if file size changed... */
 183     struct stat st;
 184
 185     if ((fstat (p_sys->fd, &st) == 0)
 186      && (st.st_size != p_access->info.i_size))
 187     {
 188         p_access->info.i_size = st.st_size;
 189         p_access->info.i_update |= INPUT_UPDATE_SIZE;
 190     }
 191
 192     if ((uint64_t)p_access->info.i_pos >= (uint64_t)p_access->info.i_size)
 193     {
 194         /* We are at end of file */
 195         p_access->info.b_eof = true;
 196         msg_Dbg (p_access, "at end of memory mapped file");
 197         return NULL;
 198     }
 199
 200 #ifdef MMAP_DEBUG
 201     int64_t dbgpos = lseek (p_sys->fd, 0, SEEK_CUR);
 202     if (dbgpos != p_access->info.i_pos)
 203         msg_Err (p_access, "position: 0x%016"PRIx64" instead of 0x%016"PRIx64,
 204                  p_access->info.i_pos, dbgpos);
 205 #endif
 206
 207     const uintptr_t page_mask = p_sys->page_size - 1;
 208     /* Start the mapping on a page boundary: */
 209     off_t  outer_offset = p_access->info.i_pos & ~(off_t)page_mask;
 210     /* Skip useless bytes at the beginning of the first page: */
 211     size_t inner_offset = p_access->info.i_pos & page_mask;
 212     /* Map no more bytes than remain: */
 213     size_t length = p_sys->mtu;
 214     if (outer_offset + length > p_access->info.i_size)
 215         length = p_access->info.i_size - outer_offset;
 216
 217     assert (outer_offset <= p_access->info.i_pos);          /* and */
 218     assert (p_access->info.i_pos < p_access->info.i_size); /* imply */
 219     assert (outer_offset < p_access->info.i_size);         /* imply */
 220     assert (length > 0);
 221
 222     /* NOTE: We use PROT_WRITE and MAP_PRIVATE so that the block can be
 223      * modified down the chain, without messing up with the underlying
 224      * original file. This does NOT need open write permission. */
 225     void *addr = mmap (NULL, length, PROT_READ|PROT_WRITE, MAP_PRIVATE
 226 #ifdef MAP_NO_CACHE
 227                        | MAP_NOCACHE
 228 #endif
 229                        , p_sys->fd, outer_offset);
 230     if (addr == MAP_FAILED)
 231     {
 232         msg_Err (p_access, "memory mapping failed (%m)");
 233         dialog_Fatal (p_access, _("File reading failed"), "%s",
 234                         _("VLC could not read the file."));
 235         goto fatal;
 236     }
 237 #ifdef HAVE_POSIX_MADVISE
 238     posix_madvise (addr, length, POSIX_MADV_SEQUENTIAL);
 239 #endif
 240
 241     block_t *block = block_mmap_Alloc (addr, length);
 242     if (block == NULL)
 243         goto fatal;
 244
 245     block->p_buffer += inner_offset;
 246     block->i_buffer -= inner_offset;
 247
 248 #ifdef MMAP_DEBUG
 249     msg_Dbg (p_access, "mapped 0x%zx bytes at %p from offset 0x%"PRIx64,
 250              length, addr, (uint64_t)outer_offset);
 251
 252     /* Compare normal I/O with memory mapping */
 253     char *buf = malloc (block->i_buffer);
 254     ssize_t i_read = read (p_sys->fd, buf, block->i_buffer);
 255
 256     if (i_read != (ssize_t)block->i_buffer)
 257         msg_Err (p_access, "read %zd instead of %zu bytes", i_read,
 258                  block->i_buffer);
 259     if (memcmp (buf, block->p_buffer, block->i_buffer))
 260         msg_Err (p_access, "inconsistent data buffer");
 261     free (buf);
 262 #endif
 263
 264     p_access->info.i_pos = outer_offset + length;
 265     return block;
 266
 267 fatal:
 268     p_access->info.b_eof = true;
 269     return NULL;
 270 }
 271
 272
 273 static int Seek (access_t *p_access, int64_t i_pos)
 274 {
 275 #ifdef MMAP_DEBUG
 276     lseek (p_access->p_sys->fd, i_pos, SEEK_SET);
 277 #endif
 278
 279     p_access->info.i_pos = i_pos;
 280     p_access->info.b_eof = false;
 281     return VLC_SUCCESS;
 282 }
 283
 284
 285 static int Control (access_t *p_access, int query, va_list args)
 286 {
 287     switch (query)
 288     {
 289         case ACCESS_CAN_SEEK:
 290         case ACCESS_CAN_FASTSEEK:
 291         case ACCESS_CAN_PAUSE:
 292         case ACCESS_CAN_CONTROL_PACE:
 293             *va_arg(args, bool *) = true;
 294             return VLC_SUCCESS;
 295
 296         case ACCESS_GET_PTS_DELAY:
 297         {
 298             int delay_ms = var_CreateGetInteger (p_access, "file-caching");
 299             *va_arg(args, int64_t *) = delay_ms * INT64_C (1000);
 300             return VLC_SUCCESS;
 301         }
 302
 303         case ACCESS_GET_TITLE_INFO:
 304         case ACCESS_GET_META:
 305             break;
 306
 307         case ACCESS_SET_PAUSE_STATE:
 308             return VLC_SUCCESS;
 309
 310         case ACCESS_SET_TITLE:
 311         case ACCESS_SET_SEEKPOINT:
 312         case ACCESS_SET_PRIVATE_ID_STATE:
 313         case ACCESS_SET_PRIVATE_ID_CA:
 314         case ACCESS_GET_PRIVATE_ID_STATE:
 315         case ACCESS_GET_CONTENT_TYPE:
 316             break;
 317
 318         default:
 319             msg_Warn (p_access, "unimplemented query %d in control", query);
 320     }
 321
 322     return VLC_EGENERIC;
 323 }