git.sesse.net Git - vlc/blob - modules/stream_filter/decomp.c

   1 /*****************************************************************************
   2  * decomp.c : Decompression module for vlc
   3  *****************************************************************************
   4  * Copyright © 2008 Rémi Denis-Courmont
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU Lesser General Public License as published by
   8  * the Free Software Foundation; either version 2.1 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  19  *****************************************************************************/
  20
  21 #ifdef HAVE_CONFIG_H
  22 # include "config.h"
  23 #endif
  24
  25 #include <vlc_common.h>
  26 #include <vlc_plugin.h>
  27 #include <vlc_stream.h>
  28 #include <vlc_network.h>
  29 #include <unistd.h>
  30 #ifndef _POSIX_SPAWN
  31 # define _POSIX_SPAWN (-1)
  32 #endif
  33 #include <fcntl.h>
  34 #if (_POSIX_SPAWN >= 0)
  35 # include <spawn.h>
  36 #endif
  37 #include <sys/wait.h>
  38 #include <sys/ioctl.h>
  39 #if defined (__linux__) && defined (HAVE_VMSPLICE)
  40 # include <sys/uio.h>
  41 # include <sys/mman.h>
  42 #else
  43 # undef HAVE_VMSPLICE
  44 #endif
  45
  46 static int  OpenGzip (vlc_object_t *);
  47 static int  OpenBzip2 (vlc_object_t *);
  48 static void Close (vlc_object_t *);
  49
  50 vlc_module_begin ()
  51     set_description (N_("Decompression"))
  52     set_category (CAT_INPUT)
  53     set_subcategory (SUBCAT_INPUT_STREAM_FILTER)
  54     set_capability ("stream_filter", 20)
  55     set_callbacks (OpenBzip2, Close)
  56     /* TODO: access shortnames for stream_UrlNew() */
  57
  58     add_submodule ()
  59     set_callbacks (OpenGzip, Close)
  60 vlc_module_end ()
  61
  62 struct stream_sys_t
  63 {
  64     block_t      *peeked;
  65     uint64_t     offset;
  66     vlc_thread_t thread;
  67     pid_t        pid;
  68     int          write_fd, read_fd;
  69 };
  70
  71 static void cloexec (int fd)
  72 {
  73     int flags = fcntl (fd, F_GETFD);
  74     fcntl (fd, F_SETFD, FD_CLOEXEC | ((flags != -1) ? flags : 0));
  75 }
  76
  77 extern char **environ;
  78
  79 static const size_t bufsize = 65536;
  80 #ifdef HAVE_VMSPLICE
  81 static void cleanup_mmap (void *addr)
  82 {
  83     munmap (addr, bufsize);
  84 }
  85 #endif
  86
  87 static void *Thread (void *data)
  88 {
  89     stream_t *stream = data;
  90     stream_sys_t *p_sys = stream->p_sys;
  91 #ifdef HAVE_VMSPLICE
  92     ssize_t page_mask = sysconf (_SC_PAGE_SIZE) - 1;
  93 #endif
  94     int fd = p_sys->write_fd;
  95     bool error = false;
  96
  97     do
  98     {
  99         ssize_t len;
 100         int canc = vlc_savecancel ();
 101 #ifdef HAVE_VMSPLICE
 102         unsigned char *buf = mmap (NULL, bufsize, PROT_READ|PROT_WRITE,
 103                                    MAP_PRIVATE|MAP_ANONYMOUS, -1, 0);
 104         vlc_cleanup_push (cleanup_mmap, buf);
 105 #else
 106         unsigned char buf[bufsize];
 107 #endif
 108
 109         len = stream_Read (stream->p_source, buf, bufsize);
 110         vlc_restorecancel (canc);
 111         error = len <= 0;
 112
 113         for (ssize_t i = 0, j; i < len; i += j)
 114         {
 115 #ifdef HAVE_VMSPLICE
 116             if ((len - i) <= page_mask) /* incomplete last page */
 117                 j = write (fd, buf + i, len - i);
 118             else
 119             {
 120                 struct iovec iov = { buf + i, (len - i) & ~page_mask, };
 121                 j = vmsplice (fd, &iov, 1, SPLICE_F_GIFT);
 122             }
 123             if (j == -1 && errno == ENOSYS) /* vmsplice() not supported */
 124 #endif
 125             j = write (fd, buf + i, len - i);
 126             if (j <= 0)
 127             {
 128                 if (j == 0)
 129                     errno = EPIPE;
 130                 msg_Err (stream, "cannot write data (%m)");
 131                 error = true;
 132                 break;
 133             }
 134         }
 135 #ifdef HAVE_VMSPLICE
 136         vlc_cleanup_run (); /* munmap (buf, bufsize) */
 137 #endif
 138     }
 139     while (!error);
 140
 141     msg_Dbg (stream, "compressed stream at EOF");
 142     return NULL;
 143 }
 144
 145
 146 #define MIN_BLOCK (1 << 10)
 147 #define MAX_BLOCK (1 << 20)
 148 /**
 149  * Reads decompressed from the decompression program
 150  * @return -1 for EAGAIN, 0 for EOF, byte count otherwise.
 151  */
 152 static int Read (stream_t *stream, void *buf, unsigned int buflen)
 153 {
 154     stream_sys_t *p_sys = stream->p_sys;
 155     block_t *peeked;
 156     ssize_t length;
 157
 158     if ((peeked = p_sys->peeked) != NULL)
 159     {   /* dequeue peeked data */
 160         length = (buflen > peeked->i_buffer) ? peeked->i_buffer : buflen;
 161         memcpy (buf, peeked->p_buffer, length);
 162         buf = ((char *)buf) + length;
 163         buflen -= length;
 164         peeked->p_buffer += length;
 165         peeked->i_buffer -= length;
 166         if (peeked->i_buffer == 0)
 167         {
 168             block_Release (peeked);
 169             p_sys->peeked = NULL;
 170         }
 171         p_sys->offset += length;
 172
 173         if (buflen > 0)
 174             length += Read (stream, ((char *)buf) + length, buflen - length);
 175         return length;
 176     }
 177
 178     length = net_Read (stream, p_sys->read_fd, NULL, buf, buflen, false);
 179     if (length < 0)
 180         return 0;
 181     p_sys->offset += length;
 182     return length;
 183 }
 184
 185 /**
 186  *
 187  */
 188 static int Peek (stream_t *stream, const uint8_t **pbuf, unsigned int len)
 189 {
 190     stream_sys_t *p_sys = stream->p_sys;
 191     block_t *peeked = p_sys->peeked;
 192     size_t curlen = 0;
 193     int fd = p_sys->read_fd;
 194
 195     if (peeked == NULL)
 196         peeked = block_Alloc (len);
 197     else if ((curlen = peeked->i_buffer) < len)
 198         peeked = block_Realloc (peeked, 0, len);
 199
 200     if ((p_sys->peeked = peeked) == NULL)
 201         return 0;
 202
 203     if (curlen < len)
 204     {
 205         ssize_t val = net_Read (stream, fd, NULL, peeked->p_buffer + curlen,
 206                                 len - curlen, true);
 207         if (val >= 0)
 208         {
 209             curlen += val;
 210             peeked->i_buffer = curlen;
 211         }
 212     }
 213     *pbuf = peeked->p_buffer;
 214     return curlen;
 215 }
 216
 217 /**
 218  *
 219  */
 220 static int Control (stream_t *stream, int query, va_list args)
 221 {
 222     stream_sys_t *p_sys = stream->p_sys;
 223
 224     switch (query)
 225     {
 226         case STREAM_CAN_SEEK:
 227         case STREAM_CAN_FASTSEEK:
 228             *(va_arg (args, bool *)) = false;
 229             break;
 230         case STREAM_GET_POSITION:
 231             *(va_arg (args, int64_t *)) = p_sys->offset;
 232             break;
 233         case STREAM_GET_SIZE:
 234             *(va_arg (args, int64_t *)) = 0;
 235             break;
 236         case STREAM_GET_MTU:
 237             *(va_arg (args, int *)) = 0;
 238             break;
 239         default:
 240             return VLC_EGENERIC;
 241     }
 242     return VLC_SUCCESS;
 243 }
 244
 245 /**
 246  * Pipe data through an external executable.
 247  * @param stream the stream filter object.
 248  * @param path path to the executable.
 249  */
 250 static int Open (stream_t *stream, const char *path)
 251 {
 252     stream_sys_t *p_sys = stream->p_sys = malloc (sizeof (*p_sys));
 253     if (p_sys == NULL)
 254         return VLC_ENOMEM;
 255
 256     stream->pf_read = Read;
 257     stream->pf_peek = Peek;
 258     stream->pf_control = Control;
 259     p_sys->peeked = NULL;
 260     p_sys->offset = 0;
 261     p_sys->pid = -1;
 262
 263     /* I am not a big fan of the pyramid style, but I cannot think of anything
 264      * better here. There are too many failure cases. */
 265     int ret = VLC_EGENERIC;
 266     int comp[2];
 267
 268     /* We use two pipes rather than one stream socket pair, so that we can
 269      * use vmsplice() on Linux. */
 270     if (pipe (comp) == 0)
 271     {
 272         cloexec (comp[1]);
 273         p_sys->write_fd = comp[1];
 274
 275         int uncomp[2];
 276         if (pipe (uncomp) == 0)
 277         {
 278             cloexec (uncomp[0]);
 279             p_sys->read_fd = uncomp[0];
 280
 281 #if (_POSIX_SPAWN >= 0)
 282             posix_spawn_file_actions_t actions;
 283             if (posix_spawn_file_actions_init (&actions) == 0)
 284             {
 285                 char *const argv[] = { (char *)path, NULL };
 286
 287                 if (!posix_spawn_file_actions_adddup2 (&actions, comp[0], 0)
 288                  && !posix_spawn_file_actions_addclose (&actions, comp[0])
 289                  && !posix_spawn_file_actions_adddup2 (&actions, uncomp[1], 1)
 290                  && !posix_spawn_file_actions_addclose (&actions, uncomp[1])
 291                  && !posix_spawnp (&p_sys->pid, path, &actions, NULL, argv,
 292                                    environ))
 293                 {
 294                     if (vlc_clone (&p_sys->thread, Thread, stream,
 295                                    VLC_THREAD_PRIORITY_INPUT) == 0)
 296                         ret = VLC_SUCCESS;
 297                 }
 298                 else
 299                 {
 300                     msg_Err (stream, "Cannot execute %s", path);
 301                     p_sys->pid = -1;
 302                 }
 303                 posix_spawn_file_actions_destroy (&actions);
 304             }
 305 #else /* _POSIX_SPAWN */
 306             switch (p_sys->pid = fork ())
 307             {
 308                 case -1:
 309                     msg_Err (stream, "Cannot fork (%m)");
 310                     break;
 311                 case 0:
 312                     dup2 (comp[0], 0);
 313                     close (comp[0]);
 314                     dup2 (uncomp[1], 1);
 315                     close (uncomp[1]);
 316                     execlp (path, path, (char *)NULL);
 317                     exit (1); /* if we get, execlp() failed! */
 318                 default:
 319                     if (vlc_clone (&p_sys->thread, Thread, stream,
 320                                    VLC_THREAD_PRIORITY_INPUT) == 0)
 321                         ret = VLC_SUCCESS;
 322             }
 323 #endif /* _POSIX_SPAWN < 0 */
 324             close (uncomp[1]);
 325             if (ret != VLC_SUCCESS)
 326                 close (uncomp[0]);
 327         }
 328         close (comp[0]);
 329         if (ret != VLC_SUCCESS)
 330         {
 331             close (comp[1]);
 332             if (p_sys->pid != -1)
 333                 while (waitpid (p_sys->pid, &(int){ 0 }, 0) == -1);
 334         }
 335     }
 336     return ret;
 337 }
 338
 339
 340 /**
 341  * Releases allocate resources.
 342  */
 343 static void Close (vlc_object_t *obj)
 344 {
 345     stream_t *stream = (stream_t *)obj;
 346     stream_sys_t *p_sys = stream->p_sys;
 347     int status;
 348
 349     vlc_cancel (p_sys->thread);
 350     close (p_sys->read_fd);
 351     vlc_join (p_sys->thread, NULL);
 352     close (p_sys->write_fd);
 353
 354     msg_Dbg (obj, "waiting for PID %u", (unsigned)p_sys->pid);
 355     while (waitpid (p_sys->pid, &status, 0) == -1);
 356     msg_Dbg (obj, "exit status %d", status);
 357
 358     if (p_sys->peeked)
 359         block_Release (p_sys->peeked);
 360     free (p_sys);
 361 }
 362
 363
 364 /**
 365  * Detects gzip file format
 366  */
 367 static int OpenGzip (vlc_object_t *obj)
 368 {
 369     stream_t      *stream = (stream_t *)obj;
 370     const uint8_t *peek;
 371
 372     if (stream_Peek (stream->p_source, &peek, 3) < 3)
 373         return VLC_EGENERIC;
 374
 375     if (memcmp (peek, "\x1f\x8b\x08", 3))
 376         return VLC_EGENERIC;
 377
 378     msg_Dbg (obj, "detected gzip compressed stream");
 379     return Open (stream, "zcat");
 380 }
 381
 382
 383 /**
 384  * Detects bzip2 file format
 385  */
 386 static int OpenBzip2 (vlc_object_t *obj)
 387 {
 388     stream_t      *stream = (stream_t *)obj;
 389     const uint8_t *peek;
 390
 391     /* (Try to) parse the bzip2 header */
 392     if (stream_Peek (stream->p_source, &peek, 10) < 10)
 393         return VLC_EGENERIC;
 394
 395     if (memcmp (peek, "BZh", 3) || (peek[3] < '1') || (peek[3] > '9')
 396      || memcmp (peek + 4, "\x31\x41\x59\x26\x53\x59", 6))
 397         return VLC_EGENERIC;
 398
 399     msg_Dbg (obj, "detected bzip2 compressed stream");
 400     return Open (stream, "bzcat");
 401 }
 402