]> git.sesse.net Git - vlc/blob - modules/stream_filter/decomp.c
decomp: avoid large stack allocation
[vlc] / modules / stream_filter / decomp.c
1 /*****************************************************************************
2  * decomp.c : Decompression module for vlc
3  *****************************************************************************
4  * Copyright © 2008-2009 Rémi Denis-Courmont
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU Lesser General Public License as published by
8  * the Free Software Foundation; either version 2.1 of the License, or
9  * (at your option) any later version.
10  *
11  * This program is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
19  *****************************************************************************/
20
21 #ifdef HAVE_CONFIG_H
22 # include "config.h"
23 #endif
24
25 #include <vlc_common.h>
26 #include <vlc_plugin.h>
27 #include <vlc_stream.h>
28 #include <vlc_network.h>
29 #include <assert.h>
30 #include <unistd.h>
31 #include <errno.h>
32 #ifndef _POSIX_SPAWN
33 # define _POSIX_SPAWN (-1)
34 #endif
35 #include <fcntl.h>
36 #if (_POSIX_SPAWN >= 0)
37 # include <spawn.h>
38 #endif
39 #include <sys/wait.h>
40 #include <sys/ioctl.h>
41 #if defined (__linux__) && defined (HAVE_VMSPLICE)
42 # include <sys/uio.h>
43 # include <sys/mman.h>
44 #else
45 # undef HAVE_VMSPLICE
46 #endif
47
48 static int  OpenGzip (vlc_object_t *);
49 static int  OpenBzip2 (vlc_object_t *);
50 static int  OpenXZ (vlc_object_t *);
51 static void Close (vlc_object_t *);
52
53 vlc_module_begin ()
54     set_description (N_("Decompression"))
55     set_category (CAT_INPUT)
56     set_subcategory (SUBCAT_INPUT_STREAM_FILTER)
57     set_capability ("stream_filter", 20)
58     set_callbacks (OpenXZ, Close)
59
60     add_submodule ()
61     set_callbacks (OpenBzip2, Close)
62     /* TODO: access shortnames for stream_UrlNew() */
63
64     add_submodule ()
65     set_callbacks (OpenGzip, Close)
66 vlc_module_end ()
67
68 struct stream_sys_t
69 {
70     block_t      *peeked;
71     uint64_t     offset;
72     vlc_thread_t thread;
73     pid_t        pid;
74     int          write_fd, read_fd;
75 };
76
77 static void cloexec (int fd)
78 {
79     int flags = fcntl (fd, F_GETFD);
80     fcntl (fd, F_SETFD, FD_CLOEXEC | ((flags != -1) ? flags : 0));
81 }
82
83 extern char **environ;
84
85 static const size_t bufsize = 65536;
86 #ifdef HAVE_VMSPLICE
87 static void cleanup_mmap (void *addr)
88 {
89     munmap (addr, bufsize);
90 }
91 #endif
92
93 static void *Thread (void *data)
94 {
95     stream_t *stream = data;
96     stream_sys_t *p_sys = stream->p_sys;
97 #ifdef HAVE_VMSPLICE
98     const ssize_t page_mask = sysconf (_SC_PAGE_SIZE) - 1;
99 #endif
100     int fd = p_sys->write_fd;
101     bool error = false;
102
103     do
104     {
105         ssize_t len;
106         int canc = vlc_savecancel ();
107 #ifdef HAVE_VMSPLICE
108         unsigned char *buf = mmap (NULL, bufsize, PROT_READ|PROT_WRITE,
109                                    MAP_PRIVATE|MAP_ANONYMOUS, -1, 0);
110         if (unlikely(buf == MAP_FAILED))
111             break;
112         vlc_cleanup_push (cleanup_mmap, buf);
113 #else
114         unsigned char *buf = malloc (bufsize);
115         if (unlikely(buf == NULL))
116             break;
117         vlc_cleanup_push (free, buf);
118 #endif
119
120         len = stream_Read (stream->p_source, buf, bufsize);
121         vlc_restorecancel (canc);
122         error = len <= 0;
123
124         for (ssize_t i = 0, j; i < len; i += j)
125         {
126 #ifdef HAVE_VMSPLICE
127             if ((len - i) <= page_mask) /* incomplete last page */
128                 j = write (fd, buf + i, len - i);
129             else
130             {
131                 struct iovec iov = { buf + i, (len - i) & ~page_mask, };
132                 j = vmsplice (fd, &iov, 1, SPLICE_F_GIFT);
133             }
134             if (j == -1 && errno == ENOSYS) /* vmsplice() not supported */
135 #endif
136             j = write (fd, buf + i, len - i);
137             if (j <= 0)
138             {
139                 if (j == 0)
140                     errno = EPIPE;
141                 msg_Err (stream, "cannot write data (%m)");
142                 error = true;
143                 break;
144             }
145         }
146         vlc_cleanup_run (); /* free (buf) */
147     }
148     while (!error);
149
150     msg_Dbg (stream, "compressed stream at EOF");
151     return NULL;
152 }
153
154
155 static int Peek (stream_t *, const uint8_t **, unsigned int);
156
157 #define MIN_BLOCK (1 << 10)
158 #define MAX_BLOCK (1 << 20)
159 /**
160  * Reads decompressed from the decompression program
161  * @return -1 for EAGAIN, 0 for EOF, byte count otherwise.
162  */
163 static int Read (stream_t *stream, void *buf, unsigned int buflen)
164 {
165     stream_sys_t *p_sys = stream->p_sys;
166     block_t *peeked;
167     ssize_t length;
168
169     if (buf == NULL) /* caller skips data, get big enough peek buffer */
170         buflen = Peek (stream, &(const uint8_t *){ NULL }, buflen);
171
172     if ((peeked = p_sys->peeked) != NULL)
173     {   /* dequeue peeked data */
174         length = (buflen > peeked->i_buffer) ? peeked->i_buffer : buflen;
175         if (buf != NULL)
176         {
177             memcpy (buf, peeked->p_buffer, length);
178             buf = ((char *)buf) + length;
179         }
180         buflen -= length;
181         peeked->p_buffer += length;
182         peeked->i_buffer -= length;
183         if (peeked->i_buffer == 0)
184         {
185             block_Release (peeked);
186             p_sys->peeked = NULL;
187         }
188         p_sys->offset += length;
189
190         if (buflen > 0)
191             length += Read (stream, ((char *)buf) + length, buflen - length);
192         return length;
193     }
194     assert ((buf != NULL) || (buflen == 0));
195
196     length = net_Read (stream, p_sys->read_fd, NULL, buf, buflen, false);
197     if (length < 0)
198         return 0;
199     p_sys->offset += length;
200     return length;
201 }
202
203 /**
204  *
205  */
206 static int Peek (stream_t *stream, const uint8_t **pbuf, unsigned int len)
207 {
208     stream_sys_t *p_sys = stream->p_sys;
209     block_t *peeked = p_sys->peeked;
210     size_t curlen = 0;
211     int fd = p_sys->read_fd;
212
213     if (peeked == NULL)
214         peeked = block_Alloc (len);
215     else if ((curlen = peeked->i_buffer) < len)
216         peeked = block_Realloc (peeked, 0, len);
217
218     if ((p_sys->peeked = peeked) == NULL)
219         return 0;
220
221     if (curlen < len)
222     {
223         ssize_t val = net_Read (stream, fd, NULL, peeked->p_buffer + curlen,
224                                 len - curlen, true);
225         if (val >= 0)
226         {
227             curlen += val;
228             peeked->i_buffer = curlen;
229         }
230     }
231     *pbuf = peeked->p_buffer;
232     return curlen;
233 }
234
235 /**
236  *
237  */
238 static int Control (stream_t *stream, int query, va_list args)
239 {
240     stream_sys_t *p_sys = stream->p_sys;
241
242     switch (query)
243     {
244         case STREAM_CAN_SEEK:
245         case STREAM_CAN_FASTSEEK:
246             *(va_arg (args, bool *)) = false;
247             break;
248         case STREAM_GET_POSITION:
249             *(va_arg (args, uint64_t *)) = p_sys->offset;
250             break;
251         case STREAM_GET_SIZE:
252             *(va_arg (args, uint64_t *)) = 0;
253             break;
254         default:
255             return VLC_EGENERIC;
256     }
257     return VLC_SUCCESS;
258 }
259
260 /**
261  * Pipe data through an external executable.
262  * @param stream the stream filter object.
263  * @param path path to the executable.
264  */
265 static int Open (stream_t *stream, const char *path)
266 {
267     stream_sys_t *p_sys = stream->p_sys = malloc (sizeof (*p_sys));
268     if (p_sys == NULL)
269         return VLC_ENOMEM;
270
271     stream->pf_read = Read;
272     stream->pf_peek = Peek;
273     stream->pf_control = Control;
274     p_sys->peeked = NULL;
275     p_sys->offset = 0;
276     p_sys->pid = -1;
277
278     /* I am not a big fan of the pyramid style, but I cannot think of anything
279      * better here. There are too many failure cases. */
280     int ret = VLC_EGENERIC;
281     int comp[2];
282
283     /* We use two pipes rather than one stream socket pair, so that we can
284      * use vmsplice() on Linux. */
285     if (pipe (comp) == 0)
286     {
287         cloexec (comp[1]);
288         p_sys->write_fd = comp[1];
289
290         int uncomp[2];
291         if (pipe (uncomp) == 0)
292         {
293             cloexec (uncomp[0]);
294             p_sys->read_fd = uncomp[0];
295
296 #if (_POSIX_SPAWN >= 0)
297             posix_spawn_file_actions_t actions;
298             if (posix_spawn_file_actions_init (&actions) == 0)
299             {
300                 char *const argv[] = { (char *)path, NULL };
301
302                 if (!posix_spawn_file_actions_adddup2 (&actions, comp[0], 0)
303                  && !posix_spawn_file_actions_addclose (&actions, comp[0])
304                  && !posix_spawn_file_actions_adddup2 (&actions, uncomp[1], 1)
305                  && !posix_spawn_file_actions_addclose (&actions, uncomp[1])
306                  && !posix_spawnp (&p_sys->pid, path, &actions, NULL, argv,
307                                    environ))
308                 {
309                     if (vlc_clone (&p_sys->thread, Thread, stream,
310                                    VLC_THREAD_PRIORITY_INPUT) == 0)
311                         ret = VLC_SUCCESS;
312                 }
313                 else
314                 {
315                     msg_Err (stream, "Cannot execute %s", path);
316                     p_sys->pid = -1;
317                 }
318                 posix_spawn_file_actions_destroy (&actions);
319             }
320 #else /* _POSIX_SPAWN */
321             switch (p_sys->pid = fork ())
322             {
323                 case -1:
324                     msg_Err (stream, "Cannot fork (%m)");
325                     break;
326                 case 0:
327                     dup2 (comp[0], 0);
328                     close (comp[0]);
329                     dup2 (uncomp[1], 1);
330                     close (uncomp[1]);
331                     execlp (path, path, (char *)NULL);
332                     exit (1); /* if we get, execlp() failed! */
333                 default:
334                     if (vlc_clone (&p_sys->thread, Thread, stream,
335                                    VLC_THREAD_PRIORITY_INPUT) == 0)
336                         ret = VLC_SUCCESS;
337             }
338 #endif /* _POSIX_SPAWN < 0 */
339             close (uncomp[1]);
340             if (ret != VLC_SUCCESS)
341                 close (uncomp[0]);
342         }
343         close (comp[0]);
344         if (ret != VLC_SUCCESS)
345         {
346             close (comp[1]);
347             if (p_sys->pid != -1)
348                 while (waitpid (p_sys->pid, &(int){ 0 }, 0) == -1);
349         }
350     }
351     return ret;
352 }
353
354
355 /**
356  * Releases allocate resources.
357  */
358 static void Close (vlc_object_t *obj)
359 {
360     stream_t *stream = (stream_t *)obj;
361     stream_sys_t *p_sys = stream->p_sys;
362     int status;
363
364     vlc_cancel (p_sys->thread);
365     close (p_sys->read_fd);
366     vlc_join (p_sys->thread, NULL);
367     close (p_sys->write_fd);
368
369     msg_Dbg (obj, "waiting for PID %u", (unsigned)p_sys->pid);
370     while (waitpid (p_sys->pid, &status, 0) == -1);
371     msg_Dbg (obj, "exit status %d", status);
372
373     if (p_sys->peeked)
374         block_Release (p_sys->peeked);
375     free (p_sys);
376 }
377
378
379 /**
380  * Detects gzip file format
381  */
382 static int OpenGzip (vlc_object_t *obj)
383 {
384     stream_t      *stream = (stream_t *)obj;
385     const uint8_t *peek;
386
387     if (stream_Peek (stream->p_source, &peek, 3) < 3)
388         return VLC_EGENERIC;
389
390     if (memcmp (peek, "\x1f\x8b\x08", 3))
391         return VLC_EGENERIC;
392
393     msg_Dbg (obj, "detected gzip compressed stream");
394     return Open (stream, "zcat");
395 }
396
397
398 /**
399  * Detects bzip2 file format
400  */
401 static int OpenBzip2 (vlc_object_t *obj)
402 {
403     stream_t      *stream = (stream_t *)obj;
404     const uint8_t *peek;
405
406     /* (Try to) parse the bzip2 header */
407     if (stream_Peek (stream->p_source, &peek, 10) < 10)
408         return VLC_EGENERIC;
409
410     if (memcmp (peek, "BZh", 3) || (peek[3] < '1') || (peek[3] > '9')
411      || memcmp (peek + 4, "\x31\x41\x59\x26\x53\x59", 6))
412         return VLC_EGENERIC;
413
414     msg_Dbg (obj, "detected bzip2 compressed stream");
415     return Open (stream, "bzcat");
416 }
417
418 /**
419  * Detects xz file format
420  */
421 static int OpenXZ (vlc_object_t *obj)
422 {
423     stream_t      *stream = (stream_t *)obj;
424     const uint8_t *peek;
425
426     /* (Try to) parse the xz stream header */
427     if (stream_Peek (stream->p_source, &peek, 8) < 8)
428         return VLC_EGENERIC;
429
430     if (memcmp (peek, "\xfd\x37\x7a\x58\x5a", 6))
431         return VLC_EGENERIC;
432
433     msg_Dbg (obj, "detected xz compressed stream");
434     return Open (stream, "xzcat");
435 }