]> git.sesse.net Git - vlc/blob - modules/video_output/xcb/x11.c
XCB: do not set the background to black
[vlc] / modules / video_output / xcb / x11.c
1 /**
2  * @file x11.c
3  * @brief X C Bindings video output module for VLC media player
4  */
5 /*****************************************************************************
6  * Copyright © 2009 Rémi Denis-Courmont
7  *
8  * This library is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU General Public License
10  * as published by the Free Software Foundation; either version 2.0
11  * of the License, or (at your option) any later version.
12  *
13  * This library is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with this library; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
21  ****************************************************************************/
22
23 #ifdef HAVE_CONFIG_H
24 # include <config.h>
25 #endif
26
27 #include <stdlib.h>
28 #include <assert.h>
29
30 #include <sys/types.h>
31 #include <sys/shm.h>
32
33 #include <xcb/xcb.h>
34 #include <xcb/shm.h>
35
36 #include <vlc_common.h>
37 #include <vlc_plugin.h>
38 #include <vlc_vout.h>
39 #include <vlc_window.h>
40
41 #include "xcb_vlc.h"
42
43 #define DISPLAY_TEXT N_("X11 display")
44 #define DISPLAY_LONGTEXT N_( \
45     "X11 hardware display to use. By default VLC will " \
46     "use the value of the DISPLAY environment variable.")
47
48 #define SHM_TEXT N_("Use shared memory")
49 #define SHM_LONGTEXT N_( \
50     "Use shared memory to communicate between VLC and the X server.")
51
52 static int  Open (vlc_object_t *);
53 static void Close (vlc_object_t *);
54
55 /*
56  * Module descriptor
57  */
58 vlc_module_begin ()
59     set_shortname (N_("XCB"))
60     set_description (N_("(Experimental) XCB video output"))
61     set_category (CAT_VIDEO)
62     set_subcategory (SUBCAT_VIDEO_VOUT)
63     set_capability ("video output", 0)
64     set_callbacks (Open, Close)
65
66     add_string ("x11-display", NULL, NULL,
67                 DISPLAY_TEXT, DISPLAY_LONGTEXT, true)
68     add_bool ("x11-shm", true, NULL, SHM_TEXT, SHM_LONGTEXT, true)
69 vlc_module_end ()
70
71 struct vout_sys_t
72 {
73     xcb_connection_t *conn;
74     vout_window_t *embed; /* VLC window (when windowed) */
75
76     xcb_window_t window; /* drawable X window */
77     xcb_gcontext_t gc; /* context to put images */
78     bool shm; /* whether to use MIT-SHM */
79     uint8_t bpp; /* bits per pixel */
80     uint8_t pad; /* scanline pad */
81     uint8_t depth; /* useful bits per pixel */
82     uint8_t byte_order; /* server byte order */
83 };
84
85 static int Init (vout_thread_t *);
86 static void Deinit (vout_thread_t *);
87 static void Display (vout_thread_t *, picture_t *);
88 static int Manage (vout_thread_t *);
89
90 int CheckError (vout_thread_t *vout, const char *str, xcb_void_cookie_t ck)
91 {
92     xcb_generic_error_t *err;
93
94     err = xcb_request_check (vout->p_sys->conn, ck);
95     if (err)
96     {
97         msg_Err (vout, "%s: X11 error %d", str, err->error_code);
98         return VLC_EGENERIC;
99     }
100     return VLC_SUCCESS;
101 }
102
103 #define p_vout vout
104
105 /**
106  * Probe the X server.
107  */
108 static int Open (vlc_object_t *obj)
109 {
110     vout_thread_t *vout = (vout_thread_t *)obj;
111     vout_sys_t *p_sys = malloc (sizeof (*p_sys));
112     if (p_sys == NULL)
113         return VLC_ENOMEM;
114
115     vout->p_sys = p_sys;
116     p_sys->conn = NULL;
117     p_sys->embed = NULL;
118
119     /* Connect to X */
120     char *display = var_CreateGetNonEmptyString (vout, "x11-display");
121     p_sys->conn = xcb_connect (display, NULL);
122     if (xcb_connection_has_error (p_sys->conn) /*== NULL*/)
123     {
124         msg_Err (vout, "cannot connect to X server %s",
125                  display ? display : "");
126         free (display);
127         goto error;
128     }
129     free (display);
130
131     /* Get window */
132     p_sys->embed = vout_RequestXWindow (vout, &(int){ 0 }, &(int){ 0 },
133                                         &(unsigned){ 0 }, &(unsigned){ 0 });
134     if (p_sys->embed == NULL)
135     {
136         msg_Err (vout, "parent window not available");
137         goto error;
138     }
139     xcb_window_t root;
140     {
141         xcb_get_geometry_reply_t *geo;
142         xcb_get_geometry_cookie_t ck;
143
144         ck = xcb_get_geometry (p_sys->conn, p_sys->embed->handle.xid);
145         geo = xcb_get_geometry_reply (p_sys->conn, ck, NULL);
146         if (geo == NULL)
147         {
148             msg_Err (vout, "parent window not valid");
149             goto error;
150         }
151         root = geo->root;
152         free (geo);
153
154         /* Subscribe to parent window resize events */
155         const uint32_t value = XCB_EVENT_MASK_STRUCTURE_NOTIFY;
156         xcb_change_window_attributes (p_sys->conn, p_sys->embed->handle.xid,
157                                       XCB_CW_EVENT_MASK, &value);
158     }
159
160     /* Find the selected screen */
161     const xcb_setup_t *setup = xcb_get_setup (p_sys->conn);
162     p_sys->byte_order = setup->image_byte_order;
163
164     xcb_screen_t *scr = NULL;
165     for (xcb_screen_iterator_t i = xcb_setup_roots_iterator (setup);
166          i.rem > 0 && scr == NULL; xcb_screen_next (&i))
167     {
168         if (i.data->root == root)
169             scr = i.data;
170     }
171
172     if (scr == NULL)
173     {
174         msg_Err (vout, "parent window screen not found");
175         goto error;
176     }
177     msg_Dbg (vout, "using screen 0x%"PRIx32, scr->root);
178
179     /* Determine our video format. Normally, this is done in pf_init(), but
180      * this plugin always uses the same format for a given X11 screen. */
181     xcb_visualid_t vid = 0;
182     uint8_t depth = 0;
183     bool gray = true;
184     for (const xcb_format_t *fmt = xcb_setup_pixmap_formats (setup),
185              *end = fmt + xcb_setup_pixmap_formats_length (setup);
186          fmt < end; fmt++)
187     {
188         vlc_fourcc_t chroma = 0;
189
190         if (fmt->depth < depth)
191             continue; /* We already found a better format! */
192
193         /* Check that the pixmap format is supported by VLC. */
194         switch (fmt->depth)
195         {
196           case 24:
197             if (fmt->bits_per_pixel == 32)
198                 chroma = VLC_FOURCC ('R', 'V', '3', '2');
199             else if (fmt->bits_per_pixel == 24)
200                 chroma = VLC_FOURCC ('R', 'V', '2', '4');
201             else
202                 continue;
203             break;
204           case 16:
205             if (fmt->bits_per_pixel != 16)
206                 continue;
207             chroma = VLC_FOURCC ('R', 'V', '1', '6');
208             break;
209           case 15:
210             if (fmt->bits_per_pixel != 16)
211                 continue;
212             chroma = VLC_FOURCC ('R', 'V', '1', '5');
213             break;
214           case 8:
215             if (fmt->bits_per_pixel != 8)
216                 continue;
217             chroma = VLC_FOURCC ('R', 'G', 'B', '2');
218             break;
219           default:
220             continue;
221         }
222         if ((fmt->bits_per_pixel << 4) % fmt->scanline_pad)
223             continue; /* VLC pads lines to 16 pixels internally */
224
225         /* Byte sex is a non-issue for 8-bits. It can be worked around with
226          * RGB masks for 24-bits. Too bad for 15-bits and 16-bits. */
227 #ifdef WORDS_BIGENDIAN
228 # define ORDER XCB_IMAGE_ORDER_MSB_FIRST
229 #else
230 # define ORDER XCB_IMAGE_ORDER_LSB_FIRST
231 #endif
232         if (fmt->bits_per_pixel == 16 && setup->image_byte_order != ORDER)
233             continue;
234
235         /* Check that the selected screen supports this depth */
236         xcb_depth_iterator_t it = xcb_screen_allowed_depths_iterator (scr);
237         while (it.rem > 0 && it.data->depth != fmt->depth)
238              xcb_depth_next (&it);
239         if (!it.rem)
240             continue; /* Depth not supported on this screen */
241
242         /* Find a visual type for the selected depth */
243         const xcb_visualtype_t *vt = xcb_depth_visuals (it.data);
244         for (int i = xcb_depth_visuals_length (it.data); i > 0; i--)
245         {
246             if (vt->_class == XCB_VISUAL_CLASS_TRUE_COLOR)
247             {
248                 vid = vt->visual_id;
249                 gray = false;
250                 break;
251             }
252             if (fmt->depth == 8 && vt->_class == XCB_VISUAL_CLASS_STATIC_GRAY)
253             {
254                 if (!gray)
255                     continue; /* Prefer color over gray scale */
256                 vid = vt->visual_id;
257                 chroma = VLC_FOURCC ('G', 'R', 'E', 'Y');
258             }
259         }
260
261         if (!vid)
262             continue; /* The screen does not *really* support this depth */
263
264         vout->fmt_out.i_chroma = vout->output.i_chroma = chroma;
265         if (!gray)
266         {
267             vout->output.i_rmask = vt->red_mask;
268             vout->output.i_gmask = vt->green_mask;
269             vout->output.i_bmask = vt->blue_mask;
270         }
271         p_sys->bpp = fmt->bits_per_pixel;
272         p_sys->pad = fmt->scanline_pad;
273         p_sys->depth = depth = fmt->depth;
274     }
275
276     if (depth == 0)
277     {
278         msg_Err (vout, "no supported pixmap formats or visual types");
279         goto error;
280     }
281
282     msg_Dbg (vout, "using X11 visual ID 0x%"PRIx32, vid);
283     msg_Dbg (vout, " %"PRIu8" bits per pixels, %"PRIu8" bits line pad",
284              p_sys->bpp, p_sys->pad);
285
286     /* Create colormap (needed to select non-default visual) */
287     xcb_colormap_t cmap;
288     if (vid != scr->root_visual)
289     {
290         cmap = xcb_generate_id (p_sys->conn);
291         xcb_create_colormap (p_sys->conn, XCB_COLORMAP_ALLOC_NONE,
292                              cmap, scr->root, vid);
293     }
294     else
295         cmap = scr->default_colormap;
296
297     /* Create window */
298     {
299         const uint32_t mask = XCB_CW_EVENT_MASK | XCB_CW_COLORMAP;
300         const uint32_t values[] = {
301             /* XCB_CW_EVENT_MASK */
302             XCB_EVENT_MASK_BUTTON_PRESS | XCB_EVENT_MASK_BUTTON_RELEASE |
303             XCB_EVENT_MASK_POINTER_MOTION,
304             /* XCB_CW_COLORMAP */
305             cmap,
306         };
307         xcb_void_cookie_t c;
308         xcb_window_t window = xcb_generate_id (p_sys->conn);
309
310         c = xcb_create_window_checked (p_sys->conn, depth, window,
311                                        p_sys->embed->handle.xid, 0, 0, 1, 1, 0,
312                                        XCB_WINDOW_CLASS_INPUT_OUTPUT,
313                                        vid, mask, values);
314         if (CheckError (vout, "cannot create X11 window", c))
315             goto error;
316         p_sys->window = window;
317         msg_Dbg (vout, "using X11 window %08"PRIx32, p_sys->window);
318         xcb_map_window (p_sys->conn, window);
319     }
320
321     /* Create graphic context (I wonder why the heck do we need this) */
322     p_sys->gc = xcb_generate_id (p_sys->conn);
323     xcb_create_gc (p_sys->conn, p_sys->gc, p_sys->window, 0, NULL);
324     msg_Dbg (vout, "using X11 graphic context %08"PRIx32, p_sys->gc);
325
326     /* Check shared memory support */
327     p_sys->shm = var_CreateGetBool (vout, "x11-shm") > 0;
328     if (p_sys->shm)
329     {
330         xcb_shm_query_version_cookie_t ck;
331         xcb_shm_query_version_reply_t *r;
332
333         ck = xcb_shm_query_version (p_sys->conn);
334         r = xcb_shm_query_version_reply (p_sys->conn, ck, NULL);
335         if (!r)
336         {
337             msg_Err (vout, "shared memory (MIT-SHM) not available");
338             msg_Warn (vout, "display will be slow");
339             p_sys->shm = false;
340         }
341         free (r);
342     }
343
344     vout->pf_init = Init;
345     vout->pf_end = Deinit;
346     vout->pf_display = Display;
347     vout->pf_manage = Manage;
348     return VLC_SUCCESS;
349
350 error:
351     Close (obj);
352     return VLC_EGENERIC;
353 }
354
355
356 /**
357  * Disconnect from the X server.
358  */
359 static void Close (vlc_object_t *obj)
360 {
361     vout_thread_t *vout = (vout_thread_t *)obj;
362     vout_sys_t *p_sys = vout->p_sys;
363
364     if (p_sys->embed)
365         vout_ReleaseWindow (p_sys->embed);
366     /* colormap and window are garbage-collected by X */
367     if (p_sys->conn)
368         xcb_disconnect (p_sys->conn);
369     free (p_sys);
370 }
371
372 struct picture_sys_t
373 {
374     xcb_connection_t *conn; /* Shared connection to X server */
375     xcb_shm_seg_t segment; /* Shared memory segment X ID */
376 };
377
378 #define SHM_ERR ((void *)(intptr_t)(-1))
379
380 static int PictureInit (vout_thread_t *vout, picture_t *pic)
381 {
382     vout_sys_t *p_sys = vout->p_sys;
383     picture_sys_t *priv = malloc (sizeof (*p_sys));
384
385     if (priv == NULL)
386         return VLC_ENOMEM;
387
388     assert (pic->i_status == FREE_PICTURE);
389     vout_InitPicture (vout, pic, vout->output.i_chroma,
390                       vout->output.i_width, vout->output.i_height,
391                       vout->output.i_aspect);
392
393     void *shm = SHM_ERR;
394     const size_t size = pic->p->i_pitch * pic->p->i_lines;
395
396     /* Allocate shared memory segment */
397     int id = shmget (IPC_PRIVATE, size, IPC_CREAT | 0700);
398     if (id == -1)
399     {
400         msg_Err (vout, "shared memory allocation error: %m");
401         goto error;
402     }
403
404     /* Attach the segment to VLC */
405     shm = shmat (id, NULL, 0 /* read/write */);
406     if (shm == SHM_ERR)
407     {
408         msg_Err (vout, "shared memory attachment error: %m");
409         shmctl (id, IPC_RMID, 0);
410         goto error;
411     }
412
413     if (p_sys->shm)
414     {
415         /* Attach the segment to X */
416         xcb_void_cookie_t ck;
417         priv->segment = xcb_generate_id (p_sys->conn);
418         ck = xcb_shm_attach_checked (p_sys->conn, priv->segment, id, 1);
419
420         if (CheckError (vout, "shared memory server-side error", ck))
421         {
422             msg_Info (vout, "using buggy X11 server - SSH proxying?");
423             priv->segment = 0;
424         }
425     }
426     else
427         priv->segment = 0;
428
429     shmctl (id, IPC_RMID, 0);
430     priv->conn = p_sys->conn;
431     pic->p_sys = priv;
432     pic->p->p_pixels = shm;
433     pic->i_status = DESTROYED_PICTURE;
434     pic->i_type = DIRECT_PICTURE;
435     return VLC_SUCCESS;
436
437 error:
438     free (priv);
439     return VLC_EGENERIC;
440 }
441
442
443 /**
444  * Release picture private data
445  */
446 static void PictureDeinit (picture_t *pic)
447 {
448     struct picture_sys_t *p_sys = pic->p_sys;
449
450     if (p_sys->segment != 0)
451     {
452         xcb_shm_detach (p_sys->conn, p_sys->segment);
453         shmdt (pic->p->p_pixels);
454     }
455     free (p_sys);
456 }
457
458 static void get_window_size (xcb_connection_t *conn, xcb_window_t win,
459                              unsigned *width, unsigned *height)
460 {
461     xcb_get_geometry_cookie_t ck = xcb_get_geometry (conn, win);
462     xcb_get_geometry_reply_t *geo = xcb_get_geometry_reply (conn, ck, NULL);
463
464     if (geo)
465     {
466         *width = geo->width;
467         *height = geo->height;
468         free (geo);
469     }
470     else
471         *width = *height = 0;
472 }
473
474 /**
475  * Allocate drawable window and picture buffers.
476  */
477 static int Init (vout_thread_t *vout)
478 {
479     vout_sys_t *p_sys = vout->p_sys;
480     unsigned x, y, width, height;
481
482     get_window_size (p_sys->conn, p_sys->embed->handle.xid, &width, &height);
483     vout_PlacePicture (vout, width, height, &x, &y, &width, &height);
484
485     const uint32_t values[] = { x, y, width, height, };
486     xcb_configure_window (p_sys->conn, p_sys->window,
487                           XCB_CONFIG_WINDOW_X | XCB_CONFIG_WINDOW_Y |
488                           XCB_CONFIG_WINDOW_WIDTH | XCB_CONFIG_WINDOW_HEIGHT,
489                           values);
490
491     /* FIXME: I don't get the subtlety between output and fmt_out here */
492     vout->fmt_out.i_visible_width = width;
493     vout->fmt_out.i_visible_height = height;
494     vout->fmt_out.i_sar_num = vout->fmt_out.i_sar_den = 1;
495
496     vout->output.i_width = vout->fmt_out.i_width =
497         width * vout->fmt_in.i_width / vout->fmt_in.i_visible_width;
498     vout->output.i_height = vout->fmt_out.i_height =
499         height * vout->fmt_in.i_height / vout->fmt_in.i_visible_height;
500     vout->fmt_out.i_x_offset =
501         width * vout->fmt_in.i_x_offset / vout->fmt_in.i_visible_width;
502     p_vout->fmt_out.i_y_offset =
503         height * vout->fmt_in.i_y_offset / vout->fmt_in.i_visible_height;
504
505     assert (height > 0);
506     vout->output.i_aspect = vout->fmt_out.i_aspect =
507         width * VOUT_ASPECT_FACTOR / height;
508
509     /* Allocate picture buffers */
510     I_OUTPUTPICTURES = 0;
511     for (size_t index = 0; I_OUTPUTPICTURES < 2; index++)
512     {
513         picture_t *pic = vout->p_picture + index;
514
515         if (index > sizeof (vout->p_picture) / sizeof (pic))
516             break;
517         if (pic->i_status != FREE_PICTURE)
518             continue;
519         if (PictureInit (vout, pic))
520             break;
521         PP_OUTPUTPICTURE[I_OUTPUTPICTURES++] = pic;
522     }
523     xcb_flush (p_sys->conn);
524     return VLC_SUCCESS;
525 }
526
527 /**
528  * Free picture buffers.
529  */
530 static void Deinit (vout_thread_t *vout)
531 {
532     for (int i = 0; i < I_OUTPUTPICTURES; i++)
533         PictureDeinit (PP_OUTPUTPICTURE[i]);
534 }
535
536 /**
537  * Sends an image to the X server.
538  */
539 static void Display (vout_thread_t *vout, picture_t *pic)
540 {
541     vout_sys_t *p_sys = vout->p_sys;
542     picture_sys_t *priv = pic->p_sys;
543
544     if (priv->segment)
545         xcb_shm_put_image (p_sys->conn, p_sys->window, p_sys->gc,
546           /* real width */ pic->p->i_pitch / pic->p->i_pixel_pitch,
547          /* real height */ pic->p->i_lines, /* x */ 0, /* y */ 0,
548                /* width */ pic->p->i_visible_pitch / pic->p->i_pixel_pitch,
549               /* height */ pic->p->i_visible_lines, /* x */ 0, /* y */ 0,
550                            p_sys->depth, XCB_IMAGE_FORMAT_Z_PIXMAP,
551                            0, priv->segment, 0);
552     else
553         xcb_put_image (p_sys->conn, XCB_IMAGE_FORMAT_Z_PIXMAP,
554                        p_sys->window, p_sys->gc,
555                        pic->p->i_pitch / pic->p->i_pixel_pitch,
556                        pic->p->i_lines, 0, 0, 0, p_sys->depth,
557                        pic->p->i_pitch * pic->p->i_lines, pic->p->p_pixels);
558     xcb_flush (p_sys->conn);
559 }
560
561 /**
562  * Process incoming X events.
563  */
564 static int Manage (vout_thread_t *vout)
565 {
566     vout_sys_t *p_sys = vout->p_sys;
567     xcb_generic_event_t *ev;
568
569     while ((ev = xcb_poll_for_event (p_sys->conn)) != NULL)
570         ProcessEvent (vout, p_sys->conn, p_sys->window, ev);
571
572     if (xcb_connection_has_error (p_sys->conn))
573     {
574         msg_Err (vout, "X server failure");
575         return VLC_EGENERIC;
576     }
577     return VLC_SUCCESS;
578 }