e02ea23d39cd9668be1e04689894aaf58b866f4a
[nageru] / README
1 Nageru is a live video mixer, based around the standard M/E workflow.
2
3
4 Features:
5
6  - High performance on modest hardware (720p60 with two input streams
7    on my Thinkpad X240[1]); almost all pixel processing is done on the GPU.
8
9  - High output quality; Lanczos3 scaling, subpixel precision everywhere,
10    white balance adjustment, mix of 16- and 32-bit floating point
11    for intermediate calculations, dithered output, optional 10-bit input
12    and output support.
13
14  - Proper sound support: Syncing of multiple unrelated sources through
15    high-quality resampling, multichannel mixing with separate effects
16    per-bus, cue out for headphones, dynamic range compression,
17    three-band graphical EQ (pluss a fixed low-cut), level meters conforming
18    to EBU R128, automation via MIDI controllers.
19
20  - Theme engine encapsulating the design demands of each individual
21    event; Lua code is responsible for setting up the pixel processing
22    pipelines, running transitions etc., so that the visual look is
23    consistent between operators.
24
25  - HTML rendering (through Chromium Embedded Framework), for high-quality
26    and flexible overlay or other graphics.
27
28  - Comprehensive monitoring through Prometheus metrics.
29
30 [1] For reference, that is: Core i7 4600U (dualcore 2.10GHz, clocks down
31 to 800 MHz after 30 seconds due to thermal constraints), Intel HD Graphics
32 4400 (ie., without the extra L4 cache from Iris Pro), single-channel DDR3 RAM
33 (so 12.8 GB/sec theoretical memory bandwidth, shared between CPU and GPU).
34
35
36 Nageru currently needs:
37
38  - An Intel processor with Intel Quick Sync, or otherwise some hardware
39    H.264 encoder exposed through VA-API. Note that you can use VA-API over
40    DRM instead of X11, to use a non-Intel GPU for rendering but still use
41    Quick Sync (Nageru does this automatically for you if needed).
42
43  - Two or more Blackmagic USB3 or PCI cards, either HDMI or SDI.
44    The PCI cards need Blackmagic's own drivers installed. The USB3 cards
45    are driven through the “bmusb” driver, using libusb-1.0. If you want
46    zerocopy USB, you need libusb 1.0.21 or newer, as well as a recent
47    kernel (4.6.0 or newer). Zerocopy USB helps not only for performance,
48    but also for stability. You need at least version 0.7.0.
49
50  - Movit, my GPU-based video filter library (https://movit.sesse.net).
51    You will need at least version 1.5.2.
52
53  - Qt 5.5 or newer for the GUI.
54
55  - QCustomPlot for the histogram display in the frame analyzer.
56
57  - libmicrohttpd for the embedded web server.
58
59  - x264 for encoding high-quality video suitable for streaming to end users.
60
61  - ffmpeg for muxing, and for encoding audio. You will need at least
62    version 3.1.
63
64  - Working OpenGL; Movit works with almost any modern OpenGL implementation.
65    Nageru has been tested with Intel on Mesa (you want 11.2 or newer, due
66    to critical stability bugfixes), and with NVIDIA's proprietary drivers.
67    The status of AMD's proprietary drivers is currently unknown.
68
69  - libzita-resampler, for resampling sound sources so that they are in sync
70    between sources, and also for oversampling for the peak meter.
71
72  - LuaJIT, for driving the theme engine.
73
74  - Meson, for building.
75
76  - Optional: CEF (Chromium Embedded Framework), for HTML graphics.
77    If you build without CEF, the HTMLInput class will not be available from
78    the theme. You can get binary downloads of CEF from
79
80      http://opensource.spotify.com/cefbuilds/index.html
81
82    Simply download the right build for your platform (the “minimal” build
83    is fine) and add -Dcef_dir=<path>/cef_binary_X.XXXX.XXXX.XXXXXXXX_linux64
84    on the meson command line (substituting X with the real version as required).
85
86
87 If on Debian stretch or something similar, you can install everything you need
88 with:
89
90   apt install qtbase5-dev libqt5opengl5-dev qt5-default libqcustomplot-dev \
91     pkg-config libmicrohttpd-dev libusb-1.0-0-dev libluajit-5.1-dev \
92     libzita-resampler-dev libva-dev libavcodec-dev libavformat-dev \
93     libswscale-dev libavresample-dev libmovit-dev libegl1-mesa-dev \
94     libasound2-dev libx264-dev libbmusb-dev protobuf-compiler \
95     libprotobuf-dev
96
97 Exceptions as of November 2018:
98
99   - You will need Movit from testing or unstable; stretch only has 1.4.0.
100
101   - You will need bmusb from testing or unstable; stretch only has 0.5.4.
102
103   - You will need a Meson backport; the version in stretch is too old.
104
105   - Debian does not carry CEF (but it is optional). You can get experimental
106     (and not security-supported) CEF Debian packages built for unstable at
107     http://storage.sesse.net/cef/, and then configure Nageru with
108
109      meson obj -Dcef_dir=/usr/lib/x86_64-linux-gnu/cef -Dcef_build_type=system -Dcef_no_icudtl=true
110
111 The patches/ directory contains a patch that helps zita-resampler performance.
112 It is meant for upstream, but was not in at the time Nageru was released.
113 It is taken to be by Steinar H. Gunderson <sesse@google.com> (ie., my ex-work
114 email), and under the same license as zita-resampler itself.
115
116 Nageru uses Meson to build. For a default build, type
117
118   meson obj && cd obj && ninja
119
120 To start it, just hook up your equipment, and then type “./nageru”.
121
122 It is strongly recommended to have the rights to run at real-time priority;
123 it will make the USB3 threads do so, which will make them a lot more stable.
124 (A reasonable hack for testing is probably just to run it as root using sudo,
125 although you might not want to do that in production.) Note also that if you
126 are running a desktop compositor, it will steal significant amounts of GPU
127 performance. The same goes for PulseAudio.
128
129 Nageru will open a HTTP server at port 9095, where you can extract a live
130 H264+PCM signal in nut mux (e.g. http://127.0.0.1:9095/stream.nut).
131 It is probably too high bitrate (~25 Mbit/sec depending on content) to send to
132 users, but you can easily send it around in your internal network and then
133 transcode it in e.g. VLC. A copy of the stream (separately muxed) will also
134 be saved live to local disk.
135
136 If you have a fast CPU (typically a quadcore desktop; most laptops will spend
137 most of their CPU on running Nageru itself), you can use x264 for the outgoing
138 stream instead of Quick Sync; it is much better quality for the same bitrate,
139 and also has proper bitrate controls. Simply add --http-x264-video on the
140 command line. (You may also need to add something like "--x264-preset veryfast",
141 since the default "medium" preset might be too CPU-intensive, but YMMV.)
142 The stream saved to disk will still be the Quick Sync-encoded stream, as it is
143 typically higher bitrate and thus also higher quality. Note that if you add
144 ".metacube" at the end of the URL (e.g. "http://127.0.0.1:9095/stream.ts.metacube"),
145 you will get a stream suitable for streaming through the Cubemap video reflector
146 (cubemap.sesse.net). A typical example would be:
147
148   ./nageru --http-x264-video --x264-preset veryfast --x264-tune film \
149       --http-mux mp4 --http-audio-codec libfdk_aac --http-audio-bitrate 128
150
151 If you are comfortable with using all your remaining CPU power on the machine
152 for x264, try --x264-speedcontrol, which will try to adjust the preset
153 dynamically for maximum quality, at the expense of somewhat higher delay.
154
155 See --help for more information on options in general.
156
157 The name “Nageru” is a play on the Japanese verb 投げる (nageru), which means
158 to throw or cast. (I also later learned that it could mean to face defeat or
159 give up, but that's not the intended meaning.)
160
161
162 Nageru's home page is at https://nageru.sesse.net/, where you can also find
163 contact information, full documentation and link to the latest version.
164
165
166 Legalese: TL;DR: Everything is GPLv3-or-newer compatible, and see
167 Intel's copyright license at quicksync_encoder.h.
168
169
170 Nageru is Copyright (C) 2015 Steinar H. Gunderson <steinar+nageru@gunderson.no>.
171 Portions Copyright (C) 2003 Rune Holm.
172 Portions Copyright (C) 2010-2015 Fons Adriaensen <fons@linuxaudio.org>.
173 Portions Copyright (C) 2012-2015 Fons Adriaensen <fons@linuxaudio.org>.
174 Portions Copyright (C) 2008-2015 Fons Adriaensen <fons@linuxaudio.org>.
175 Portions Copyright (c) 2007-2013 Intel Corporation. All Rights Reserved.
176
177
178 This program is free software: you can redistribute it and/or modify
179 it under the terms of the GNU General Public License as published by
180 the Free Software Foundation, either version 3 of the License, or
181 (at your option) any later version.
182
183 This program is distributed in the hope that it will be useful,
184 but WITHOUT ANY WARRANTY; without even the implied warranty of
185 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
186 GNU General Public License for more details.
187
188 You should have received a copy of the GNU General Public License
189 along with this program.  If not, see <http://www.gnu.org/licenses/>.
190
191
192 Portions of quicksync_encoder.h and quicksync_encoder.cpp:
193
194 Copyright (c) 2007-2013 Intel Corporation. All Rights Reserved.
195
196 Permission is hereby granted, free of charge, to any person obtaining a
197 copy of this software and associated documentation files (the
198 "Software"), to deal in the Software without restriction, including
199 without limitation the rights to use, copy, modify, merge, publish,
200 distribute, sub license, and/or sell copies of the Software, and to
201 permit persons to whom the Software is furnished to do so, subject to
202 the following conditions:
203
204 The above copyright notice and this permission notice (including the
205 next paragraph) shall be included in all copies or substantial portions
206 of the Software.
207
208 THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS
209 OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
210 MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NON-INFRINGEMENT.
211 IN NO EVENT SHALL PRECISION INSIGHT AND/OR ITS SUPPLIERS BE LIABLE FOR
212 ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT,
213 TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE
214 SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
215
216
217 All files in decklink/:
218
219 Copyright (c) 2009 Blackmagic Design
220 Copyright (c) 2015 Blackmagic Design
221
222 Permission is hereby granted, free of charge, to any person or organization
223 obtaining a copy of the software and accompanying documentation covered by
224 this license (the "Software") to use, reproduce, display, distribute,
225 execute, and transmit the Software, and to prepare derivative works of the
226 Software, and to permit third-parties to whom the Software is furnished to
227 do so, all subject to the following:
228
229 The copyright notices in the Software and this entire statement, including
230 the above license grant, this restriction and the following disclaimer,
231 must be included in all copies of the Software, in whole or in part, and
232 all derivative works of the Software, unless such copies or derivative
233 works are solely in the form of machine-executable object code generated by
234 a source language processor.
235
236 THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
237 IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
238 FITNESS FOR A PARTICULAR PURPOSE, TITLE AND NON-INFRINGEMENT. IN NO EVENT
239 SHALL THE COPYRIGHT HOLDERS OR ANYONE DISTRIBUTING THE SOFTWARE BE LIABLE
240 FOR ANY DAMAGES OR OTHER LIABILITY, WHETHER IN CONTRACT, TORT OR OTHERWISE,
241 ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
242 DEALINGS IN THE SOFTWARE.
243
244
245 Marked parts of theme.cpp (Lua shims):
246
247 The MIT License (MIT)
248
249 Copyright (c) 2013 Hisham Muhammad
250
251 Permission is hereby granted, free of charge, to any person obtaining a copy of
252 this software and associated documentation files (the "Software"), to deal in
253 the Software without restriction, including without limitation the rights to
254 use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of
255 the Software, and to permit persons to whom the Software is furnished to do so,
256 subject to the following conditions:
257
258 The above copyright notice and this permission notice shall be included in all
259 copies or substantial portions of the Software.
260
261 THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
262 IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS
263 FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR
264 COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER
265 IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
266 CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.