b55825d5599b79426b17d0645e799d282e06cff3
[nageru] / README
1 Nageru is a live video mixer, based around the standard M/E workflow.
2 Futatabi is a multicamera slow motion video server.
3
4
5 Nageru features:
6
7  - High performance on modest hardware (720p60 with two input streams
8    on my Thinkpad X240[1]); almost all pixel processing is done on the GPU.
9
10  - High output quality; Lanczos3 scaling, subpixel precision everywhere,
11    white balance adjustment, mix of 16- and 32-bit floating point
12    for intermediate calculations, dithered output, optional 10-bit input
13    and output support.
14
15  - Proper sound support: Syncing of multiple unrelated sources through
16    high-quality resampling, multichannel mixing with separate effects
17    per-bus, cue out for headphones, dynamic range compression,
18    three-band graphical EQ (pluss a fixed low-cut), level meters conforming
19    to EBU R128, automation via MIDI controllers.
20
21  - Theme engine encapsulating the design demands of each individual
22    event; Lua code is responsible for setting up the pixel processing
23    pipelines, running transitions etc., so that the visual look is
24    consistent between operators.
25
26  - HTML rendering (through Chromium Embedded Framework), for high-quality
27    and flexible overlay or other graphics.
28
29  - Comprehensive monitoring through Prometheus metrics.
30
31 [1] For reference, that is: Core i7 4600U (dualcore 2.10GHz, clocks down
32 to 800 MHz after 30 seconds due to thermal constraints), Intel HD Graphics
33 4400 (ie., without the extra L4 cache from Iris Pro), single-channel DDR3 RAM
34 (so 12.8 GB/sec theoretical memory bandwidth, shared between CPU and GPU).
35
36
37 Nageru currently needs:
38
39  - An Intel processor with Intel Quick Sync, or otherwise some hardware
40    H.264 encoder exposed through VA-API. Note that you can use VA-API over
41    DRM instead of X11, to use a non-Intel GPU for rendering but still use
42    Quick Sync (Nageru does this automatically for you if needed).
43
44  - Two or more Blackmagic USB3 or PCI cards, either HDMI or SDI.
45    The PCI cards need Blackmagic's own drivers installed. The USB3 cards
46    are driven through the “bmusb” driver, using libusb-1.0. If you want
47    zerocopy USB, you need libusb 1.0.21 or newer, as well as a recent
48    kernel (4.6.0 or newer). Zerocopy USB helps not only for performance,
49    but also for stability. You need at least version 0.7.4.
50
51  - Movit, my GPU-based video filter library (https://movit.sesse.net).
52    You will need at least version 1.5.2.
53
54  - Qt 5.5 or newer for the GUI.
55
56  - QCustomPlot for the histogram display in the frame analyzer.
57
58  - libmicrohttpd for the embedded web server.
59
60  - x264 for encoding high-quality video suitable for streaming to end users.
61
62  - FFmpeg for muxing, and for encoding audio. You will need at least
63    version 4.0.
64
65  - Working OpenGL; Movit works with almost any modern OpenGL implementation.
66    Nageru has been tested with Intel on Mesa (you want 11.2 or newer, due
67    to critical stability bugfixes), and with NVIDIA's proprietary drivers.
68    The status of AMD's proprietary drivers is currently unknown.
69
70  - libzita-resampler, for resampling sound sources so that they are in sync
71    between sources, and also for oversampling for the peak meter.
72
73  - LuaJIT, for driving the theme engine. You will need at least version 2.1.
74
75  - libjpeg, for encoding MJPEG streams when VA-API JPEG support is not
76    available.
77
78  - Zita-resampler, for adjusting audio to be in sync with video.
79
80  - Protocol Buffers (protobuf), for storing various forms of settings and
81    state.
82
83  - Meson, for building.
84
85  - Optional: CEF (Chromium Embedded Framework), for HTML graphics.
86    If you build without CEF, the HTMLInput class will not be available from
87    the theme. You can get binary downloads of CEF from
88
89      http://opensource.spotify.com/cefbuilds/index.html
90
91    Simply download the right build for your platform (the “minimal” build
92    is fine) and add -Dcef_dir=<path>/cef_binary_X.XXXX.XXXX.XXXXXXXX_linux64
93    on the meson command line (substituting X with the real version as required).
94
95  - Optional: libsrt, for SRT inputs (by default, Nageru will listen on
96    port 9710, although you can change this port on the command line,
97    turn it off with --srt-port -1, or turn it off live in the UI).
98    If you build with libsrt, make sure it is not linked to OpenSSL,
99    for license reasons.
100
101
102 Futatabi also needs:
103
104  - A fast GPU with OpenGL 4.5 support (GTX 1080 or similar recommended for
105    best quality at HD resolutions, although 950 should work).
106
107  - SQLite, for storing state.
108
109
110 If on Debian buster or something similar, you can install everything you need
111 with:
112
113   apt install qtbase5-dev libqt5opengl5-dev qt5-default libqcustomplot-dev \
114     pkg-config libmicrohttpd-dev libusb-1.0-0-dev libluajit-5.1-dev \
115     libzita-resampler-dev libva-dev libavcodec-dev libavformat-dev \
116     libswscale-dev libavresample-dev libmovit-dev libegl1-mesa-dev \
117     libasound2-dev libx264-dev libbmusb-dev protobuf-compiler \
118     libprotobuf-dev libsqlite3-dev meson libjpeg-dev
119
120 Exceptions as of June 2020:
121
122   - Debian does not carry CEF (but it is optional). You can get experimental
123     (and not security-supported) CEF Debian packages built for unstable at
124     http://storage.sesse.net/cef/, and then configure Nageru with
125
126      meson obj -Dcef_dir=/usr/lib/x86_64-linux-gnu/cef -Dcef_build_type=system -Dcef_no_icudtl=true
127
128   - You will need bmusb from testing or unstable; buster only has 0.7.3.
129     Or, if you're using a git checkout, you can use a submodule:
130
131       git submodule init
132       git submodule update
133       meson obj -Dembedded_bmusb=true
134
135   - Debian's libsrt is built against OpenSSL, which makes it unsuitable
136     license-wise.
137
138
139 The patches/ directory contains a patch that helps zita-resampler performance.
140 It is meant for upstream, but was not in at the time Nageru was released.
141 It is taken to be by Steinar H. Gunderson <sesse@google.com> (ie., my ex-work
142 email), and under the same license as zita-resampler itself.
143
144 Nageru and Futatabi use Meson to build. For a default build (building both),
145 type
146
147   meson obj && cd obj && ninja
148
149 To start Nageru, just hook up your equipment, and then type “./nageru”.
150 For Futatabi documentation, please see https://nageru.sesse.net/doc/.
151
152 It is strongly recommended to have the rights to run at real-time priority;
153 it will make the USB3 threads do so, which will make them a lot more stable.
154 (A reasonable hack for testing is probably just to run it as root using sudo,
155 although you might not want to do that in production.) Note also that if you
156 are running a desktop compositor, it will steal significant amounts of GPU
157 performance. The same goes for PulseAudio.
158
159 Nageru will open a HTTP server at port 9095, where you can extract a live
160 H264+PCM signal in nut mux (e.g. http://127.0.0.1:9095/stream.nut).
161 It is probably too high bitrate (~25 Mbit/sec depending on content) to send to
162 users, but you can easily send it around in your internal network and then
163 transcode it in e.g. VLC. A copy of the stream (separately muxed) will also
164 be saved live to local disk.
165
166 If you have a fast CPU (typically a quadcore desktop; most laptops will spend
167 most of their CPU on running Nageru itself), you can use x264 for the outgoing
168 stream instead of Quick Sync; it is much better quality for the same bitrate,
169 and also has proper bitrate controls. Simply add --http-x264-video on the
170 command line. (You may also need to add something like "--x264-preset veryfast",
171 since the default "medium" preset might be too CPU-intensive, but YMMV.)
172 The stream saved to disk will still be the Quick Sync-encoded stream, as it is
173 typically higher bitrate and thus also higher quality. Note that if you add
174 ".metacube" at the end of the URL (e.g. "http://127.0.0.1:9095/stream.ts.metacube"),
175 you will get a stream suitable for streaming through the Cubemap video reflector
176 (cubemap.sesse.net). A typical example would be:
177
178   ./nageru --http-x264-video --x264-preset veryfast --x264-tune film \
179       --http-mux mp4 --http-audio-codec libfdk_aac --http-audio-bitrate 128
180
181 If you are comfortable with using all your remaining CPU power on the machine
182 for x264, try --x264-speedcontrol, which will try to adjust the preset
183 dynamically for maximum quality, at the expense of somewhat higher delay.
184
185 See --help for more information on options in general.
186
187 The name “Nageru” is a play on the Japanese verb 投げる (nageru), which means
188 to throw or cast. (I also later learned that it could mean to face defeat or
189 give up, but that's not the intended meaning.)
190
191 The name “Futatabi” comes from the Japanese adverb 再び (futatabi), which means
192 “again” or “for the second time”.
193
194
195 Nageru's home page is at https://nageru.sesse.net/, where you can also find
196 contact information, full documentation and link to the latest version.
197
198
199 Legalese: TL;DR: Everything is GPLv3-or-newer compatible, and see
200 Intel's copyright license at quicksync_encoder.h.
201
202
203 Nageru is Copyright (C) 2015 Steinar H. Gunderson <steinar+nageru@gunderson.no>.
204 Portions Copyright (C) 2003 Rune Holm.
205 Portions Copyright (C) 2010-2015 Fons Adriaensen <fons@linuxaudio.org>.
206 Portions Copyright (C) 2012-2015 Fons Adriaensen <fons@linuxaudio.org>.
207 Portions Copyright (C) 2008-2015 Fons Adriaensen <fons@linuxaudio.org>.
208 Portions Copyright (c) 2007-2013 Intel Corporation. All Rights Reserved.
209 Portions Copyright (C) 2019 Yngve Molnes.
210
211
212 This program is free software: you can redistribute it and/or modify
213 it under the terms of the GNU General Public License as published by
214 the Free Software Foundation, either version 3 of the License, or
215 (at your option) any later version.
216
217 This program is distributed in the hope that it will be useful,
218 but WITHOUT ANY WARRANTY; without even the implied warranty of
219 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
220 GNU General Public License for more details.
221
222 You should have received a copy of the GNU General Public License
223 along with this program.  If not, see <http://www.gnu.org/licenses/>.
224
225
226 Portions of quicksync_encoder.h and quicksync_encoder.cpp:
227
228 Copyright (c) 2007-2013 Intel Corporation. All Rights Reserved.
229
230 Permission is hereby granted, free of charge, to any person obtaining a
231 copy of this software and associated documentation files (the
232 "Software"), to deal in the Software without restriction, including
233 without limitation the rights to use, copy, modify, merge, publish,
234 distribute, sub license, and/or sell copies of the Software, and to
235 permit persons to whom the Software is furnished to do so, subject to
236 the following conditions:
237
238 The above copyright notice and this permission notice (including the
239 next paragraph) shall be included in all copies or substantial portions
240 of the Software.
241
242 THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS
243 OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
244 MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NON-INFRINGEMENT.
245 IN NO EVENT SHALL PRECISION INSIGHT AND/OR ITS SUPPLIERS BE LIABLE FOR
246 ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT,
247 TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE
248 SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
249
250
251 All files in decklink/:
252
253 Copyright (c) 2009 Blackmagic Design
254 Copyright (c) 2015 Blackmagic Design
255
256 Permission is hereby granted, free of charge, to any person or organization
257 obtaining a copy of the software and accompanying documentation covered by
258 this license (the "Software") to use, reproduce, display, distribute,
259 execute, and transmit the Software, and to prepare derivative works of the
260 Software, and to permit third-parties to whom the Software is furnished to
261 do so, all subject to the following:
262
263 The copyright notices in the Software and this entire statement, including
264 the above license grant, this restriction and the following disclaimer,
265 must be included in all copies of the Software, in whole or in part, and
266 all derivative works of the Software, unless such copies or derivative
267 works are solely in the form of machine-executable object code generated by
268 a source language processor.
269
270 THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
271 IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
272 FITNESS FOR A PARTICULAR PURPOSE, TITLE AND NON-INFRINGEMENT. IN NO EVENT
273 SHALL THE COPYRIGHT HOLDERS OR ANYONE DISTRIBUTING THE SOFTWARE BE LIABLE
274 FOR ANY DAMAGES OR OTHER LIABILITY, WHETHER IN CONTRACT, TORT OR OTHERWISE,
275 ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
276 DEALINGS IN THE SOFTWARE.