git.sesse.net Git - nageru-docs/blob - video.rst

   1 Video inputs
   2 ============
   3
   4 This section deals with video inputs from other sources than regular
   5 capture cards (which are typically known as “live inputs”, although
   6 they also carry video). The most obvious example would be a video file on disk
   7 (say, to play in a loop during pauses), but video inputs are quite
   8 flexible and can be used also for other things.
   9
  10 Before reading trying to use video inputs, you should read and understand how
  11 themes work in general (see :doc:`theme`). You can get audio from video inputs
  12 like any other input. (Be advised, though, that making a general video player
  13 that can maintain A/V sync on all kinds of video files is a hard problem,
  14 so there may still be bugs in this support.)
  15
  16 If a file contains multiple video streams, like different
  17 angles or resolutions, only the first will be used. Similarly, only the first
  18 audio stream is used, and it's always converted to 48 kHz stereo.
  19
  20
  21 Basic video inputs
  22 ------------------
  23
  24 Adding video to an existing chain happens in two phases; first, the video
  25 must be *loaded*, giving it an identifier, and then that video can be used
  26 as inputs in a chain, much like :ref:`images <images>` or regular live inputs.
  27 Anything FFmpeg accepts, including network streams, can be used (probably even
  28 V4L input cards, although this is untested). Video hardware acceleration is used
  29 if available, although the decoded data currently takes a round trip through
  30 the GPU.
  31
  32 When loading a video, you need to decide what format to use; Y'CbCr or BGRA.
  33 (Whatever you choose, if you get a mismatch with what the video actually is in,
  34 FFmpeg will convert it on the CPU with no warning.) Most video is Y'CbCr,
  35 so this should be your default unless you know the video is encoded as RGB/BGR,
  36 and/or it has an alpha channel you want to use. Getting the format right makes
  37 for better efficiency; you not only save a conversion step on the CPU, but
  38 sometimes also on the GPU.
  39
  40 Videos are loaded like this::
  41
  42   local video = VideoInput.new("filename.mp4", Nageru.VIDEO_FORMAT_YCBCR)
  43
  44 or, for a network stream, perhaps::
  45
  46   local video = VideoInput.new("http://localhost/file.nut", Nageru.VIDEO_FORMAT_BGRA)
  47
  48 It can then be display on an input like usual::
  49
  50   input:display(video)
  51
  52 Note that interlaced video is currently not supported, not even with deinterlacing.
  53
  54 Videos run in the correct frame rate and on their own timer (generally the
  55 system clock in the computer), and loop when they get to the end or whenever an
  56 error occurs. If a video is changed while you're running Nageru, it will be
  57 reloaded (just like images) when it's at its end—but be aware, unless you're
  58 moving the new file atomically into place, you could end up corrupting the file
  59 Nageru is playing from, causing it to automatically rewind before the end of
  60 the segment.
  61
  62 Videos are assigned an arbitrary signal number when loaded. Whenever you need
  63 to refer to this signal number (say, to get its width or height for display),
  64 you should use *video:get_signal_num()*. Like any other signal, videos have
  65 a width and height, an interlaced flag (currently always false), a frame rate
  66 (which can vary during playback) and has_signal/is_connected member functions.
  67 The former is always true, but the former will be false if the video isn't
  68 currently playing for whatever reason (e.g., the file is corrupted, or a network
  69 stream is broken and hasn't reconnected yet).
  70
  71
  72 Controlling video playback
  73 --------------------------
  74
  75 Themes have some programmatic control over video playback. In particular,
  76 if you want to make a video start from the beginning, you can do::
  77
  78   video:rewind()
  79
  80 which will instantly make it start from the first frame again. This can be
  81 useful if you e.g. want the video to start when you're switching to it,
  82 or if you're not really using it to loop (e.g. as a transition marker).
  83
  84 You can also change its rate, e.g. by::
  85
  86   video:change_rate(2.0)
  87
  88 This will make it play at twice its usual speed. Your rate should not be
  89 negative nor exactly zero. You can set a rate to e.g. 1e-6 if you want to
  90 in practice stop the video; once you change it back to normal speed,
  91 the next frame will resume playing. Be aware that changing the rate may
  92 make the audio behave unpredictably; there are no attempts to do time
  93 stretching or change the pitch accordingly.
  94
  95 Finally, if you want to forcibly abort the playing of a video,
  96 even one that is blocking on I/O, you can use::
  97
  98   video:disconnect()
  99
 100 This is particularly useful when dealing with network streams, as FFmpeg does not
 101 always properly detect if the connection has been lost. See :ref:`menus`
 102 for a way to expose such functionality to the operator.
 103
 104 .. _subtitle-ingest:
 105
 106 Ingesting subtitles
 107 -------------------
 108
 109 Video streams can contain separate subtitle tracks. This is particularly useful when using Nageru
 110 and Futatabi together (see :ref:`talkback`).
 111
 112 To get the last subtitle given before the current video frame, call
 113 “signals:get_last_subtitle(n)” from get_chain, where n is the signal number
 114 of your video signal. It will either contain nil, if there hasn't been
 115 a subtitle, or else the raw subtitle. Note that if the video frame and
 116 the subtitle occur on the exact same timestamp, and the video frame
 117 is muxed before the subtitle packet, the subtitle will not make it in time.
 118 (Futatabi puts the subtitle slightly ahead of the video frame to avoid this.)