git.sesse.net Git - bmusb/blob - bmusb.h

   1 #ifndef _BMUSB_H
   2 #define _BMUSB_H
   3
   4 #include <stdint.h>
   5 #include <atomic>
   6 #include <condition_variable>
   7 #include <deque>
   8 #include <functional>
   9 #include <map>
  10 #include <mutex>
  11 #include <stack>
  12 #include <string>
  13 #include <thread>
  14 #include <vector>
  15
  16 struct libusb_device_handle;
  17 struct libusb_transfer;
  18
  19 // An interface for frame allocators; if you do not specify one
  20 // (using set_video_frame_allocator), a default one that pre-allocates
  21 // a freelist of eight frames using new[] will be used. Specifying
  22 // your own can be useful if you have special demands for where you want the
  23 // frame to end up and don't want to spend the extra copy to get it there, for
  24 // instance GPU memory.
  25 class FrameAllocator {
  26  public:
  27         struct Frame {
  28                 uint8_t *data = nullptr;
  29                 uint8_t *data2 = nullptr;  // Only if interleaved == true.
  30                 size_t len = 0;  // Number of bytes we actually have.
  31                 size_t size = 0;  // Number of bytes we have room for.
  32                 size_t overflow = 0;
  33                 void *userdata = nullptr;
  34                 FrameAllocator *owner = nullptr;
  35
  36                 // If set to true, every other byte will go to data and to data2.
  37                 // If so, <len> and <size> are still about the number of total bytes
  38                 // so if size == 1024, there's 512 bytes in data and 512 in data2.
  39                 bool interleaved = false;
  40         };
  41
  42         virtual ~FrameAllocator();
  43
  44         // Request a video frame. Note that this is called from the
  45         // USB thread, which runs with realtime priority and is
  46         // very sensitive to delays. Thus, you should not do anything
  47         // here that might sleep, including calling malloc().
  48         // (Taking a mutex is borderline.)
  49         //
  50         // The Frame object will be given to the frame callback,
  51         // which is responsible for releasing the video frame back
  52         // once it is usable for new frames (ie., it will no longer
  53         // be read from). You can use the "userdata" pointer for
  54         // whatever you want to identify this frame if you need to.
  55         //
  56         // Returning a Frame with data==nullptr is allowed;
  57         // if so, the frame in progress will be dropped.
  58         virtual Frame alloc_frame() = 0;
  59
  60         virtual void release_frame(Frame frame) = 0;
  61 };
  62
  63 // Audio is more important than video, and also much cheaper.
  64 // By having many more audio frames available, hopefully if something
  65 // starts to drop, we'll have CPU load go down (from not having to
  66 // process as much video) before we have to drop audio.
  67 #define NUM_QUEUED_VIDEO_FRAMES 16
  68 #define NUM_QUEUED_AUDIO_FRAMES 64
  69
  70 class MallocFrameAllocator : public FrameAllocator {
  71 public:
  72         MallocFrameAllocator(size_t frame_size, size_t num_queued_frames);
  73         Frame alloc_frame() override;
  74         void release_frame(Frame frame) override;
  75
  76 private:
  77         size_t frame_size;
  78
  79         std::mutex freelist_mutex;
  80         std::stack<std::unique_ptr<uint8_t[]>> freelist;  // All of size <frame_size>.
  81 };
  82
  83 // Represents an input mode you can tune a card to.
  84 struct VideoMode {
  85         std::string name;
  86         bool autodetect = false;  // If true, all the remaining fields are irrelevant.
  87         unsigned width = 0, height = 0;
  88         unsigned frame_rate_num = 0, frame_rate_den = 0;
  89         bool interlaced = false;
  90 };
  91
  92 // Represents the format of an actual frame coming in.
  93 struct VideoFormat {
  94         uint16_t id = 0;  // For debugging/logging only.
  95         unsigned width = 0, height = 0, second_field_start = 0;
  96         unsigned extra_lines_top = 0, extra_lines_bottom = 0;
  97         unsigned frame_rate_nom = 0, frame_rate_den = 0;
  98         bool interlaced = false;
  99         bool has_signal = false;
 100 };
 101
 102 struct AudioFormat {
 103         uint16_t id = 0;  // For debugging/logging only.
 104         unsigned bits_per_sample = 0;
 105         unsigned num_channels = 0;
 106 };
 107
 108 typedef std::function<void(uint16_t timecode,
 109                            FrameAllocator::Frame video_frame, size_t video_offset, VideoFormat video_format,
 110                            FrameAllocator::Frame audio_frame, size_t audio_offset, AudioFormat audio_format)>
 111         frame_callback_t;
 112
 113 class CaptureInterface {
 114  public:
 115         virtual ~CaptureInterface() {}
 116
 117         virtual std::map<uint32_t, VideoMode> get_available_video_modes() const = 0;
 118         virtual uint32_t get_current_video_mode() const = 0;
 119         virtual void set_video_mode(uint32_t video_mode_id) = 0;
 120
 121         virtual std::map<uint32_t, std::string> get_available_video_inputs() const = 0;
 122         virtual void set_video_input(uint32_t video_input_id) = 0;
 123         virtual uint32_t get_current_video_input() const = 0;
 124
 125         virtual std::map<uint32_t, std::string> get_available_audio_inputs() const = 0;
 126         virtual void set_audio_input(uint32_t audio_input_id) = 0;
 127         virtual uint32_t get_current_audio_input() const = 0;
 128
 129         // Does not take ownership.
 130         virtual void set_video_frame_allocator(FrameAllocator *allocator) = 0;
 131
 132         virtual FrameAllocator *get_video_frame_allocator() = 0;
 133
 134         // Does not take ownership.
 135         virtual void set_audio_frame_allocator(FrameAllocator *allocator) = 0;
 136
 137         virtual FrameAllocator *get_audio_frame_allocator() = 0;
 138
 139         virtual void set_frame_callback(frame_callback_t callback) = 0;
 140
 141         // Needs to be run before configure_card().
 142         virtual void set_dequeue_thread_callbacks(std::function<void()> init, std::function<void()> cleanup) = 0;
 143
 144         // Only valid after configure_card().
 145         virtual std::string get_description() const = 0;
 146
 147         virtual void configure_card() = 0;
 148
 149         virtual void start_bm_capture() = 0;
 150
 151         virtual void stop_dequeue_thread() = 0;
 152 };
 153
 154 // The actual capturing class, representing capture from a single card.
 155 class BMUSBCapture : public CaptureInterface {
 156  public:
 157         BMUSBCapture(int card_index)
 158                 : card_index(card_index)
 159         {
 160         }
 161
 162         ~BMUSBCapture() {}
 163
 164         std::map<uint32_t, VideoMode> get_available_video_modes() const override;
 165         uint32_t get_current_video_mode() const override;
 166         void set_video_mode(uint32_t video_mode_id) override;
 167
 168         virtual std::map<uint32_t, std::string> get_available_video_inputs() const override;
 169         virtual void set_video_input(uint32_t video_input_id) override;
 170         virtual uint32_t get_current_video_input() const override { return current_video_input; }
 171
 172         virtual std::map<uint32_t, std::string> get_available_audio_inputs() const override;
 173         virtual void set_audio_input(uint32_t audio_input_id) override;
 174         virtual uint32_t get_current_audio_input() const override { return current_audio_input; }
 175
 176         // Does not take ownership.
 177         void set_video_frame_allocator(FrameAllocator *allocator) override
 178         {
 179                 video_frame_allocator = allocator;
 180                 if (owned_video_frame_allocator.get() != allocator) {
 181                         owned_video_frame_allocator.reset();
 182                 }
 183         }
 184
 185         FrameAllocator *get_video_frame_allocator() override
 186         {
 187                 return video_frame_allocator;
 188         }
 189
 190         // Does not take ownership.
 191         void set_audio_frame_allocator(FrameAllocator *allocator) override
 192         {
 193                 audio_frame_allocator = allocator;
 194                 if (owned_audio_frame_allocator.get() != allocator) {
 195                         owned_audio_frame_allocator.reset();
 196                 }
 197         }
 198
 199         FrameAllocator *get_audio_frame_allocator() override
 200         {
 201                 return audio_frame_allocator;
 202         }
 203
 204         void set_frame_callback(frame_callback_t callback) override
 205         {
 206                 frame_callback = callback;
 207         }
 208
 209         // Needs to be run before configure_card().
 210         void set_dequeue_thread_callbacks(std::function<void()> init, std::function<void()> cleanup) override
 211         {
 212                 dequeue_init_callback = init;
 213                 dequeue_cleanup_callback = cleanup;
 214                 has_dequeue_callbacks = true;
 215         }
 216
 217         // Only valid after configure_card().
 218         std::string get_description() const override {
 219                 return description;
 220         }
 221
 222         void configure_card() override;
 223         void start_bm_capture() override;
 224         void stop_dequeue_thread() override;
 225
 226         // TODO: It's rather messy to have these outside the interface.
 227         static void start_bm_thread();
 228         static void stop_bm_thread();
 229
 230  private:
 231         struct QueuedFrame {
 232                 uint16_t timecode;
 233                 uint16_t format;
 234                 FrameAllocator::Frame frame;
 235         };
 236
 237         void start_new_audio_block(const uint8_t *start);
 238         void start_new_frame(const uint8_t *start);
 239
 240         void queue_frame(uint16_t format, uint16_t timecode, FrameAllocator::Frame frame, std::deque<QueuedFrame> *q);
 241         void dequeue_thread_func();
 242
 243         static void usb_thread_func();
 244         static void cb_xfr(struct libusb_transfer *xfr);
 245
 246         void update_capture_mode();
 247
 248         std::string description;
 249
 250         FrameAllocator::Frame current_video_frame;
 251         FrameAllocator::Frame current_audio_frame;
 252
 253         std::mutex queue_lock;
 254         std::condition_variable queues_not_empty;
 255         std::deque<QueuedFrame> pending_video_frames;
 256         std::deque<QueuedFrame> pending_audio_frames;
 257
 258         FrameAllocator *video_frame_allocator = nullptr;
 259         FrameAllocator *audio_frame_allocator = nullptr;
 260         std::unique_ptr<FrameAllocator> owned_video_frame_allocator;
 261         std::unique_ptr<FrameAllocator> owned_audio_frame_allocator;
 262         frame_callback_t frame_callback = nullptr;
 263
 264         std::thread dequeue_thread;
 265         std::atomic<bool> dequeue_thread_should_quit;
 266         bool has_dequeue_callbacks = false;
 267         std::function<void()> dequeue_init_callback = nullptr;
 268         std::function<void()> dequeue_cleanup_callback = nullptr;
 269
 270         int current_register = 0;
 271
 272         static constexpr int NUM_BMUSB_REGISTERS = 60;
 273         uint8_t register_file[NUM_BMUSB_REGISTERS];
 274
 275         int card_index;
 276         std::vector<libusb_transfer *> iso_xfrs;
 277         int assumed_frame_width = 1280;
 278
 279         libusb_device_handle *devh = nullptr;
 280         uint32_t current_video_input = 0x00000000;  // HDMI/SDI.
 281         uint32_t current_audio_input = 0x00000000;  // Embedded.
 282 };
 283
 284 // Get details for the given video format; returns false if detection was incomplete.
 285 // Note: Frame rate is _frame_ rate, not field rate. So 1080i60 gets 30/1, _not_ 60/1.
 286 // "second_field_start" is only valid for interlaced modes; it signifies
 287 // how many lines from the very top of the frame there are before the second field
 288 // starts (so it will always be >= height/2 + extra_lines_top).
 289 bool decode_video_format(uint16_t video_format, VideoFormat *decoded_video_format);
 290
 291 #endif