git.sesse.net Git - cubemap/blob - serverpool.cpp

   1 #include <assert.h>
   2 #include <stdlib.h>
   3 #include <sys/types.h>
   4
   5 #include "client.h"
   6 #include "log.h"
   7 #include "server.h"
   8 #include "serverpool.h"
   9 #include "state.pb.h"
  10 #include "udpstream.h"
  11 #include "util.h"
  12
  13 struct sockaddr_in6;
  14
  15 using namespace std;
  16
  17 ServerPool::ServerPool(int size)
  18         : servers(new Server[size]),
  19           num_servers(size)
  20 {
  21 }
  22
  23 CubemapStateProto ServerPool::serialize()
  24 {
  25         CubemapStateProto state;
  26
  27         unordered_map<const string *, size_t> short_response_pool;
  28
  29         for (int i = 0; i < num_servers; ++i) {
  30                 CubemapStateProto local_state = servers[i].serialize(&short_response_pool);
  31
  32                 // The stream state should be identical between the servers, so we only store it once,
  33                 // save for the fds, which we keep around to distribute to the servers after re-exec.
  34                 if (i == 0) {
  35                         state.mutable_streams()->MergeFrom(local_state.streams());
  36                 } else {
  37                         assert(state.streams_size() == local_state.streams_size());
  38                         for (int j = 0; j < local_state.streams_size(); ++j) {
  39                                 assert(local_state.streams(j).data_fds_size() == 1);
  40                                 state.mutable_streams(j)->add_data_fds(local_state.streams(j).data_fds(0));
  41                         }
  42                 }
  43                 for (const ClientProto &client : local_state.clients()) {
  44                         state.add_clients()->MergeFrom(client);
  45                 }
  46                 for (const HLSZombieProto &hls_zombie : local_state.hls_zombies()) {
  47                         state.add_hls_zombies()->MergeFrom(hls_zombie);
  48                 }
  49         }
  50
  51         for (size_t i = 0; i < short_response_pool.size(); ++i) {
  52                 state.mutable_short_response_pool()->Add();
  53         }
  54         for (const auto &string_and_index : short_response_pool) {
  55                 state.mutable_short_response_pool(string_and_index.second)->set_header_or_short_response(*string_and_index.first);
  56         }
  57
  58         return state;
  59 }
  60
  61 void ServerPool::add_client(int sock, Acceptor *acceptor)
  62 {
  63         servers[clients_added++ % num_servers].add_client_deferred(sock, acceptor);
  64 }
  65
  66 void ServerPool::add_client_from_serialized(const ClientProto &client, const std::vector<std::shared_ptr<const std::string>> &short_responses)
  67 {
  68         servers[clients_added++ % num_servers].add_client_from_serialized(client, short_responses);
  69 }
  70
  71 // It's fine to abuse clients_added here, since it's only ever used for round-robin purposes.
  72 void ServerPool::add_hls_zombie_from_serialized(const HLSZombieProto &hls_zombie)
  73 {
  74         servers[clients_added++ % num_servers].add_hls_zombie_from_serialized(hls_zombie);
  75 }
  76
  77 int ServerPool::lookup_stream_by_url(const string &url) const
  78 {
  79         assert(servers != nullptr);
  80         return servers[0].lookup_stream_by_url(url);
  81 }
  82
  83 int ServerPool::add_stream(const string &url,
  84                            const string &hls_url,
  85                            size_t backlog_size,
  86                            size_t prebuffering_bytes,
  87                            Stream::Encoding encoding,
  88                            Stream::Encoding src_encoding,
  89                            unsigned hls_frag_duration,
  90                            size_t hls_backlog_margin,
  91                            const string &allow_origin)
  92 {
  93         // Adding more HTTP streams after UDP streams would cause the UDP stream
  94         // indices to move around, which is obviously not good.
  95         assert(udp_streams.empty());
  96
  97         for (int i = 0; i < num_servers; ++i) {
  98                 int stream_index = servers[i].add_stream(url, hls_url, backlog_size, prebuffering_bytes, encoding, src_encoding, hls_frag_duration, hls_backlog_margin, allow_origin);
  99                 assert(stream_index == num_http_streams);
 100         }
 101         return num_http_streams++;
 102 }
 103
 104 int ServerPool::add_stream_from_serialized(const StreamProto &stream, const vector<int> &data_fds)
 105 {
 106         // Adding more HTTP streams after UDP streams would cause the UDP stream
 107         // indices to move around, which is obviously not good.
 108         assert(udp_streams.empty());
 109
 110         assert(!data_fds.empty());
 111         string contents;
 112         for (int i = 0; i < num_servers; ++i) {
 113                 int data_fd;
 114                 if (i < int(data_fds.size())) {
 115                         // Reuse one of the existing file descriptors.
 116                         data_fd = data_fds[i];
 117                 } else {
 118                         // Clone the first one.
 119                         if (contents.empty()) {
 120                                 if (!read_tempfile(data_fds[0], &contents)) {
 121                                         exit(1);
 122                                 }
 123                         }
 124                         data_fd = make_tempfile(contents);
 125                 }
 126
 127                 int stream_index = servers[i].add_stream_from_serialized(stream, data_fd);
 128                 assert(stream_index == num_http_streams);
 129         }
 130
 131         // Close and delete any leftovers, if the number of servers was reduced.
 132         for (size_t i = num_servers; i < data_fds.size(); ++i) {
 133                 safe_close(data_fds[i]);  // Implicitly deletes the file.
 134         }
 135
 136         return num_http_streams++;
 137 }
 138
 139 int ServerPool::add_udpstream(const sockaddr_in6 &dst, int pacing_rate, int ttl, int multicast_iface_index)
 140 {
 141         udp_streams.emplace_back(new UDPStream(dst, pacing_rate, ttl, multicast_iface_index));
 142         return num_http_streams + udp_streams.size() - 1;
 143 }
 144
 145 void ServerPool::set_header(int stream_index, const string &http_header, const string &stream_header)
 146 {
 147         assert(stream_index >= 0 && stream_index < ssize_t(num_http_streams + udp_streams.size()));
 148
 149         if (stream_index >= num_http_streams) {
 150                 // UDP stream. TODO: Log which stream this is.
 151                 if (!stream_header.empty()) {
 152                         log(WARNING, "Trying to send stream format with headers to a UDP destination. This is unlikely to work well.");
 153                 }
 154
 155                 // Ignore the HTTP header.
 156                 return;
 157         }
 158
 159         // HTTP stream.
 160         for (int i = 0; i < num_servers; ++i) {
 161                 servers[i].set_header(stream_index, http_header, stream_header);
 162         }
 163 }
 164
 165 void ServerPool::add_data(int stream_index, const char *data, size_t bytes, uint16_t metacube_flags, const RationalPTS &pts)
 166 {
 167         assert(stream_index >= 0 && stream_index < ssize_t(num_http_streams + udp_streams.size()));
 168
 169         if (stream_index >= num_http_streams) {
 170                 // UDP stream.
 171                 udp_streams[stream_index - num_http_streams]->send(data, bytes);
 172                 return;
 173         }
 174
 175         // HTTP stream.
 176         for (int i = 0; i < num_servers; ++i) {
 177                 servers[i].add_data_deferred(stream_index, data, bytes, metacube_flags, pts);
 178         }
 179 }
 180
 181 void ServerPool::set_unavailable(int stream_index)
 182 {
 183         assert(stream_index >= 0 && stream_index < ssize_t(num_http_streams));
 184
 185         for (int i = 0; i < num_servers; ++i) {
 186                 servers[i].set_unavailable(stream_index);
 187         }
 188 }
 189
 190 void ServerPool::add_gen204(const std::string &url, const std::string &allow_origin)
 191 {
 192         for (int i = 0; i < num_servers; ++i) {
 193                 servers[i].add_gen204(url, allow_origin);
 194         }
 195 }
 196
 197 void ServerPool::create_tls_context_for_acceptor(const Acceptor *acceptor)
 198 {
 199         for (int i = 0; i < num_servers; ++i) {
 200                 servers[i].create_tls_context_for_acceptor(acceptor);
 201         }
 202 }
 203
 204 void ServerPool::run()
 205 {
 206         for (int i = 0; i < num_servers; ++i) {
 207                 servers[i].run();
 208         }
 209 }
 210
 211 void ServerPool::stop()
 212 {
 213         for (int i = 0; i < num_servers; ++i) {
 214                 servers[i].stop();
 215         }
 216 }
 217
 218 vector<ClientStats> ServerPool::get_client_stats() const
 219 {
 220         vector<ClientStats> ret;
 221         for (int i = 0; i < num_servers; ++i) {
 222                 vector<ClientStats> stats = servers[i].get_client_stats();
 223                 ret.insert(ret.end(), stats.begin(), stats.end());
 224         }
 225         return ret;
 226 }
 227
 228 vector<HLSZombie> ServerPool::get_hls_zombies() const
 229 {
 230         vector<HLSZombie> ret;
 231         for (int i = 0; i < num_servers; ++i) {
 232                 vector<HLSZombie> stats = servers[i].get_hls_zombies();
 233                 ret.insert(ret.end(), stats.begin(), stats.end());
 234         }
 235         return ret;
 236 }
 237
 238 void ServerPool::set_pacing_rate(int stream_index, uint32_t pacing_rate)
 239 {
 240         for (int i = 0; i < num_servers; ++i) {
 241                 servers[i].set_pacing_rate(stream_index, pacing_rate);
 242         }
 243 }
 244
 245 void ServerPool::set_backlog_size(int stream_index, size_t new_size)
 246 {
 247         for (int i = 0; i < num_servers; ++i) {
 248                 servers[i].set_backlog_size(stream_index, new_size);
 249         }
 250 }
 251
 252 void ServerPool::set_prebuffering_bytes(int stream_index, size_t new_amount)
 253 {
 254         for (int i = 0; i < num_servers; ++i) {
 255                 servers[i].set_prebuffering_bytes(stream_index, new_amount);
 256         }
 257 }
 258
 259 void ServerPool::set_encoding(int stream_index, Stream::Encoding encoding)
 260 {
 261         for (int i = 0; i < num_servers; ++i) {
 262                 servers[i].set_encoding(stream_index, encoding);
 263         }
 264 }
 265
 266 void ServerPool::set_src_encoding(int stream_index, Stream::Encoding encoding)
 267 {
 268         for (int i = 0; i < num_servers; ++i) {
 269                 servers[i].set_src_encoding(stream_index, encoding);
 270         }
 271 }
 272
 273 void ServerPool::set_hls_frag_duration(int stream_index, unsigned hls_frag_duration)
 274 {
 275         for (int i = 0; i < num_servers; ++i) {
 276                 servers[i].set_hls_frag_duration(stream_index, hls_frag_duration);
 277         }
 278 }
 279
 280 void ServerPool::set_hls_backlog_margin(int stream_index, size_t hls_backlog_margin)
 281 {
 282         for (int i = 0; i < num_servers; ++i) {
 283                 servers[i].set_hls_backlog_margin(stream_index, hls_backlog_margin);
 284         }
 285 }
 286
 287 void ServerPool::set_allow_origin(int stream_index, const std::string &allow_origin)
 288 {
 289         for (int i = 0; i < num_servers; ++i) {
 290                 servers[i].set_allow_origin(stream_index, allow_origin);
 291         }
 292 }
 293
 294 void ServerPool::register_hls_url(int stream_index, const string &hls_url)
 295 {
 296         for (int i = 0; i < num_servers; ++i) {
 297                 servers[i].register_hls_url(stream_index, hls_url);
 298         }
 299 }