a5c8a72ffc0ae7726a1413d3f071cb06666bf6d3
[cubemap] / serverpool.cpp
1 #include <assert.h>
2 #include <stdlib.h>
3 #include <sys/types.h>
4
5 #include "client.h"
6 #include "log.h"
7 #include "server.h"
8 #include "serverpool.h"
9 #include "state.pb.h"
10 #include "udpstream.h"
11 #include "util.h"
12
13 struct sockaddr_in6;
14
15 using namespace std;
16
17 ServerPool::ServerPool(int size)
18         : servers(new Server[size]),
19           num_servers(size)
20 {
21 }
22
23 CubemapStateProto ServerPool::serialize()
24 {
25         CubemapStateProto state;
26
27         for (int i = 0; i < num_servers; ++i) {
28                 CubemapStateProto local_state = servers[i].serialize();
29
30                 // The stream state should be identical between the servers, so we only store it once,
31                 // save for the fds, which we keep around to distribute to the servers after re-exec.
32                 if (i == 0) {
33                         state.mutable_streams()->MergeFrom(local_state.streams());
34                 } else {
35                         assert(state.streams_size() == local_state.streams_size());
36                         for (int j = 0; j < local_state.streams_size(); ++j) {
37                                 assert(local_state.streams(j).data_fds_size() == 1);
38                                 state.mutable_streams(j)->add_data_fds(local_state.streams(j).data_fds(0));
39                         }
40                 }
41                 for (const ClientProto &client : local_state.clients()) {
42                         state.add_clients()->MergeFrom(client);
43                 }
44         }
45
46         return state;
47 }
48
49 void ServerPool::add_client(int sock, Acceptor *acceptor)
50 {
51         servers[clients_added++ % num_servers].add_client_deferred(sock, acceptor);
52 }
53
54 void ServerPool::add_client_from_serialized(const ClientProto &client)
55 {
56         servers[clients_added++ % num_servers].add_client_from_serialized(client);
57 }
58
59 int ServerPool::lookup_stream_by_url(const string &url) const
60 {
61         assert(servers != nullptr);
62         return servers[0].lookup_stream_by_url(url);
63 }
64
65 int ServerPool::add_stream(const string &url, size_t backlog_size, size_t prebuffering_bytes, Stream::Encoding encoding, Stream::Encoding src_encoding)
66 {
67         // Adding more HTTP streams after UDP streams would cause the UDP stream
68         // indices to move around, which is obviously not good.
69         assert(udp_streams.empty());
70
71         for (int i = 0; i < num_servers; ++i) {
72                 int stream_index = servers[i].add_stream(url, backlog_size, prebuffering_bytes, encoding, src_encoding);
73                 assert(stream_index == num_http_streams);
74         }
75         return num_http_streams++;
76 }
77
78 int ServerPool::add_stream_from_serialized(const StreamProto &stream, const vector<int> &data_fds)
79 {
80         // Adding more HTTP streams after UDP streams would cause the UDP stream
81         // indices to move around, which is obviously not good.
82         assert(udp_streams.empty());
83
84         assert(!data_fds.empty());
85         string contents;
86         for (int i = 0; i < num_servers; ++i) {
87                 int data_fd;
88                 if (i < int(data_fds.size())) {
89                         // Reuse one of the existing file descriptors.
90                         data_fd = data_fds[i];
91                 } else {
92                         // Clone the first one.
93                         if (contents.empty()) {
94                                 if (!read_tempfile(data_fds[0], &contents)) {
95                                         exit(1);
96                                 }
97                         }
98                         data_fd = make_tempfile(contents);
99                 }
100
101                 int stream_index = servers[i].add_stream_from_serialized(stream, data_fd);
102                 assert(stream_index == num_http_streams);
103         }
104
105         // Close and delete any leftovers, if the number of servers was reduced.
106         for (size_t i = num_servers; i < data_fds.size(); ++i) {
107                 safe_close(data_fds[i]);  // Implicitly deletes the file.
108         }
109
110         return num_http_streams++;
111 }
112         
113 int ServerPool::add_udpstream(const sockaddr_in6 &dst, int pacing_rate, int ttl, int multicast_iface_index)
114 {
115         udp_streams.emplace_back(new UDPStream(dst, pacing_rate, ttl, multicast_iface_index));
116         return num_http_streams + udp_streams.size() - 1;
117 }
118
119 void ServerPool::set_header(int stream_index, const string &http_header, const string &stream_header)
120 {
121         assert(stream_index >= 0 && stream_index < ssize_t(num_http_streams + udp_streams.size()));
122
123         if (stream_index >= num_http_streams) {
124                 // UDP stream. TODO: Log which stream this is.
125                 if (!stream_header.empty()) {
126                         log(WARNING, "Trying to send stream format with headers to a UDP destination. This is unlikely to work well.");
127                 }
128
129                 // Ignore the HTTP header.
130                 return;
131         }
132
133         // HTTP stream.
134         for (int i = 0; i < num_servers; ++i) {
135                 servers[i].set_header(stream_index, http_header, stream_header);
136         }
137 }
138
139 void ServerPool::add_data(int stream_index, const char *data, size_t bytes, uint16_t metacube_flags)
140 {
141         assert(stream_index >= 0 && stream_index < ssize_t(num_http_streams + udp_streams.size()));
142
143         if (stream_index >= num_http_streams) {
144                 // UDP stream.
145                 udp_streams[stream_index - num_http_streams]->send(data, bytes);
146                 return;
147         }
148
149         // HTTP stream.
150         for (int i = 0; i < num_servers; ++i) {
151                 servers[i].add_data_deferred(stream_index, data, bytes, metacube_flags);
152         }
153 }
154
155 void ServerPool::add_gen204(const std::string &url, const std::string &allow_origin)
156 {
157         for (int i = 0; i < num_servers; ++i) {
158                 servers[i].add_gen204(url, allow_origin);
159         }
160 }
161
162 void ServerPool::create_tls_context_for_acceptor(const Acceptor *acceptor)
163 {
164         for (int i = 0; i < num_servers; ++i) {
165                 servers[i].create_tls_context_for_acceptor(acceptor);
166         }
167 }
168
169 void ServerPool::run()
170 {
171         for (int i = 0; i < num_servers; ++i) {
172                 servers[i].run();
173         }
174 }
175         
176 void ServerPool::stop()
177 {
178         for (int i = 0; i < num_servers; ++i) {
179                 servers[i].stop();
180         }
181 }
182         
183 vector<ClientStats> ServerPool::get_client_stats() const
184 {
185         vector<ClientStats> ret;
186         for (int i = 0; i < num_servers; ++i) {
187                 vector<ClientStats> stats = servers[i].get_client_stats();
188                 ret.insert(ret.end(), stats.begin(), stats.end());
189         }
190         return ret;
191 }
192         
193 void ServerPool::set_pacing_rate(int stream_index, uint32_t pacing_rate)
194 {
195         for (int i = 0; i < num_servers; ++i) {
196                 servers[i].set_pacing_rate(stream_index, pacing_rate);
197         }       
198 }
199
200 void ServerPool::set_backlog_size(int stream_index, size_t new_size)
201 {
202         for (int i = 0; i < num_servers; ++i) {
203                 servers[i].set_backlog_size(stream_index, new_size);
204         }       
205 }
206
207 void ServerPool::set_prebuffering_bytes(int stream_index, size_t new_amount)
208 {
209         for (int i = 0; i < num_servers; ++i) {
210                 servers[i].set_prebuffering_bytes(stream_index, new_amount);
211         }
212 }
213
214 void ServerPool::set_encoding(int stream_index, Stream::Encoding encoding)
215 {
216         for (int i = 0; i < num_servers; ++i) {
217                 servers[i].set_encoding(stream_index, encoding);
218         }       
219 }
220
221 void ServerPool::set_src_encoding(int stream_index, Stream::Encoding encoding)
222 {
223         for (int i = 0; i < num_servers; ++i) {
224                 servers[i].set_src_encoding(stream_index, encoding);
225         }
226 }