Release Cubemap 1.4.3.
[cubemap] / serverpool.cpp
1 #include <assert.h>
2 #include <stdlib.h>
3 #include <sys/types.h>
4
5 #include "client.h"
6 #include "log.h"
7 #include "server.h"
8 #include "serverpool.h"
9 #include "state.pb.h"
10 #include "udpstream.h"
11 #include "util.h"
12
13 struct sockaddr_in6;
14
15 using namespace std;
16
17 ServerPool::ServerPool(int size)
18         : servers(new Server[size]),
19           num_servers(size)
20 {
21 }
22
23 CubemapStateProto ServerPool::serialize()
24 {
25         CubemapStateProto state;
26
27         unordered_map<const string *, size_t> short_response_pool;
28
29         for (int i = 0; i < num_servers; ++i) {
30                 CubemapStateProto local_state = servers[i].serialize(&short_response_pool);
31
32                 // The stream state should be identical between the servers, so we only store it once,
33                 // save for the fds, which we keep around to distribute to the servers after re-exec.
34                 if (i == 0) {
35                         state.mutable_streams()->MergeFrom(local_state.streams());
36                 } else {
37                         assert(state.streams_size() == local_state.streams_size());
38                         for (int j = 0; j < local_state.streams_size(); ++j) {
39                                 assert(local_state.streams(j).data_fds_size() == 1);
40                                 state.mutable_streams(j)->add_data_fds(local_state.streams(j).data_fds(0));
41                         }
42                 }
43                 for (const ClientProto &client : local_state.clients()) {
44                         state.add_clients()->MergeFrom(client);
45                 }
46                 for (const HLSZombieProto &hls_zombie : local_state.hls_zombies()) {
47                         state.add_hls_zombies()->MergeFrom(hls_zombie);
48                 }
49         }
50
51         for (size_t i = 0; i < short_response_pool.size(); ++i) {
52                 state.mutable_short_response_pool()->Add();
53         }
54         for (const auto &string_and_index : short_response_pool) {
55                 state.mutable_short_response_pool(string_and_index.second)->set_header_or_short_response(*string_and_index.first);
56         }
57
58         return state;
59 }
60
61 void ServerPool::add_client(int sock, Acceptor *acceptor)
62 {
63         servers[clients_added++ % num_servers].add_client_deferred(sock, acceptor);
64 }
65
66 void ServerPool::add_client_from_serialized(const ClientProto &client, const std::vector<std::shared_ptr<const std::string>> &short_responses)
67 {
68         servers[clients_added++ % num_servers].add_client_from_serialized(client, short_responses);
69 }
70
71 // It's fine to abuse clients_added here, since it's only ever used for round-robin purposes.
72 void ServerPool::add_hls_zombie_from_serialized(const HLSZombieProto &hls_zombie)
73 {
74         servers[clients_added++ % num_servers].add_hls_zombie_from_serialized(hls_zombie);
75 }
76
77 int ServerPool::lookup_stream_by_url(const string &url) const
78 {
79         assert(servers != nullptr);
80         return servers[0].lookup_stream_by_url(url);
81 }
82
83 int ServerPool::add_stream(const string &url,
84                            const string &hls_url,
85                            size_t backlog_size,
86                            size_t prebuffering_bytes,
87                            Stream::Encoding encoding,
88                            Stream::Encoding src_encoding,
89                            unsigned hls_frag_duration,
90                            size_t hls_backlog_margin,
91                            const string &allow_origin)
92 {
93         // Adding more HTTP streams after UDP streams would cause the UDP stream
94         // indices to move around, which is obviously not good.
95         assert(udp_streams.empty());
96
97         for (int i = 0; i < num_servers; ++i) {
98                 int stream_index = servers[i].add_stream(url, hls_url, backlog_size, prebuffering_bytes, encoding, src_encoding, hls_frag_duration, hls_backlog_margin, allow_origin);
99                 assert(stream_index == num_http_streams);
100         }
101         return num_http_streams++;
102 }
103
104 int ServerPool::add_stream_from_serialized(const StreamProto &stream, const vector<int> &data_fds)
105 {
106         // Adding more HTTP streams after UDP streams would cause the UDP stream
107         // indices to move around, which is obviously not good.
108         assert(udp_streams.empty());
109
110         assert(!data_fds.empty());
111         string contents;
112         for (int i = 0; i < num_servers; ++i) {
113                 int data_fd;
114                 if (i < int(data_fds.size())) {
115                         // Reuse one of the existing file descriptors.
116                         data_fd = data_fds[i];
117                 } else {
118                         // Clone the first one.
119                         if (contents.empty()) {
120                                 if (!read_tempfile(data_fds[0], &contents)) {
121                                         exit(1);
122                                 }
123                         }
124                         data_fd = make_tempfile(contents);
125                 }
126
127                 int stream_index = servers[i].add_stream_from_serialized(stream, data_fd);
128                 assert(stream_index == num_http_streams);
129         }
130
131         // Close and delete any leftovers, if the number of servers was reduced.
132         for (size_t i = num_servers; i < data_fds.size(); ++i) {
133                 safe_close(data_fds[i]);  // Implicitly deletes the file.
134         }
135
136         return num_http_streams++;
137 }
138         
139 int ServerPool::add_udpstream(const sockaddr_in6 &dst, int pacing_rate, int ttl, int multicast_iface_index)
140 {
141         udp_streams.emplace_back(new UDPStream(dst, pacing_rate, ttl, multicast_iface_index));
142         return num_http_streams + udp_streams.size() - 1;
143 }
144
145 void ServerPool::set_header(int stream_index, const string &http_header, const string &stream_header)
146 {
147         assert(stream_index >= 0 && stream_index < ssize_t(num_http_streams + udp_streams.size()));
148
149         if (stream_index >= num_http_streams) {
150                 // UDP stream. TODO: Log which stream this is.
151                 if (!stream_header.empty()) {
152                         log(WARNING, "Trying to send stream format with headers to a UDP destination. This is unlikely to work well.");
153                 }
154
155                 // Ignore the HTTP header.
156                 return;
157         }
158
159         // HTTP stream.
160         for (int i = 0; i < num_servers; ++i) {
161                 servers[i].set_header(stream_index, http_header, stream_header);
162         }
163 }
164
165 void ServerPool::add_data(int stream_index, const char *data, size_t bytes, uint16_t metacube_flags, const RationalPTS &pts)
166 {
167         assert(stream_index >= 0 && stream_index < ssize_t(num_http_streams + udp_streams.size()));
168
169         if (stream_index >= num_http_streams) {
170                 // UDP stream.
171                 udp_streams[stream_index - num_http_streams]->send(data, bytes);
172                 return;
173         }
174
175         // HTTP stream.
176         for (int i = 0; i < num_servers; ++i) {
177                 servers[i].add_data_deferred(stream_index, data, bytes, metacube_flags, pts);
178         }
179 }
180
181 void ServerPool::set_unavailable(int stream_index)
182 {
183         assert(stream_index >= 0 && stream_index < ssize_t(num_http_streams));
184
185         for (int i = 0; i < num_servers; ++i) {
186                 servers[i].set_unavailable(stream_index);
187         }
188 }
189
190 void ServerPool::add_gen204(const std::string &url, const std::string &allow_origin)
191 {
192         for (int i = 0; i < num_servers; ++i) {
193                 servers[i].add_gen204(url, allow_origin);
194         }
195 }
196
197 void ServerPool::create_tls_context_for_acceptor(const Acceptor *acceptor)
198 {
199         for (int i = 0; i < num_servers; ++i) {
200                 servers[i].create_tls_context_for_acceptor(acceptor);
201         }
202 }
203
204 void ServerPool::run()
205 {
206         for (int i = 0; i < num_servers; ++i) {
207                 servers[i].run();
208         }
209 }
210         
211 void ServerPool::stop()
212 {
213         for (int i = 0; i < num_servers; ++i) {
214                 servers[i].stop();
215         }
216 }
217         
218 vector<ClientStats> ServerPool::get_client_stats() const
219 {
220         vector<ClientStats> ret;
221         for (int i = 0; i < num_servers; ++i) {
222                 vector<ClientStats> stats = servers[i].get_client_stats();
223                 ret.insert(ret.end(), stats.begin(), stats.end());
224         }
225         return ret;
226 }
227
228 vector<HLSZombie> ServerPool::get_hls_zombies() const
229 {
230         vector<HLSZombie> ret;
231         for (int i = 0; i < num_servers; ++i) {
232                 vector<HLSZombie> stats = servers[i].get_hls_zombies();
233                 ret.insert(ret.end(), stats.begin(), stats.end());
234         }
235         return ret;
236 }
237
238 void ServerPool::set_pacing_rate(int stream_index, uint32_t pacing_rate)
239 {
240         for (int i = 0; i < num_servers; ++i) {
241                 servers[i].set_pacing_rate(stream_index, pacing_rate);
242         }       
243 }
244
245 void ServerPool::set_backlog_size(int stream_index, size_t new_size)
246 {
247         for (int i = 0; i < num_servers; ++i) {
248                 servers[i].set_backlog_size(stream_index, new_size);
249         }       
250 }
251
252 void ServerPool::set_prebuffering_bytes(int stream_index, size_t new_amount)
253 {
254         for (int i = 0; i < num_servers; ++i) {
255                 servers[i].set_prebuffering_bytes(stream_index, new_amount);
256         }
257 }
258
259 void ServerPool::set_encoding(int stream_index, Stream::Encoding encoding)
260 {
261         for (int i = 0; i < num_servers; ++i) {
262                 servers[i].set_encoding(stream_index, encoding);
263         }       
264 }
265
266 void ServerPool::set_src_encoding(int stream_index, Stream::Encoding encoding)
267 {
268         for (int i = 0; i < num_servers; ++i) {
269                 servers[i].set_src_encoding(stream_index, encoding);
270         }
271 }
272
273 void ServerPool::set_hls_frag_duration(int stream_index, unsigned hls_frag_duration)
274 {
275         for (int i = 0; i < num_servers; ++i) {
276                 servers[i].set_hls_frag_duration(stream_index, hls_frag_duration);
277         }
278 }
279
280 void ServerPool::set_hls_backlog_margin(int stream_index, size_t hls_backlog_margin)
281 {
282         for (int i = 0; i < num_servers; ++i) {
283                 servers[i].set_hls_backlog_margin(stream_index, hls_backlog_margin);
284         }
285 }
286
287 void ServerPool::set_allow_origin(int stream_index, const std::string &allow_origin)
288 {
289         for (int i = 0; i < num_servers; ++i) {
290                 servers[i].set_allow_origin(stream_index, allow_origin);
291         }
292 }
293
294 void ServerPool::register_hls_url(int stream_index, const string &hls_url)
295 {
296         for (int i = 0; i < num_servers; ++i) {
297                 servers[i].register_hls_url(stream_index, hls_url);
298         }
299 }