Use C++11 std::mutex and std::lock_guard instead of our RAII wrapper.
[cubemap] / server.h
1 #ifndef _SERVER_H
2 #define _SERVER_H 1
3
4 #include <stddef.h>
5 #include <stdint.h>
6 #include <sys/epoll.h>
7 #include <sys/types.h>
8 #include <time.h>
9 #include <map>
10 #include <memory>
11 #include <mutex>
12 #include <queue>
13 #include <string>
14 #include <vector>
15
16 #include "tlse.h"
17
18 #include "client.h"
19 #include "stream.h"
20 #include "thread.h"
21
22 class Acceptor;
23 class ClientProto;
24 struct Stream;
25
26 #define EPOLL_MAX_EVENTS 8192
27 #define EPOLL_TIMEOUT_MS 20
28 #define MAX_CLIENT_REQUEST 16384
29 #define REQUEST_READ_TIMEOUT_SEC 60
30
31 class CubemapStateProto;
32 class StreamProto;
33
34 class Server : public Thread {
35 public:
36         Server();
37         ~Server();
38
39         // Get the list of all currently connected clients.     
40         std::vector<ClientStats> get_client_stats() const;
41
42         // Set header (both HTTP header and any stream headers) for the given stream.
43         void set_header(int stream_index,
44                         const std::string &http_header,
45                         const std::string &stream_header);
46
47         // Set that the given stream should use the given max pacing rate from now on.
48         // NOTE: This should be set before any clients are connected!
49         void set_pacing_rate(int stream_index, uint32_t pacing_rate);
50
51         // These will be deferred until the next time an iteration in do_work() happens,
52         // and the order between them are undefined.
53         // XXX: header should ideally be ordered with respect to data.
54         void add_client_deferred(int sock, Acceptor *acceptor);
55         void add_data_deferred(int stream_index, const char *data, size_t bytes, uint16_t metacube_flags);
56
57         // These should not be called while running, since that would violate
58         // threading assumptions (ie., that epoll is only called from one thread
59         // at the same time).
60         CubemapStateProto serialize();
61         void add_client_from_serialized(const ClientProto &client);
62         int add_stream(const std::string &url, size_t bytes_received, size_t prebuffering_bytes, Stream::Encoding encoding, Stream::Encoding src_encoding);
63         int add_stream_from_serialized(const StreamProto &stream, int data_fd);
64         int lookup_stream_by_url(const std::string &url) const;
65         void set_backlog_size(int stream_index, size_t new_size);
66         void set_prebuffering_bytes(int stream_index, size_t new_amount);
67         void set_encoding(int stream_index, Stream::Encoding encoding);
68         void set_src_encoding(int stream_index, Stream::Encoding encoding);
69         void add_gen204(const std::string &url, const std::string &allow_origin);
70         void create_tls_context_for_acceptor(const Acceptor *acceptor);
71
72 private:
73         // Mutex protecting queued_add_clients.
74         // Note that if you want to hold both this and <mu> below,
75         // you will need to take <mu> before this one.
76         mutable std::mutex queued_clients_mutex;
77
78         // Deferred commands that should be run from the do_work() thread as soon as possible.
79         // We defer these for two reasons:
80         //
81         //  - We only want to fiddle with epoll from one thread at any given time,
82         //    and doing add_client() from the acceptor thread would violate that.
83         //  - We don't want the input thread(s) hanging on <mu> when doing
84         //    add_data(), since they want to do add_data() rather often, and <mu>
85         //    can be taken a lot of the time.
86         //      
87         // Protected by <queued_clients_mutex>.
88         std::vector<std::pair<int, Acceptor *>> queued_add_clients;
89
90         // All variables below this line are protected by the mutex.
91         mutable std::mutex mu;
92
93         // All streams.
94         std::vector<std::unique_ptr<Stream>> streams;
95
96         // Map from URL to index into <streams>.
97         std::map<std::string, int> stream_url_map;
98
99         // Map from URL to CORS Allow-Origin header (or empty string).
100         std::map<std::string, std::string> ping_url_map;
101
102         // Map from file descriptor to client.
103         std::map<int, Client> clients;
104
105         // A list of all clients, ordered by the time they connected (first element),
106         // and their file descriptor (second element). It is ordered by connection time
107         // (and thus also by read timeout time) so that we can read clients from the
108         // start and stop processing once we get to one that isn't ready to be
109         // timed out yet (which means we only have to look at each client exactly once,
110         // save for the first element of the queue, which is always checked).
111         //
112         // Note that when we delete a client, we don't update this queue.
113         // This means that when reading it, we need to check if the client it
114         // describes is still exists (ie., that the fd still exists, and that
115         // the timespec matches).
116         std::queue<std::pair<timespec, int>> clients_ordered_by_connect_time;
117
118         // Used for epoll implementation (obviously).
119         int epoll_fd;
120         epoll_event events[EPOLL_MAX_EVENTS];
121
122         // For each TLS-enabled acceptor, our private server context for its key pair.
123         std::map<const Acceptor *, TLSContext *> tls_server_contexts;
124
125         // The actual worker thread.
126         virtual void do_work();
127
128         // Process a client; read and write data as far as we can.
129         // After this call, one of these four is true:
130         //
131         //  1. The socket is closed, and the client deleted.
132         //  2. We are still waiting for more data from the client.
133         //  3. We've sent all the data we have to the client,
134         //     and put it in <sleeping_clients>.
135         //  4. The socket buffer is full (which means we still have
136         //     data outstanding).
137         //
138         // For #2, we listen for EPOLLIN events. For #3 and #4, we listen
139         // for EPOLLOUT in edge-triggered mode; it will never fire for #3,
140         // but it's cheaper than taking it in and out all the time.
141         void process_client(Client *client);
142
143         // If the TLS library wants to write anything to this client,
144         // output it. Returns true if the processing should go to sleep
145         // (an error, or lack of outgoing buffer space).
146         bool send_pending_tls_data(Client *client);
147
148         // Reads regular data fro ma socket. Returns -1 if the processing
149         // should go to sleep (an error, or no data available yet), otherwise
150         // the number of bytes read.
151         int read_nontls_data(Client *client, char *buf, size_t max_size);
152
153         // Reads (decrypted) data from a TLS socket. Returns -1 if the processing
154         // should go to sleep (an error, or no data available yet), otherwise
155         // the number of bytes read. The buffer will be used as scratch space
156         // for TLS data, so it can be overwritten by more bytes than what is returned.
157         int read_tls_data(Client *client, char *buf, size_t max_size);
158
159         // Close a given client socket, and clean up after it.
160         void close_client(Client *client);
161
162         // Listen for a different set of epoll events.
163         void change_epoll_events(Client *client, uint32_t events);
164
165         // Parse the HTTP request. Returns a HTTP status code (200/204/400/404).
166         int parse_request(Client *client);
167
168         // Construct the HTTP header, and set the client into
169         // the SENDING_HEADER state.
170         void construct_header(Client *client);
171
172         // Construct a generic error with the given line, and set the client into
173         // the SENDING_SHORT_RESPONSE state.
174         void construct_error(Client *client, int error_code);
175
176         // Construct a 204, and set the client into the SENDING_SHORT_RESPONSE state.
177         void construct_204(Client *client);
178
179         void process_queued_data();
180         void skip_lost_data(Client *client);
181
182         void add_client(int sock, Acceptor *acceptor);
183 };
184
185 #endif  // !defined(_SERVER_H)