f5182aac1512e9b8307ac57d16ada0b639260257
[cubemap] / config.cpp
1 #include <arpa/inet.h>
2 #include <assert.h>
3 #include <ctype.h>
4 #include <stdint.h>
5 #include <stdio.h>
6 #include <stdlib.h>
7 #include <string.h>
8 #include <sys/socket.h>
9 #include <map>
10 #include <string>
11 #include <utility>
12 #include <vector>
13
14 #include "config.h"
15 #include "log.h"
16 #include "parse.h"
17
18 using namespace std;
19
20 #define DEFAULT_BACKLOG_SIZE 1048576
21
22 struct ConfigLine {
23         string keyword;
24         vector<string> arguments;
25         map<string, string> parameters;
26 };
27
28 bool read_config(const string &filename, vector<ConfigLine> *lines)
29 {
30         FILE *fp = fopen(filename.c_str(), "r");
31         if (fp == NULL) {
32                 log_perror(filename.c_str());
33                 return false;
34         }
35
36         char buf[4096];
37         while (!feof(fp)) {
38                 if (fgets(buf, sizeof(buf), fp) == NULL) {
39                         break;
40                 }
41
42                 // Chop off the string at the first #, \r or \n.
43                 buf[strcspn(buf, "#\r\n")] = 0;
44
45                 // Remove all whitespace from the end of the string.
46                 size_t len = strlen(buf);
47                 while (len > 0 && isspace(buf[len - 1])) {
48                         buf[--len] = 0;
49                 }
50
51                 // If the line is now all blank, ignore it.
52                 if (len == 0) {
53                         continue;
54                 }
55
56                 vector<string> tokens = split_tokens(buf);
57                 assert(!tokens.empty());
58                 
59                 ConfigLine line;
60                 line.keyword = tokens[0];
61
62                 for (size_t i = 1; i < tokens.size(); ++i) {
63                         // foo=bar is a parameter; anything else is an argument.
64                         size_t equals_pos = tokens[i].find_first_of('=');
65                         if (equals_pos == string::npos) {
66                                 line.arguments.push_back(tokens[i]);
67                         } else {
68                                 string key = tokens[i].substr(0, equals_pos);
69                                 string value = tokens[i].substr(equals_pos + 1, string::npos);
70                                 line.parameters.insert(make_pair(key, value));
71                         }
72                 }
73
74                 lines->push_back(line);
75         }
76
77         fclose(fp);
78         return true;
79 }
80
81 bool fetch_config_string(const vector<ConfigLine> &config, const string &keyword, string *value)
82 {
83         for (unsigned i = 0; i < config.size(); ++i) {
84                 if (config[i].keyword != keyword) {
85                         continue;
86                 }
87                 if (config[i].parameters.size() > 0 ||
88                     config[i].arguments.size() != 1) {
89                         log(ERROR, "'%s' takes one argument and no parameters", keyword.c_str());
90                         return false;
91                 }
92                 *value = config[i].arguments[0];
93                 return true;
94         }
95         return false;
96 }
97
98 bool fetch_config_int(const vector<ConfigLine> &config, const string &keyword, int *value)
99 {
100         for (unsigned i = 0; i < config.size(); ++i) {
101                 if (config[i].keyword != keyword) {
102                         continue;
103                 }
104                 if (config[i].parameters.size() > 0 ||
105                     config[i].arguments.size() != 1) {
106                         log(ERROR, "'%s' takes one argument and no parameters", keyword.c_str());
107                         return false;
108                 }
109                 *value = atoi(config[i].arguments[0].c_str());  // TODO: verify int validity.
110                 return true;
111         }
112         return false;
113 }
114
115 bool parse_port(const ConfigLine &line, Config *config)
116 {
117         if (line.arguments.size() != 1) {
118                 log(ERROR, "'port' takes exactly one argument");
119                 return false;
120         }
121
122         AcceptorConfig acceptor;
123         acceptor.port = atoi(line.arguments[0].c_str());
124         if (acceptor.port < 1 || acceptor.port >= 65536) {
125                 log(ERROR, "port %d is out of range (must be [1,65536>).", acceptor.port);
126                 return false;
127         }
128
129         config->acceptors.push_back(acceptor);
130         return true;
131 }
132
133 int allocate_mark_pool(int from, int to, Config *config)
134 {
135         int pool_index = -1;    
136
137         // Reuse mark pools if an identical one exists.
138         // Otherwise, check if we're overlapping some other mark pool.
139         for (size_t i = 0; i < config->mark_pools.size(); ++i) {
140                 const MarkPoolConfig &pool = config->mark_pools[i];
141                 if (from == pool.from && to == pool.to) {
142                         pool_index = i;
143                 } else if ((from >= pool.from && from < pool.to) ||
144                            (to >= pool.from && to < pool.to)) {
145                         log(WARNING, "Mark pool %d-%d partially overlaps with %d-%d, you may get duplicate marks."
146                                      "Mark pools must either be completely disjunct, or completely overlapping.",
147                                      from, to, pool.from, pool.to);
148                 }
149         }
150
151         if (pool_index != -1) {
152                 return pool_index;
153         }
154
155         // No match to existing pools.
156         MarkPoolConfig pool;
157         pool.from = from;
158         pool.to = to;
159         config->mark_pools.push_back(pool);
160
161         return config->mark_pools.size() - 1;
162 }
163
164 bool parse_mark_pool(const string &mark_str, int *from, int *to)
165 {
166         size_t split = mark_str.find_first_of('-');
167         if (split == string::npos) {
168                 log(ERROR, "Invalid mark specification '%s' (expected 'X-Y').",
169                         mark_str.c_str());
170                 return false;
171         }
172
173         string from_str(mark_str.begin(), mark_str.begin() + split);
174         string to_str(mark_str.begin() + split + 1, mark_str.end());
175         *from = atoi(from_str.c_str());
176         *to = atoi(to_str.c_str());
177
178         if (*from <= 0 || *from >= 65536 || *to <= 0 || *to >= 65536) {
179                 log(ERROR, "Mark pool range %d-%d is outside legal range [1,65536>.",
180                         *from, *to);
181                 return false;
182         }
183
184         return true;
185 }
186
187 bool parse_stream(const ConfigLine &line, Config *config)
188 {
189         if (line.arguments.size() != 1) {
190                 log(ERROR, "'stream' takes exactly one argument");
191                 return false;
192         }
193
194         StreamConfig stream;
195         stream.url = line.arguments[0];
196
197         map<string, string>::const_iterator src_it = line.parameters.find("src");
198         if (src_it == line.parameters.end()) {
199                 log(WARNING, "stream '%s' has no src= attribute, clients will not get any data.",
200                         stream.url.c_str());
201         } else {
202                 stream.src = src_it->second;
203                 // TODO: Verify that the URL is parseable?
204         }
205
206         map<string, string>::const_iterator backlog_it = line.parameters.find("backlog_size");
207         if (backlog_it == line.parameters.end()) {
208                 stream.backlog_size = DEFAULT_BACKLOG_SIZE;
209         } else {
210                 stream.backlog_size = atoi(backlog_it->second.c_str());
211         }
212
213         // Parse encoding.
214         map<string, string>::const_iterator encoding_parm_it = line.parameters.find("encoding");
215         if (encoding_parm_it == line.parameters.end() ||
216             encoding_parm_it->second == "raw") {
217                 stream.encoding = StreamConfig::STREAM_ENCODING_RAW;
218         } else if (encoding_parm_it->second == "metacube") {
219                 stream.encoding = StreamConfig::STREAM_ENCODING_METACUBE;
220         } else {
221                 log(ERROR, "Parameter 'encoding' must be either 'raw' (default) or 'metacube'");
222                 return false;
223         }
224
225         // Parse marks, if so desired.
226         map<string, string>::const_iterator mark_parm_it = line.parameters.find("mark");
227         if (mark_parm_it == line.parameters.end()) {
228                 stream.mark_pool = -1;
229         } else {
230                 int from, to;
231                 if (!parse_mark_pool(mark_parm_it->second, &from, &to)) {
232                         return false;
233                 }
234                 stream.mark_pool = allocate_mark_pool(from, to, config);
235         }
236
237         // Parse the pacing rate, converting from kilobits to bytes as needed.
238         map<string, string>::const_iterator pacing_rate_it = line.parameters.find("pacing_rate_kbit");
239         if (pacing_rate_it == line.parameters.end()) {
240                 stream.pacing_rate = ~0U;
241         } else {
242                 stream.pacing_rate = atoi(pacing_rate_it->second.c_str()) * 1024 / 8;
243         }
244
245         config->streams.push_back(stream);
246         return true;
247 }
248
249 bool parse_udpstream(const ConfigLine &line, Config *config)
250 {
251         if (line.arguments.size() != 1) {
252                 log(ERROR, "'udpstream' takes exactly one argument");
253                 return false;
254         }
255
256         UDPStreamConfig udpstream;
257
258         string hostport = line.arguments[0];
259
260         // See if the argument if on the type [ipv6addr]:port.
261         if (!hostport.empty() && hostport[0] == '[') {
262                 size_t split = hostport.find("]:");
263                 if (split == string::npos) {
264                         log(ERROR, "udpstream destination '%s' is malformed; must be either [ipv6addr]:port or ipv4addr:port");
265                         return false;
266                 }
267
268                 string host(hostport.begin() + 1, hostport.begin() + split);
269                 string port = hostport.substr(split + 2);
270
271                 udpstream.dst.sin6_family = AF_INET6;
272                 if (inet_pton(AF_INET6, host.c_str(), &udpstream.dst.sin6_addr) != 1) {
273                         log(ERROR, "udpstream destination host '%s' is not a valid IPv6 address");
274                         return false;
275                 }
276
277                 udpstream.dst.sin6_port = htons(atoi(port.c_str()));  // TODO: Verify validity.
278         } else {
279                 // OK, then it must be ipv4addr:port.
280                 size_t split = hostport.find(":");
281                 if (split == string::npos) {
282                         log(ERROR, "udpstream destination '%s' is malformed; must be either [ipv6addr]:port or ipv4addr:port");
283                         return false;
284                 }
285
286                 string host(hostport.begin(), hostport.begin() + split);
287                 string port = hostport.substr(split + 1);
288
289                 // Parse to an IPv4 address, then construct a mapped-v4 address from that.
290                 in_addr addr4;
291
292                 if (inet_pton(AF_INET, host.c_str(), &addr4) != 1) {
293                         log(ERROR, "udpstream destination host '%s' is not a valid IPv4 address");
294                         return false;
295                 }
296
297                 udpstream.dst.sin6_family = AF_INET6;
298                 udpstream.dst.sin6_addr.s6_addr32[0] = 0;
299                 udpstream.dst.sin6_addr.s6_addr32[1] = 0;
300                 udpstream.dst.sin6_addr.s6_addr32[2] = htonl(0xffff);
301                 udpstream.dst.sin6_addr.s6_addr32[3] = addr4.s_addr;
302                 udpstream.dst.sin6_port = htons(atoi(port.c_str()));  // TODO: Verify validity.
303         }
304
305         map<string, string>::const_iterator src_it = line.parameters.find("src");
306         if (src_it == line.parameters.end()) {
307                 // This is pretty meaningless, but OK, consistency is good.
308                 log(WARNING, "udpstream to %s has no src= attribute, clients will not get any data.",
309                         hostport.c_str());
310         } else {
311                 udpstream.src = src_it->second;
312                 // TODO: Verify that the URL is parseable?
313         }
314
315         // Parse marks, if so desired.
316         map<string, string>::const_iterator mark_parm_it = line.parameters.find("mark");
317         if (mark_parm_it == line.parameters.end()) {
318                 udpstream.mark_pool = -1;
319         } else {
320                 int from, to;
321                 if (!parse_mark_pool(mark_parm_it->second, &from, &to)) {
322                         return false;
323                 }
324                 udpstream.mark_pool = allocate_mark_pool(from, to, config);
325         }
326
327         // Parse the pacing rate, converting from kilobits to bytes as needed.
328         map<string, string>::const_iterator pacing_rate_it = line.parameters.find("pacing_rate_kbit");
329         if (pacing_rate_it == line.parameters.end()) {
330                 udpstream.pacing_rate = ~0U;
331         } else {
332                 udpstream.pacing_rate = atoi(pacing_rate_it->second.c_str()) * 1024 / 8;
333         }
334
335         config->udpstreams.push_back(udpstream);
336         return true;
337 }
338
339 bool parse_error_log(const ConfigLine &line, Config *config)
340 {
341         if (line.arguments.size() != 0) {
342                 log(ERROR, "'error_log' takes no arguments (only parameters type= and filename=)");
343                 return false;
344         }
345
346         LogConfig log_config;
347         map<string, string>::const_iterator type_it = line.parameters.find("type");
348         if (type_it == line.parameters.end()) {
349                 log(ERROR, "'error_log' has no type= parameter");
350                 return false; 
351         }
352
353         string type = type_it->second;
354         if (type == "file") {
355                 log_config.type = LogConfig::LOG_TYPE_FILE;
356         } else if (type == "syslog") {
357                 log_config.type = LogConfig::LOG_TYPE_SYSLOG;
358         } else if (type == "console") {
359                 log_config.type = LogConfig::LOG_TYPE_CONSOLE;
360         } else {
361                 log(ERROR, "Unknown log type '%s'", type.c_str());
362                 return false; 
363         }
364
365         if (log_config.type == LogConfig::LOG_TYPE_FILE) {
366                 map<string, string>::const_iterator filename_it = line.parameters.find("filename");
367                 if (filename_it == line.parameters.end()) {
368                         log(ERROR, "error_log type 'file' with no filename= parameter");
369                         return false; 
370                 }
371                 log_config.filename = filename_it->second;
372         }
373
374         config->log_destinations.push_back(log_config);
375         return true;
376 }
377
378 bool parse_config(const string &filename, Config *config)
379 {
380         vector<ConfigLine> lines;
381         if (!read_config(filename, &lines)) {
382                 return false;
383         }
384
385         config->daemonize = false;
386
387         if (!fetch_config_int(lines, "num_servers", &config->num_servers)) {
388                 log(ERROR, "Missing 'num_servers' statement in config file.");
389                 return false;
390         }
391         if (config->num_servers < 1 || config->num_servers >= 20000) {  // Insanely high max limit.
392                 log(ERROR, "'num_servers' is %d, needs to be in [1, 20000>.", config->num_servers);
393                 return false;
394         }
395
396         // See if the user wants stats.
397         config->stats_interval = 60;
398         bool has_stats_file = fetch_config_string(lines, "stats_file", &config->stats_file);
399         bool has_stats_interval = fetch_config_int(lines, "stats_interval", &config->stats_interval);
400         if (has_stats_interval && !has_stats_file) {
401                 log(WARNING, "'stats_interval' given, but no 'stats_file'. No client statistics will be written.");
402         }
403
404         config->input_stats_interval = 60;
405         bool has_input_stats_file = fetch_config_string(lines, "input_stats_file", &config->input_stats_file);
406         bool has_input_stats_interval = fetch_config_int(lines, "input_stats_interval", &config->input_stats_interval);
407         if (has_input_stats_interval && !has_input_stats_file) {
408                 log(WARNING, "'input_stats_interval' given, but no 'input_stats_file'. No input statistics will be written.");
409         }
410         
411         fetch_config_string(lines, "access_log", &config->access_log_file);
412
413         for (size_t i = 0; i < lines.size(); ++i) {
414                 const ConfigLine &line = lines[i];
415                 if (line.keyword == "num_servers" ||
416                     line.keyword == "stats_file" ||
417                     line.keyword == "stats_interval" ||
418                     line.keyword == "input_stats_file" ||
419                     line.keyword == "input_stats_interval" ||
420                     line.keyword == "access_log") {
421                         // Already taken care of, above.
422                 } else if (line.keyword == "port") {
423                         if (!parse_port(line, config)) {
424                                 return false;
425                         }
426                 } else if (line.keyword == "stream") {
427                         if (!parse_stream(line, config)) {
428                                 return false;
429                         }
430                 } else if (line.keyword == "udpstream") {
431                         if (!parse_udpstream(line, config)) {
432                                 return false;
433                         }
434                 } else if (line.keyword == "error_log") {
435                         if (!parse_error_log(line, config)) {
436                                 return false;
437                         }
438                 } else if (line.keyword == "daemonize") {
439                         config->daemonize = true;
440                 } else {
441                         log(ERROR, "Unknown configuration keyword '%s'.",
442                                 line.keyword.c_str());
443                         return false;
444                 }
445         }
446
447         return true;
448 }