Small error message fix.

Run include-what-you-use.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Add support for UDP outputs.

Fix a Valgrind hit that could cause an undefined set of signals to be blocked.

Minor cleanup.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Fix a (harmless) close() warning that would come if we deleted a HTTP input that was not connected.

Run include-what-you-use.

Refer to streams internally mostly by an index, not the stream_id.

Inputs no longer know about stream_id, only the stream_index.
This is faster (we used maybe 5% of our time in find_stream),
and will make it easier to add non-HTTP outputs in the future.

Within (HTTP) clients, stream_id also no longer exists, but is replaced
by "url", which really works exactly the same way. url is mostly used during
re-exec, however, so it's less important than it used to be.

Fix merge snafu in last commit. (Oops.)

Small optimization to Metacube output.

Move iovecs around instead of having single data buffers. Hopefully a tad more efficient, although it does mean somewhat more malloc-ing.

Add Metacube headers in add_data_deferred(), not add_data().

This fixes a problem where Metacube blocks are not deterministically added
for each add_data() call (because they would only be added for each call to
process_queued_data()), causing the different servers to go out of sync.

Also moved most of this logic to Stream, where it seems more appropriate
(even though the mutexes are a bit odd now).

When unwrapping in set_backlog_size, do not add a spurious Metacube header.

Revert "Fix a bug where Metacube streams would become inconsistent between different servers, since the first one did not get the right encoding set."

Doesn't actually fix the issue.

This reverts commit 5605c88a27fcf64ea8f6fd6cbb52dada73856ee0.

Fix a bug where Metacube streams would become inconsistent between different servers, since the first one did not get the right encoding set.

Reinstate the new signal handling; revert the revert.

The fix for high CPU usage was not doing wakeup() all the time for
new data; not only can seemingly sending the signal be expensive,
but we sent it while still holding the mutex the awakening thread
needed, so it was extra-bad.

We're seemingly down to a reasonable amount of CPU usage again now,
but still with good non-racing semantics.

Revert "Rewrite the entire internal signal handling/wakeup."

Seemingly this had very bad effects on CPU usage. Will need to
investigate later.

This reverts commit 3fd8650ccf3da3960a946d8ac9abc305aec399ce.

Fix broken linking.

Compile and link with -pthread, not -lpthread.

Rewrite the entire internal signal handling/wakeup.

We now solve things in a much less racy way, sending SIGUSR1 internally,
which is blocked except in poll/epoll. This should be more stable,
require no more fixed-length wakeups (no more wakeup every 20 ms in
each server), and upset Valgrind less.

However, it's also complex to get right, so it might introduce new bugs.

Remove unneeded default Client constructor.

Fix 100% CPU usage when there is no access_log.

Do not crash on re-exec if we do not have an access log.

Fix some issues with the last stats.cpp fix.

Fix more missing log_perror() calls.

There's nothing we can do about them, but it's good to report.

Found by Coverity Scan.

Add a missing log_perror() on close() failure (cosmetic issue).

Found by Coverity Scan.

Set umask security before calling mkstemp().

Found by Coverity Scan.

If make_tempfile() returns -1 in set_backlog_size, exit properly.

Found by Coverity Scan.

New run of include-what-you-use.

Set Connection: close in outgoing HTTP headers.

When logging losses, log loss percentage, too.

Show IPv4 clients by their IPv4 address instead of with a v4-mapped address.

Send backlog file descriptors around instead of going through the protobuf. Much faster restart with big backlog sizes, and does not hit the 64MB protobuf limit.

Fix an issue where new UDP streams would be without HTTP headers.

Do not bother making a METACUBE_FLAGS_HEADER block if it is empty.

When closing unused inputs, remember to take down their sockets.

Support Metacube _output_. Required splitting HTTP headers from stream headers, which was a good thing anyway, but a bit painful in upgrades.

Deduplicate inputs.

Do not segfault on unknown options.

Fix a leak in the stats thread.

Fix another minor leak.

Stop leaking the mark pools.

Fix a memory leak in Server (streams were leaked).

Fix a small memory leak in HTTPInput.

Fix a Valgrind hit.

Fix a Valgrind hit.

Log all finished accesses to an access log.

Less confusing error message when realpath() fails.

Clearer warnings in the cubemap.config.sample file about daemonizing and paths.

Run --config-test with the canonicalized paths.

Support daemonizing.

Canonicalize paths, so that we do not need to worry about cwd on re-exec.

Shut down cleanly on SIGINT (Ctrl-C), for easier Valgrind runs.

Drop NO_LEVEL; it does not look very pretty now.

Log when we have a successful HTTPInput request.

Identify UDPInput error messages by the stream, too.

Identify HTTPInput error messages by the stream.

Make things line up a bit better.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Correct use of strerror_r(); we always need to use the return value.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Store socket and fwmark in the stats file.

Log IP address instead of file descriptor.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Replace all perror() calls with our own log calls.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Document the new logging options in the example config.

Implement much better logging, with support for both files and syslog.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Fix a signed/unsigned warning.

Store the client pointer directly in the epoll structure, instead of doing a map lookup every time. Saves some CPU.

Small microoptimization in do_work().

We now have benchmark results.

Ignore SIGPIPE, so we do not die when a client shuts down at the wrong time.

Make read_tempfile() much faster, and make it close the file also on error.

Do not start the servers until all the deserialized clients have been put back. Fixes an assert failure on load, and makes for faster loads.

Signal thread stop through a pipe; fixes issues where the statistics thread would wait one round on shutdown.

Remove an include IWYU should not have added.

Move SIGHUP handling as soon as possible, so that repeated SIGHUPing is less likely to kill us.

Log bytes sent and lost better.

Fix a crash on re-exec if a client was not in SENDING_DATA.

Rename bytes_sent to stream_pos, because that is what it really is.

Make more usable documentation.

Merge branch 'master' of ssh://git.sesse.net/srv/git.sesse.net/www/cubemap

When HTTPInput disconnects, also clear the header.

Another include-what-you-use pass.

Make backlog_size changeable across HUPs.

Move Server:add_data() into Stream, where it more logically belongs.

Run include-what-you-use.

Fix incorrect struct/class in forward declares (found by Clang).

Move Client and Stream into their own files.

Support configurable BACKLOG_SIZE (per-stream). No support for changing across restarts yet.

Fix a socket leak in HTTPInput.

Fix a spurious warning.

Send data using sendfile() instead of write(). Seems to be something like 30% lower CPU usage.

Fix a bug introduced with the move of read_tempfile() to util.cpp.

Move the “read the whole file” logic into a new file.

Even more missing unistd.h includes.