Makefile: Implement sysconfdir and localstatedir.

It is a bit odd to use $(PREFIX) for some, but not all directories. Make
this a useable middle ground akin autoconf, which allows to pass in
different paths for /var (--localstatedir) and /etc (--sysconfdir).

Update version number to 1.0.1-pre.

Use the new-in-3.11 O_TMPFILE flag when available.

Also, we don't need to mess around with umask in the fallback case,
since 0600 is default for mkstemp() anyway.

Reduce contention of queued_data_mutex.

Seemingly holding queued_data_mutex over add_data_raw(), which does writev(),
could be slow on systems where /tmp is not on tmpfs, causing the queued_data_mutex
to be held for so long (up to a second has been observed) that the input thread
couldn't keep up.

To fix this, we move queued_data_mutex into a per-stream variable (not sure
if it's ideal, but it was the simplest way to avoid ugliness), and then hold it
for as short as possible in process_queued_data().

While we're at it, document that queued_data_last_starting_point has the same
locking rules as queued_data.

Release Cubemap 1.0.0.

Include a Munin plugin that was missing in the archive.

Fix an issue where rewind-to-HTTP-header would not properly work.

Re-run include-what-you-use.

Munin plugins should be symlinked, not created directly in /etc.

Make the install target install the Munin plugins.

Tweak the MutexLock implementation slightly, so as to confuse Coverity less.

Compute the checksum on outgoing Metacube packets as well.

Use memcpy instead of incurring potential unaligned reads when reading the Metacube header.

This would probably be a portability problem for many other platforms than x86.

Switch to a new version of the Metacube protocol.

Compared to the old version, this fixes many small deficiencies:

 - The header is smaller; 16 instead of 24 bytes. With TS, Metacube actually
   yields noticeable overhead (13% or so), so reducing it by 1/3 is good.
 - The sync no longer overlaps with itself; both starting and ending with
   the same sounds bad if we should ever drop bytes in the middle.
   In fact, it no longer has any repeated characters.
 - The header is checksummed, to avoid cases where a corrupted header
   could cause us to pull in gigabytes of data. (The data is not.)

vlc-metacube.diff has been updated, although it includes another patch
(part of the WebM patch set) since that's what my VLC works from at the moment.

Make the HTTP inputs time out after 30 seconds of no activity.

This is useful for the case where the remote machine is gone,
but TCP doesn't pick it up, and thus you can't easily restart
the streaming.

Correct my e-mail address in the man page (cubemap is not written by my Debian hat).

Add a manual page for cubemap.

Store the stream header in the inputs, not just the streams.

This avoids an issue where a stream would get no stream header
when it reused an existing input.

When adding new streams that are copies of old streams, copy the HTTP header.

This was already fixed for UDP inputs, but not HTTP inputs. Also, we probably
do not do the right thing here for the stream header.

Make an option to properly delete streams.

Do not crash on invalid src= URLs.

Default PREFIX should be /usr/local, not /usr.

Makefile: accept LDFLAGS for linking

Fix the vertical label of the cubemap_input Munin plugin.

Provide an install target in the Makefile.

Based on a patch from Philipp Kern.

Added some Munin plugins.

Store and log connection time for inputs.

Two minor cleanups in the stats code.

Add preliminary support for input stream statistics.

Fix broken umask (we had the bits inverted).

Make the Metacube block size warning a bit less aggressive, as WebM seems to generate blocks of up to 70-80 kB sometimes.

Support the new METACUBE_FLAGS_NOT_SUITABLE_FOR_STREAM_START Metacube flag.

This is created by new versions of the VLC Metacube patches;
it is designed for the needs of WebM, where browsers refuse to accept a
stream that does not start with a keyframe. Thus, we can have blocks that
are completely valid (and we wouldn't want to start joining blocks, as the
GOPs can become very large), but that we do not want to start a stream with.

For this, we introduce a new state called WAITING_FOR_KEYFRAME that all
new clients (except those fetching from the start of the backlog) go through;
they stay there until the next keyframe-marked block (anything that's not
marked METACUBE_FLAGS_NOT_SUITABLE_FOR_STREAM_START, so old Metacube streams
are still valid) comes along, at which point they go into the regular
SENDING_DATA.

The new version of the VLC Metacube patch is not included yet.

When warning about unusually long Metacube blocks, use decimal instead of hex.

When reading the HTTP input, skip the \r\n\r\n. Fixes the problem of 4 non-Metacube bytes being skipped.

Warn on large Metacube blocks.

Add an assert, to hopefully catch a bug.

Set num_servers to 1 in the sample config, as that is the more typical situation.

(Hopefully) fix an assert failure in httpinput.cpp.

If we get the Metacube sync marker but not the right of the header,
we can set has_metacube_header, and then return. If the connection
drops right there, the flag won't be correctly reset, and if the
next connection starts with something that's not a Metacube block,
we will try to read junk data as Metacube.

Thankfully, the assert caught this case.

Fix a possible corruption/crash when name lookups fail, due to incorrect error checking of the getaddrinfo() result.

Fix a possible infinite loop in HTTPInput.

Fix a potential double-free.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Unbreak access logging.

We forgot to wake up the logger thread. 

Add a hack for starting at the _start_ of backlog. Useful for fetching samples of streams crashing VLC after-the-back.

Never send more than IOV_MAX (1024) iovecs in pwritev.

This fixes issues with “pwritev: Invalid argument” showing up
under rare circumstances. Apparently the glibc wrapper workaround
described in writev(2) does not work, or does not work for pwritev().

Fix a minor error message.

Enable TCP_CORK if available.

Support UDP packets larger than 4 kB.

Timestamp the error log.

Catch up on any lost data before serializing, so increasing the backlog will not inject zero bytes into the data of (too) backlogged clients if we increase the backlog size.

Bump version number to 0.2; it's about time.

Small error message fix.

Run include-what-you-use.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Add support for UDP outputs.

Fix a Valgrind hit that could cause an undefined set of signals to be blocked.

Minor cleanup.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Fix a (harmless) close() warning that would come if we deleted a HTTP input that was not connected.

Run include-what-you-use.

Refer to streams internally mostly by an index, not the stream_id.

Inputs no longer know about stream_id, only the stream_index.
This is faster (we used maybe 5% of our time in find_stream),
and will make it easier to add non-HTTP outputs in the future.

Within (HTTP) clients, stream_id also no longer exists, but is replaced
by "url", which really works exactly the same way. url is mostly used during
re-exec, however, so it's less important than it used to be.

Fix merge snafu in last commit. (Oops.)

Small optimization to Metacube output.

Move iovecs around instead of having single data buffers. Hopefully a tad more efficient, although it does mean somewhat more malloc-ing.

Add Metacube headers in add_data_deferred(), not add_data().

This fixes a problem where Metacube blocks are not deterministically added
for each add_data() call (because they would only be added for each call to
process_queued_data()), causing the different servers to go out of sync.

Also moved most of this logic to Stream, where it seems more appropriate
(even though the mutexes are a bit odd now).

When unwrapping in set_backlog_size, do not add a spurious Metacube header.

Revert "Fix a bug where Metacube streams would become inconsistent between different servers, since the first one did not get the right encoding set."

Doesn't actually fix the issue.

This reverts commit 5605c88a27fcf64ea8f6fd6cbb52dada73856ee0.

Fix a bug where Metacube streams would become inconsistent between different servers, since the first one did not get the right encoding set.

Reinstate the new signal handling; revert the revert.

The fix for high CPU usage was not doing wakeup() all the time for
new data; not only can seemingly sending the signal be expensive,
but we sent it while still holding the mutex the awakening thread
needed, so it was extra-bad.

We're seemingly down to a reasonable amount of CPU usage again now,
but still with good non-racing semantics.

Revert "Rewrite the entire internal signal handling/wakeup."

Seemingly this had very bad effects on CPU usage. Will need to
investigate later.

This reverts commit 3fd8650ccf3da3960a946d8ac9abc305aec399ce.

Fix broken linking.

Compile and link with -pthread, not -lpthread.

Rewrite the entire internal signal handling/wakeup.

We now solve things in a much less racy way, sending SIGUSR1 internally,
which is blocked except in poll/epoll. This should be more stable,
require no more fixed-length wakeups (no more wakeup every 20 ms in
each server), and upset Valgrind less.

However, it's also complex to get right, so it might introduce new bugs.

Remove unneeded default Client constructor.

Fix 100% CPU usage when there is no access_log.

Do not crash on re-exec if we do not have an access log.

Fix some issues with the last stats.cpp fix.

Fix more missing log_perror() calls.

There's nothing we can do about them, but it's good to report.

Found by Coverity Scan.

Add a missing log_perror() on close() failure (cosmetic issue).

Found by Coverity Scan.

Set umask security before calling mkstemp().

Found by Coverity Scan.

If make_tempfile() returns -1 in set_backlog_size, exit properly.

Found by Coverity Scan.

New run of include-what-you-use.

Set Connection: close in outgoing HTTP headers.

When logging losses, log loss percentage, too.

Show IPv4 clients by their IPv4 address instead of with a v4-mapped address.

Send backlog file descriptors around instead of going through the protobuf. Much faster restart with big backlog sizes, and does not hit the 64MB protobuf limit.

Fix an issue where new UDP streams would be without HTTP headers.

Do not bother making a METACUBE_FLAGS_HEADER block if it is empty.

When closing unused inputs, remember to take down their sockets.

Support Metacube _output_. Required splitting HTTP headers from stream headers, which was a good thing anyway, but a bit painful in upgrades.

Deduplicate inputs.

Do not segfault on unknown options.

Fix a leak in the stats thread.

Fix another minor leak.

Stop leaking the mark pools.

Fix a memory leak in Server (streams were leaked).

Fix a small memory leak in HTTPInput.

Fix a Valgrind hit.

Fix a Valgrind hit.

Log all finished accesses to an access log.