Add a missing const.

Better documentation of config options in cubemap.config.sample.

There were too many options that were basically undocumented by now;
add some hopefully helpful comments.

Bump version number to 1.2.1-pre.

Release Cubemap 1.2.0.

Minor grammatical fix.

Use CLOCK_MONOTONIC for serialization time as well.

This removes the last use of non-monotonic timers, even if it's
only for logging information.

Don't use COARSE, since we have no idea how coarse that is
and we want millisecond-level precision. But we don't really
care about the nanoseconds.

Use CLOCK_MONOTONIC_COARSE in httpinput.cpp; we do not need precise timing here.

Allow prebuffer to happen by playing data from the backlog.

This won't reduce the latency (although it shouldn't increase it either, unless
you have extreme bitrate changes), but it should give a picture on screen much
sooner, hopefully getting rid of the “what's going on, why is nothing starting”
feeling.

Make the SENDING_HEADER state fall through.

In the case where we really are in WAITING_KEYFRAME, we will go to
sleep immediately in the state below, but there's also a case
where we could end up directly in SENDING_DATA and don't want to
wait for the stream to get more data to start sending.

Add a helper variable.

Remove an obsolete comment.

Reset the list of suitable starting points when changing header.

Store multiple suitable starting points for each stream.

We still only use the last one. This will change soon.

Partially revert last patch.

add_data_raw() does not change the stream suitability points at all;
it just writes to disk. Thus, we don't need this complicated little dance
to give it multiple blocks.

Track stream start suitability separately for each data block added.

When having queued data, keep the separate stream start suitability flag
for each iovec instead of just storing the index of the last block.
This is a no-op in itself, but it is a prerequisite for tracking it in
the backlog as well, which we want to do to be able to have force_prebuffer
give out older data -- that requires tracking not only the last suitable
starting point, but multiple ones backwards in time.

Also add a TODO to update starting point(s) when the header changes.

Rename queued_data_last_starting_point to queued_data_last_starting_point_index, since otherwise it sounds like a number of bytes.

Make the warning on dropping junk bytes clearer.

Add missing postcondition comment.

Respect prebuffering_bytes= on existing streams when reloading.

Parse and log referer and user-agent headers in requests.

Tabs are seemingly accepted as linear white space in HTTP headers.

Split HTTP header parsing into a common function.

Make a comment more precise.

Replace an assert with a small hack.

Instead of checking that connect times are monotonic, explicitly make them
so if they're not. This seems safest, in case the monotonic clock goes
backwards a small bit (e.g. when changing CPUs). We don't need it for the
serialized case since we explicitly sort those by time; the assert can stay.

Time out clients still in READING_REQUEST after 60 seconds.

Seemingly there are some of these around, and I've seen them eat up
fds in a long-running server. There's some pain in sorting the clients
on deserialization, but apart from that, this ended up being relatively
pain-free and should be efficient enough.

Change the connected time from time_t to timespec.

The primary gain as the code stands is that we become immune to
issues with the clock going backwards etc. in logs (since we can
now use a monotonic timer).

However, the motivating change is that we will soon be implementing request
read timeouts. At that point, not only will the clock data be much more
important to get right, but it will also be nice to have more fine-grained
timestamps to be able to locate clients semi-uniquely in a sorted list.

Merge branch 'master' of /srv/git.sesse.net/www/cubemap

Add support for forced prebuffering.

The motivation is jwPlayer, which for HTTP files expects to be able
to do no prebuffering and just download full speed nevertheless
(as it assumes they are static files, not streams) -- when it cannot,
it shows an ugly icon on top of the stream all the time. So we add
an option for forced prebuffering (three seconds seems to be about
fine) which means we wait sending until we have a pretty big backlog.

Ideally, we would be able to actually send old data instead of just
waiting (which would mean that the client doesn't need the extra wait
at the beginning), but it's complicated with having to remember old
keyframe positions, changed stream headers etc.

Beef up the warning limit for large blocks a bit; MKV chunks can get pretty big.

Use accept4() to save a system call. Probably inconsequential, but still nice.

Bump version number to 1.1.3-pre.

Release Cubemap 1.1.2.

Remove some leftover debug code that would cause compile errors.

Bump version number to 1.1.2-pre.

Release Cubemap 1.1.1.

Add an example of IPv6 SSM to the config file.

Fix some issues in parsing IPv6 multicast addresses.

Change the default backlog size to 10MB; I have seen the 1MB limit backfire a bit too many times for HD video now.

Fix a typo.

Bump version number to 1.1.1-pre.

Release Cubemap 1.1.0.

Coding style consistency fix.

Bump man page date.

Support joining multicast addresses (both ASM and SSM).

Correct the README and man page files for removed information.

Remove information about fwmark from the man page.

Support setting outgoing interface for multicast.

This should complete multicast output support.

Support setting TTL on outgoing UDP streams. Especially useful for multicast.

Do not store the UDP pacing rate; we do not use it after the constructor.

Fix a bug where a socket could be closed twice.

This would only happen if a HTTP input that wasn't fully setup yet
was no longer in use after an reload. This would normally manifest itself as
a “close(): Bad file descriptor”, but could also end up closing an arbitrary
descriptor, causing various sorts of havoc.

Remove mark= from cubemap.config.sample, as the option no longer exists.

Fix O_TMPFILE usage.

Seemingly open() needs to take a pathname only, not a full filename.
This made us _always_ go into the mkstemp() path, which was of course
not the intention.

Set umask explicitly before calling mkstemp().

For the benefit of super-old glibc versions (pre-2.06).

Found by Coverity Scan.

Check the return value of fclose() in config.cpp.

It's unclear to me exactly how this could fail for a read-only file,
but it's good practice nevertheless.

Found by Coverity Scan.

Remove support for mark pools.

This has been fully obsoleted by the fq qdisc, which is easier to set up,
more scalable and does not require root privileges. Removing it also removes
a significant chunk of code, which is good.

Set the default number of files to 16384; the default is seemingly 1024, which can easily bite you very hard.

Bump version number to 1.0.5-pre.

Make sure we don't overwrite an existing configuration on make install.

Stop leaking the state fd on reload.

Stop logging loss fraction; it is only spam now, and we have the information in .stats.

Check /proc/self/exe instead of argv[0].

Fix URL parsing of HTTP inputs with no port.

Release Cubemap 1.0.4.

Fix a segfault on reload introduced by the pacing changes.

Remove the Metacube VLC patch; it is now upstream.

Compile with large file support, especially since pwritev() on 32-bit x86 seems to be broken without.

Bump version number to 1.0.4-pre.

Release Cubemap 1.0.3.

Fix compilation error with newer glibc; broken after IWYU.

Bump version number to 1.0.3-pre.

Release Cubemap 1.0.2.

The SO_MAX_PACING_RATE patches are now released in 3.13.

Fix handling of streams with no data.

The original plan here was to let the client hang until we had
some headers to send (ie., first send an empty header and then
0 bytes data, and then send the client back from SENDING_DATA
to SENDING_HEADER as we got data).

However, as time went by, we started inserting stuff in the middle of the
headers ourselves, resulting in us sending pretty much a junk header.
Worse, this would be sent on to other relays, corrupting the version of
the Metacube stream.

Simply return 503 Not Available now instead if the stream is still
starting up; it's pretty much as good, and has fewer edge cases
to worry about.

Fix a crash bug on reload.

This could happen in the case where we reloaded while still waiting for
the request from a given client.

Remove some legacy from older versions that nobody uses anymore.

Minor deduplication.

Fix some duplicated IP address parsing code.

Move some config stuff into an anonymous namespace.

Fix some signed/unsigned comparison warnings (pacing_rate should be uint32_t everywhere, not just in UDPStream).

Add a listen statement to listen on only specific IP addresses, in addition to the port statement.

When checking to see if we want to warn about pacing rate, use the correct default (~0U, not 0).

Bump version number to 1.0.2-pre.

Update the VLC Metacube patch to apply against current VLC 

This version is identical to the one that was sent to the VLC mailing list
for upstream inclusion (but not accepted), so it also contains some other
cleanups.

Support SO_MAX_PACING_RATE.

SO_MAX_PACING_RATE is the newfangled socket option from Eric Dumazet,
used with the new fq packet scheduler in Linux. It allows you to set
a max rate for the socket (presumably a stricter upper bound than the
RTT-based estimate from the kernel), delivering pacing without having
to resort to the relatively complex mark setup. It seems to enter
the Linux kernel in 3.13 at the earliest; not unlikely even later.

In time, fwmark will be deprecated, but the implementation of TCP pacing in
Linux is still a bit shaky (especially with not-always-filling applications
like streaming), so fwmark will stay the primary solution for now.

Release Cubemap 1.0.1.

Add NEWS file for upcoming release.

Fix compilation on 32-bit systems.

Fix capitalization in systemd service unit.

Update the man page with our non-alphaness as well.

Update README; we are not in alpha stage anymore.

Add systemd service unit.

Makefile: Implement sysconfdir and localstatedir.

It is a bit odd to use $(PREFIX) for some, but not all directories. Make
this a useable middle ground akin autoconf, which allows to pass in
different paths for /var (--localstatedir) and /etc (--sysconfdir).

Update version number to 1.0.1-pre.

Use the new-in-3.11 O_TMPFILE flag when available.

Also, we don't need to mess around with umask in the fallback case,
since 0600 is default for mkstemp() anyway.

Reduce contention of queued_data_mutex.

Seemingly holding queued_data_mutex over add_data_raw(), which does writev(),
could be slow on systems where /tmp is not on tmpfs, causing the queued_data_mutex
to be held for so long (up to a second has been observed) that the input thread
couldn't keep up.

To fix this, we move queued_data_mutex into a per-stream variable (not sure
if it's ideal, but it was the simplest way to avoid ugliness), and then hold it
for as short as possible in process_queued_data().

While we're at it, document that queued_data_last_starting_point has the same
locking rules as queued_data.

Release Cubemap 1.0.0.

Include a Munin plugin that was missing in the archive.

Fix an issue where rewind-to-HTTP-header would not properly work.

Re-run include-what-you-use.

Munin plugins should be symlinked, not created directly in /etc.