git.sesse.net Git - cubemap/blob - stream.cpp

   1 #include <assert.h>
   2 #include <errno.h>
   3 #include <netinet/in.h>
   4 #include <stdlib.h>
   5 #include <string.h>
   6 #include <unistd.h>
   7 #include <string>
   8 #include <vector>
   9
  10 #include "log.h"
  11 #include "metacube.h"
  12 #include "state.pb.h"
  13 #include "stream.h"
  14 #include "util.h"
  15
  16 using namespace std;
  17
  18 Stream::Stream(const string &url, size_t backlog_size, Encoding encoding)
  19         : url(url),
  20           encoding(encoding),
  21           data_fd(make_tempfile("")),
  22           backlog_size(backlog_size),
  23           bytes_received(0),
  24           mark_pool(NULL)
  25 {
  26         if (data_fd == -1) {
  27                 exit(1);
  28         }
  29 }
  30
  31 Stream::~Stream()
  32 {
  33         if (data_fd != -1) {
  34                 safe_close(data_fd);
  35         }
  36 }
  37
  38 Stream::Stream(const StreamProto &serialized, int data_fd)
  39         : url(serialized.url()),
  40           http_header(serialized.http_header()),
  41           stream_header(serialized.stream_header()),
  42           encoding(Stream::STREAM_ENCODING_RAW),  // Will be changed later.
  43           data_fd(data_fd),
  44           backlog_size(serialized.backlog_size()),
  45           bytes_received(serialized.bytes_received()),
  46           mark_pool(NULL)
  47 {
  48         if (data_fd == -1) {
  49                 exit(1);
  50         }
  51
  52         // Split old-style headers into HTTP and video headers.
  53         if (!serialized.header().empty()) {
  54                 string header = serialized.header();
  55                 size_t split = header.find("\r\n\r\n");
  56                 if (split == string::npos) {
  57                         http_header = header;
  58                         stream_header = "";
  59                 } else {
  60                         http_header = header.substr(0, split + 2);  // Split off the second \r\n.
  61                         stream_header = header.substr(split, string::npos);
  62                 }
  63         }
  64 }
  65
  66 StreamProto Stream::serialize()
  67 {
  68         StreamProto serialized;
  69         serialized.set_http_header(http_header);
  70         serialized.set_stream_header(stream_header);
  71         serialized.add_data_fds(data_fd);
  72         serialized.set_backlog_size(backlog_size);
  73         serialized.set_bytes_received(bytes_received);
  74         serialized.set_url(url);
  75         data_fd = -1;
  76         return serialized;
  77 }
  78
  79 void Stream::set_backlog_size(size_t new_size)
  80 {
  81         if (backlog_size == new_size) {
  82                 return;
  83         }
  84
  85         string existing_data;
  86         if (!read_tempfile_and_close(data_fd, &existing_data)) {
  87                 exit(1);
  88         }
  89
  90         // Unwrap the data so it's no longer circular.
  91         if (bytes_received <= backlog_size) {
  92                 existing_data.resize(bytes_received);
  93         } else {
  94                 size_t pos = bytes_received % backlog_size;
  95                 existing_data = existing_data.substr(pos, string::npos) +
  96                         existing_data.substr(0, pos);
  97         }
  98
  99         // See if we need to discard data.
 100         if (new_size < existing_data.size()) {
 101                 size_t to_discard = existing_data.size() - new_size;
 102                 existing_data = existing_data.substr(to_discard, string::npos);
 103         }
 104
 105         // Create a new, empty data file.
 106         data_fd = make_tempfile("");
 107         if (data_fd == -1) {
 108                 exit(1);
 109         }
 110         backlog_size = new_size;
 111
 112         // Now cheat a bit by rewinding, and adding all the old data back.
 113         bytes_received -= existing_data.size();
 114         iovec iov;
 115         iov.iov_base = const_cast<char *>(existing_data.data());
 116         iov.iov_len = existing_data.size();
 117
 118         vector<iovec> iovs;
 119         iovs.push_back(iov);
 120         add_data_raw(iovs);
 121 }
 122
 123 void Stream::put_client_to_sleep(Client *client)
 124 {
 125         sleeping_clients.push_back(client);
 126 }
 127
 128 // Return a new set of iovecs that contains only the first <bytes_wanted> bytes of <data>.
 129 vector<iovec> collect_iovecs(const vector<iovec> &data, size_t bytes_wanted)
 130 {
 131         vector<iovec> ret;
 132         for (size_t i = 0; i < data.size() && bytes_wanted > 0; ++i) {
 133                 if (data[i].iov_len <= bytes_wanted) {
 134                         // Consume the entire iovec.
 135                         ret.push_back(data[i]);
 136                         bytes_wanted -= data[i].iov_len;
 137                 } else {
 138                         // Take only parts of this iovec.
 139                         iovec iov;
 140                         iov.iov_base = data[i].iov_base;
 141                         iov.iov_len = bytes_wanted;
 142                         ret.push_back(iov);
 143                         bytes_wanted = 0;
 144                 }
 145         }
 146         return ret;
 147 }
 148
 149 // Return a new set of iovecs that contains all of <data> except the first <bytes_wanted> bytes.
 150 vector<iovec> remove_iovecs(const vector<iovec> &data, size_t bytes_wanted)
 151 {
 152         vector<iovec> ret;
 153         size_t i;
 154         for (i = 0; i < data.size() && bytes_wanted > 0; ++i) {
 155                 if (data[i].iov_len <= bytes_wanted) {
 156                         // Consume the entire iovec.
 157                         bytes_wanted -= data[i].iov_len;
 158                 } else {
 159                         // Take only parts of this iovec.
 160                         iovec iov;
 161                         iov.iov_base = reinterpret_cast<char *>(data[i].iov_base) + bytes_wanted;
 162                         iov.iov_len = data[i].iov_len - bytes_wanted;
 163                         ret.push_back(iov);
 164                         bytes_wanted = 0;
 165                 }
 166         }
 167
 168         // Add the rest of the iovecs unchanged.
 169         ret.insert(ret.end(), data.begin() + i, data.end());
 170         return ret;
 171 }
 172
 173 void Stream::add_data_raw(const vector<iovec> &orig_data)
 174 {
 175         vector<iovec> data = orig_data;
 176         while (!data.empty()) {
 177                 size_t pos = bytes_received % backlog_size;
 178
 179                 // Collect as many iovecs as we can before we hit the point
 180                 // where the circular buffer wraps around.
 181                 vector<iovec> to_write = collect_iovecs(data, backlog_size - pos);
 182                 ssize_t ret;
 183                 do {
 184                         ret = pwritev(data_fd, to_write.data(), to_write.size(), pos);
 185                 } while (ret == -1 && errno == EINTR);
 186
 187                 if (ret == -1) {
 188                         log_perror("pwrite");
 189                         // Dazed and confused, but trying to continue...
 190                         return;
 191                 }
 192                 bytes_received += ret;
 193
 194                 // Remove the data that was actually written from the set of iovecs.
 195                 data = remove_iovecs(data, ret);
 196         }
 197 }
 198
 199 void Stream::add_data_deferred(const char *data, size_t bytes)
 200 {
 201         if (encoding == Stream::STREAM_ENCODING_METACUBE) {
 202                 // Add a Metacube block header before the data.
 203                 metacube_block_header hdr;
 204                 memcpy(hdr.sync, METACUBE_SYNC, sizeof(hdr.sync));
 205                 hdr.size = htonl(bytes);
 206                 hdr.flags = htonl(0);
 207
 208                 iovec iov;
 209                 iov.iov_base = new char[bytes + sizeof(hdr)];
 210                 iov.iov_len = bytes + sizeof(hdr);
 211
 212                 memcpy(iov.iov_base, &hdr, sizeof(hdr));
 213                 memcpy(reinterpret_cast<char *>(iov.iov_base) + sizeof(hdr), data, bytes);
 214
 215                 queued_data.push_back(iov);
 216         } else if (encoding == Stream::STREAM_ENCODING_RAW) {
 217                 // Just add the data itself.
 218                 iovec iov;
 219                 iov.iov_base = new char[bytes];
 220                 memcpy(iov.iov_base, data, bytes);
 221                 iov.iov_len = bytes;
 222
 223                 queued_data.push_back(iov);
 224         } else {
 225                 assert(encoding == Stream::STREAM_ENCODING_RAW);
 226         }
 227 }
 228
 229 void Stream::process_queued_data()
 230 {
 231         if (queued_data.empty()) {
 232                 return;
 233         }
 234
 235         add_data_raw(queued_data);
 236         for (size_t i = 0; i < queued_data.size(); ++i) {
 237                 char *data = reinterpret_cast<char *>(queued_data[i].iov_base);
 238                 delete[] data;
 239         }
 240         queued_data.clear();
 241
 242         // We have more data, so wake up all clients.
 243         if (to_process.empty()) {
 244                 swap(sleeping_clients, to_process);
 245         } else {
 246                 to_process.insert(to_process.end(), sleeping_clients.begin(), sleeping_clients.end());
 247                 sleeping_clients.clear();
 248         }
 249 }