git.sesse.net Git - ffmpeg/blob - libavformat/hlsenc.c

   1 /*
   2  * Apple HTTP Live Streaming segmenter
   3  * Copyright (c) 2012, Luca Barbato
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "config.h"
  23 #include <float.h>
  24 #include <stdint.h>
  25 #if HAVE_UNISTD_H
  26 #include <unistd.h>
  27 #endif
  28
  29 #include "libavutil/avassert.h"
  30 #include "libavutil/mathematics.h"
  31 #include "libavutil/parseutils.h"
  32 #include "libavutil/avstring.h"
  33 #include "libavutil/opt.h"
  34 #include "libavutil/log.h"
  35
  36 #include "avformat.h"
  37 #include "internal.h"
  38 #include "os_support.h"
  39
  40 typedef struct HLSSegment {
  41     char filename[1024];
  42     double duration; /* in seconds */
  43     int64_t pos;
  44     int64_t size;
  45
  46     struct HLSSegment *next;
  47 } HLSSegment;
  48
  49 typedef enum HLSFlags {
  50     // Generate a single media file and use byte ranges in the playlist.
  51     HLS_SINGLE_FILE = (1 << 0),
  52     HLS_DELETE_SEGMENTS = (1 << 1),
  53     HLS_ROUND_DURATIONS = (1 << 2),
  54     HLS_DISCONT_START = (1 << 3),
  55     HLS_OMIT_ENDLIST = (1 << 4),
  56 } HLSFlags;
  57
  58 typedef struct HLSContext {
  59     const AVClass *class;  // Class for private options.
  60     unsigned number;
  61     int64_t sequence;
  62     int64_t start_sequence;
  63     AVOutputFormat *oformat;
  64
  65     AVFormatContext *avf;
  66
  67     float time;            // Set by a private option.
  68     int max_nb_segments;   // Set by a private option.
  69     int  wrap;             // Set by a private option.
  70     uint32_t flags;        // enum HLSFlags
  71     char *segment_filename;
  72
  73     int allowcache;
  74     int64_t recording_time;
  75     int has_video;
  76     int64_t start_pts;
  77     int64_t end_pts;
  78     double duration;      // last segment duration computed so far, in seconds
  79     int64_t start_pos;    // last segment starting position
  80     int64_t size;         // last segment size
  81     int nb_entries;
  82     int discontinuity_set;
  83
  84     HLSSegment *segments;
  85     HLSSegment *last_segment;
  86     HLSSegment *old_segments;
  87
  88     char *basename;
  89     char *baseurl;
  90     char *format_options_str;
  91     AVDictionary *format_options;
  92 } HLSContext;
  93
  94 static int hls_delete_old_segments(HLSContext *hls) {
  95
  96     HLSSegment *segment, *previous_segment = NULL;
  97     float playlist_duration = 0.0f;
  98     int ret = 0, path_size;
  99     char *dirname = NULL, *p, *path;
 100
 101     segment = hls->segments;
 102     while (segment) {
 103         playlist_duration += segment->duration;
 104         segment = segment->next;
 105     }
 106
 107     segment = hls->old_segments;
 108     while (segment) {
 109         playlist_duration -= segment->duration;
 110         previous_segment = segment;
 111         segment = previous_segment->next;
 112         if (playlist_duration <= -previous_segment->duration) {
 113             previous_segment->next = NULL;
 114             break;
 115         }
 116     }
 117
 118     if (segment) {
 119         if (hls->segment_filename) {
 120             dirname = av_strdup(hls->segment_filename);
 121         } else {
 122             dirname = av_strdup(hls->avf->filename);
 123         }
 124         if (!dirname) {
 125             ret = AVERROR(ENOMEM);
 126             goto fail;
 127         }
 128         p = (char *)av_basename(dirname);
 129         *p = '\0';
 130     }
 131
 132     while (segment) {
 133         av_log(hls, AV_LOG_DEBUG, "deleting old segment %s\n",
 134                                   segment->filename);
 135         path_size = strlen(dirname) + strlen(segment->filename) + 1;
 136         path = av_malloc(path_size);
 137         if (!path) {
 138             ret = AVERROR(ENOMEM);
 139             goto fail;
 140         }
 141         av_strlcpy(path, dirname, path_size);
 142         av_strlcat(path, segment->filename, path_size);
 143         if (unlink(path) < 0) {
 144             av_log(hls, AV_LOG_ERROR, "failed to delete old segment %s: %s\n",
 145                                      path, strerror(errno));
 146         }
 147         av_free(path);
 148         previous_segment = segment;
 149         segment = previous_segment->next;
 150         av_free(previous_segment);
 151     }
 152
 153 fail:
 154     av_free(dirname);
 155
 156     return ret;
 157 }
 158
 159 static int hls_mux_init(AVFormatContext *s)
 160 {
 161     HLSContext *hls = s->priv_data;
 162     AVFormatContext *oc;
 163     int i, ret;
 164
 165     ret = avformat_alloc_output_context2(&hls->avf, hls->oformat, NULL, NULL);
 166     if (ret < 0)
 167         return ret;
 168     oc = hls->avf;
 169
 170     oc->oformat            = hls->oformat;
 171     oc->interrupt_callback = s->interrupt_callback;
 172     oc->max_delay          = s->max_delay;
 173     av_dict_copy(&oc->metadata, s->metadata, 0);
 174
 175     for (i = 0; i < s->nb_streams; i++) {
 176         AVStream *st;
 177         if (!(st = avformat_new_stream(oc, NULL)))
 178             return AVERROR(ENOMEM);
 179         avcodec_copy_context(st->codec, s->streams[i]->codec);
 180         st->sample_aspect_ratio = s->streams[i]->sample_aspect_ratio;
 181         st->time_base = s->streams[i]->time_base;
 182     }
 183     hls->start_pos = 0;
 184
 185     return 0;
 186 }
 187
 188 /* Create a new segment and append it to the segment list */
 189 static int hls_append_segment(HLSContext *hls, double duration, int64_t pos,
 190                               int64_t size)
 191 {
 192     HLSSegment *en = av_malloc(sizeof(*en));
 193     int ret;
 194
 195     if (!en)
 196         return AVERROR(ENOMEM);
 197
 198     av_strlcpy(en->filename, av_basename(hls->avf->filename), sizeof(en->filename));
 199
 200     en->duration = duration;
 201     en->pos      = pos;
 202     en->size     = size;
 203     en->next     = NULL;
 204
 205     if (!hls->segments)
 206         hls->segments = en;
 207     else
 208         hls->last_segment->next = en;
 209
 210     hls->last_segment = en;
 211
 212     if (hls->max_nb_segments && hls->nb_entries >= hls->max_nb_segments) {
 213         en = hls->segments;
 214         hls->segments = en->next;
 215         if (en && hls->flags & HLS_DELETE_SEGMENTS &&
 216                 !(hls->flags & HLS_SINGLE_FILE || hls->wrap)) {
 217             en->next = hls->old_segments;
 218             hls->old_segments = en;
 219             if ((ret = hls_delete_old_segments(hls)) < 0)
 220                 return ret;
 221         } else
 222             av_free(en);
 223     } else
 224         hls->nb_entries++;
 225
 226     hls->sequence++;
 227
 228     return 0;
 229 }
 230
 231 static void hls_free_segments(HLSSegment *p)
 232 {
 233     HLSSegment *en;
 234
 235     while(p) {
 236         en = p;
 237         p = p->next;
 238         av_free(en);
 239     }
 240 }
 241
 242 static int hls_window(AVFormatContext *s, int last)
 243 {
 244     HLSContext *hls = s->priv_data;
 245     HLSSegment *en;
 246     int target_duration = 0;
 247     int ret = 0;
 248     AVIOContext *out = NULL;
 249     char temp_filename[1024];
 250     int64_t sequence = FFMAX(hls->start_sequence, hls->sequence - hls->nb_entries);
 251     int version = hls->flags & HLS_SINGLE_FILE ? 4 : 3;
 252     const char *proto = avio_find_protocol_name(s->filename);
 253     int use_rename = proto && !strcmp(proto, "file");
 254     static unsigned warned_non_file;
 255
 256     if (!use_rename && !warned_non_file++)
 257         av_log(s, AV_LOG_ERROR, "Cannot use rename on non file protocol, this may lead to races and temporarly partial files\n");
 258
 259     snprintf(temp_filename, sizeof(temp_filename), use_rename ? "%s.tmp" : "%s", s->filename);
 260     if ((ret = avio_open2(&out, temp_filename, AVIO_FLAG_WRITE,
 261                           &s->interrupt_callback, NULL)) < 0)
 262         goto fail;
 263
 264     for (en = hls->segments; en; en = en->next) {
 265         if (target_duration < en->duration)
 266             target_duration = ceil(en->duration);
 267     }
 268
 269     hls->discontinuity_set = 0;
 270     avio_printf(out, "#EXTM3U\n");
 271     avio_printf(out, "#EXT-X-VERSION:%d\n", version);
 272     if (hls->allowcache == 0 || hls->allowcache == 1) {
 273         avio_printf(out, "#EXT-X-ALLOW-CACHE:%s\n", hls->allowcache == 0 ? "NO" : "YES");
 274     }
 275     avio_printf(out, "#EXT-X-TARGETDURATION:%d\n", target_duration);
 276     avio_printf(out, "#EXT-X-MEDIA-SEQUENCE:%"PRId64"\n", sequence);
 277
 278     av_log(s, AV_LOG_VERBOSE, "EXT-X-MEDIA-SEQUENCE:%"PRId64"\n",
 279            sequence);
 280     if((hls->flags & HLS_DISCONT_START) && sequence==hls->start_sequence && hls->discontinuity_set==0 ){
 281         avio_printf(out, "#EXT-X-DISCONTINUITY\n");
 282         hls->discontinuity_set = 1;
 283     }
 284     for (en = hls->segments; en; en = en->next) {
 285         if (hls->flags & HLS_ROUND_DURATIONS)
 286             avio_printf(out, "#EXTINF:%d,\n",  (int)round(en->duration));
 287         else
 288             avio_printf(out, "#EXTINF:%f,\n", en->duration);
 289         if (hls->flags & HLS_SINGLE_FILE)
 290              avio_printf(out, "#EXT-X-BYTERANGE:%"PRIi64"@%"PRIi64"\n",
 291                          en->size, en->pos);
 292         if (hls->baseurl)
 293             avio_printf(out, "%s", hls->baseurl);
 294         avio_printf(out, "%s\n", en->filename);
 295     }
 296
 297     if (last && (hls->flags & HLS_OMIT_ENDLIST)==0)
 298         avio_printf(out, "#EXT-X-ENDLIST\n");
 299
 300 fail:
 301     avio_closep(&out);
 302     if (ret >= 0 && use_rename)
 303         ff_rename(temp_filename, s->filename, s);
 304     return ret;
 305 }
 306
 307 static int hls_start(AVFormatContext *s)
 308 {
 309     HLSContext *c = s->priv_data;
 310     AVFormatContext *oc = c->avf;
 311     int err = 0;
 312
 313     if (c->flags & HLS_SINGLE_FILE)
 314         av_strlcpy(oc->filename, c->basename,
 315                    sizeof(oc->filename));
 316     else
 317         if (av_get_frame_filename(oc->filename, sizeof(oc->filename),
 318                                   c->basename, c->wrap ? c->sequence % c->wrap : c->sequence) < 0) {
 319             av_log(oc, AV_LOG_ERROR, "Invalid segment filename template '%s'\n", c->basename);
 320             return AVERROR(EINVAL);
 321         }
 322     c->number++;
 323
 324     if ((err = avio_open2(&oc->pb, oc->filename, AVIO_FLAG_WRITE,
 325                           &s->interrupt_callback, NULL)) < 0)
 326         return err;
 327
 328     if (oc->oformat->priv_class && oc->priv_data)
 329         av_opt_set(oc->priv_data, "mpegts_flags", "resend_headers", 0);
 330
 331     return 0;
 332 }
 333
 334 static int hls_write_header(AVFormatContext *s)
 335 {
 336     HLSContext *hls = s->priv_data;
 337     int ret, i;
 338     char *p;
 339     const char *pattern = "%d.ts";
 340     AVDictionary *options = NULL;
 341     int basename_size;
 342
 343     hls->sequence       = hls->start_sequence;
 344     hls->recording_time = hls->time * AV_TIME_BASE;
 345     hls->start_pts      = AV_NOPTS_VALUE;
 346
 347     if (hls->format_options_str) {
 348         ret = av_dict_parse_string(&hls->format_options, hls->format_options_str, "=", ":", 0);
 349         if (ret < 0) {
 350             av_log(s, AV_LOG_ERROR, "Could not parse format options list '%s'\n", hls->format_options_str);
 351             goto fail;
 352         }
 353     }
 354
 355     for (i = 0; i < s->nb_streams; i++)
 356         hls->has_video +=
 357             s->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO;
 358
 359     if (hls->has_video > 1)
 360         av_log(s, AV_LOG_WARNING,
 361                "More than a single video stream present, "
 362                "expect issues decoding it.\n");
 363
 364     hls->oformat = av_guess_format("mpegts", NULL, NULL);
 365
 366     if (!hls->oformat) {
 367         ret = AVERROR_MUXER_NOT_FOUND;
 368         goto fail;
 369     }
 370
 371     if (hls->segment_filename) {
 372         hls->basename = av_strdup(hls->segment_filename);
 373         if (!hls->basename) {
 374             ret = AVERROR(ENOMEM);
 375             goto fail;
 376         }
 377     } else {
 378         if (hls->flags & HLS_SINGLE_FILE)
 379             pattern = ".ts";
 380
 381         basename_size = strlen(s->filename) + strlen(pattern) + 1;
 382         hls->basename = av_malloc(basename_size);
 383         if (!hls->basename) {
 384             ret = AVERROR(ENOMEM);
 385             goto fail;
 386         }
 387
 388         av_strlcpy(hls->basename, s->filename, basename_size);
 389
 390         p = strrchr(hls->basename, '.');
 391         if (p)
 392             *p = '\0';
 393         av_strlcat(hls->basename, pattern, basename_size);
 394     }
 395
 396     if ((ret = hls_mux_init(s)) < 0)
 397         goto fail;
 398
 399     if ((ret = hls_start(s)) < 0)
 400         goto fail;
 401
 402     av_dict_copy(&options, hls->format_options, 0);
 403     ret = avformat_write_header(hls->avf, &options);
 404     if (av_dict_count(options)) {
 405         av_log(s, AV_LOG_ERROR, "Some of provided format options in '%s' are not recognized\n", hls->format_options_str);
 406         ret = AVERROR(EINVAL);
 407         goto fail;
 408     }
 409     av_assert0(s->nb_streams == hls->avf->nb_streams);
 410     for (i = 0; i < s->nb_streams; i++) {
 411         AVStream *inner_st  = hls->avf->streams[i];
 412         AVStream *outer_st = s->streams[i];
 413         avpriv_set_pts_info(outer_st, inner_st->pts_wrap_bits, inner_st->time_base.num, inner_st->time_base.den);
 414     }
 415 fail:
 416
 417     av_dict_free(&options);
 418     if (ret < 0) {
 419         av_freep(&hls->basename);
 420         if (hls->avf)
 421             avformat_free_context(hls->avf);
 422     }
 423     return ret;
 424 }
 425
 426 static int hls_write_packet(AVFormatContext *s, AVPacket *pkt)
 427 {
 428     HLSContext *hls = s->priv_data;
 429     AVFormatContext *oc = hls->avf;
 430     AVStream *st = s->streams[pkt->stream_index];
 431     int64_t end_pts = hls->recording_time * hls->number;
 432     int is_ref_pkt = 1;
 433     int ret, can_split = 1;
 434
 435     if (hls->start_pts == AV_NOPTS_VALUE) {
 436         hls->start_pts = pkt->pts;
 437         hls->end_pts   = pkt->pts;
 438     }
 439
 440     if (hls->has_video) {
 441         can_split = st->codec->codec_type == AVMEDIA_TYPE_VIDEO &&
 442                     pkt->flags & AV_PKT_FLAG_KEY;
 443         is_ref_pkt = st->codec->codec_type == AVMEDIA_TYPE_VIDEO;
 444     }
 445     if (pkt->pts == AV_NOPTS_VALUE)
 446         is_ref_pkt = can_split = 0;
 447
 448     if (is_ref_pkt)
 449         hls->duration = (double)(pkt->pts - hls->end_pts)
 450                                    * st->time_base.num / st->time_base.den;
 451
 452     if (can_split && av_compare_ts(pkt->pts - hls->start_pts, st->time_base,
 453                                    end_pts, AV_TIME_BASE_Q) >= 0) {
 454         int64_t new_start_pos;
 455         av_write_frame(oc, NULL); /* Flush any buffered data */
 456
 457         new_start_pos = avio_tell(hls->avf->pb);
 458         hls->size = new_start_pos - hls->start_pos;
 459         ret = hls_append_segment(hls, hls->duration, hls->start_pos, hls->size);
 460         hls->start_pos = new_start_pos;
 461         if (ret < 0)
 462             return ret;
 463
 464         hls->end_pts = pkt->pts;
 465         hls->duration = 0;
 466
 467         if (hls->flags & HLS_SINGLE_FILE) {
 468             if (hls->avf->oformat->priv_class && hls->avf->priv_data)
 469                 av_opt_set(hls->avf->priv_data, "mpegts_flags", "resend_headers", 0);
 470             hls->number++;
 471         } else {
 472             avio_closep(&oc->pb);
 473
 474             ret = hls_start(s);
 475         }
 476
 477         if (ret < 0)
 478             return ret;
 479
 480         oc = hls->avf;
 481
 482         if ((ret = hls_window(s, 0)) < 0)
 483             return ret;
 484     }
 485
 486     ret = ff_write_chained(oc, pkt->stream_index, pkt, s, 0);
 487
 488     return ret;
 489 }
 490
 491 static int hls_write_trailer(struct AVFormatContext *s)
 492 {
 493     HLSContext *hls = s->priv_data;
 494     AVFormatContext *oc = hls->avf;
 495
 496     av_write_trailer(oc);
 497     if (oc->pb) {
 498         hls->size = avio_tell(hls->avf->pb) - hls->start_pos;
 499         avio_closep(&oc->pb);
 500         hls_append_segment(hls, hls->duration, hls->start_pos, hls->size);
 501     }
 502     av_freep(&hls->basename);
 503     avformat_free_context(oc);
 504     hls->avf = NULL;
 505     hls_window(s, 1);
 506
 507     hls_free_segments(hls->segments);
 508     hls_free_segments(hls->old_segments);
 509     return 0;
 510 }
 511
 512 #define OFFSET(x) offsetof(HLSContext, x)
 513 #define E AV_OPT_FLAG_ENCODING_PARAM
 514 static const AVOption options[] = {
 515     {"start_number",  "set first number in the sequence",        OFFSET(start_sequence),AV_OPT_TYPE_INT64,  {.i64 = 0},     0, INT64_MAX, E},
 516     {"hls_time",      "set segment length in seconds",           OFFSET(time),    AV_OPT_TYPE_FLOAT,  {.dbl = 2},     0, FLT_MAX, E},
 517     {"hls_list_size", "set maximum number of playlist entries",  OFFSET(max_nb_segments),    AV_OPT_TYPE_INT,    {.i64 = 5},     0, INT_MAX, E},
 518     {"hls_ts_options","set hls mpegts list of options for the container format used for hls", OFFSET(format_options_str), AV_OPT_TYPE_STRING, {.str = NULL},  0, 0,    E},
 519     {"hls_wrap",      "set number after which the index wraps",  OFFSET(wrap),    AV_OPT_TYPE_INT,    {.i64 = 0},     0, INT_MAX, E},
 520     {"hls_allow_cache", "explicitly set whether the client MAY (1) or MUST NOT (0) cache media segments", OFFSET(allowcache), AV_OPT_TYPE_INT, {.i64 = -1}, INT_MIN, INT_MAX, E},
 521     {"hls_base_url",  "url to prepend to each playlist entry",   OFFSET(baseurl), AV_OPT_TYPE_STRING, {.str = NULL},  0, 0,       E},
 522     {"hls_segment_filename", "filename template for segment files", OFFSET(segment_filename),   AV_OPT_TYPE_STRING, {.str = NULL},            0,       0,         E},
 523     {"hls_flags",     "set flags affecting HLS playlist and media file generation", OFFSET(flags), AV_OPT_TYPE_FLAGS, {.i64 = 0 }, 0, UINT_MAX, E, "flags"},
 524     {"single_file",   "generate a single media file indexed with byte ranges", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_SINGLE_FILE }, 0, UINT_MAX,   E, "flags"},
 525     {"delete_segments", "delete segment files that are no longer part of the playlist", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_DELETE_SEGMENTS }, 0, UINT_MAX,   E, "flags"},
 526     {"round_durations", "round durations in m3u8 to whole numbers", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_ROUND_DURATIONS }, 0, UINT_MAX,   E, "flags"},
 527     {"discont_start", "start the playlist with a discontinuity tag", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_DISCONT_START }, 0, UINT_MAX,   E, "flags"},
 528     {"omit_endlist", "Do not append an endlist when ending stream", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_OMIT_ENDLIST }, 0, UINT_MAX,   E, "flags"},
 529
 530     { NULL },
 531 };
 532
 533 static const AVClass hls_class = {
 534     .class_name = "hls muxer",
 535     .item_name  = av_default_item_name,
 536     .option     = options,
 537     .version    = LIBAVUTIL_VERSION_INT,
 538 };
 539
 540
 541 AVOutputFormat ff_hls_muxer = {
 542     .name           = "hls",
 543     .long_name      = NULL_IF_CONFIG_SMALL("Apple HTTP Live Streaming"),
 544     .extensions     = "m3u8",
 545     .priv_data_size = sizeof(HLSContext),
 546     .audio_codec    = AV_CODEC_ID_AAC,
 547     .video_codec    = AV_CODEC_ID_H264,
 548     .flags          = AVFMT_NOFILE | AVFMT_ALLOW_FLUSH,
 549     .write_header   = hls_write_header,
 550     .write_packet   = hls_write_packet,
 551     .write_trailer  = hls_write_trailer,
 552     .priv_class     = &hls_class,
 553 };