]> git.sesse.net Git - ffmpeg/blob - libavformat/hdsenc.c
libavformat/hdsenc: check init_file() return code
[ffmpeg] / libavformat / hdsenc.c
1 /*
2  * Live HDS fragmenter
3  * Copyright (c) 2013 Martin Storsjo
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "config.h"
23 #include <float.h>
24 #if HAVE_UNISTD_H
25 #include <unistd.h>
26 #endif
27
28 #include "avformat.h"
29 #include "internal.h"
30 #include "os_support.h"
31
32 #include "libavutil/avstring.h"
33 #include "libavutil/base64.h"
34 #include "libavutil/intreadwrite.h"
35 #include "libavutil/mathematics.h"
36 #include "libavutil/opt.h"
37
38 typedef struct Fragment {
39     char file[1024];
40     int64_t start_time, duration;
41     int n;
42 } Fragment;
43
44 typedef struct OutputStream {
45     int bitrate;
46     int first_stream;
47     AVFormatContext *ctx;
48     int ctx_inited;
49     uint8_t iobuf[32768];
50     char temp_filename[1024];
51     int64_t frag_start_ts, last_ts;
52     AVIOContext *out;
53     int packets_written;
54     int nb_fragments, fragments_size, fragment_index;
55     Fragment **fragments;
56
57     int has_audio, has_video;
58
59     uint8_t *metadata;
60     int metadata_size;
61
62     uint8_t *extra_packets[2];
63     int extra_packet_sizes[2];
64     int nb_extra_packets;
65 } OutputStream;
66
67 typedef struct HDSContext {
68     const AVClass *class;  /* Class for private options. */
69     int window_size;
70     int extra_window_size;
71     int min_frag_duration;
72     int remove_at_exit;
73
74     OutputStream *streams;
75     int nb_streams;
76 } HDSContext;
77
78 static int parse_header(OutputStream *os, const uint8_t *buf, int buf_size)
79 {
80     if (buf_size < 13)
81         return AVERROR_INVALIDDATA;
82     if (memcmp(buf, "FLV", 3))
83         return AVERROR_INVALIDDATA;
84     buf      += 13;
85     buf_size -= 13;
86     while (buf_size >= 11 + 4) {
87         int type = buf[0];
88         int size = AV_RB24(&buf[1]) + 11 + 4;
89         if (size > buf_size)
90             return AVERROR_INVALIDDATA;
91         if (type == 8 || type == 9) {
92             if (os->nb_extra_packets >= FF_ARRAY_ELEMS(os->extra_packets))
93                 return AVERROR_INVALIDDATA;
94             os->extra_packet_sizes[os->nb_extra_packets] = size;
95             os->extra_packets[os->nb_extra_packets] = av_malloc(size);
96             if (!os->extra_packets[os->nb_extra_packets])
97                 return AVERROR(ENOMEM);
98             memcpy(os->extra_packets[os->nb_extra_packets], buf, size);
99             os->nb_extra_packets++;
100         } else if (type == 0x12) {
101             if (os->metadata)
102                 return AVERROR_INVALIDDATA;
103             os->metadata_size = size - 11 - 4;
104             os->metadata      = av_malloc(os->metadata_size);
105             if (!os->metadata)
106                 return AVERROR(ENOMEM);
107             memcpy(os->metadata, buf + 11, os->metadata_size);
108         }
109         buf      += size;
110         buf_size -= size;
111     }
112     if (!os->metadata)
113         return AVERROR_INVALIDDATA;
114     return 0;
115 }
116
117 static int hds_write(void *opaque, uint8_t *buf, int buf_size)
118 {
119     OutputStream *os = opaque;
120     if (os->out) {
121         avio_write(os->out, buf, buf_size);
122     } else {
123         if (!os->metadata_size) {
124             int ret;
125             // Assuming the IO buffer is large enough to fit the
126             // FLV header and all metadata and extradata packets
127             if ((ret = parse_header(os, buf, buf_size)) < 0)
128                 return ret;
129         }
130     }
131     return buf_size;
132 }
133
134 static void hds_free(AVFormatContext *s)
135 {
136     HDSContext *c = s->priv_data;
137     int i, j;
138     if (!c->streams)
139         return;
140     for (i = 0; i < s->nb_streams; i++) {
141         OutputStream *os = &c->streams[i];
142         if (os->out)
143             avio_close(os->out);
144         os->out = NULL;
145         if (os->ctx && os->ctx_inited)
146             av_write_trailer(os->ctx);
147         if (os->ctx && os->ctx->pb)
148             av_free(os->ctx->pb);
149         if (os->ctx)
150             avformat_free_context(os->ctx);
151         av_free(os->metadata);
152         for (j = 0; j < os->nb_extra_packets; j++)
153             av_free(os->extra_packets[j]);
154         for (j = 0; j < os->nb_fragments; j++)
155             av_free(os->fragments[j]);
156         av_free(os->fragments);
157     }
158     av_freep(&c->streams);
159 }
160
161 static int write_manifest(AVFormatContext *s, int final)
162 {
163     HDSContext *c = s->priv_data;
164     AVIOContext *out;
165     char filename[1024], temp_filename[1024];
166     int ret, i;
167     float duration = 0;
168
169     if (c->nb_streams > 0)
170         duration = c->streams[0].last_ts * av_q2d(s->streams[0]->time_base);
171
172     snprintf(filename, sizeof(filename), "%s/index.f4m", s->filename);
173     snprintf(temp_filename, sizeof(temp_filename), "%s/index.f4m.tmp", s->filename);
174     ret = avio_open2(&out, temp_filename, AVIO_FLAG_WRITE,
175                      &s->interrupt_callback, NULL);
176     if (ret < 0) {
177         av_log(s, AV_LOG_ERROR, "Unable to open %s for writing\n", filename);
178         return ret;
179     }
180     avio_printf(out, "<?xml version=\"1.0\" encoding=\"utf-8\"?>\n");
181     avio_printf(out, "<manifest xmlns=\"http://ns.adobe.com/f4m/1.0\">\n");
182     avio_printf(out, "\t<id>%s</id>\n", av_basename(s->filename));
183     avio_printf(out, "\t<streamType>%s</streamType>\n",
184                      final ? "recorded" : "live");
185     avio_printf(out, "\t<deliveryType>streaming</deliveryType>\n");
186     if (final)
187         avio_printf(out, "\t<duration>%f</duration>\n", duration);
188     for (i = 0; i < c->nb_streams; i++) {
189         OutputStream *os = &c->streams[i];
190         int b64_size = AV_BASE64_SIZE(os->metadata_size);
191         char *base64 = av_malloc(b64_size);
192         if (!base64) {
193             avio_close(out);
194             return AVERROR(ENOMEM);
195         }
196         av_base64_encode(base64, b64_size, os->metadata, os->metadata_size);
197
198         avio_printf(out, "\t<bootstrapInfo profile=\"named\" url=\"stream%d.abst\" id=\"bootstrap%d\" />\n", i, i);
199         avio_printf(out, "\t<media bitrate=\"%d\" url=\"stream%d\" bootstrapInfoId=\"bootstrap%d\">\n", os->bitrate/1000, i, i);
200         avio_printf(out, "\t\t<metadata>%s</metadata>\n", base64);
201         avio_printf(out, "\t</media>\n");
202         av_free(base64);
203     }
204     avio_printf(out, "</manifest>\n");
205     avio_flush(out);
206     avio_close(out);
207     if (rename(temp_filename, filename) == -1) {
208         av_log(s, AV_LOG_ERROR, "failed to rename file %s to %s\n", temp_filename, filename);
209         return AVERROR(errno);
210     }
211     return 0;
212 }
213
214 static void update_size(AVIOContext *out, int64_t pos)
215 {
216     int64_t end = avio_tell(out);
217     avio_seek(out, pos, SEEK_SET);
218     avio_wb32(out, end - pos);
219     avio_seek(out, end, SEEK_SET);
220 }
221
222 /* Note, the .abst files need to be served with the "binary/octet"
223  * mime type, otherwise at least the OSMF player can easily fail
224  * with "stream not found" when polling for the next fragment. */
225 static int write_abst(AVFormatContext *s, OutputStream *os, int final)
226 {
227     HDSContext *c = s->priv_data;
228     AVIOContext *out;
229     char filename[1024], temp_filename[1024];
230     int i, ret;
231     int64_t asrt_pos, afrt_pos;
232     int start = 0, fragments;
233     int index = s->streams[os->first_stream]->id;
234     int64_t cur_media_time = 0;
235     if (c->window_size)
236         start = FFMAX(os->nb_fragments - c->window_size, 0);
237     fragments = os->nb_fragments - start;
238     if (final)
239         cur_media_time = os->last_ts;
240     else if (os->nb_fragments)
241         cur_media_time = os->fragments[os->nb_fragments - 1]->start_time;
242
243     snprintf(filename, sizeof(filename),
244              "%s/stream%d.abst", s->filename, index);
245     snprintf(temp_filename, sizeof(temp_filename),
246              "%s/stream%d.abst.tmp", s->filename, index);
247     ret = avio_open2(&out, temp_filename, AVIO_FLAG_WRITE,
248                      &s->interrupt_callback, NULL);
249     if (ret < 0) {
250         av_log(s, AV_LOG_ERROR, "Unable to open %s for writing\n", temp_filename);
251         return ret;
252     }
253     avio_wb32(out, 0); // abst size
254     avio_wl32(out, MKTAG('a','b','s','t'));
255     avio_wb32(out, 0); // version + flags
256     avio_wb32(out, os->fragment_index - 1); // BootstrapinfoVersion
257     avio_w8(out, final ? 0 : 0x20); // profile, live, update
258     avio_wb32(out, 1000); // timescale
259     avio_wb64(out, cur_media_time);
260     avio_wb64(out, 0); // SmpteTimeCodeOffset
261     avio_w8(out, 0); // MovieIdentifer (null string)
262     avio_w8(out, 0); // ServerEntryCount
263     avio_w8(out, 0); // QualityEntryCount
264     avio_w8(out, 0); // DrmData (null string)
265     avio_w8(out, 0); // MetaData (null string)
266     avio_w8(out, 1); // SegmentRunTableCount
267     asrt_pos = avio_tell(out);
268     avio_wb32(out, 0); // asrt size
269     avio_wl32(out, MKTAG('a','s','r','t'));
270     avio_wb32(out, 0); // version + flags
271     avio_w8(out, 0); // QualityEntryCount
272     avio_wb32(out, 1); // SegmentRunEntryCount
273     avio_wb32(out, 1); // FirstSegment
274     avio_wb32(out, final ? (os->fragment_index - 1) : 0xffffffff); // FragmentsPerSegment
275     update_size(out, asrt_pos);
276     avio_w8(out, 1); // FragmentRunTableCount
277     afrt_pos = avio_tell(out);
278     avio_wb32(out, 0); // afrt size
279     avio_wl32(out, MKTAG('a','f','r','t'));
280     avio_wb32(out, 0); // version + flags
281     avio_wb32(out, 1000); // timescale
282     avio_w8(out, 0); // QualityEntryCount
283     avio_wb32(out, fragments); // FragmentRunEntryCount
284     for (i = start; i < os->nb_fragments; i++) {
285         avio_wb32(out, os->fragments[i]->n);
286         avio_wb64(out, os->fragments[i]->start_time);
287         avio_wb32(out, os->fragments[i]->duration);
288     }
289     update_size(out, afrt_pos);
290     update_size(out, 0);
291     avio_close(out);
292     if (rename(temp_filename, filename) == -1) {
293         av_log(s, AV_LOG_ERROR, "failed to rename file %s to %s\n", temp_filename, filename);
294         return AVERROR(errno);
295     }
296     return 0;
297 }
298
299 static int init_file(AVFormatContext *s, OutputStream *os, int64_t start_ts)
300 {
301     int ret, i;
302     ret = avio_open2(&os->out, os->temp_filename, AVIO_FLAG_WRITE,
303                      &s->interrupt_callback, NULL);
304     if (ret < 0)
305         return ret;
306     avio_wb32(os->out, 0);
307     avio_wl32(os->out, MKTAG('m','d','a','t'));
308     for (i = 0; i < os->nb_extra_packets; i++) {
309         AV_WB24(os->extra_packets[i] + 4, start_ts);
310         os->extra_packets[i][7] = (start_ts >> 24) & 0x7f;
311         avio_write(os->out, os->extra_packets[i], os->extra_packet_sizes[i]);
312     }
313     return 0;
314 }
315
316 static void close_file(OutputStream *os)
317 {
318     int64_t pos = avio_tell(os->out);
319     avio_seek(os->out, 0, SEEK_SET);
320     avio_wb32(os->out, pos);
321     avio_flush(os->out);
322     avio_close(os->out);
323     os->out = NULL;
324 }
325
326 static int hds_write_header(AVFormatContext *s)
327 {
328     HDSContext *c = s->priv_data;
329     int ret = 0, i;
330     AVOutputFormat *oformat;
331
332     mkdir(s->filename, 0777);
333
334     oformat = av_guess_format("flv", NULL, NULL);
335     if (!oformat) {
336         ret = AVERROR_MUXER_NOT_FOUND;
337         goto fail;
338     }
339
340     c->streams = av_mallocz(sizeof(*c->streams) * s->nb_streams);
341     if (!c->streams) {
342         ret = AVERROR(ENOMEM);
343         goto fail;
344     }
345
346     for (i = 0; i < s->nb_streams; i++) {
347         OutputStream *os = &c->streams[c->nb_streams];
348         AVFormatContext *ctx;
349         AVStream *st = s->streams[i];
350
351         if (!st->codec->bit_rate) {
352             av_log(s, AV_LOG_ERROR, "No bit rate set for stream %d\n", i);
353             ret = AVERROR(EINVAL);
354             goto fail;
355         }
356         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
357             if (os->has_video) {
358                 c->nb_streams++;
359                 os++;
360             }
361             os->has_video = 1;
362         } else if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
363             if (os->has_audio) {
364                 c->nb_streams++;
365                 os++;
366             }
367             os->has_audio = 1;
368         } else {
369             av_log(s, AV_LOG_ERROR, "Unsupported stream type in stream %d\n", i);
370             ret = AVERROR(EINVAL);
371             goto fail;
372         }
373         os->bitrate += s->streams[i]->codec->bit_rate;
374
375         if (!os->ctx) {
376             os->first_stream = i;
377             ctx = avformat_alloc_context();
378             if (!ctx) {
379                 ret = AVERROR(ENOMEM);
380                 goto fail;
381             }
382             os->ctx = ctx;
383             ctx->oformat = oformat;
384             ctx->interrupt_callback = s->interrupt_callback;
385
386             ctx->pb = avio_alloc_context(os->iobuf, sizeof(os->iobuf),
387                                          AVIO_FLAG_WRITE, os,
388                                          NULL, hds_write, NULL);
389             if (!ctx->pb) {
390                 ret = AVERROR(ENOMEM);
391                 goto fail;
392             }
393         } else {
394             ctx = os->ctx;
395         }
396         s->streams[i]->id = c->nb_streams;
397
398         if (!(st = avformat_new_stream(ctx, NULL))) {
399             ret = AVERROR(ENOMEM);
400             goto fail;
401         }
402         avcodec_copy_context(st->codec, s->streams[i]->codec);
403         st->sample_aspect_ratio = s->streams[i]->sample_aspect_ratio;
404     }
405     if (c->streams[c->nb_streams].ctx)
406         c->nb_streams++;
407
408     for (i = 0; i < c->nb_streams; i++) {
409         OutputStream *os = &c->streams[i];
410         int j;
411         if ((ret = avformat_write_header(os->ctx, NULL)) < 0) {
412              goto fail;
413         }
414         os->ctx_inited = 1;
415         avio_flush(os->ctx->pb);
416         for (j = 0; j < os->ctx->nb_streams; j++)
417             s->streams[os->first_stream + j]->time_base = os->ctx->streams[j]->time_base;
418
419         snprintf(os->temp_filename, sizeof(os->temp_filename),
420                  "%s/stream%d_temp", s->filename, i);
421         ret = init_file(s, os, 0);
422         if (ret < 0)
423             goto fail;
424
425         if (!os->has_video && c->min_frag_duration <= 0) {
426             av_log(s, AV_LOG_WARNING,
427                    "No video stream in output stream %d and no min frag duration set\n", i);
428             ret = AVERROR(EINVAL);
429         }
430         os->fragment_index = 1;
431         write_abst(s, os, 0);
432     }
433     ret = write_manifest(s, 0);
434
435 fail:
436     if (ret)
437         hds_free(s);
438     return ret;
439 }
440
441 static int add_fragment(OutputStream *os, const char *file,
442                         int64_t start_time, int64_t duration)
443 {
444     Fragment *frag;
445     if (duration == 0)
446         duration = 1;
447     if (os->nb_fragments >= os->fragments_size) {
448         int ret;
449         os->fragments_size = (os->fragments_size + 1) * 2;
450         if ((ret = av_reallocp_array(&os->fragments, os->fragments_size,
451                                      sizeof(*os->fragments))) < 0) {
452             os->fragments_size = 0;
453             os->nb_fragments   = 0;
454             return ret;
455         }
456     }
457     frag = av_mallocz(sizeof(*frag));
458     if (!frag)
459         return AVERROR(ENOMEM);
460     av_strlcpy(frag->file, file, sizeof(frag->file));
461     frag->start_time = start_time;
462     frag->duration   = duration;
463     frag->n          = os->fragment_index;
464     os->fragments[os->nb_fragments++] = frag;
465     os->fragment_index++;
466     return 0;
467 }
468
469 static int hds_flush(AVFormatContext *s, OutputStream *os, int final,
470                      int64_t end_ts)
471 {
472     HDSContext *c = s->priv_data;
473     int i, ret = 0;
474     char target_filename[1024];
475     int index = s->streams[os->first_stream]->id;
476
477     if (!os->packets_written)
478         return 0;
479
480     avio_flush(os->ctx->pb);
481     os->packets_written = 0;
482     close_file(os);
483
484     snprintf(target_filename, sizeof(target_filename),
485              "%s/stream%dSeg1-Frag%d", s->filename, index, os->fragment_index);
486     if (rename(os->temp_filename, target_filename) == -1) {
487         av_log(s, AV_LOG_ERROR, "failed to rename file %s to %s\n", os->temp_filename, target_filename);
488         return AVERROR(errno);
489     }
490     add_fragment(os, target_filename, os->frag_start_ts, end_ts - os->frag_start_ts);
491
492     if (!final) {
493         ret = init_file(s, os, end_ts);
494         if (ret < 0)
495             return ret;
496     }
497
498     if (c->window_size || (final && c->remove_at_exit)) {
499         int remove = os->nb_fragments - c->window_size - c->extra_window_size;
500         if (final && c->remove_at_exit)
501             remove = os->nb_fragments;
502         if (remove > 0) {
503             for (i = 0; i < remove; i++) {
504                 unlink(os->fragments[i]->file);
505                 av_free(os->fragments[i]);
506             }
507             os->nb_fragments -= remove;
508             memmove(os->fragments, os->fragments + remove,
509                     os->nb_fragments * sizeof(*os->fragments));
510         }
511     }
512
513     if (ret >= 0)
514         ret = write_abst(s, os, final);
515     return ret;
516 }
517
518 static int hds_write_packet(AVFormatContext *s, AVPacket *pkt)
519 {
520     HDSContext *c = s->priv_data;
521     AVStream *st = s->streams[pkt->stream_index];
522     OutputStream *os = &c->streams[s->streams[pkt->stream_index]->id];
523     int64_t end_dts = (os->fragment_index) * (int64_t)c->min_frag_duration;
524     int ret;
525
526     if (st->first_dts == AV_NOPTS_VALUE)
527         st->first_dts = pkt->dts;
528
529     if ((!os->has_video || st->codec->codec_type == AVMEDIA_TYPE_VIDEO) &&
530         av_compare_ts(pkt->dts - st->first_dts, st->time_base,
531                       end_dts, AV_TIME_BASE_Q) >= 0 &&
532         pkt->flags & AV_PKT_FLAG_KEY && os->packets_written) {
533
534         if ((ret = hds_flush(s, os, 0, pkt->dts)) < 0)
535             return ret;
536     }
537
538     // Note, these fragment start timestamps, that represent a whole
539     // OutputStream, assume all streams in it have the same time base.
540     if (!os->packets_written)
541         os->frag_start_ts = pkt->dts;
542     os->last_ts = pkt->dts;
543
544     os->packets_written++;
545     return ff_write_chained(os->ctx, pkt->stream_index - os->first_stream, pkt, s);
546 }
547
548 static int hds_write_trailer(AVFormatContext *s)
549 {
550     HDSContext *c = s->priv_data;
551     int i;
552
553     for (i = 0; i < c->nb_streams; i++)
554         hds_flush(s, &c->streams[i], 1, c->streams[i].last_ts);
555     write_manifest(s, 1);
556
557     if (c->remove_at_exit) {
558         char filename[1024];
559         snprintf(filename, sizeof(filename), "%s/index.f4m", s->filename);
560         unlink(filename);
561         for (i = 0; i < c->nb_streams; i++) {
562             snprintf(filename, sizeof(filename), "%s/stream%d.abst", s->filename, i);
563             unlink(filename);
564         }
565         rmdir(s->filename);
566     }
567
568     hds_free(s);
569     return 0;
570 }
571
572 #define OFFSET(x) offsetof(HDSContext, x)
573 #define E AV_OPT_FLAG_ENCODING_PARAM
574 static const AVOption options[] = {
575     { "window_size", "number of fragments kept in the manifest", OFFSET(window_size), AV_OPT_TYPE_INT, { .i64 = 0 }, 0, INT_MAX, E },
576     { "extra_window_size", "number of fragments kept outside of the manifest before removing from disk", OFFSET(extra_window_size), AV_OPT_TYPE_INT, { .i64 = 5 }, 0, INT_MAX, E },
577     { "min_frag_duration", "minimum fragment duration (in microseconds)", OFFSET(min_frag_duration), AV_OPT_TYPE_INT64, { .i64 = 10000000 }, 0, INT_MAX, E },
578     { "remove_at_exit", "remove all fragments when finished", OFFSET(remove_at_exit), AV_OPT_TYPE_INT, { .i64 = 0 }, 0, 1, E },
579     { NULL },
580 };
581
582 static const AVClass hds_class = {
583     .class_name = "HDS muxer",
584     .item_name  = av_default_item_name,
585     .option     = options,
586     .version    = LIBAVUTIL_VERSION_INT,
587 };
588
589 AVOutputFormat ff_hds_muxer = {
590     .name           = "hds",
591     .long_name      = NULL_IF_CONFIG_SMALL("HDS Muxer"),
592     .priv_data_size = sizeof(HDSContext),
593     .audio_codec    = AV_CODEC_ID_AAC,
594     .video_codec    = AV_CODEC_ID_H264,
595     .flags          = AVFMT_GLOBALHEADER | AVFMT_NOFILE,
596     .write_header   = hds_write_header,
597     .write_packet   = hds_write_packet,
598     .write_trailer  = hds_write_trailer,
599     .priv_class     = &hds_class,
600 };