]> git.sesse.net Git - ffmpeg/blob - libavformat/applehttp.c
06884a07c6153c7a59fa205229d506c1a92baf82
[ffmpeg] / libavformat / applehttp.c
1 /*
2  * Apple HTTP Live Streaming demuxer
3  * Copyright (c) 2010 Martin Storsjo
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Apple HTTP Live Streaming demuxer
25  * http://tools.ietf.org/html/draft-pantos-http-live-streaming
26  */
27
28 #include "libavutil/avstring.h"
29 #include "libavutil/intreadwrite.h"
30 #include "libavutil/mathematics.h"
31 #include "libavutil/opt.h"
32 #include "libavutil/dict.h"
33 #include "avformat.h"
34 #include "internal.h"
35 #include <unistd.h>
36 #include "avio_internal.h"
37 #include "url.h"
38
39 #define INITIAL_BUFFER_SIZE 32768
40
41 /*
42  * An apple http stream consists of a playlist with media segment files,
43  * played sequentially. There may be several playlists with the same
44  * video content, in different bandwidth variants, that are played in
45  * parallel (preferrably only one bandwidth variant at a time). In this case,
46  * the user supplied the url to a main playlist that only lists the variant
47  * playlists.
48  *
49  * If the main playlist doesn't point at any variants, we still create
50  * one anonymous toplevel variant for this, to maintain the structure.
51  */
52
53 enum KeyType {
54     KEY_NONE,
55     KEY_AES_128,
56 };
57
58 struct segment {
59     int duration;
60     char url[MAX_URL_SIZE];
61     char key[MAX_URL_SIZE];
62     enum KeyType key_type;
63     uint8_t iv[16];
64 };
65
66 /*
67  * Each variant has its own demuxer. If it currently is active,
68  * it has an open AVIOContext too, and potentially an AVPacket
69  * containing the next packet from this stream.
70  */
71 struct variant {
72     int bandwidth;
73     char url[MAX_URL_SIZE];
74     AVIOContext pb;
75     uint8_t* read_buffer;
76     URLContext *input;
77     AVFormatContext *parent;
78     int index;
79     AVFormatContext *ctx;
80     AVPacket pkt;
81     int stream_offset;
82
83     int finished;
84     int target_duration;
85     int start_seq_no;
86     int n_segments;
87     struct segment **segments;
88     int needed, cur_needed;
89     int cur_seq_no;
90     int64_t last_load_time;
91
92     char key_url[MAX_URL_SIZE];
93     uint8_t key[16];
94 };
95
96 typedef struct AppleHTTPContext {
97     int n_variants;
98     struct variant **variants;
99     int cur_seq_no;
100     int end_of_segment;
101     int first_packet;
102     AVIOInterruptCB *interrupt_callback;
103 } AppleHTTPContext;
104
105 static int read_chomp_line(AVIOContext *s, char *buf, int maxlen)
106 {
107     int len = ff_get_line(s, buf, maxlen);
108     while (len > 0 && isspace(buf[len - 1]))
109         buf[--len] = '\0';
110     return len;
111 }
112
113 static void free_segment_list(struct variant *var)
114 {
115     int i;
116     for (i = 0; i < var->n_segments; i++)
117         av_free(var->segments[i]);
118     av_freep(&var->segments);
119     var->n_segments = 0;
120 }
121
122 static void free_variant_list(AppleHTTPContext *c)
123 {
124     int i;
125     for (i = 0; i < c->n_variants; i++) {
126         struct variant *var = c->variants[i];
127         free_segment_list(var);
128         av_free_packet(&var->pkt);
129         av_free(var->pb.buffer);
130         if (var->input)
131             ffurl_close(var->input);
132         if (var->ctx) {
133             var->ctx->pb = NULL;
134             av_close_input_file(var->ctx);
135         }
136         av_free(var);
137     }
138     av_freep(&c->variants);
139     c->n_variants = 0;
140 }
141
142 /*
143  * Used to reset a statically allocated AVPacket to a clean slate,
144  * containing no data.
145  */
146 static void reset_packet(AVPacket *pkt)
147 {
148     av_init_packet(pkt);
149     pkt->data = NULL;
150 }
151
152 static struct variant *new_variant(AppleHTTPContext *c, int bandwidth,
153                                    const char *url, const char *base)
154 {
155     struct variant *var = av_mallocz(sizeof(struct variant));
156     if (!var)
157         return NULL;
158     reset_packet(&var->pkt);
159     var->bandwidth = bandwidth;
160     ff_make_absolute_url(var->url, sizeof(var->url), base, url);
161     dynarray_add(&c->variants, &c->n_variants, var);
162     return var;
163 }
164
165 struct variant_info {
166     char bandwidth[20];
167 };
168
169 static void handle_variant_args(struct variant_info *info, const char *key,
170                                 int key_len, char **dest, int *dest_len)
171 {
172     if (!strncmp(key, "BANDWIDTH=", key_len)) {
173         *dest     =        info->bandwidth;
174         *dest_len = sizeof(info->bandwidth);
175     }
176 }
177
178 struct key_info {
179      char uri[MAX_URL_SIZE];
180      char method[10];
181      char iv[35];
182 };
183
184 static void handle_key_args(struct key_info *info, const char *key,
185                             int key_len, char **dest, int *dest_len)
186 {
187     if (!strncmp(key, "METHOD=", key_len)) {
188         *dest     =        info->method;
189         *dest_len = sizeof(info->method);
190     } else if (!strncmp(key, "URI=", key_len)) {
191         *dest     =        info->uri;
192         *dest_len = sizeof(info->uri);
193     } else if (!strncmp(key, "IV=", key_len)) {
194         *dest     =        info->iv;
195         *dest_len = sizeof(info->iv);
196     }
197 }
198
199 static int parse_playlist(AppleHTTPContext *c, const char *url,
200                           struct variant *var, AVIOContext *in)
201 {
202     int ret = 0, duration = 0, is_segment = 0, is_variant = 0, bandwidth = 0;
203     enum KeyType key_type = KEY_NONE;
204     uint8_t iv[16] = "";
205     int has_iv = 0;
206     char key[MAX_URL_SIZE];
207     char line[1024];
208     const char *ptr;
209     int close_in = 0;
210
211     if (!in) {
212         close_in = 1;
213         if ((ret = avio_open(&in, url, AVIO_FLAG_READ)) < 0)
214             return ret;
215     }
216
217     read_chomp_line(in, line, sizeof(line));
218     if (strcmp(line, "#EXTM3U")) {
219         ret = AVERROR_INVALIDDATA;
220         goto fail;
221     }
222
223     if (var) {
224         free_segment_list(var);
225         var->finished = 0;
226     }
227     while (!in->eof_reached) {
228         read_chomp_line(in, line, sizeof(line));
229         if (av_strstart(line, "#EXT-X-STREAM-INF:", &ptr)) {
230             struct variant_info info = {{0}};
231             is_variant = 1;
232             ff_parse_key_value(ptr, (ff_parse_key_val_cb) handle_variant_args,
233                                &info);
234             bandwidth = atoi(info.bandwidth);
235         } else if (av_strstart(line, "#EXT-X-KEY:", &ptr)) {
236             struct key_info info = {{0}};
237             ff_parse_key_value(ptr, (ff_parse_key_val_cb) handle_key_args,
238                                &info);
239             key_type = KEY_NONE;
240             has_iv = 0;
241             if (!strcmp(info.method, "AES-128"))
242                 key_type = KEY_AES_128;
243             if (!strncmp(info.iv, "0x", 2) || !strncmp(info.iv, "0X", 2)) {
244                 ff_hex_to_data(iv, info.iv + 2);
245                 has_iv = 1;
246             }
247             av_strlcpy(key, info.uri, sizeof(key));
248         } else if (av_strstart(line, "#EXT-X-TARGETDURATION:", &ptr)) {
249             if (!var) {
250                 var = new_variant(c, 0, url, NULL);
251                 if (!var) {
252                     ret = AVERROR(ENOMEM);
253                     goto fail;
254                 }
255             }
256             var->target_duration = atoi(ptr);
257         } else if (av_strstart(line, "#EXT-X-MEDIA-SEQUENCE:", &ptr)) {
258             if (!var) {
259                 var = new_variant(c, 0, url, NULL);
260                 if (!var) {
261                     ret = AVERROR(ENOMEM);
262                     goto fail;
263                 }
264             }
265             var->start_seq_no = atoi(ptr);
266         } else if (av_strstart(line, "#EXT-X-ENDLIST", &ptr)) {
267             if (var)
268                 var->finished = 1;
269         } else if (av_strstart(line, "#EXTINF:", &ptr)) {
270             is_segment = 1;
271             duration   = atoi(ptr);
272         } else if (av_strstart(line, "#", NULL)) {
273             continue;
274         } else if (line[0]) {
275             if (is_variant) {
276                 if (!new_variant(c, bandwidth, line, url)) {
277                     ret = AVERROR(ENOMEM);
278                     goto fail;
279                 }
280                 is_variant = 0;
281                 bandwidth  = 0;
282             }
283             if (is_segment) {
284                 struct segment *seg;
285                 if (!var) {
286                     var = new_variant(c, 0, url, NULL);
287                     if (!var) {
288                         ret = AVERROR(ENOMEM);
289                         goto fail;
290                     }
291                 }
292                 seg = av_malloc(sizeof(struct segment));
293                 if (!seg) {
294                     ret = AVERROR(ENOMEM);
295                     goto fail;
296                 }
297                 seg->duration = duration;
298                 seg->key_type = key_type;
299                 if (has_iv) {
300                     memcpy(seg->iv, iv, sizeof(iv));
301                 } else {
302                     int seq = var->start_seq_no + var->n_segments;
303                     memset(seg->iv, 0, sizeof(seg->iv));
304                     AV_WB32(seg->iv + 12, seq);
305                 }
306                 ff_make_absolute_url(seg->key, sizeof(seg->key), url, key);
307                 ff_make_absolute_url(seg->url, sizeof(seg->url), url, line);
308                 dynarray_add(&var->segments, &var->n_segments, seg);
309                 is_segment = 0;
310             }
311         }
312     }
313     if (var)
314         var->last_load_time = av_gettime();
315
316 fail:
317     if (close_in)
318         avio_close(in);
319     return ret;
320 }
321
322 static int open_input(struct variant *var)
323 {
324     struct segment *seg = var->segments[var->cur_seq_no - var->start_seq_no];
325     if (seg->key_type == KEY_NONE) {
326         return ffurl_open(&var->input, seg->url, AVIO_FLAG_READ);
327     } else if (seg->key_type == KEY_AES_128) {
328         char iv[33], key[33], url[MAX_URL_SIZE];
329         int ret;
330         if (strcmp(seg->key, var->key_url)) {
331             URLContext *uc;
332             if (ffurl_open(&uc, seg->key, AVIO_FLAG_READ) == 0) {
333                 if (ffurl_read_complete(uc, var->key, sizeof(var->key))
334                     != sizeof(var->key)) {
335                     av_log(NULL, AV_LOG_ERROR, "Unable to read key file %s\n",
336                            seg->key);
337                 }
338                 ffurl_close(uc);
339             } else {
340                 av_log(NULL, AV_LOG_ERROR, "Unable to open key file %s\n",
341                        seg->key);
342             }
343             av_strlcpy(var->key_url, seg->key, sizeof(var->key_url));
344         }
345         ff_data_to_hex(iv, seg->iv, sizeof(seg->iv), 0);
346         ff_data_to_hex(key, var->key, sizeof(var->key), 0);
347         iv[32] = key[32] = '\0';
348         if (strstr(seg->url, "://"))
349             snprintf(url, sizeof(url), "crypto+%s", seg->url);
350         else
351             snprintf(url, sizeof(url), "crypto:%s", seg->url);
352         if ((ret = ffurl_alloc(&var->input, url, AVIO_FLAG_READ)) < 0)
353             return ret;
354         av_opt_set(var->input->priv_data, "key", key, 0);
355         av_opt_set(var->input->priv_data, "iv", iv, 0);
356         if ((ret = ffurl_connect(var->input)) < 0) {
357             ffurl_close(var->input);
358             var->input = NULL;
359             return ret;
360         }
361         return 0;
362     }
363     return AVERROR(ENOSYS);
364 }
365
366 static int read_data(void *opaque, uint8_t *buf, int buf_size)
367 {
368     struct variant *v = opaque;
369     AppleHTTPContext *c = v->parent->priv_data;
370     int ret, i;
371
372 restart:
373     if (!v->input) {
374 reload:
375         /* If this is a live stream and target_duration has elapsed since
376          * the last playlist reload, reload the variant playlists now. */
377         if (!v->finished &&
378             av_gettime() - v->last_load_time >= v->target_duration*1000000 &&
379             (ret = parse_playlist(c, v->url, v, NULL)) < 0)
380                 return ret;
381         if (v->cur_seq_no < v->start_seq_no) {
382             av_log(NULL, AV_LOG_WARNING,
383                    "skipping %d segments ahead, expired from playlists\n",
384                    v->start_seq_no - v->cur_seq_no);
385             v->cur_seq_no = v->start_seq_no;
386         }
387         if (v->cur_seq_no >= v->start_seq_no + v->n_segments) {
388             if (v->finished)
389                 return AVERROR_EOF;
390             while (av_gettime() - v->last_load_time <
391                    v->target_duration*1000000) {
392                 if (ff_check_interrupt(c->interrupt_callback))
393                     return AVERROR_EXIT;
394                 usleep(100*1000);
395             }
396             /* Enough time has elapsed since the last reload */
397             goto reload;
398         }
399
400         ret = open_input(v);
401         if (ret < 0)
402             return ret;
403     }
404     ret = ffurl_read(v->input, buf, buf_size);
405     if (ret > 0)
406         return ret;
407     if (ret < 0 && ret != AVERROR_EOF)
408         return ret;
409     ffurl_close(v->input);
410     v->input = NULL;
411     v->cur_seq_no++;
412
413     c->end_of_segment = 1;
414     c->cur_seq_no = v->cur_seq_no;
415
416     if (v->ctx && v->ctx->nb_streams) {
417         v->needed = 0;
418         for (i = v->stream_offset; i < v->stream_offset + v->ctx->nb_streams;
419              i++) {
420             if (v->parent->streams[i]->discard < AVDISCARD_ALL)
421                 v->needed = 1;
422         }
423     }
424     if (!v->needed) {
425         av_log(v->parent, AV_LOG_INFO, "No longer receiving variant %d\n",
426                v->index);
427         return AVERROR_EOF;
428     }
429     goto restart;
430 }
431
432 static int applehttp_read_header(AVFormatContext *s, AVFormatParameters *ap)
433 {
434     AppleHTTPContext *c = s->priv_data;
435     int ret = 0, i, j, stream_offset = 0;
436
437     c->interrupt_callback = &s->interrupt_callback;
438
439     if ((ret = parse_playlist(c, s->filename, NULL, s->pb)) < 0)
440         goto fail;
441
442     if (c->n_variants == 0) {
443         av_log(NULL, AV_LOG_WARNING, "Empty playlist\n");
444         ret = AVERROR_EOF;
445         goto fail;
446     }
447     /* If the playlist only contained variants, parse each individual
448      * variant playlist. */
449     if (c->n_variants > 1 || c->variants[0]->n_segments == 0) {
450         for (i = 0; i < c->n_variants; i++) {
451             struct variant *v = c->variants[i];
452             if ((ret = parse_playlist(c, v->url, v, NULL)) < 0)
453                 goto fail;
454         }
455     }
456
457     if (c->variants[0]->n_segments == 0) {
458         av_log(NULL, AV_LOG_WARNING, "Empty playlist\n");
459         ret = AVERROR_EOF;
460         goto fail;
461     }
462
463     /* If this isn't a live stream, calculate the total duration of the
464      * stream. */
465     if (c->variants[0]->finished) {
466         int64_t duration = 0;
467         for (i = 0; i < c->variants[0]->n_segments; i++)
468             duration += c->variants[0]->segments[i]->duration;
469         s->duration = duration * AV_TIME_BASE;
470     }
471
472     /* Open the demuxer for each variant */
473     for (i = 0; i < c->n_variants; i++) {
474         struct variant *v = c->variants[i];
475         AVInputFormat *in_fmt = NULL;
476         char bitrate_str[20];
477         if (v->n_segments == 0)
478             continue;
479
480         if (!(v->ctx = avformat_alloc_context())) {
481             ret = AVERROR(ENOMEM);
482             goto fail;
483         }
484
485         v->index  = i;
486         v->needed = 1;
487         v->parent = s;
488
489         /* If this is a live stream with more than 3 segments, start at the
490          * third last segment. */
491         v->cur_seq_no = v->start_seq_no;
492         if (!v->finished && v->n_segments > 3)
493             v->cur_seq_no = v->start_seq_no + v->n_segments - 3;
494
495         v->read_buffer = av_malloc(INITIAL_BUFFER_SIZE);
496         ffio_init_context(&v->pb, v->read_buffer, INITIAL_BUFFER_SIZE, 0, v,
497                           read_data, NULL, NULL);
498         v->pb.seekable = 0;
499         ret = av_probe_input_buffer(&v->pb, &in_fmt, v->segments[0]->url,
500                                     NULL, 0, 0);
501         if (ret < 0)
502             goto fail;
503         v->ctx->pb       = &v->pb;
504         ret = avformat_open_input(&v->ctx, v->segments[0]->url, in_fmt, NULL);
505         if (ret < 0)
506             goto fail;
507         v->stream_offset = stream_offset;
508         snprintf(bitrate_str, sizeof(bitrate_str), "%d", v->bandwidth);
509         /* Create new AVStreams for each stream in this variant */
510         for (j = 0; j < v->ctx->nb_streams; j++) {
511             AVStream *st = avformat_new_stream(s, NULL);
512             if (!st) {
513                 ret = AVERROR(ENOMEM);
514                 goto fail;
515             }
516             st->id = i;
517             avcodec_copy_context(st->codec, v->ctx->streams[j]->codec);
518             if (v->bandwidth)
519                 av_dict_set(&st->metadata, "variant_bitrate", bitrate_str,
520                                  0);
521         }
522         stream_offset += v->ctx->nb_streams;
523     }
524
525     c->first_packet = 1;
526
527     return 0;
528 fail:
529     free_variant_list(c);
530     return ret;
531 }
532
533 static int recheck_discard_flags(AVFormatContext *s, int first)
534 {
535     AppleHTTPContext *c = s->priv_data;
536     int i, changed = 0;
537
538     /* Check if any new streams are needed */
539     for (i = 0; i < c->n_variants; i++)
540         c->variants[i]->cur_needed = 0;;
541
542     for (i = 0; i < s->nb_streams; i++) {
543         AVStream *st = s->streams[i];
544         struct variant *var = c->variants[s->streams[i]->id];
545         if (st->discard < AVDISCARD_ALL)
546             var->cur_needed = 1;
547     }
548     for (i = 0; i < c->n_variants; i++) {
549         struct variant *v = c->variants[i];
550         if (v->cur_needed && !v->needed) {
551             v->needed = 1;
552             changed = 1;
553             v->cur_seq_no = c->cur_seq_no;
554             v->pb.eof_reached = 0;
555             av_log(s, AV_LOG_INFO, "Now receiving variant %d\n", i);
556         } else if (first && !v->cur_needed && v->needed) {
557             if (v->input)
558                 ffurl_close(v->input);
559             v->input = NULL;
560             v->needed = 0;
561             changed = 1;
562             av_log(s, AV_LOG_INFO, "No longer receiving variant %d\n", i);
563         }
564     }
565     return changed;
566 }
567
568 static int applehttp_read_packet(AVFormatContext *s, AVPacket *pkt)
569 {
570     AppleHTTPContext *c = s->priv_data;
571     int ret, i, minvariant = -1;
572
573     if (c->first_packet) {
574         recheck_discard_flags(s, 1);
575         c->first_packet = 0;
576     }
577
578 start:
579     c->end_of_segment = 0;
580     for (i = 0; i < c->n_variants; i++) {
581         struct variant *var = c->variants[i];
582         /* Make sure we've got one buffered packet from each open variant
583          * stream */
584         if (var->needed && !var->pkt.data) {
585             ret = av_read_frame(var->ctx, &var->pkt);
586             if (ret < 0) {
587                 if (!var->pb.eof_reached)
588                     return ret;
589                 reset_packet(&var->pkt);
590             }
591         }
592         /* Check if this stream has the packet with the lowest dts */
593         if (var->pkt.data) {
594             if (minvariant < 0 ||
595                 var->pkt.dts < c->variants[minvariant]->pkt.dts)
596                 minvariant = i;
597         }
598     }
599     if (c->end_of_segment) {
600         if (recheck_discard_flags(s, 0))
601             goto start;
602     }
603     /* If we got a packet, return it */
604     if (minvariant >= 0) {
605         *pkt = c->variants[minvariant]->pkt;
606         pkt->stream_index += c->variants[minvariant]->stream_offset;
607         reset_packet(&c->variants[minvariant]->pkt);
608         return 0;
609     }
610     return AVERROR_EOF;
611 }
612
613 static int applehttp_close(AVFormatContext *s)
614 {
615     AppleHTTPContext *c = s->priv_data;
616
617     free_variant_list(c);
618     return 0;
619 }
620
621 static int applehttp_read_seek(AVFormatContext *s, int stream_index,
622                                int64_t timestamp, int flags)
623 {
624     AppleHTTPContext *c = s->priv_data;
625     int i, j, ret;
626
627     if ((flags & AVSEEK_FLAG_BYTE) || !c->variants[0]->finished)
628         return AVERROR(ENOSYS);
629
630     timestamp = av_rescale_rnd(timestamp, 1, stream_index >= 0 ?
631                                s->streams[stream_index]->time_base.den :
632                                AV_TIME_BASE, flags & AVSEEK_FLAG_BACKWARD ?
633                                AV_ROUND_DOWN : AV_ROUND_UP);
634     ret = AVERROR(EIO);
635     for (i = 0; i < c->n_variants; i++) {
636         /* Reset reading */
637         struct variant *var = c->variants[i];
638         int64_t pos = 0;
639         if (var->input) {
640             ffurl_close(var->input);
641             var->input = NULL;
642         }
643         av_free_packet(&var->pkt);
644         reset_packet(&var->pkt);
645         var->pb.eof_reached = 0;
646
647         /* Locate the segment that contains the target timestamp */
648         for (j = 0; j < var->n_segments; j++) {
649             if (timestamp >= pos &&
650                 timestamp < pos + var->segments[j]->duration) {
651                 var->cur_seq_no = var->start_seq_no + j;
652                 ret = 0;
653                 break;
654             }
655             pos += var->segments[j]->duration;
656         }
657     }
658     return ret;
659 }
660
661 static int applehttp_probe(AVProbeData *p)
662 {
663     /* Require #EXTM3U at the start, and either one of the ones below
664      * somewhere for a proper match. */
665     if (strncmp(p->buf, "#EXTM3U", 7))
666         return 0;
667     if (strstr(p->buf, "#EXT-X-STREAM-INF:")     ||
668         strstr(p->buf, "#EXT-X-TARGETDURATION:") ||
669         strstr(p->buf, "#EXT-X-MEDIA-SEQUENCE:"))
670         return AVPROBE_SCORE_MAX;
671     return 0;
672 }
673
674 AVInputFormat ff_applehttp_demuxer = {
675     .name           = "applehttp",
676     .long_name      = NULL_IF_CONFIG_SMALL("Apple HTTP Live Streaming format"),
677     .priv_data_size = sizeof(AppleHTTPContext),
678     .read_probe     = applehttp_probe,
679     .read_header    = applehttp_read_header,
680     .read_packet    = applehttp_read_packet,
681     .read_close     = applehttp_close,
682     .read_seek      = applehttp_read_seek,
683 };