]> git.sesse.net Git - ffmpeg/blob - libavformat/concatdec.c
Merge commit '1bd0bdcdc236099d5c0d179696951f35f5310fa5'
[ffmpeg] / libavformat / concatdec.c
1 /*
2  * Copyright (c) 2012 Nicolas George
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public License
8  * as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public License
17  * along with FFmpeg; if not, write to the Free Software Foundation, Inc.,
18  * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/avassert.h"
22 #include "libavutil/avstring.h"
23 #include "libavutil/intreadwrite.h"
24 #include "libavutil/opt.h"
25 #include "libavutil/parseutils.h"
26 #include "avformat.h"
27 #include "internal.h"
28 #include "url.h"
29
30 typedef enum ConcatMatchMode {
31     MATCH_ONE_TO_ONE,
32     MATCH_EXACT_ID,
33 } ConcatMatchMode;
34
35 typedef struct ConcatStream {
36     AVBitStreamFilterContext *bsf;
37     int out_stream_index;
38 } ConcatStream;
39
40 typedef struct {
41     char *url;
42     int64_t start_time;
43     int64_t duration;
44     ConcatStream *streams;
45     int nb_streams;
46 } ConcatFile;
47
48 typedef struct {
49     AVClass *class;
50     ConcatFile *files;
51     ConcatFile *cur_file;
52     unsigned nb_files;
53     AVFormatContext *avf;
54     int safe;
55     int seekable;
56     ConcatMatchMode stream_match_mode;
57     unsigned auto_convert;
58 } ConcatContext;
59
60 static int concat_probe(AVProbeData *probe)
61 {
62     return memcmp(probe->buf, "ffconcat version 1.0", 20) ?
63            0 : AVPROBE_SCORE_MAX;
64 }
65
66 static char *get_keyword(uint8_t **cursor)
67 {
68     char *ret = *cursor += strspn(*cursor, SPACE_CHARS);
69     *cursor += strcspn(*cursor, SPACE_CHARS);
70     if (**cursor) {
71         *((*cursor)++) = 0;
72         *cursor += strspn(*cursor, SPACE_CHARS);
73     }
74     return ret;
75 }
76
77 static int safe_filename(const char *f)
78 {
79     const char *start = f;
80
81     for (; *f; f++) {
82         /* A-Za-z0-9_- */
83         if (!((unsigned)((*f | 32) - 'a') < 26 ||
84               (unsigned)(*f - '0') < 10 || *f == '_' || *f == '-')) {
85             if (f == start)
86                 return 0;
87             else if (*f == '/')
88                 start = f + 1;
89             else if (*f != '.')
90                 return 0;
91         }
92     }
93     return 1;
94 }
95
96 #define FAIL(retcode) do { ret = (retcode); goto fail; } while(0)
97
98 static int add_file(AVFormatContext *avf, char *filename, ConcatFile **rfile,
99                     unsigned *nb_files_alloc)
100 {
101     ConcatContext *cat = avf->priv_data;
102     ConcatFile *file;
103     char *url = NULL;
104     const char *proto;
105     size_t url_len, proto_len;
106     int ret;
107
108     if (cat->safe > 0 && !safe_filename(filename)) {
109         av_log(avf, AV_LOG_ERROR, "Unsafe file name '%s'\n", filename);
110         FAIL(AVERROR(EPERM));
111     }
112
113     proto = avio_find_protocol_name(filename);
114     proto_len = proto ? strlen(proto) : 0;
115     if (!memcmp(filename, proto, proto_len) &&
116         (filename[proto_len] == ':' || filename[proto_len] == ',')) {
117         url = filename;
118         filename = NULL;
119     } else {
120         url_len = strlen(avf->filename) + strlen(filename) + 16;
121         if (!(url = av_malloc(url_len)))
122             FAIL(AVERROR(ENOMEM));
123         ff_make_absolute_url(url, url_len, avf->filename, filename);
124         av_freep(&filename);
125     }
126
127     if (cat->nb_files >= *nb_files_alloc) {
128         size_t n = FFMAX(*nb_files_alloc * 2, 16);
129         ConcatFile *new_files;
130         if (n <= cat->nb_files || n > SIZE_MAX / sizeof(*cat->files) ||
131             !(new_files = av_realloc(cat->files, n * sizeof(*cat->files))))
132             FAIL(AVERROR(ENOMEM));
133         cat->files = new_files;
134         *nb_files_alloc = n;
135     }
136
137     file = &cat->files[cat->nb_files++];
138     memset(file, 0, sizeof(*file));
139     *rfile = file;
140
141     file->url        = url;
142     file->start_time = AV_NOPTS_VALUE;
143     file->duration   = AV_NOPTS_VALUE;
144
145     return 0;
146
147 fail:
148     av_free(url);
149     av_free(filename);
150     return ret;
151 }
152
153 static int copy_stream_props(AVStream *st, AVStream *source_st)
154 {
155     int ret;
156
157     if (st->codec->codec_id || !source_st->codec->codec_id) {
158         if (st->codec->extradata_size < source_st->codec->extradata_size) {
159             ret = ff_alloc_extradata(st->codec,
160                                      source_st->codec->extradata_size);
161             if (ret < 0)
162                 return ret;
163         }
164         memcpy(st->codec->extradata, source_st->codec->extradata,
165                source_st->codec->extradata_size);
166         return 0;
167     }
168     if ((ret = avcodec_copy_context(st->codec, source_st->codec)) < 0)
169         return ret;
170     st->r_frame_rate        = source_st->r_frame_rate;
171     st->avg_frame_rate      = source_st->avg_frame_rate;
172     st->time_base           = source_st->time_base;
173     st->sample_aspect_ratio = source_st->sample_aspect_ratio;
174     return 0;
175 }
176
177 static int detect_stream_specific(AVFormatContext *avf, int idx)
178 {
179     ConcatContext *cat = avf->priv_data;
180     AVStream *st = cat->avf->streams[idx];
181     ConcatStream *cs = &cat->cur_file->streams[idx];
182     AVBitStreamFilterContext *bsf;
183
184     if (cat->auto_convert && st->codec->codec_id == AV_CODEC_ID_H264 &&
185         (st->codec->extradata_size < 4 || AV_RB32(st->codec->extradata) != 1)) {
186         av_log(cat->avf, AV_LOG_INFO,
187                "Auto-inserting h264_mp4toannexb bitstream filter\n");
188         if (!(bsf = av_bitstream_filter_init("h264_mp4toannexb"))) {
189             av_log(avf, AV_LOG_ERROR, "h264_mp4toannexb bitstream filter "
190                    "required for H.264 streams\n");
191             return AVERROR_BSF_NOT_FOUND;
192         }
193         cs->bsf = bsf;
194     }
195     return 0;
196 }
197
198 static int match_streams_one_to_one(AVFormatContext *avf)
199 {
200     ConcatContext *cat = avf->priv_data;
201     AVStream *st;
202     int i, ret;
203
204     for (i = cat->cur_file->nb_streams; i < cat->avf->nb_streams; i++) {
205         if (i < avf->nb_streams) {
206             st = avf->streams[i];
207         } else {
208             if (!(st = avformat_new_stream(avf, NULL)))
209                 return AVERROR(ENOMEM);
210         }
211         if ((ret = copy_stream_props(st, cat->avf->streams[i])) < 0)
212             return ret;
213         cat->cur_file->streams[i].out_stream_index = i;
214     }
215     return 0;
216 }
217
218 static int match_streams_exact_id(AVFormatContext *avf)
219 {
220     ConcatContext *cat = avf->priv_data;
221     AVStream *st;
222     int i, j, ret;
223
224     for (i = cat->cur_file->nb_streams; i < cat->avf->nb_streams; i++) {
225         st = cat->avf->streams[i];
226         for (j = 0; j < avf->nb_streams; j++) {
227             if (avf->streams[j]->id == st->id) {
228                 av_log(avf, AV_LOG_VERBOSE,
229                        "Match slave stream #%d with stream #%d id 0x%x\n",
230                        i, j, st->id);
231                 if ((ret = copy_stream_props(avf->streams[j], st)) < 0)
232                     return ret;
233                 cat->cur_file->streams[i].out_stream_index = j;
234             }
235         }
236     }
237     return 0;
238 }
239
240 static int match_streams(AVFormatContext *avf)
241 {
242     ConcatContext *cat = avf->priv_data;
243     ConcatStream *map;
244     int i, ret;
245
246     if (cat->cur_file->nb_streams >= cat->avf->nb_streams)
247         return 0;
248     map = av_realloc(cat->cur_file->streams,
249                      cat->avf->nb_streams * sizeof(*map));
250     if (!map)
251         return AVERROR(ENOMEM);
252     cat->cur_file->streams = map;
253     memset(map + cat->cur_file->nb_streams, 0,
254            (cat->avf->nb_streams - cat->cur_file->nb_streams) * sizeof(*map));
255
256     for (i = cat->cur_file->nb_streams; i < cat->avf->nb_streams; i++)
257         map[i].out_stream_index = -1;
258     switch (cat->stream_match_mode) {
259     case MATCH_ONE_TO_ONE:
260         ret = match_streams_one_to_one(avf);
261         break;
262     case MATCH_EXACT_ID:
263         ret = match_streams_exact_id(avf);
264         break;
265     default:
266         ret = AVERROR_BUG;
267     }
268     if (ret < 0)
269         return ret;
270     for (i = cat->cur_file->nb_streams; i < cat->avf->nb_streams; i++)
271         if ((ret = detect_stream_specific(avf, i)) < 0)
272             return ret;
273     cat->cur_file->nb_streams = cat->avf->nb_streams;
274     return 0;
275 }
276
277 static int open_file(AVFormatContext *avf, unsigned fileno)
278 {
279     ConcatContext *cat = avf->priv_data;
280     ConcatFile *file = &cat->files[fileno];
281     int ret;
282
283     if (cat->avf)
284         avformat_close_input(&cat->avf);
285
286     cat->avf = avformat_alloc_context();
287     if (!cat->avf)
288         return AVERROR(ENOMEM);
289
290     cat->avf->interrupt_callback = avf->interrupt_callback;
291
292     av_assert0(!cat->avf->codec_whitelist && !cat->avf->format_whitelist);
293     cat->avf-> codec_whitelist = av_strdup(avf->codec_whitelist);
294     cat->avf->format_whitelist = av_strdup(avf->format_whitelist);
295
296     if ((ret = avformat_open_input(&cat->avf, file->url, NULL, NULL)) < 0 ||
297         (ret = avformat_find_stream_info(cat->avf, NULL)) < 0) {
298         av_log(avf, AV_LOG_ERROR, "Impossible to open '%s'\n", file->url);
299         avformat_close_input(&cat->avf);
300         return ret;
301     }
302     cat->cur_file = file;
303     if (file->start_time == AV_NOPTS_VALUE)
304         file->start_time = !fileno ? 0 :
305                            cat->files[fileno - 1].start_time +
306                            cat->files[fileno - 1].duration;
307     if ((ret = match_streams(avf)) < 0)
308         return ret;
309     return 0;
310 }
311
312 static int concat_read_close(AVFormatContext *avf)
313 {
314     ConcatContext *cat = avf->priv_data;
315     unsigned i;
316
317     if (cat->avf)
318         avformat_close_input(&cat->avf);
319     for (i = 0; i < cat->nb_files; i++) {
320         av_freep(&cat->files[i].url);
321         av_freep(&cat->files[i].streams);
322     }
323     av_freep(&cat->files);
324     return 0;
325 }
326
327 static int concat_read_header(AVFormatContext *avf)
328 {
329     ConcatContext *cat = avf->priv_data;
330     uint8_t buf[4096];
331     uint8_t *cursor, *keyword;
332     int ret, line = 0, i;
333     unsigned nb_files_alloc = 0;
334     ConcatFile *file = NULL;
335     int64_t time = 0;
336
337     while (1) {
338         if ((ret = ff_get_line(avf->pb, buf, sizeof(buf))) <= 0)
339             break;
340         line++;
341         cursor = buf;
342         keyword = get_keyword(&cursor);
343         if (!*keyword || *keyword == '#')
344             continue;
345
346         if (!strcmp(keyword, "file")) {
347             char *filename = av_get_token((const char **)&cursor, SPACE_CHARS);
348             if (!filename) {
349                 av_log(avf, AV_LOG_ERROR, "Line %d: filename required\n", line);
350                 FAIL(AVERROR_INVALIDDATA);
351             }
352             if ((ret = add_file(avf, filename, &file, &nb_files_alloc)) < 0)
353                 goto fail;
354         } else if (!strcmp(keyword, "duration")) {
355             char *dur_str = get_keyword(&cursor);
356             int64_t dur;
357             if (!file) {
358                 av_log(avf, AV_LOG_ERROR, "Line %d: duration without file\n",
359                        line);
360                 FAIL(AVERROR_INVALIDDATA);
361             }
362             if ((ret = av_parse_time(&dur, dur_str, 1)) < 0) {
363                 av_log(avf, AV_LOG_ERROR, "Line %d: invalid duration '%s'\n",
364                        line, dur_str);
365                 goto fail;
366             }
367             file->duration = dur;
368         } else if (!strcmp(keyword, "stream")) {
369             if (!avformat_new_stream(avf, NULL))
370                 FAIL(AVERROR(ENOMEM));
371         } else if (!strcmp(keyword, "exact_stream_id")) {
372             if (!avf->nb_streams) {
373                 av_log(avf, AV_LOG_ERROR, "Line %d: exact_stream_id without stream\n",
374                        line);
375                 FAIL(AVERROR_INVALIDDATA);
376             }
377             avf->streams[avf->nb_streams - 1]->id =
378                 strtol(get_keyword(&cursor), NULL, 0);
379         } else if (!strcmp(keyword, "ffconcat")) {
380             char *ver_kw  = get_keyword(&cursor);
381             char *ver_val = get_keyword(&cursor);
382             if (strcmp(ver_kw, "version") || strcmp(ver_val, "1.0")) {
383                 av_log(avf, AV_LOG_ERROR, "Line %d: invalid version\n", line);
384                 FAIL(AVERROR_INVALIDDATA);
385             }
386             if (cat->safe < 0)
387                 cat->safe = 1;
388         } else {
389             av_log(avf, AV_LOG_ERROR, "Line %d: unknown keyword '%s'\n",
390                    line, keyword);
391             FAIL(AVERROR_INVALIDDATA);
392         }
393     }
394     if (ret < 0)
395         goto fail;
396     if (!cat->nb_files)
397         FAIL(AVERROR_INVALIDDATA);
398
399     for (i = 0; i < cat->nb_files; i++) {
400         if (cat->files[i].start_time == AV_NOPTS_VALUE)
401             cat->files[i].start_time = time;
402         else
403             time = cat->files[i].start_time;
404         if (cat->files[i].duration == AV_NOPTS_VALUE)
405             break;
406         time += cat->files[i].duration;
407     }
408     if (i == cat->nb_files) {
409         avf->duration = time;
410         cat->seekable = 1;
411     }
412
413     cat->stream_match_mode = avf->nb_streams ? MATCH_EXACT_ID :
414                                                MATCH_ONE_TO_ONE;
415     if ((ret = open_file(avf, 0)) < 0)
416         goto fail;
417     return 0;
418
419 fail:
420     concat_read_close(avf);
421     return ret;
422 }
423
424 static int open_next_file(AVFormatContext *avf)
425 {
426     ConcatContext *cat = avf->priv_data;
427     unsigned fileno = cat->cur_file - cat->files;
428
429     if (cat->cur_file->duration == AV_NOPTS_VALUE)
430         cat->cur_file->duration = cat->avf->duration;
431
432     if (++fileno >= cat->nb_files)
433         return AVERROR_EOF;
434     return open_file(avf, fileno);
435 }
436
437 static int filter_packet(AVFormatContext *avf, ConcatStream *cs, AVPacket *pkt)
438 {
439     AVStream *st = avf->streams[cs->out_stream_index];
440     AVBitStreamFilterContext *bsf;
441     AVPacket pkt2;
442     int ret;
443
444     av_assert0(cs->out_stream_index >= 0);
445     for (bsf = cs->bsf; bsf; bsf = bsf->next) {
446         pkt2 = *pkt;
447         ret = av_bitstream_filter_filter(bsf, st->codec, NULL,
448                                          &pkt2.data, &pkt2.size,
449                                          pkt->data, pkt->size,
450                                          !!(pkt->flags & AV_PKT_FLAG_KEY));
451         if (ret < 0) {
452             av_packet_unref(pkt);
453             return ret;
454         }
455         av_assert0(pkt2.buf);
456         if (ret == 0 && pkt2.data != pkt->data) {
457             if ((ret = av_copy_packet(&pkt2, pkt)) < 0) {
458                 av_free(pkt2.data);
459                 return ret;
460             }
461             ret = 1;
462         }
463         if (ret > 0) {
464             av_free_packet(pkt);
465             pkt2.buf = av_buffer_create(pkt2.data, pkt2.size,
466                                         av_buffer_default_free, NULL, 0);
467             if (!pkt2.buf) {
468                 av_free(pkt2.data);
469                 return AVERROR(ENOMEM);
470             }
471         }
472         *pkt = pkt2;
473     }
474     return 0;
475 }
476
477 static int concat_read_packet(AVFormatContext *avf, AVPacket *pkt)
478 {
479     ConcatContext *cat = avf->priv_data;
480     int ret;
481     int64_t delta;
482     ConcatStream *cs;
483
484     while (1) {
485         ret = av_read_frame(cat->avf, pkt);
486         if (ret == AVERROR_EOF) {
487             if ((ret = open_next_file(avf)) < 0)
488                 return ret;
489             continue;
490         }
491         if (ret < 0)
492             return ret;
493         if ((ret = match_streams(avf)) < 0) {
494             av_packet_unref(pkt);
495             return ret;
496         }
497         cs = &cat->cur_file->streams[pkt->stream_index];
498         if (cs->out_stream_index < 0) {
499             av_packet_unref(pkt);
500             continue;
501         }
502         pkt->stream_index = cs->out_stream_index;
503         break;
504     }
505     if ((ret = filter_packet(avf, cs, pkt)))
506         return ret;
507
508     delta = av_rescale_q(cat->cur_file->start_time - cat->avf->start_time,
509                          AV_TIME_BASE_Q,
510                          cat->avf->streams[pkt->stream_index]->time_base);
511     if (pkt->pts != AV_NOPTS_VALUE)
512         pkt->pts += delta;
513     if (pkt->dts != AV_NOPTS_VALUE)
514         pkt->dts += delta;
515     return ret;
516 }
517
518 static void rescale_interval(AVRational tb_in, AVRational tb_out,
519                              int64_t *min_ts, int64_t *ts, int64_t *max_ts)
520 {
521     *ts     = av_rescale_q    (*    ts, tb_in, tb_out);
522     *min_ts = av_rescale_q_rnd(*min_ts, tb_in, tb_out,
523                                AV_ROUND_UP   | AV_ROUND_PASS_MINMAX);
524     *max_ts = av_rescale_q_rnd(*max_ts, tb_in, tb_out,
525                                AV_ROUND_DOWN | AV_ROUND_PASS_MINMAX);
526 }
527
528 static int try_seek(AVFormatContext *avf, int stream,
529                     int64_t min_ts, int64_t ts, int64_t max_ts, int flags)
530 {
531     ConcatContext *cat = avf->priv_data;
532     int64_t t0 = cat->cur_file->start_time - cat->avf->start_time;
533
534     ts -= t0;
535     min_ts = min_ts == INT64_MIN ? INT64_MIN : min_ts - t0;
536     max_ts = max_ts == INT64_MAX ? INT64_MAX : max_ts - t0;
537     if (stream >= 0) {
538         if (stream >= cat->avf->nb_streams)
539             return AVERROR(EIO);
540         rescale_interval(AV_TIME_BASE_Q, cat->avf->streams[stream]->time_base,
541                          &min_ts, &ts, &max_ts);
542     }
543     return avformat_seek_file(cat->avf, stream, min_ts, ts, max_ts, flags);
544 }
545
546 static int real_seek(AVFormatContext *avf, int stream,
547                      int64_t min_ts, int64_t ts, int64_t max_ts, int flags)
548 {
549     ConcatContext *cat = avf->priv_data;
550     int ret, left, right;
551
552     if (stream >= 0) {
553         if (stream >= avf->nb_streams)
554             return AVERROR(EINVAL);
555         rescale_interval(avf->streams[stream]->time_base, AV_TIME_BASE_Q,
556                          &min_ts, &ts, &max_ts);
557     }
558
559     left  = 0;
560     right = cat->nb_files;
561     while (right - left > 1) {
562         int mid = (left + right) / 2;
563         if (ts < cat->files[mid].start_time)
564             right = mid;
565         else
566             left  = mid;
567     }
568
569     if ((ret = open_file(avf, left)) < 0)
570         return ret;
571
572     ret = try_seek(avf, stream, min_ts, ts, max_ts, flags);
573     if (ret < 0 &&
574         left < cat->nb_files - 1 &&
575         cat->files[left + 1].start_time < max_ts) {
576         if ((ret = open_file(avf, left + 1)) < 0)
577             return ret;
578         ret = try_seek(avf, stream, min_ts, ts, max_ts, flags);
579     }
580     return ret;
581 }
582
583 static int concat_seek(AVFormatContext *avf, int stream,
584                        int64_t min_ts, int64_t ts, int64_t max_ts, int flags)
585 {
586     ConcatContext *cat = avf->priv_data;
587     ConcatFile *cur_file_saved = cat->cur_file;
588     AVFormatContext *cur_avf_saved = cat->avf;
589     int ret;
590
591     if (!cat->seekable)
592         return AVERROR(ESPIPE); /* XXX: can we use it? */
593     if (flags & (AVSEEK_FLAG_BYTE | AVSEEK_FLAG_FRAME))
594         return AVERROR(ENOSYS);
595     cat->avf = NULL;
596     if ((ret = real_seek(avf, stream, min_ts, ts, max_ts, flags)) < 0) {
597         if (cat->avf)
598             avformat_close_input(&cat->avf);
599         cat->avf      = cur_avf_saved;
600         cat->cur_file = cur_file_saved;
601     } else {
602         avformat_close_input(&cur_avf_saved);
603     }
604     return ret;
605 }
606
607 #define OFFSET(x) offsetof(ConcatContext, x)
608 #define DEC AV_OPT_FLAG_DECODING_PARAM
609
610 static const AVOption options[] = {
611     { "safe", "enable safe mode",
612       OFFSET(safe), AV_OPT_TYPE_INT, {.i64 = -1}, -1, 1, DEC },
613     { "auto_convert", "automatically convert bitstream format",
614       OFFSET(auto_convert), AV_OPT_TYPE_INT, {.i64 = 0}, 0, 1, DEC },
615     { NULL }
616 };
617
618 static const AVClass concat_class = {
619     .class_name = "concat demuxer",
620     .item_name  = av_default_item_name,
621     .option     = options,
622     .version    = LIBAVUTIL_VERSION_INT,
623 };
624
625
626 AVInputFormat ff_concat_demuxer = {
627     .name           = "concat",
628     .long_name      = NULL_IF_CONFIG_SMALL("Virtual concatenation script"),
629     .priv_data_size = sizeof(ConcatContext),
630     .read_probe     = concat_probe,
631     .read_header    = concat_read_header,
632     .read_packet    = concat_read_packet,
633     .read_close     = concat_read_close,
634     .read_seek2     = concat_seek,
635     .priv_class     = &concat_class,
636 };