git.sesse.net Git - ffmpeg/blob - libavformat/avio.c

   1 /*
   2  * unbuffered I/O
   3  * Copyright (c) 2001 Fabrice Bellard
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "libavutil/avstring.h"
  23 #include "libavutil/dict.h"
  24 #include "libavutil/opt.h"
  25 #include "libavutil/time.h"
  26 #include "libavutil/avassert.h"
  27 #include "os_support.h"
  28 #include "avformat.h"
  29 #if CONFIG_NETWORK
  30 #include "network.h"
  31 #endif
  32 #include "url.h"
  33
  34 /** @name Logging context. */
  35 /*@{*/
  36 static const char *urlcontext_to_name(void *ptr)
  37 {
  38     URLContext *h = (URLContext *)ptr;
  39     if (h->prot)
  40         return h->prot->name;
  41     else
  42         return "NULL";
  43 }
  44
  45 static void *urlcontext_child_next(void *obj, void *prev)
  46 {
  47     URLContext *h = obj;
  48     if (!prev && h->priv_data && h->prot->priv_data_class)
  49         return h->priv_data;
  50     return NULL;
  51 }
  52
  53 #define OFFSET(x) offsetof(URLContext,x)
  54 #define E AV_OPT_FLAG_ENCODING_PARAM
  55 #define D AV_OPT_FLAG_DECODING_PARAM
  56 static const AVOption options[] = {
  57     {"protocol_whitelist", "List of protocols that are allowed to be used", OFFSET(protocol_whitelist), AV_OPT_TYPE_STRING, { .str = NULL },  CHAR_MIN, CHAR_MAX, D },
  58     {"protocol_blacklist", "List of protocols that are not allowed to be used", OFFSET(protocol_blacklist), AV_OPT_TYPE_STRING, { .str = NULL },  CHAR_MIN, CHAR_MAX, D },
  59     { NULL }
  60 };
  61
  62 const AVClass ffurl_context_class = {
  63     .class_name       = "URLContext",
  64     .item_name        = urlcontext_to_name,
  65     .option           = options,
  66     .version          = LIBAVUTIL_VERSION_INT,
  67     .child_next       = urlcontext_child_next,
  68     .child_class_next = ff_urlcontext_child_class_next,
  69 };
  70 /*@}*/
  71
  72 static int url_alloc_for_protocol(URLContext **puc, const URLProtocol *up,
  73                                   const char *filename, int flags,
  74                                   const AVIOInterruptCB *int_cb)
  75 {
  76     URLContext *uc;
  77     int err;
  78
  79 #if CONFIG_NETWORK
  80     if (up->flags & URL_PROTOCOL_FLAG_NETWORK && !ff_network_init())
  81         return AVERROR(EIO);
  82 #endif
  83     if ((flags & AVIO_FLAG_READ) && !up->url_read) {
  84         av_log(NULL, AV_LOG_ERROR,
  85                "Impossible to open the '%s' protocol for reading\n", up->name);
  86         return AVERROR(EIO);
  87     }
  88     if ((flags & AVIO_FLAG_WRITE) && !up->url_write) {
  89         av_log(NULL, AV_LOG_ERROR,
  90                "Impossible to open the '%s' protocol for writing\n", up->name);
  91         return AVERROR(EIO);
  92     }
  93     uc = av_mallocz(sizeof(URLContext) + strlen(filename) + 1);
  94     if (!uc) {
  95         err = AVERROR(ENOMEM);
  96         goto fail;
  97     }
  98     uc->av_class = &ffurl_context_class;
  99     uc->filename = (char *)&uc[1];
 100     strcpy(uc->filename, filename);
 101     uc->prot            = up;
 102     uc->flags           = flags;
 103     uc->is_streamed     = 0; /* default = not streamed */
 104     uc->max_packet_size = 0; /* default: stream file */
 105     if (up->priv_data_size) {
 106         uc->priv_data = av_mallocz(up->priv_data_size);
 107         if (!uc->priv_data) {
 108             err = AVERROR(ENOMEM);
 109             goto fail;
 110         }
 111         if (up->priv_data_class) {
 112             int proto_len= strlen(up->name);
 113             char *start = strchr(uc->filename, ',');
 114             *(const AVClass **)uc->priv_data = up->priv_data_class;
 115             av_opt_set_defaults(uc->priv_data);
 116             if(!strncmp(up->name, uc->filename, proto_len) && uc->filename + proto_len == start){
 117                 int ret= 0;
 118                 char *p= start;
 119                 char sep= *++p;
 120                 char *key, *val;
 121                 p++;
 122
 123                 if (strcmp(up->name, "subfile"))
 124                     ret = AVERROR(EINVAL);
 125
 126                 while(ret >= 0 && (key= strchr(p, sep)) && p<key && (val = strchr(key+1, sep))){
 127                     *val= *key= 0;
 128                     if (strcmp(p, "start") && strcmp(p, "end")) {
 129                         ret = AVERROR_OPTION_NOT_FOUND;
 130                     } else
 131                         ret= av_opt_set(uc->priv_data, p, key+1, 0);
 132                     if (ret == AVERROR_OPTION_NOT_FOUND)
 133                         av_log(uc, AV_LOG_ERROR, "Key '%s' not found.\n", p);
 134                     *val= *key= sep;
 135                     p= val+1;
 136                 }
 137                 if(ret<0 || p!=key){
 138                     av_log(uc, AV_LOG_ERROR, "Error parsing options string %s\n", start);
 139                     av_freep(&uc->priv_data);
 140                     av_freep(&uc);
 141                     err = AVERROR(EINVAL);
 142                     goto fail;
 143                 }
 144                 memmove(start, key+1, strlen(key));
 145             }
 146         }
 147     }
 148     if (int_cb)
 149         uc->interrupt_callback = *int_cb;
 150
 151     *puc = uc;
 152     return 0;
 153 fail:
 154     *puc = NULL;
 155     if (uc)
 156         av_freep(&uc->priv_data);
 157     av_freep(&uc);
 158 #if CONFIG_NETWORK
 159     if (up->flags & URL_PROTOCOL_FLAG_NETWORK)
 160         ff_network_close();
 161 #endif
 162     return err;
 163 }
 164
 165 int ffurl_connect(URLContext *uc, AVDictionary **options)
 166 {
 167     int err;
 168     AVDictionary *tmp_opts = NULL;
 169     AVDictionaryEntry *e;
 170
 171     if (!options)
 172         options = &tmp_opts;
 173
 174     // Check that URLContext was initialized correctly and lists are matching if set
 175     av_assert0(!(e=av_dict_get(*options, "protocol_whitelist", NULL, 0)) ||
 176                (uc->protocol_whitelist && !strcmp(uc->protocol_whitelist, e->value)));
 177     av_assert0(!(e=av_dict_get(*options, "protocol_blacklist", NULL, 0)) ||
 178                (uc->protocol_blacklist && !strcmp(uc->protocol_blacklist, e->value)));
 179
 180     if (uc->protocol_whitelist && av_match_list(uc->prot->name, uc->protocol_whitelist, ',') <= 0) {
 181         av_log(uc, AV_LOG_ERROR, "Protocol not on whitelist \'%s\'!\n", uc->protocol_whitelist);
 182         return AVERROR(EINVAL);
 183     }
 184
 185     if (uc->protocol_blacklist && av_match_list(uc->prot->name, uc->protocol_blacklist, ',') > 0) {
 186         av_log(uc, AV_LOG_ERROR, "Protocol blacklisted \'%s\'!\n", uc->protocol_blacklist);
 187         return AVERROR(EINVAL);
 188     }
 189
 190     if (!uc->protocol_whitelist && uc->prot->default_whitelist) {
 191         av_log(uc, AV_LOG_DEBUG, "Setting default whitelist '%s'\n", uc->prot->default_whitelist);
 192         uc->protocol_whitelist = av_strdup(uc->prot->default_whitelist);
 193         if (!uc->protocol_whitelist) {
 194             return AVERROR(ENOMEM);
 195         }
 196     } else if (!uc->protocol_whitelist)
 197         av_log(uc, AV_LOG_DEBUG, "No default whitelist set\n"); // This should be an error once all declare a default whitelist
 198
 199     if ((err = av_dict_set(options, "protocol_whitelist", uc->protocol_whitelist, 0)) < 0)
 200         return err;
 201     if ((err = av_dict_set(options, "protocol_blacklist", uc->protocol_blacklist, 0)) < 0)
 202         return err;
 203
 204     err =
 205         uc->prot->url_open2 ? uc->prot->url_open2(uc,
 206                                                   uc->filename,
 207                                                   uc->flags,
 208                                                   options) :
 209         uc->prot->url_open(uc, uc->filename, uc->flags);
 210
 211     av_dict_set(options, "protocol_whitelist", NULL, 0);
 212     av_dict_set(options, "protocol_blacklist", NULL, 0);
 213
 214     if (err)
 215         return err;
 216     uc->is_connected = 1;
 217     /* We must be careful here as ffurl_seek() could be slow,
 218      * for example for http */
 219     if ((uc->flags & AVIO_FLAG_WRITE) || !strcmp(uc->prot->name, "file"))
 220         if (!uc->is_streamed && ffurl_seek(uc, 0, SEEK_SET) < 0)
 221             uc->is_streamed = 1;
 222     return 0;
 223 }
 224
 225 int ffurl_accept(URLContext *s, URLContext **c)
 226 {
 227     av_assert0(!*c);
 228     if (s->prot->url_accept)
 229         return s->prot->url_accept(s, c);
 230     return AVERROR(EBADF);
 231 }
 232
 233 int ffurl_handshake(URLContext *c)
 234 {
 235     int ret;
 236     if (c->prot->url_handshake) {
 237         ret = c->prot->url_handshake(c);
 238         if (ret)
 239             return ret;
 240     }
 241     c->is_connected = 1;
 242     return 0;
 243 }
 244
 245 #define URL_SCHEME_CHARS                        \
 246     "abcdefghijklmnopqrstuvwxyz"                \
 247     "ABCDEFGHIJKLMNOPQRSTUVWXYZ"                \
 248     "0123456789+-."
 249
 250 static const struct URLProtocol *url_find_protocol(const char *filename)
 251 {
 252     const URLProtocol *up;
 253     const URLProtocol **protocols;
 254     char proto_str[128], proto_nested[128], *ptr;
 255     size_t proto_len = strspn(filename, URL_SCHEME_CHARS);
 256     int i;
 257
 258     if (filename[proto_len] != ':' &&
 259         (strncmp(filename, "subfile,", 8) || !strchr(filename + proto_len + 1, ':')) ||
 260         is_dos_path(filename))
 261         strcpy(proto_str, "file");
 262     else
 263         av_strlcpy(proto_str, filename,
 264                    FFMIN(proto_len + 1, sizeof(proto_str)));
 265
 266     if ((ptr = strchr(proto_str, ',')))
 267         *ptr = '\0';
 268     av_strlcpy(proto_nested, proto_str, sizeof(proto_nested));
 269     if ((ptr = strchr(proto_nested, '+')))
 270         *ptr = '\0';
 271
 272     protocols = ffurl_get_protocols(NULL, NULL);
 273     for (i = 0; protocols[i]; i++) {
 274         up = protocols[i];
 275         if (!strcmp(proto_str, up->name))
 276             break;
 277         if (up->flags & URL_PROTOCOL_FLAG_NESTED_SCHEME &&
 278             !strcmp(proto_nested, up->name))
 279             break;
 280     }
 281     av_freep(&protocols);
 282
 283     return up;
 284 }
 285
 286 int ffurl_alloc(URLContext **puc, const char *filename, int flags,
 287                 const AVIOInterruptCB *int_cb)
 288 {
 289     const URLProtocol *p = NULL;
 290
 291     p = url_find_protocol(filename);
 292     if (p)
 293        return url_alloc_for_protocol(puc, p, filename, flags, int_cb);
 294
 295     *puc = NULL;
 296     if (av_strstart(filename, "https:", NULL))
 297         av_log(NULL, AV_LOG_WARNING, "https protocol not found, recompile FFmpeg with "
 298                                      "openssl, gnutls,\n"
 299                                      "or securetransport enabled.\n");
 300     return AVERROR_PROTOCOL_NOT_FOUND;
 301 }
 302
 303 int ffurl_open_whitelist(URLContext **puc, const char *filename, int flags,
 304                          const AVIOInterruptCB *int_cb, AVDictionary **options,
 305                          const char *whitelist, const char* blacklist)
 306 {
 307     AVDictionary *tmp_opts = NULL;
 308     AVDictionaryEntry *e;
 309     int ret = ffurl_alloc(puc, filename, flags, int_cb);
 310     if (ret < 0)
 311         return ret;
 312     if (options && (*puc)->prot->priv_data_class &&
 313         (ret = av_opt_set_dict((*puc)->priv_data, options)) < 0)
 314         goto fail;
 315
 316     if (!options)
 317         options = &tmp_opts;
 318
 319     av_assert0(!whitelist ||
 320                !(e=av_dict_get(*options, "protocol_whitelist", NULL, 0)) ||
 321                !strcmp(whitelist, e->value));
 322     av_assert0(!blacklist ||
 323                !(e=av_dict_get(*options, "protocol_blacklist", NULL, 0)) ||
 324                !strcmp(blacklist, e->value));
 325
 326     if ((ret = av_dict_set(options, "protocol_whitelist", whitelist, 0)) < 0)
 327         goto fail;
 328
 329     if ((ret = av_dict_set(options, "protocol_blacklist", blacklist, 0)) < 0)
 330         goto fail;
 331
 332     if ((ret = av_opt_set_dict(*puc, options)) < 0)
 333         goto fail;
 334
 335     ret = ffurl_connect(*puc, options);
 336
 337     if (!ret)
 338         return 0;
 339 fail:
 340     ffurl_close(*puc);
 341     *puc = NULL;
 342     return ret;
 343 }
 344
 345 int ffurl_open(URLContext **puc, const char *filename, int flags,
 346                const AVIOInterruptCB *int_cb, AVDictionary **options)
 347 {
 348     return ffurl_open_whitelist(puc, filename, flags,
 349                                 int_cb, options, NULL, NULL);
 350 }
 351
 352 static inline int retry_transfer_wrapper(URLContext *h, uint8_t *buf,
 353                                          int size, int size_min,
 354                                          int (*transfer_func)(URLContext *h,
 355                                                               uint8_t *buf,
 356                                                               int size))
 357 {
 358     int ret, len;
 359     int fast_retries = 5;
 360     int64_t wait_since = 0;
 361
 362     len = 0;
 363     while (len < size_min) {
 364         if (ff_check_interrupt(&h->interrupt_callback))
 365             return AVERROR_EXIT;
 366         ret = transfer_func(h, buf + len, size - len);
 367         if (ret == AVERROR(EINTR))
 368             continue;
 369         if (h->flags & AVIO_FLAG_NONBLOCK)
 370             return ret;
 371         if (ret == AVERROR(EAGAIN)) {
 372             ret = 0;
 373             if (fast_retries) {
 374                 fast_retries--;
 375             } else {
 376                 if (h->rw_timeout) {
 377                     if (!wait_since)
 378                         wait_since = av_gettime_relative();
 379                     else if (av_gettime_relative() > wait_since + h->rw_timeout)
 380                         return AVERROR(EIO);
 381                 }
 382                 av_usleep(1000);
 383             }
 384         } else if (ret < 1)
 385             return (ret < 0 && ret != AVERROR_EOF) ? ret : len;
 386         if (ret)
 387             fast_retries = FFMAX(fast_retries, 2);
 388         len += ret;
 389     }
 390     return len;
 391 }
 392
 393 int ffurl_read(URLContext *h, unsigned char *buf, int size)
 394 {
 395     if (!(h->flags & AVIO_FLAG_READ))
 396         return AVERROR(EIO);
 397     return retry_transfer_wrapper(h, buf, size, 1, h->prot->url_read);
 398 }
 399
 400 int ffurl_read_complete(URLContext *h, unsigned char *buf, int size)
 401 {
 402     if (!(h->flags & AVIO_FLAG_READ))
 403         return AVERROR(EIO);
 404     return retry_transfer_wrapper(h, buf, size, size, h->prot->url_read);
 405 }
 406
 407 int ffurl_write(URLContext *h, const unsigned char *buf, int size)
 408 {
 409     if (!(h->flags & AVIO_FLAG_WRITE))
 410         return AVERROR(EIO);
 411     /* avoid sending too big packets */
 412     if (h->max_packet_size && size > h->max_packet_size)
 413         return AVERROR(EIO);
 414
 415     return retry_transfer_wrapper(h, (unsigned char *)buf, size, size,
 416                                   (int (*)(struct URLContext *, uint8_t *, int))
 417                                   h->prot->url_write);
 418 }
 419
 420 int64_t ffurl_seek(URLContext *h, int64_t pos, int whence)
 421 {
 422     int64_t ret;
 423
 424     if (!h->prot->url_seek)
 425         return AVERROR(ENOSYS);
 426     ret = h->prot->url_seek(h, pos, whence & ~AVSEEK_FORCE);
 427     return ret;
 428 }
 429
 430 int ffurl_closep(URLContext **hh)
 431 {
 432     URLContext *h= *hh;
 433     int ret = 0;
 434     if (!h)
 435         return 0;     /* can happen when ffurl_open fails */
 436
 437     if (h->is_connected && h->prot->url_close)
 438         ret = h->prot->url_close(h);
 439 #if CONFIG_NETWORK
 440     if (h->prot->flags & URL_PROTOCOL_FLAG_NETWORK)
 441         ff_network_close();
 442 #endif
 443     if (h->prot->priv_data_size) {
 444         if (h->prot->priv_data_class)
 445             av_opt_free(h->priv_data);
 446         av_freep(&h->priv_data);
 447     }
 448     av_opt_free(h);
 449     av_freep(hh);
 450     return ret;
 451 }
 452
 453 int ffurl_close(URLContext *h)
 454 {
 455     return ffurl_closep(&h);
 456 }
 457
 458
 459 const char *avio_find_protocol_name(const char *url)
 460 {
 461     const URLProtocol *p = url_find_protocol(url);
 462
 463     return p ? p->name : NULL;
 464 }
 465
 466 int avio_check(const char *url, int flags)
 467 {
 468     URLContext *h;
 469     int ret = ffurl_alloc(&h, url, flags, NULL);
 470     if (ret < 0)
 471         return ret;
 472
 473     if (h->prot->url_check) {
 474         ret = h->prot->url_check(h, flags);
 475     } else {
 476         ret = ffurl_connect(h, NULL);
 477         if (ret >= 0)
 478             ret = flags;
 479     }
 480
 481     ffurl_close(h);
 482     return ret;
 483 }
 484
 485 int avpriv_io_move(const char *url_src, const char *url_dst)
 486 {
 487     URLContext *h_src, *h_dst;
 488     int ret = ffurl_alloc(&h_src, url_src, AVIO_FLAG_READ_WRITE, NULL);
 489     if (ret < 0)
 490         return ret;
 491     ret = ffurl_alloc(&h_dst, url_dst, AVIO_FLAG_WRITE, NULL);
 492     if (ret < 0) {
 493         ffurl_close(h_src);
 494         return ret;
 495     }
 496
 497     if (h_src->prot == h_dst->prot && h_src->prot->url_move)
 498         ret = h_src->prot->url_move(h_src, h_dst);
 499     else
 500         ret = AVERROR(ENOSYS);
 501
 502     ffurl_close(h_src);
 503     ffurl_close(h_dst);
 504     return ret;
 505 }
 506
 507 int avpriv_io_delete(const char *url)
 508 {
 509     URLContext *h;
 510     int ret = ffurl_alloc(&h, url, AVIO_FLAG_WRITE, NULL);
 511     if (ret < 0)
 512         return ret;
 513
 514     if (h->prot->url_delete)
 515         ret = h->prot->url_delete(h);
 516     else
 517         ret = AVERROR(ENOSYS);
 518
 519     ffurl_close(h);
 520     return ret;
 521 }
 522
 523 int avio_open_dir(AVIODirContext **s, const char *url, AVDictionary **options)
 524 {
 525     URLContext *h = NULL;
 526     AVIODirContext *ctx = NULL;
 527     int ret;
 528     av_assert0(s);
 529
 530     ctx = av_mallocz(sizeof(*ctx));
 531     if (!ctx) {
 532         ret = AVERROR(ENOMEM);
 533         goto fail;
 534     }
 535
 536     if ((ret = ffurl_alloc(&h, url, AVIO_FLAG_READ, NULL)) < 0)
 537         goto fail;
 538
 539     if (h->prot->url_open_dir && h->prot->url_read_dir && h->prot->url_close_dir) {
 540         if (options && h->prot->priv_data_class &&
 541             (ret = av_opt_set_dict(h->priv_data, options)) < 0)
 542             goto fail;
 543         ret = h->prot->url_open_dir(h);
 544     } else
 545         ret = AVERROR(ENOSYS);
 546     if (ret < 0)
 547         goto fail;
 548
 549     h->is_connected = 1;
 550     ctx->url_context = h;
 551     *s = ctx;
 552     return 0;
 553
 554   fail:
 555     av_free(ctx);
 556     *s = NULL;
 557     ffurl_close(h);
 558     return ret;
 559 }
 560
 561 int avio_read_dir(AVIODirContext *s, AVIODirEntry **next)
 562 {
 563     URLContext *h;
 564     int ret;
 565
 566     if (!s || !s->url_context)
 567         return AVERROR(EINVAL);
 568     h = s->url_context;
 569     if ((ret = h->prot->url_read_dir(h, next)) < 0)
 570         avio_free_directory_entry(next);
 571     return ret;
 572 }
 573
 574 int avio_close_dir(AVIODirContext **s)
 575 {
 576     URLContext *h;
 577
 578     av_assert0(s);
 579     if (!(*s) || !(*s)->url_context)
 580         return AVERROR(EINVAL);
 581     h = (*s)->url_context;
 582     h->prot->url_close_dir(h);
 583     ffurl_close(h);
 584     av_freep(s);
 585     *s = NULL;
 586     return 0;
 587 }
 588
 589 void avio_free_directory_entry(AVIODirEntry **entry)
 590 {
 591     if (!entry || !*entry)
 592         return;
 593     av_free((*entry)->name);
 594     av_freep(entry);
 595 }
 596
 597 int64_t ffurl_size(URLContext *h)
 598 {
 599     int64_t pos, size;
 600
 601     size = ffurl_seek(h, 0, AVSEEK_SIZE);
 602     if (size < 0) {
 603         pos = ffurl_seek(h, 0, SEEK_CUR);
 604         if ((size = ffurl_seek(h, -1, SEEK_END)) < 0)
 605             return size;
 606         size++;
 607         ffurl_seek(h, pos, SEEK_SET);
 608     }
 609     return size;
 610 }
 611
 612 int ffurl_get_file_handle(URLContext *h)
 613 {
 614     if (!h->prot->url_get_file_handle)
 615         return -1;
 616     return h->prot->url_get_file_handle(h);
 617 }
 618
 619 int ffurl_get_multi_file_handle(URLContext *h, int **handles, int *numhandles)
 620 {
 621     if (!h->prot->url_get_multi_file_handle) {
 622         if (!h->prot->url_get_file_handle)
 623             return AVERROR(ENOSYS);
 624         *handles = av_malloc(sizeof(**handles));
 625         if (!*handles)
 626             return AVERROR(ENOMEM);
 627         *numhandles = 1;
 628         *handles[0] = h->prot->url_get_file_handle(h);
 629         return 0;
 630     }
 631     return h->prot->url_get_multi_file_handle(h, handles, numhandles);
 632 }
 633
 634 int ffurl_shutdown(URLContext *h, int flags)
 635 {
 636     if (!h->prot->url_shutdown)
 637         return AVERROR(EINVAL);
 638     return h->prot->url_shutdown(h, flags);
 639 }
 640
 641 int ff_check_interrupt(AVIOInterruptCB *cb)
 642 {
 643     int ret;
 644     if (cb && cb->callback && (ret = cb->callback(cb->opaque)))
 645         return ret;
 646     return 0;
 647 }