git.sesse.net Git - ffmpeg/blob - libavformat/rtpdec.c

   1 /*
   2  * RTP input format
   3  * Copyright (c) 2002 Fabrice Bellard
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "libavutil/mathematics.h"
  23 #include "libavutil/avstring.h"
  24 #include "libavutil/intreadwrite.h"
  25 #include "libavutil/time.h"
  26
  27 #include "libavcodec/bytestream.h"
  28
  29 #include "avformat.h"
  30 #include "network.h"
  31 #include "srtp.h"
  32 #include "url.h"
  33 #include "rtpdec.h"
  34 #include "rtpdec_formats.h"
  35 #include "internal.h"
  36
  37 #define MIN_FEEDBACK_INTERVAL 200000 /* 200 ms in us */
  38
  39 static RTPDynamicProtocolHandler l24_dynamic_handler = {
  40     .enc_name   = "L24",
  41     .codec_type = AVMEDIA_TYPE_AUDIO,
  42     .codec_id   = AV_CODEC_ID_PCM_S24BE,
  43 };
  44
  45 static RTPDynamicProtocolHandler gsm_dynamic_handler = {
  46     .enc_name   = "GSM",
  47     .codec_type = AVMEDIA_TYPE_AUDIO,
  48     .codec_id   = AV_CODEC_ID_GSM,
  49 };
  50
  51 static RTPDynamicProtocolHandler realmedia_mp3_dynamic_handler = {
  52     .enc_name   = "X-MP3-draft-00",
  53     .codec_type = AVMEDIA_TYPE_AUDIO,
  54     .codec_id   = AV_CODEC_ID_MP3ADU,
  55 };
  56
  57 static RTPDynamicProtocolHandler speex_dynamic_handler = {
  58     .enc_name   = "speex",
  59     .codec_type = AVMEDIA_TYPE_AUDIO,
  60     .codec_id   = AV_CODEC_ID_SPEEX,
  61 };
  62
  63 static RTPDynamicProtocolHandler opus_dynamic_handler = {
  64     .enc_name   = "opus",
  65     .codec_type = AVMEDIA_TYPE_AUDIO,
  66     .codec_id   = AV_CODEC_ID_OPUS,
  67 };
  68
  69 static RTPDynamicProtocolHandler t140_dynamic_handler = { /* RFC 4103 */
  70     .enc_name   = "t140",
  71     .codec_type = AVMEDIA_TYPE_SUBTITLE,
  72     .codec_id   = AV_CODEC_ID_TEXT,
  73 };
  74
  75 extern RTPDynamicProtocolHandler ff_rdt_video_handler;
  76 extern RTPDynamicProtocolHandler ff_rdt_audio_handler;
  77 extern RTPDynamicProtocolHandler ff_rdt_live_video_handler;
  78 extern RTPDynamicProtocolHandler ff_rdt_live_audio_handler;
  79
  80 static const RTPDynamicProtocolHandler *rtp_dynamic_protocol_handler_list[] = {
  81     /* rtp */
  82     &ff_ac3_dynamic_handler,
  83     &ff_amr_nb_dynamic_handler,
  84     &ff_amr_wb_dynamic_handler,
  85     &ff_dv_dynamic_handler,
  86     &ff_g726_16_dynamic_handler,
  87     &ff_g726_24_dynamic_handler,
  88     &ff_g726_32_dynamic_handler,
  89     &ff_g726_40_dynamic_handler,
  90     &ff_g726le_16_dynamic_handler,
  91     &ff_g726le_24_dynamic_handler,
  92     &ff_g726le_32_dynamic_handler,
  93     &ff_g726le_40_dynamic_handler,
  94     &ff_h261_dynamic_handler,
  95     &ff_h263_1998_dynamic_handler,
  96     &ff_h263_2000_dynamic_handler,
  97     &ff_h263_rfc2190_dynamic_handler,
  98     &ff_h264_dynamic_handler,
  99     &ff_hevc_dynamic_handler,
 100     &ff_ilbc_dynamic_handler,
 101     &ff_jpeg_dynamic_handler,
 102     &ff_mp4a_latm_dynamic_handler,
 103     &ff_mp4v_es_dynamic_handler,
 104     &ff_mpeg_audio_dynamic_handler,
 105     &ff_mpeg_audio_robust_dynamic_handler,
 106     &ff_mpeg_video_dynamic_handler,
 107     &ff_mpeg4_generic_dynamic_handler,
 108     &ff_mpegts_dynamic_handler,
 109     &ff_ms_rtp_asf_pfa_handler,
 110     &ff_ms_rtp_asf_pfv_handler,
 111     &ff_qcelp_dynamic_handler,
 112     &ff_qdm2_dynamic_handler,
 113     &ff_qt_rtp_aud_handler,
 114     &ff_qt_rtp_vid_handler,
 115     &ff_quicktime_rtp_aud_handler,
 116     &ff_quicktime_rtp_vid_handler,
 117     &ff_rfc4175_rtp_handler,
 118     &ff_svq3_dynamic_handler,
 119     &ff_theora_dynamic_handler,
 120     &ff_vc2hq_dynamic_handler,
 121     &ff_vorbis_dynamic_handler,
 122     &ff_vp8_dynamic_handler,
 123     &ff_vp9_dynamic_handler,
 124     &gsm_dynamic_handler,
 125     &l24_dynamic_handler,
 126     &opus_dynamic_handler,
 127     &realmedia_mp3_dynamic_handler,
 128     &speex_dynamic_handler,
 129     &t140_dynamic_handler,
 130     /* rdt */
 131     &ff_rdt_video_handler,
 132     &ff_rdt_audio_handler,
 133     &ff_rdt_live_video_handler,
 134     &ff_rdt_live_audio_handler,
 135     NULL,
 136 };
 137
 138 const RTPDynamicProtocolHandler *ff_rtp_handler_iterate(void **opaque)
 139 {
 140     uintptr_t i = (uintptr_t)*opaque;
 141     const RTPDynamicProtocolHandler *r = rtp_dynamic_protocol_handler_list[i];
 142
 143     if (r)
 144         *opaque = (void*)(i + 1);
 145
 146     return r;
 147 }
 148
 149 const RTPDynamicProtocolHandler *ff_rtp_handler_find_by_name(const char *name,
 150                                                        enum AVMediaType codec_type)
 151 {
 152     void *i = 0;
 153     const RTPDynamicProtocolHandler *handler;
 154     while (handler = ff_rtp_handler_iterate(&i)) {
 155         if (handler->enc_name &&
 156             !av_strcasecmp(name, handler->enc_name) &&
 157             codec_type == handler->codec_type)
 158             return handler;
 159     }
 160     return NULL;
 161 }
 162
 163 const RTPDynamicProtocolHandler *ff_rtp_handler_find_by_id(int id,
 164                                                      enum AVMediaType codec_type)
 165 {
 166     void *i = 0;
 167     const RTPDynamicProtocolHandler *handler;
 168     while (handler = ff_rtp_handler_iterate(&i)) {
 169         if (handler->static_payload_id && handler->static_payload_id == id &&
 170             codec_type == handler->codec_type)
 171             return handler;
 172     }
 173     return NULL;
 174 }
 175
 176 static int rtcp_parse_packet(RTPDemuxContext *s, const unsigned char *buf,
 177                              int len)
 178 {
 179     int payload_len;
 180     while (len >= 4) {
 181         payload_len = FFMIN(len, (AV_RB16(buf + 2) + 1) * 4);
 182
 183         switch (buf[1]) {
 184         case RTCP_SR:
 185             if (payload_len < 20) {
 186                 av_log(s->ic, AV_LOG_ERROR, "Invalid RTCP SR packet length\n");
 187                 return AVERROR_INVALIDDATA;
 188             }
 189
 190             s->last_rtcp_reception_time = av_gettime_relative();
 191             s->last_rtcp_ntp_time  = AV_RB64(buf + 8);
 192             s->last_rtcp_timestamp = AV_RB32(buf + 16);
 193             if (s->first_rtcp_ntp_time == AV_NOPTS_VALUE) {
 194                 s->first_rtcp_ntp_time = s->last_rtcp_ntp_time;
 195                 if (!s->base_timestamp)
 196                     s->base_timestamp = s->last_rtcp_timestamp;
 197                 s->rtcp_ts_offset = (int32_t)(s->last_rtcp_timestamp - s->base_timestamp);
 198             }
 199
 200             break;
 201         case RTCP_BYE:
 202             return -RTCP_BYE;
 203         }
 204
 205         buf += payload_len;
 206         len -= payload_len;
 207     }
 208     return -1;
 209 }
 210
 211 #define RTP_SEQ_MOD (1 << 16)
 212
 213 static void rtp_init_statistics(RTPStatistics *s, uint16_t base_sequence)
 214 {
 215     memset(s, 0, sizeof(RTPStatistics));
 216     s->max_seq   = base_sequence;
 217     s->probation = 1;
 218 }
 219
 220 /*
 221  * Called whenever there is a large jump in sequence numbers,
 222  * or when they get out of probation...
 223  */
 224 static void rtp_init_sequence(RTPStatistics *s, uint16_t seq)
 225 {
 226     s->max_seq        = seq;
 227     s->cycles         = 0;
 228     s->base_seq       = seq - 1;
 229     s->bad_seq        = RTP_SEQ_MOD + 1;
 230     s->received       = 0;
 231     s->expected_prior = 0;
 232     s->received_prior = 0;
 233     s->jitter         = 0;
 234     s->transit        = 0;
 235 }
 236
 237 /* Returns 1 if we should handle this packet. */
 238 static int rtp_valid_packet_in_sequence(RTPStatistics *s, uint16_t seq)
 239 {
 240     uint16_t udelta = seq - s->max_seq;
 241     const int MAX_DROPOUT    = 3000;
 242     const int MAX_MISORDER   = 100;
 243     const int MIN_SEQUENTIAL = 2;
 244
 245     /* source not valid until MIN_SEQUENTIAL packets with sequence
 246      * seq. numbers have been received */
 247     if (s->probation) {
 248         if (seq == s->max_seq + 1) {
 249             s->probation--;
 250             s->max_seq = seq;
 251             if (s->probation == 0) {
 252                 rtp_init_sequence(s, seq);
 253                 s->received++;
 254                 return 1;
 255             }
 256         } else {
 257             s->probation = MIN_SEQUENTIAL - 1;
 258             s->max_seq   = seq;
 259         }
 260     } else if (udelta < MAX_DROPOUT) {
 261         // in order, with permissible gap
 262         if (seq < s->max_seq) {
 263             // sequence number wrapped; count another 64k cycles
 264             s->cycles += RTP_SEQ_MOD;
 265         }
 266         s->max_seq = seq;
 267     } else if (udelta <= RTP_SEQ_MOD - MAX_MISORDER) {
 268         // sequence made a large jump...
 269         if (seq == s->bad_seq) {
 270             /* two sequential packets -- assume that the other side
 271              * restarted without telling us; just resync. */
 272             rtp_init_sequence(s, seq);
 273         } else {
 274             s->bad_seq = (seq + 1) & (RTP_SEQ_MOD - 1);
 275             return 0;
 276         }
 277     } else {
 278         // duplicate or reordered packet...
 279     }
 280     s->received++;
 281     return 1;
 282 }
 283
 284 static void rtcp_update_jitter(RTPStatistics *s, uint32_t sent_timestamp,
 285                                uint32_t arrival_timestamp)
 286 {
 287     // Most of this is pretty straight from RFC 3550 appendix A.8
 288     uint32_t transit = arrival_timestamp - sent_timestamp;
 289     uint32_t prev_transit = s->transit;
 290     int32_t d = transit - prev_transit;
 291     // Doing the FFABS() call directly on the "transit - prev_transit"
 292     // expression doesn't work, since it's an unsigned expression. Doing the
 293     // transit calculation in unsigned is desired though, since it most
 294     // probably will need to wrap around.
 295     d = FFABS(d);
 296     s->transit = transit;
 297     if (!prev_transit)
 298         return;
 299     s->jitter += d - (int32_t) ((s->jitter + 8) >> 4);
 300 }
 301
 302 int ff_rtp_check_and_send_back_rr(RTPDemuxContext *s, URLContext *fd,
 303                                   AVIOContext *avio, int count)
 304 {
 305     AVIOContext *pb;
 306     uint8_t *buf;
 307     int len;
 308     int rtcp_bytes;
 309     RTPStatistics *stats = &s->statistics;
 310     uint32_t lost;
 311     uint32_t extended_max;
 312     uint32_t expected_interval;
 313     uint32_t received_interval;
 314     int32_t  lost_interval;
 315     uint32_t expected;
 316     uint32_t fraction;
 317
 318     if ((!fd && !avio) || (count < 1))
 319         return -1;
 320
 321     /* TODO: I think this is way too often; RFC 1889 has algorithm for this */
 322     /* XXX: MPEG pts hardcoded. RTCP send every 0.5 seconds */
 323     s->octet_count += count;
 324     rtcp_bytes = ((s->octet_count - s->last_octet_count) * RTCP_TX_RATIO_NUM) /
 325         RTCP_TX_RATIO_DEN;
 326     rtcp_bytes /= 50; // mmu_man: that's enough for me... VLC sends much less btw !?
 327     if (rtcp_bytes < 28)
 328         return -1;
 329     s->last_octet_count = s->octet_count;
 330
 331     if (!fd)
 332         pb = avio;
 333     else if (avio_open_dyn_buf(&pb) < 0)
 334         return -1;
 335
 336     // Receiver Report
 337     avio_w8(pb, (RTP_VERSION << 6) + 1); /* 1 report block */
 338     avio_w8(pb, RTCP_RR);
 339     avio_wb16(pb, 7); /* length in words - 1 */
 340     // our own SSRC: we use the server's SSRC + 1 to avoid conflicts
 341     avio_wb32(pb, s->ssrc + 1);
 342     avio_wb32(pb, s->ssrc); // server SSRC
 343     // some placeholders we should really fill...
 344     // RFC 1889/p64
 345     extended_max          = stats->cycles + stats->max_seq;
 346     expected              = extended_max - stats->base_seq;
 347     lost                  = expected - stats->received;
 348     lost                  = FFMIN(lost, 0xffffff); // clamp it since it's only 24 bits...
 349     expected_interval     = expected - stats->expected_prior;
 350     stats->expected_prior = expected;
 351     received_interval     = stats->received - stats->received_prior;
 352     stats->received_prior = stats->received;
 353     lost_interval         = expected_interval - received_interval;
 354     if (expected_interval == 0 || lost_interval <= 0)
 355         fraction = 0;
 356     else
 357         fraction = (lost_interval << 8) / expected_interval;
 358
 359     fraction = (fraction << 24) | lost;
 360
 361     avio_wb32(pb, fraction); /* 8 bits of fraction, 24 bits of total packets lost */
 362     avio_wb32(pb, extended_max); /* max sequence received */
 363     avio_wb32(pb, stats->jitter >> 4); /* jitter */
 364
 365     if (s->last_rtcp_ntp_time == AV_NOPTS_VALUE) {
 366         avio_wb32(pb, 0); /* last SR timestamp */
 367         avio_wb32(pb, 0); /* delay since last SR */
 368     } else {
 369         uint32_t middle_32_bits   = s->last_rtcp_ntp_time >> 16; // this is valid, right? do we need to handle 64 bit values special?
 370         uint32_t delay_since_last = av_rescale(av_gettime_relative() - s->last_rtcp_reception_time,
 371                                                65536, AV_TIME_BASE);
 372
 373         avio_wb32(pb, middle_32_bits); /* last SR timestamp */
 374         avio_wb32(pb, delay_since_last); /* delay since last SR */
 375     }
 376
 377     // CNAME
 378     avio_w8(pb, (RTP_VERSION << 6) + 1); /* 1 report block */
 379     avio_w8(pb, RTCP_SDES);
 380     len = strlen(s->hostname);
 381     avio_wb16(pb, (7 + len + 3) / 4); /* length in words - 1 */
 382     avio_wb32(pb, s->ssrc + 1);
 383     avio_w8(pb, 0x01);
 384     avio_w8(pb, len);
 385     avio_write(pb, s->hostname, len);
 386     avio_w8(pb, 0); /* END */
 387     // padding
 388     for (len = (7 + len) % 4; len % 4; len++)
 389         avio_w8(pb, 0);
 390
 391     avio_flush(pb);
 392     if (!fd)
 393         return 0;
 394     len = avio_close_dyn_buf(pb, &buf);
 395     if ((len > 0) && buf) {
 396         int av_unused result;
 397         av_log(s->ic, AV_LOG_TRACE, "sending %d bytes of RR\n", len);
 398         result = ffurl_write(fd, buf, len);
 399         av_log(s->ic, AV_LOG_TRACE, "result from ffurl_write: %d\n", result);
 400         av_free(buf);
 401     }
 402     return 0;
 403 }
 404
 405 void ff_rtp_send_punch_packets(URLContext *rtp_handle)
 406 {
 407     AVIOContext *pb;
 408     uint8_t *buf;
 409     int len;
 410
 411     /* Send a small RTP packet */
 412     if (avio_open_dyn_buf(&pb) < 0)
 413         return;
 414
 415     avio_w8(pb, (RTP_VERSION << 6));
 416     avio_w8(pb, 0); /* Payload type */
 417     avio_wb16(pb, 0); /* Seq */
 418     avio_wb32(pb, 0); /* Timestamp */
 419     avio_wb32(pb, 0); /* SSRC */
 420
 421     len = avio_close_dyn_buf(pb, &buf);
 422     if ((len > 0) && buf)
 423         ffurl_write(rtp_handle, buf, len);
 424     av_free(buf);
 425
 426     /* Send a minimal RTCP RR */
 427     if (avio_open_dyn_buf(&pb) < 0)
 428         return;
 429
 430     avio_w8(pb, (RTP_VERSION << 6));
 431     avio_w8(pb, RTCP_RR); /* receiver report */
 432     avio_wb16(pb, 1); /* length in words - 1 */
 433     avio_wb32(pb, 0); /* our own SSRC */
 434
 435     len = avio_close_dyn_buf(pb, &buf);
 436     if ((len > 0) && buf)
 437         ffurl_write(rtp_handle, buf, len);
 438     av_free(buf);
 439 }
 440
 441 static int find_missing_packets(RTPDemuxContext *s, uint16_t *first_missing,
 442                                 uint16_t *missing_mask)
 443 {
 444     int i;
 445     uint16_t next_seq = s->seq + 1;
 446     RTPPacket *pkt = s->queue;
 447
 448     if (!pkt || pkt->seq == next_seq)
 449         return 0;
 450
 451     *missing_mask = 0;
 452     for (i = 1; i <= 16; i++) {
 453         uint16_t missing_seq = next_seq + i;
 454         while (pkt) {
 455             int16_t diff = pkt->seq - missing_seq;
 456             if (diff >= 0)
 457                 break;
 458             pkt = pkt->next;
 459         }
 460         if (!pkt)
 461             break;
 462         if (pkt->seq == missing_seq)
 463             continue;
 464         *missing_mask |= 1 << (i - 1);
 465     }
 466
 467     *first_missing = next_seq;
 468     return 1;
 469 }
 470
 471 int ff_rtp_send_rtcp_feedback(RTPDemuxContext *s, URLContext *fd,
 472                               AVIOContext *avio)
 473 {
 474     int len, need_keyframe, missing_packets;
 475     AVIOContext *pb;
 476     uint8_t *buf;
 477     int64_t now;
 478     uint16_t first_missing = 0, missing_mask = 0;
 479
 480     if (!fd && !avio)
 481         return -1;
 482
 483     need_keyframe = s->handler && s->handler->need_keyframe &&
 484                     s->handler->need_keyframe(s->dynamic_protocol_context);
 485     missing_packets = find_missing_packets(s, &first_missing, &missing_mask);
 486
 487     if (!need_keyframe && !missing_packets)
 488         return 0;
 489
 490     /* Send new feedback if enough time has elapsed since the last
 491      * feedback packet. */
 492
 493     now = av_gettime_relative();
 494     if (s->last_feedback_time &&
 495         (now - s->last_feedback_time) < MIN_FEEDBACK_INTERVAL)
 496         return 0;
 497     s->last_feedback_time = now;
 498
 499     if (!fd)
 500         pb = avio;
 501     else if (avio_open_dyn_buf(&pb) < 0)
 502         return -1;
 503
 504     if (need_keyframe) {
 505         avio_w8(pb, (RTP_VERSION << 6) | 1); /* PLI */
 506         avio_w8(pb, RTCP_PSFB);
 507         avio_wb16(pb, 2); /* length in words - 1 */
 508         // our own SSRC: we use the server's SSRC + 1 to avoid conflicts
 509         avio_wb32(pb, s->ssrc + 1);
 510         avio_wb32(pb, s->ssrc); // server SSRC
 511     }
 512
 513     if (missing_packets) {
 514         avio_w8(pb, (RTP_VERSION << 6) | 1); /* NACK */
 515         avio_w8(pb, RTCP_RTPFB);
 516         avio_wb16(pb, 3); /* length in words - 1 */
 517         avio_wb32(pb, s->ssrc + 1);
 518         avio_wb32(pb, s->ssrc); // server SSRC
 519
 520         avio_wb16(pb, first_missing);
 521         avio_wb16(pb, missing_mask);
 522     }
 523
 524     avio_flush(pb);
 525     if (!fd)
 526         return 0;
 527     len = avio_close_dyn_buf(pb, &buf);
 528     if (len > 0 && buf) {
 529         ffurl_write(fd, buf, len);
 530         av_free(buf);
 531     }
 532     return 0;
 533 }
 534
 535 static int opus_write_extradata(AVCodecParameters *codecpar)
 536 {
 537     uint8_t *bs;
 538     int ret;
 539
 540     /* This function writes an extradata with a channel mapping family of 0.
 541      * This mapping family only supports mono and stereo layouts. And RFC7587
 542      * specifies that the number of channels in the SDP must be 2.
 543      */
 544     if (codecpar->channels > 2) {
 545         return AVERROR_INVALIDDATA;
 546     }
 547
 548     ret = ff_alloc_extradata(codecpar, 19);
 549     if (ret < 0)
 550         return ret;
 551
 552     bs = (uint8_t *)codecpar->extradata;
 553
 554     /* Opus magic */
 555     bytestream_put_buffer(&bs, "OpusHead", 8);
 556     /* Version */
 557     bytestream_put_byte  (&bs, 0x1);
 558     /* Channel count */
 559     bytestream_put_byte  (&bs, codecpar->channels);
 560     /* Pre skip */
 561     bytestream_put_le16  (&bs, 0);
 562     /* Input sample rate */
 563     bytestream_put_le32  (&bs, 48000);
 564     /* Output gain */
 565     bytestream_put_le16  (&bs, 0x0);
 566     /* Mapping family */
 567     bytestream_put_byte  (&bs, 0x0);
 568
 569     return 0;
 570 }
 571
 572 /**
 573  * open a new RTP parse context for stream 'st'. 'st' can be NULL for
 574  * MPEG-2 TS streams.
 575  */
 576 RTPDemuxContext *ff_rtp_parse_open(AVFormatContext *s1, AVStream *st,
 577                                    int payload_type, int queue_size)
 578 {
 579     RTPDemuxContext *s;
 580     int ret;
 581
 582     s = av_mallocz(sizeof(RTPDemuxContext));
 583     if (!s)
 584         return NULL;
 585     s->payload_type        = payload_type;
 586     s->last_rtcp_ntp_time  = AV_NOPTS_VALUE;
 587     s->first_rtcp_ntp_time = AV_NOPTS_VALUE;
 588     s->ic                  = s1;
 589     s->st                  = st;
 590     s->queue_size          = queue_size;
 591
 592     av_log(s->ic, AV_LOG_VERBOSE, "setting jitter buffer size to %d\n",
 593            s->queue_size);
 594
 595     rtp_init_statistics(&s->statistics, 0);
 596     if (st) {
 597         switch (st->codecpar->codec_id) {
 598         case AV_CODEC_ID_ADPCM_G722:
 599             /* According to RFC 3551, the stream clock rate is 8000
 600              * even if the sample rate is 16000. */
 601             if (st->codecpar->sample_rate == 8000)
 602                 st->codecpar->sample_rate = 16000;
 603             break;
 604         case AV_CODEC_ID_OPUS:
 605             ret = opus_write_extradata(st->codecpar);
 606             if (ret < 0) {
 607                 av_log(s1, AV_LOG_ERROR,
 608                        "Error creating opus extradata: %s\n",
 609                        av_err2str(ret));
 610                 av_free(s);
 611                 return NULL;
 612             }
 613             break;
 614         default:
 615             break;
 616         }
 617     }
 618     // needed to send back RTCP RR in RTSP sessions
 619     gethostname(s->hostname, sizeof(s->hostname));
 620     return s;
 621 }
 622
 623 void ff_rtp_parse_set_dynamic_protocol(RTPDemuxContext *s, PayloadContext *ctx,
 624                                        const RTPDynamicProtocolHandler *handler)
 625 {
 626     s->dynamic_protocol_context = ctx;
 627     s->handler                  = handler;
 628 }
 629
 630 void ff_rtp_parse_set_crypto(RTPDemuxContext *s, const char *suite,
 631                              const char *params)
 632 {
 633     if (!ff_srtp_set_crypto(&s->srtp, suite, params))
 634         s->srtp_enabled = 1;
 635 }
 636
 637 /**
 638  * This was the second switch in rtp_parse packet.
 639  * Normalizes time, if required, sets stream_index, etc.
 640  */
 641 static void finalize_packet(RTPDemuxContext *s, AVPacket *pkt, uint32_t timestamp)
 642 {
 643     if (pkt->pts != AV_NOPTS_VALUE || pkt->dts != AV_NOPTS_VALUE)
 644         return; /* Timestamp already set by depacketizer */
 645     if (timestamp == RTP_NOTS_VALUE)
 646         return;
 647
 648     if (s->last_rtcp_ntp_time != AV_NOPTS_VALUE && s->ic->nb_streams > 1) {
 649         int64_t addend;
 650         int delta_timestamp;
 651
 652         /* compute pts from timestamp with received ntp_time */
 653         delta_timestamp = timestamp - s->last_rtcp_timestamp;
 654         /* convert to the PTS timebase */
 655         addend = av_rescale(s->last_rtcp_ntp_time - s->first_rtcp_ntp_time,
 656                             s->st->time_base.den,
 657                             (uint64_t) s->st->time_base.num << 32);
 658         pkt->pts = s->range_start_offset + s->rtcp_ts_offset + addend +
 659                    delta_timestamp;
 660         return;
 661     }
 662
 663     if (!s->base_timestamp)
 664         s->base_timestamp = timestamp;
 665     /* assume that the difference is INT32_MIN < x < INT32_MAX,
 666      * but allow the first timestamp to exceed INT32_MAX */
 667     if (!s->timestamp)
 668         s->unwrapped_timestamp += timestamp;
 669     else
 670         s->unwrapped_timestamp += (int32_t)(timestamp - s->timestamp);
 671     s->timestamp = timestamp;
 672     pkt->pts     = s->unwrapped_timestamp + s->range_start_offset -
 673                    s->base_timestamp;
 674 }
 675
 676 static int rtp_parse_packet_internal(RTPDemuxContext *s, AVPacket *pkt,
 677                                      const uint8_t *buf, int len)
 678 {
 679     unsigned int ssrc;
 680     int payload_type, seq, flags = 0;
 681     int ext, csrc;
 682     AVStream *st;
 683     uint32_t timestamp;
 684     int rv = 0;
 685
 686     csrc         = buf[0] & 0x0f;
 687     ext          = buf[0] & 0x10;
 688     payload_type = buf[1] & 0x7f;
 689     if (buf[1] & 0x80)
 690         flags |= RTP_FLAG_MARKER;
 691     seq       = AV_RB16(buf + 2);
 692     timestamp = AV_RB32(buf + 4);
 693     ssrc      = AV_RB32(buf + 8);
 694     /* store the ssrc in the RTPDemuxContext */
 695     s->ssrc = ssrc;
 696
 697     /* NOTE: we can handle only one payload type */
 698     if (s->payload_type != payload_type)
 699         return -1;
 700
 701     st = s->st;
 702     // only do something with this if all the rtp checks pass...
 703     if (!rtp_valid_packet_in_sequence(&s->statistics, seq)) {
 704         av_log(s->ic, AV_LOG_ERROR,
 705                "RTP: PT=%02x: bad cseq %04x expected=%04x\n",
 706                payload_type, seq, ((s->seq + 1) & 0xffff));
 707         return -1;
 708     }
 709
 710     if (buf[0] & 0x20) {
 711         int padding = buf[len - 1];
 712         if (len >= 12 + padding)
 713             len -= padding;
 714     }
 715
 716     s->seq = seq;
 717     len   -= 12;
 718     buf   += 12;
 719
 720     len   -= 4 * csrc;
 721     buf   += 4 * csrc;
 722     if (len < 0)
 723         return AVERROR_INVALIDDATA;
 724
 725     /* RFC 3550 Section 5.3.1 RTP Header Extension handling */
 726     if (ext) {
 727         if (len < 4)
 728             return -1;
 729         /* calculate the header extension length (stored as number
 730          * of 32-bit words) */
 731         ext = (AV_RB16(buf + 2) + 1) << 2;
 732
 733         if (len < ext)
 734             return -1;
 735         // skip past RTP header extension
 736         len -= ext;
 737         buf += ext;
 738     }
 739
 740     if (s->handler && s->handler->parse_packet) {
 741         rv = s->handler->parse_packet(s->ic, s->dynamic_protocol_context,
 742                                       s->st, pkt, &timestamp, buf, len, seq,
 743                                       flags);
 744     } else if (st) {
 745         if ((rv = av_new_packet(pkt, len)) < 0)
 746             return rv;
 747         memcpy(pkt->data, buf, len);
 748         pkt->stream_index = st->index;
 749     } else {
 750         return AVERROR(EINVAL);
 751     }
 752
 753     // now perform timestamp things....
 754     finalize_packet(s, pkt, timestamp);
 755
 756     return rv;
 757 }
 758
 759 void ff_rtp_reset_packet_queue(RTPDemuxContext *s)
 760 {
 761     while (s->queue) {
 762         RTPPacket *next = s->queue->next;
 763         av_freep(&s->queue->buf);
 764         av_freep(&s->queue);
 765         s->queue = next;
 766     }
 767     s->seq       = 0;
 768     s->queue_len = 0;
 769     s->prev_ret  = 0;
 770 }
 771
 772 static int enqueue_packet(RTPDemuxContext *s, uint8_t *buf, int len)
 773 {
 774     uint16_t seq   = AV_RB16(buf + 2);
 775     RTPPacket **cur = &s->queue, *packet;
 776
 777     /* Find the correct place in the queue to insert the packet */
 778     while (*cur) {
 779         int16_t diff = seq - (*cur)->seq;
 780         if (diff < 0)
 781             break;
 782         cur = &(*cur)->next;
 783     }
 784
 785     packet = av_mallocz(sizeof(*packet));
 786     if (!packet)
 787         return AVERROR(ENOMEM);
 788     packet->recvtime = av_gettime_relative();
 789     packet->seq      = seq;
 790     packet->len      = len;
 791     packet->buf      = buf;
 792     packet->next     = *cur;
 793     *cur = packet;
 794     s->queue_len++;
 795
 796     return 0;
 797 }
 798
 799 static int has_next_packet(RTPDemuxContext *s)
 800 {
 801     return s->queue && s->queue->seq == (uint16_t) (s->seq + 1);
 802 }
 803
 804 int64_t ff_rtp_queued_packet_time(RTPDemuxContext *s)
 805 {
 806     return s->queue ? s->queue->recvtime : 0;
 807 }
 808
 809 static int rtp_parse_queued_packet(RTPDemuxContext *s, AVPacket *pkt)
 810 {
 811     int rv;
 812     RTPPacket *next;
 813
 814     if (s->queue_len <= 0)
 815         return -1;
 816
 817     if (!has_next_packet(s))
 818         av_log(s->ic, AV_LOG_WARNING,
 819                "RTP: missed %d packets\n", s->queue->seq - s->seq - 1);
 820
 821     /* Parse the first packet in the queue, and dequeue it */
 822     rv   = rtp_parse_packet_internal(s, pkt, s->queue->buf, s->queue->len);
 823     next = s->queue->next;
 824     av_freep(&s->queue->buf);
 825     av_freep(&s->queue);
 826     s->queue = next;
 827     s->queue_len--;
 828     return rv;
 829 }
 830
 831 static int rtp_parse_one_packet(RTPDemuxContext *s, AVPacket *pkt,
 832                                 uint8_t **bufptr, int len)
 833 {
 834     uint8_t *buf = bufptr ? *bufptr : NULL;
 835     int flags = 0;
 836     uint32_t timestamp;
 837     int rv = 0;
 838
 839     if (!buf) {
 840         /* If parsing of the previous packet actually returned 0 or an error,
 841          * there's nothing more to be parsed from that packet, but we may have
 842          * indicated that we can return the next enqueued packet. */
 843         if (s->prev_ret <= 0)
 844             return rtp_parse_queued_packet(s, pkt);
 845         /* return the next packets, if any */
 846         if (s->handler && s->handler->parse_packet) {
 847             /* timestamp should be overwritten by parse_packet, if not,
 848              * the packet is left with pts == AV_NOPTS_VALUE */
 849             timestamp = RTP_NOTS_VALUE;
 850             rv        = s->handler->parse_packet(s->ic, s->dynamic_protocol_context,
 851                                                  s->st, pkt, &timestamp, NULL, 0, 0,
 852                                                  flags);
 853             finalize_packet(s, pkt, timestamp);
 854             return rv;
 855         }
 856     }
 857
 858     if (len < 12)
 859         return -1;
 860
 861     if ((buf[0] & 0xc0) != (RTP_VERSION << 6))
 862         return -1;
 863     if (RTP_PT_IS_RTCP(buf[1])) {
 864         return rtcp_parse_packet(s, buf, len);
 865     }
 866
 867     if (s->st) {
 868         int64_t received = av_gettime_relative();
 869         uint32_t arrival_ts = av_rescale_q(received, AV_TIME_BASE_Q,
 870                                            s->st->time_base);
 871         timestamp = AV_RB32(buf + 4);
 872         // Calculate the jitter immediately, before queueing the packet
 873         // into the reordering queue.
 874         rtcp_update_jitter(&s->statistics, timestamp, arrival_ts);
 875     }
 876
 877     if ((s->seq == 0 && !s->queue) || s->queue_size <= 1) {
 878         /* First packet, or no reordering */
 879         return rtp_parse_packet_internal(s, pkt, buf, len);
 880     } else {
 881         uint16_t seq = AV_RB16(buf + 2);
 882         int16_t diff = seq - s->seq;
 883         if (diff < 0) {
 884             /* Packet older than the previously emitted one, drop */
 885             av_log(s->ic, AV_LOG_WARNING,
 886                    "RTP: dropping old packet received too late\n");
 887             return -1;
 888         } else if (diff <= 1) {
 889             /* Correct packet */
 890             rv = rtp_parse_packet_internal(s, pkt, buf, len);
 891             return rv;
 892         } else {
 893             /* Still missing some packet, enqueue this one. */
 894             rv = enqueue_packet(s, buf, len);
 895             if (rv < 0)
 896                 return rv;
 897             *bufptr = NULL;
 898             /* Return the first enqueued packet if the queue is full,
 899              * even if we're missing something */
 900             if (s->queue_len >= s->queue_size) {
 901                 av_log(s->ic, AV_LOG_WARNING, "jitter buffer full\n");
 902                 return rtp_parse_queued_packet(s, pkt);
 903             }
 904             return -1;
 905         }
 906     }
 907 }
 908
 909 /**
 910  * Parse an RTP or RTCP packet directly sent as a buffer.
 911  * @param s RTP parse context.
 912  * @param pkt returned packet
 913  * @param bufptr pointer to the input buffer or NULL to read the next packets
 914  * @param len buffer len
 915  * @return 0 if a packet is returned, 1 if a packet is returned and more can follow
 916  * (use buf as NULL to read the next). -1 if no packet (error or no more packet).
 917  */
 918 int ff_rtp_parse_packet(RTPDemuxContext *s, AVPacket *pkt,
 919                         uint8_t **bufptr, int len)
 920 {
 921     int rv;
 922     if (s->srtp_enabled && bufptr && ff_srtp_decrypt(&s->srtp, *bufptr, &len) < 0)
 923         return -1;
 924     rv = rtp_parse_one_packet(s, pkt, bufptr, len);
 925     s->prev_ret = rv;
 926     while (rv < 0 && has_next_packet(s))
 927         rv = rtp_parse_queued_packet(s, pkt);
 928     return rv ? rv : has_next_packet(s);
 929 }
 930
 931 void ff_rtp_parse_close(RTPDemuxContext *s)
 932 {
 933     ff_rtp_reset_packet_queue(s);
 934     ff_srtp_free(&s->srtp);
 935     av_free(s);
 936 }
 937
 938 int ff_parse_fmtp(AVFormatContext *s,
 939                   AVStream *stream, PayloadContext *data, const char *p,
 940                   int (*parse_fmtp)(AVFormatContext *s,
 941                                     AVStream *stream,
 942                                     PayloadContext *data,
 943                                     const char *attr, const char *value))
 944 {
 945     char attr[256];
 946     char *value;
 947     int res;
 948     int value_size = strlen(p) + 1;
 949
 950     if (!(value = av_malloc(value_size))) {
 951         av_log(s, AV_LOG_ERROR, "Failed to allocate data for FMTP.\n");
 952         return AVERROR(ENOMEM);
 953     }
 954
 955     // remove protocol identifier
 956     while (*p && *p == ' ')
 957         p++;                     // strip spaces
 958     while (*p && *p != ' ')
 959         p++;                     // eat protocol identifier
 960     while (*p && *p == ' ')
 961         p++;                     // strip trailing spaces
 962
 963     while (ff_rtsp_next_attr_and_value(&p,
 964                                        attr, sizeof(attr),
 965                                        value, value_size)) {
 966         res = parse_fmtp(s, stream, data, attr, value);
 967         if (res < 0 && res != AVERROR_PATCHWELCOME) {
 968             av_free(value);
 969             return res;
 970         }
 971     }
 972     av_free(value);
 973     return 0;
 974 }
 975
 976 int ff_rtp_finalize_packet(AVPacket *pkt, AVIOContext **dyn_buf, int stream_idx)
 977 {
 978     int ret;
 979     av_init_packet(pkt);
 980
 981     pkt->size         = avio_close_dyn_buf(*dyn_buf, &pkt->data);
 982     pkt->stream_index = stream_idx;
 983     *dyn_buf = NULL;
 984     if ((ret = av_packet_from_data(pkt, pkt->data, pkt->size)) < 0) {
 985         av_freep(&pkt->data);
 986         return ret;
 987     }
 988     return pkt->size;
 989 }