git.sesse.net Git - ffmpeg/blob - libavformat/rdt.c

   1 /*
   2  * Realmedia RTSP protocol (RDT) support.
   3  * Copyright (c) 2007 Ronald S. Bultje
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file
  24  * @brief Realmedia RTSP protocol (RDT) support
  25  * @author Ronald S. Bultje <rbultje@ronald.bitfreak.net>
  26  */
  27
  28 #include "avformat.h"
  29 #include "libavutil/avstring.h"
  30 #include "rtpdec.h"
  31 #include "rdt.h"
  32 #include "libavutil/base64.h"
  33 #include "libavutil/md5.h"
  34 #include "rm.h"
  35 #include "internal.h"
  36 #include "libavcodec/get_bits.h"
  37
  38 struct RDTDemuxContext {
  39     AVFormatContext *ic; /**< the containing (RTSP) demux context */
  40     /** Each RDT stream-set (represented by one RTSPStream) can contain
  41      * multiple streams (of the same content, but with possibly different
  42      * codecs/bitrates). Each such stream is represented by one AVStream
  43      * in the AVFormatContext, and this variable points to the offset in
  44      * that array such that the first is the first stream of this set. */
  45     AVStream **streams;
  46     int n_streams; /**< streams with identifical content in this set */
  47     void *dynamic_protocol_context;
  48     DynamicPayloadPacketHandlerProc parse_packet;
  49     uint32_t prev_timestamp;
  50     int prev_set_id, prev_stream_id;
  51 };
  52
  53 RDTDemuxContext *
  54 ff_rdt_parse_open(AVFormatContext *ic, int first_stream_of_set_idx,
  55                   void *priv_data, RTPDynamicProtocolHandler *handler)
  56 {
  57     RDTDemuxContext *s = av_mallocz(sizeof(RDTDemuxContext));
  58     if (!s)
  59         return NULL;
  60
  61     s->ic = ic;
  62     s->streams = &ic->streams[first_stream_of_set_idx];
  63     do {
  64         s->n_streams++;
  65     } while (first_stream_of_set_idx + s->n_streams < ic->nb_streams &&
  66              s->streams[s->n_streams]->id == s->streams[0]->id);
  67     s->prev_set_id    = -1;
  68     s->prev_stream_id = -1;
  69     s->prev_timestamp = -1;
  70     s->parse_packet = handler ? handler->parse_packet : NULL;
  71     s->dynamic_protocol_context = priv_data;
  72
  73     return s;
  74 }
  75
  76 void
  77 ff_rdt_parse_close(RDTDemuxContext *s)
  78 {
  79     av_free(s);
  80 }
  81
  82 struct PayloadContext {
  83     AVFormatContext *rmctx;
  84     int nb_rmst;
  85     RMStream **rmst;
  86     uint8_t *mlti_data;
  87     unsigned int mlti_data_size;
  88     char buffer[RTP_MAX_PACKET_LENGTH + FF_INPUT_BUFFER_PADDING_SIZE];
  89     int audio_pkt_cnt; /**< remaining audio packets in rmdec */
  90 };
  91
  92 void
  93 ff_rdt_calc_response_and_checksum(char response[41], char chksum[9],
  94                                   const char *challenge)
  95 {
  96     int ch_len = strlen (challenge), i;
  97     unsigned char zres[16],
  98         buf[64] = { 0xa1, 0xe9, 0x14, 0x9d, 0x0e, 0x6b, 0x3b, 0x59 };
  99 #define XOR_TABLE_SIZE 37
 100     const unsigned char xor_table[XOR_TABLE_SIZE] = {
 101         0x05, 0x18, 0x74, 0xd0, 0x0d, 0x09, 0x02, 0x53,
 102         0xc0, 0x01, 0x05, 0x05, 0x67, 0x03, 0x19, 0x70,
 103         0x08, 0x27, 0x66, 0x10, 0x10, 0x72, 0x08, 0x09,
 104         0x63, 0x11, 0x03, 0x71, 0x08, 0x08, 0x70, 0x02,
 105         0x10, 0x57, 0x05, 0x18, 0x54 };
 106
 107     /* some (length) checks */
 108     if (ch_len == 40) /* what a hack... */
 109         ch_len = 32;
 110     else if (ch_len > 56)
 111         ch_len = 56;
 112     memcpy(buf + 8, challenge, ch_len);
 113
 114     /* xor challenge bytewise with xor_table */
 115     for (i = 0; i < XOR_TABLE_SIZE; i++)
 116         buf[8 + i] ^= xor_table[i];
 117
 118     av_md5_sum(zres, buf, 64);
 119     ff_data_to_hex(response, zres, 16, 1);
 120
 121     /* add tail */
 122     strcpy (response + 32, "01d0a8e3");
 123
 124     /* calculate checksum */
 125     for (i = 0; i < 8; i++)
 126         chksum[i] = response[i * 4];
 127     chksum[8] = 0;
 128 }
 129
 130 static int
 131 rdt_load_mdpr (PayloadContext *rdt, AVStream *st, int rule_nr)
 132 {
 133     ByteIOContext pb;
 134     int size;
 135     uint32_t tag;
 136
 137     /**
 138      * Layout of the MLTI chunk:
 139      * 4: MLTI
 140      * 2: number of streams
 141      * Then for each stream ([number_of_streams] times):
 142      *     2: mdpr index
 143      * 2: number of mdpr chunks
 144      * Then for each mdpr chunk ([number_of_mdpr_chunks] times):
 145      *     4: size
 146      *     [size]: data
 147      * we skip MDPR chunks until we reach the one of the stream
 148      * we're interested in, and forward that ([size]+[data]) to
 149      * the RM demuxer to parse the stream-specific header data.
 150      */
 151     if (!rdt->mlti_data)
 152         return -1;
 153     init_put_byte(&pb, rdt->mlti_data, rdt->mlti_data_size, 0,
 154                   NULL, NULL, NULL, NULL);
 155     tag = get_le32(&pb);
 156     if (tag == MKTAG('M', 'L', 'T', 'I')) {
 157         int num, chunk_nr;
 158
 159         /* read index of MDPR chunk numbers */
 160         num = get_be16(&pb);
 161         if (rule_nr < 0 || rule_nr >= num)
 162             return -1;
 163         url_fskip(&pb, rule_nr * 2);
 164         chunk_nr = get_be16(&pb);
 165         url_fskip(&pb, (num - 1 - rule_nr) * 2);
 166
 167         /* read MDPR chunks */
 168         num = get_be16(&pb);
 169         if (chunk_nr >= num)
 170             return -1;
 171         while (chunk_nr--)
 172             url_fskip(&pb, get_be32(&pb));
 173         size = get_be32(&pb);
 174     } else {
 175         size = rdt->mlti_data_size;
 176         url_fseek(&pb, 0, SEEK_SET);
 177     }
 178     if (ff_rm_read_mdpr_codecdata(rdt->rmctx, &pb, st, rdt->rmst[st->index], size) < 0)
 179         return -1;
 180
 181     return 0;
 182 }
 183
 184 /**
 185  * Actual data handling.
 186  */
 187
 188 int
 189 ff_rdt_parse_header(const uint8_t *buf, int len,
 190                     int *pset_id, int *pseq_no, int *pstream_id,
 191                     int *pis_keyframe, uint32_t *ptimestamp)
 192 {
 193     GetBitContext gb;
 194     int consumed = 0, set_id, seq_no, stream_id, is_keyframe,
 195         len_included, need_reliable;
 196     uint32_t timestamp;
 197
 198     /* skip status packets */
 199     while (len >= 5 && buf[1] == 0xFF /* status packet */) {
 200         int pkt_len;
 201
 202         if (!(buf[0] & 0x80))
 203             return -1; /* not followed by a data packet */
 204
 205         pkt_len = AV_RB16(buf+3);
 206         buf += pkt_len;
 207         len -= pkt_len;
 208         consumed += pkt_len;
 209     }
 210     if (len < 16)
 211         return -1;
 212     /**
 213      * Layout of the header (in bits):
 214      * 1:  len_included
 215      *     Flag indicating whether this header includes a length field;
 216      *     this can be used to concatenate multiple RDT packets in a
 217      *     single UDP/TCP data frame and is used to precede RDT data
 218      *     by stream status packets
 219      * 1:  need_reliable
 220      *     Flag indicating whether this header includes a "reliable
 221      *     sequence number"; these are apparently sequence numbers of
 222      *     data packets alone. For data packets, this flag is always
 223      *     set, according to the Real documentation [1]
 224      * 5:  set_id
 225      *     ID of a set of streams of identical content, possibly with
 226      *     different codecs or bitrates
 227      * 1:  is_reliable
 228      *     Flag set for certain streams deemed less tolerable for packet
 229      *     loss
 230      * 16: seq_no
 231      *     Packet sequence number; if >=0xFF00, this is a non-data packet
 232      *     containing stream status info, the second byte indicates the
 233      *     type of status packet (see wireshark docs / source code [2])
 234      * if (len_included) {
 235      *     16: packet_len
 236      * } else {
 237      *     packet_len = remainder of UDP/TCP frame
 238      * }
 239      * 1:  is_back_to_back
 240      *     Back-to-Back flag; used for timing, set for one in every 10
 241      *     packets, according to the Real documentation [1]
 242      * 1:  is_slow_data
 243      *     Slow-data flag; currently unused, according to Real docs [1]
 244      * 5:  stream_id
 245      *     ID of the stream within this particular set of streams
 246      * 1:  is_no_keyframe
 247      *     Non-keyframe flag (unset if packet belongs to a keyframe)
 248      * 32: timestamp (PTS)
 249      * if (set_id == 0x1F) {
 250      *     16: set_id (extended set-of-streams ID; see set_id)
 251      * }
 252      * if (need_reliable) {
 253      *     16: reliable_seq_no
 254      *         Reliable sequence number (see need_reliable)
 255      * }
 256      * if (stream_id == 0x3F) {
 257      *     16: stream_id (extended stream ID; see stream_id)
 258      * }
 259      * [1] https://protocol.helixcommunity.org/files/2005/devdocs/RDT_Feature_Level_20.txt
 260      * [2] http://www.wireshark.org/docs/dfref/r/rdt.html and
 261      *     http://anonsvn.wireshark.org/viewvc/trunk/epan/dissectors/packet-rdt.c
 262      */
 263     init_get_bits(&gb, buf, len << 3);
 264     len_included  = get_bits1(&gb);
 265     need_reliable = get_bits1(&gb);
 266     set_id        = get_bits(&gb, 5);
 267     skip_bits(&gb, 1);
 268     seq_no        = get_bits(&gb, 16);
 269     if (len_included)
 270         skip_bits(&gb, 16);
 271     skip_bits(&gb, 2);
 272     stream_id     = get_bits(&gb, 5);
 273     is_keyframe   = !get_bits1(&gb);
 274     timestamp     = get_bits_long(&gb, 32);
 275     if (set_id == 0x1f)
 276         set_id    = get_bits(&gb, 16);
 277     if (need_reliable)
 278         skip_bits(&gb, 16);
 279     if (stream_id == 0x1f)
 280         stream_id = get_bits(&gb, 16);
 281
 282     if (pset_id)      *pset_id      = set_id;
 283     if (pseq_no)      *pseq_no      = seq_no;
 284     if (pstream_id)   *pstream_id   = stream_id;
 285     if (pis_keyframe) *pis_keyframe = is_keyframe;
 286     if (ptimestamp)   *ptimestamp   = timestamp;
 287
 288     return consumed + (get_bits_count(&gb) >> 3);
 289 }
 290
 291 /**< return 0 on packet, no more left, 1 on packet, 1 on partial packet... */
 292 static int
 293 rdt_parse_packet (AVFormatContext *ctx, PayloadContext *rdt, AVStream *st,
 294                   AVPacket *pkt, uint32_t *timestamp,
 295                   const uint8_t *buf, int len, int flags)
 296 {
 297     int seq = 1, res;
 298     ByteIOContext pb;
 299
 300     if (rdt->audio_pkt_cnt == 0) {
 301         int pos;
 302
 303         init_put_byte(&pb, buf, len, 0, NULL, NULL, NULL, NULL);
 304         flags = (flags & RTP_FLAG_KEY) ? 2 : 0;
 305         res = ff_rm_parse_packet (rdt->rmctx, &pb, st, rdt->rmst[st->index], len, pkt,
 306                                   &seq, flags, *timestamp);
 307         pos = url_ftell(&pb);
 308         if (res < 0)
 309             return res;
 310         if (res > 0) {
 311             if (st->codec->codec_id == CODEC_ID_AAC) {
 312                 memcpy (rdt->buffer, buf + pos, len - pos);
 313                 rdt->rmctx->pb = av_alloc_put_byte (rdt->buffer, len - pos, 0,
 314                                                     NULL, NULL, NULL, NULL);
 315             }
 316             goto get_cache;
 317         }
 318     } else {
 319 get_cache:
 320         rdt->audio_pkt_cnt =
 321             ff_rm_retrieve_cache (rdt->rmctx, rdt->rmctx->pb,
 322                                   st, rdt->rmst[st->index], pkt);
 323         if (rdt->audio_pkt_cnt == 0 &&
 324             st->codec->codec_id == CODEC_ID_AAC)
 325             av_freep(&rdt->rmctx->pb);
 326     }
 327     pkt->stream_index = st->index;
 328     pkt->pts = *timestamp;
 329
 330     return rdt->audio_pkt_cnt > 0;
 331 }
 332
 333 int
 334 ff_rdt_parse_packet(RDTDemuxContext *s, AVPacket *pkt,
 335                     uint8_t **bufptr, int len)
 336 {
 337     uint8_t *buf = bufptr ? *bufptr : NULL;
 338     int seq_no, flags = 0, stream_id, set_id, is_keyframe;
 339     uint32_t timestamp;
 340     int rv= 0;
 341
 342     if (!s->parse_packet)
 343         return -1;
 344
 345     if (!buf && s->prev_stream_id != -1) {
 346         /* return the next packets, if any */
 347         timestamp= 0; ///< Should not be used if buf is NULL, but should be set to the timestamp of the packet returned....
 348         rv= s->parse_packet(s->ic, s->dynamic_protocol_context,
 349                             s->streams[s->prev_stream_id],
 350                             pkt, &timestamp, NULL, 0, flags);
 351         return rv;
 352     }
 353
 354     if (len < 12)
 355         return -1;
 356     rv = ff_rdt_parse_header(buf, len, &set_id, &seq_no, &stream_id, &is_keyframe, &timestamp);
 357     if (rv < 0)
 358         return rv;
 359     if (is_keyframe &&
 360         (set_id != s->prev_set_id || timestamp != s->prev_timestamp ||
 361          stream_id != s->prev_stream_id)) {
 362         flags |= RTP_FLAG_KEY;
 363         s->prev_set_id    = set_id;
 364         s->prev_timestamp = timestamp;
 365     }
 366     s->prev_stream_id = stream_id;
 367     buf += rv;
 368     len -= rv;
 369
 370      if (s->prev_stream_id >= s->n_streams) {
 371          s->prev_stream_id = -1;
 372          return -1;
 373      }
 374
 375     rv = s->parse_packet(s->ic, s->dynamic_protocol_context,
 376                          s->streams[s->prev_stream_id],
 377                          pkt, &timestamp, buf, len, flags);
 378
 379     return rv;
 380 }
 381
 382 void
 383 ff_rdt_subscribe_rule (char *cmd, int size,
 384                        int stream_nr, int rule_nr)
 385 {
 386     av_strlcatf(cmd, size, "stream=%d;rule=%d,stream=%d;rule=%d",
 387                 stream_nr, rule_nr * 2, stream_nr, rule_nr * 2 + 1);
 388 }
 389
 390 static unsigned char *
 391 rdt_parse_b64buf (unsigned int *target_len, const char *p)
 392 {
 393     unsigned char *target;
 394     int len = strlen(p);
 395     if (*p == '\"') {
 396         p++;
 397         len -= 2; /* skip embracing " at start/end */
 398     }
 399     *target_len = len * 3 / 4;
 400     target = av_mallocz(*target_len + FF_INPUT_BUFFER_PADDING_SIZE);
 401     av_base64_decode(target, p, *target_len);
 402     return target;
 403 }
 404
 405 static int
 406 rdt_parse_sdp_line (AVFormatContext *s, int st_index,
 407                     PayloadContext *rdt, const char *line)
 408 {
 409     AVStream *stream = s->streams[st_index];
 410     const char *p = line;
 411
 412     if (av_strstart(p, "OpaqueData:buffer;", &p)) {
 413         rdt->mlti_data = rdt_parse_b64buf(&rdt->mlti_data_size, p);
 414     } else if (av_strstart(p, "StartTime:integer;", &p))
 415         stream->first_dts = atoi(p);
 416     else if (av_strstart(p, "ASMRuleBook:string;", &p)) {
 417         int n, first = -1;
 418
 419         for (n = 0; n < s->nb_streams; n++)
 420             if (s->streams[n]->id == stream->id) {
 421                 int count = s->streams[n]->index + 1;
 422                 if (first == -1) first = n;
 423                 if (rdt->nb_rmst < count) {
 424                     RMStream **rmst= av_realloc(rdt->rmst, count*sizeof(*rmst));
 425                     if (!rmst)
 426                         return AVERROR(ENOMEM);
 427                     memset(rmst + rdt->nb_rmst, 0,
 428                            (count - rdt->nb_rmst) * sizeof(*rmst));
 429                     rdt->rmst    = rmst;
 430                     rdt->nb_rmst = count;
 431                 }
 432                 rdt->rmst[s->streams[n]->index] = ff_rm_alloc_rmstream();
 433                 rdt_load_mdpr(rdt, s->streams[n], (n - first) * 2);
 434
 435                 if (s->streams[n]->codec->codec_id == CODEC_ID_AAC)
 436                     s->streams[n]->codec->frame_size = 1; // FIXME
 437            }
 438     }
 439
 440     return 0;
 441 }
 442
 443 static void
 444 real_parse_asm_rule(AVStream *st, const char *p, const char *end)
 445 {
 446     do {
 447         /* can be either averagebandwidth= or AverageBandwidth= */
 448         if (sscanf(p, " %*1[Aa]verage%*1[Bb]andwidth=%d", &st->codec->bit_rate) == 1)
 449             break;
 450         if (!(p = strchr(p, ',')) || p > end)
 451             p = end;
 452         p++;
 453     } while (p < end);
 454 }
 455
 456 static AVStream *
 457 add_dstream(AVFormatContext *s, AVStream *orig_st)
 458 {
 459     AVStream *st;
 460
 461     if (!(st = av_new_stream(s, orig_st->id)))
 462         return NULL;
 463     st->codec->codec_type = orig_st->codec->codec_type;
 464     st->first_dts         = orig_st->first_dts;
 465
 466     return st;
 467 }
 468
 469 static void
 470 real_parse_asm_rulebook(AVFormatContext *s, AVStream *orig_st,
 471                         const char *p)
 472 {
 473     const char *end;
 474     int n_rules = 0, odd = 0;
 475     AVStream *st;
 476
 477     /**
 478      * The ASMRuleBook contains a list of comma-separated strings per rule,
 479      * and each rule is separated by a ;. The last one also has a ; at the
 480      * end so we can use it as delimiter.
 481      * Every rule occurs twice, once for when the RTSP packet header marker
 482      * is set and once for if it isn't. We only read the first because we
 483      * don't care much (that's what the "odd" variable is for).
 484      * Each rule contains a set of one or more statements, optionally
 485      * preceeded by a single condition. If there's a condition, the rule
 486      * starts with a '#'. Multiple conditions are merged between brackets,
 487      * so there are never multiple conditions spread out over separate
 488      * statements. Generally, these conditions are bitrate limits (min/max)
 489      * for multi-bitrate streams.
 490      */
 491     if (*p == '\"') p++;
 492     while (1) {
 493         if (!(end = strchr(p, ';')))
 494             break;
 495         if (!odd && end != p) {
 496             if (n_rules > 0)
 497                 st = add_dstream(s, orig_st);
 498             else
 499                 st = orig_st;
 500             if (!st)
 501                 break;
 502             real_parse_asm_rule(st, p, end);
 503             n_rules++;
 504         }
 505         p = end + 1;
 506         odd ^= 1;
 507     }
 508 }
 509
 510 void
 511 ff_real_parse_sdp_a_line (AVFormatContext *s, int stream_index,
 512                           const char *line)
 513 {
 514     const char *p = line;
 515
 516     if (av_strstart(p, "ASMRuleBook:string;", &p))
 517         real_parse_asm_rulebook(s, s->streams[stream_index], p);
 518 }
 519
 520 static PayloadContext *
 521 rdt_new_context (void)
 522 {
 523     PayloadContext *rdt = av_mallocz(sizeof(PayloadContext));
 524
 525     av_open_input_stream(&rdt->rmctx, NULL, "", &ff_rdt_demuxer, NULL);
 526
 527     return rdt;
 528 }
 529
 530 static void
 531 rdt_free_context (PayloadContext *rdt)
 532 {
 533     int i;
 534
 535     for (i = 0; i < rdt->nb_rmst; i++)
 536         if (rdt->rmst[i]) {
 537             ff_rm_free_rmstream(rdt->rmst[i]);
 538             av_freep(&rdt->rmst[i]);
 539         }
 540     if (rdt->rmctx)
 541         av_close_input_stream(rdt->rmctx);
 542     av_freep(&rdt->mlti_data);
 543     av_freep(&rdt->rmst);
 544     av_free(rdt);
 545 }
 546
 547 #define RDT_HANDLER(n, s, t) \
 548 static RTPDynamicProtocolHandler ff_rdt_ ## n ## _handler = { \
 549     .enc_name         = s, \
 550     .codec_type       = t, \
 551     .codec_id         = CODEC_ID_NONE, \
 552     .parse_sdp_a_line = rdt_parse_sdp_line, \
 553     .open             = rdt_new_context, \
 554     .close            = rdt_free_context, \
 555     .parse_packet     = rdt_parse_packet \
 556 }
 557
 558 RDT_HANDLER(live_video, "x-pn-multirate-realvideo-live", AVMEDIA_TYPE_VIDEO);
 559 RDT_HANDLER(live_audio, "x-pn-multirate-realaudio-live", AVMEDIA_TYPE_AUDIO);
 560 RDT_HANDLER(video,      "x-pn-realvideo",                AVMEDIA_TYPE_VIDEO);
 561 RDT_HANDLER(audio,      "x-pn-realaudio",                AVMEDIA_TYPE_AUDIO);
 562
 563 void av_register_rdt_dynamic_payload_handlers(void)
 564 {
 565     ff_register_dynamic_payload_handler(&ff_rdt_video_handler);
 566     ff_register_dynamic_payload_handler(&ff_rdt_audio_handler);
 567     ff_register_dynamic_payload_handler(&ff_rdt_live_video_handler);
 568     ff_register_dynamic_payload_handler(&ff_rdt_live_audio_handler);
 569 }