]> git.sesse.net Git - ffmpeg/blob - libavformat/rtpdec_mpeg4.c
rtpdec_mpeg4: reassemble fragmented AAC frames
[ffmpeg] / libavformat / rtpdec_mpeg4.c
1 /*
2  * Common code for the RTP depacketization of MPEG-4 formats.
3  * Copyright (c) 2010 Fabrice Bellard
4  *                    Romain Degez
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * @brief MPEG4 / RTP Code
26  * @author Fabrice Bellard
27  * @author Romain Degez
28  */
29
30 #include "rtpdec_formats.h"
31 #include "internal.h"
32 #include "libavutil/attributes.h"
33 #include "libavutil/avstring.h"
34 #include "libavcodec/get_bits.h"
35
36 #define MAX_AAC_HBR_FRAME_SIZE 8191
37
38 /** Structure listing useful vars to parse RTP packet payload */
39 struct PayloadContext {
40     int sizelength;
41     int indexlength;
42     int indexdeltalength;
43     int profile_level_id;
44     int streamtype;
45     int objecttype;
46     char *mode;
47
48     /** mpeg 4 AU headers */
49     struct AUHeaders {
50         int size;
51         int index;
52         int cts_flag;
53         int cts;
54         int dts_flag;
55         int dts;
56         int rap_flag;
57         int streamstate;
58     } *au_headers;
59     int au_headers_allocated;
60     int nb_au_headers;
61     int au_headers_length_bytes;
62     int cur_au_index;
63
64     uint8_t buf[FFMAX(RTP_MAX_PACKET_LENGTH, MAX_AAC_HBR_FRAME_SIZE)];
65     int buf_pos, buf_size;
66     uint32_t timestamp;
67 };
68
69 typedef struct AttrNameMap {
70     const char *str;
71     uint16_t    type;
72     uint32_t    offset;
73 } AttrNameMap;
74
75 /* All known fmtp parameters and the corresponding RTPAttrTypeEnum */
76 #define ATTR_NAME_TYPE_INT 0
77 #define ATTR_NAME_TYPE_STR 1
78 static const AttrNameMap attr_names[] = {
79     { "SizeLength",       ATTR_NAME_TYPE_INT,
80       offsetof(PayloadContext, sizelength) },
81     { "IndexLength",      ATTR_NAME_TYPE_INT,
82       offsetof(PayloadContext, indexlength) },
83     { "IndexDeltaLength", ATTR_NAME_TYPE_INT,
84       offsetof(PayloadContext, indexdeltalength) },
85     { "profile-level-id", ATTR_NAME_TYPE_INT,
86       offsetof(PayloadContext, profile_level_id) },
87     { "StreamType",       ATTR_NAME_TYPE_INT,
88       offsetof(PayloadContext, streamtype) },
89     { "mode",             ATTR_NAME_TYPE_STR,
90       offsetof(PayloadContext, mode) },
91     { NULL, -1, -1 },
92 };
93
94 static PayloadContext *new_context(void)
95 {
96     return av_mallocz(sizeof(PayloadContext));
97 }
98
99 static void free_context(PayloadContext *data)
100 {
101     av_free(data->au_headers);
102     av_free(data->mode);
103     av_free(data);
104 }
105
106 static int parse_fmtp_config(AVCodecContext *codec, char *value)
107 {
108     /* decode the hexa encoded parameter */
109     int len = ff_hex_to_data(NULL, value);
110     av_free(codec->extradata);
111     codec->extradata = av_mallocz(len + FF_INPUT_BUFFER_PADDING_SIZE);
112     if (!codec->extradata)
113         return AVERROR(ENOMEM);
114     codec->extradata_size = len;
115     ff_hex_to_data(codec->extradata, value);
116     return 0;
117 }
118
119 static int rtp_parse_mp4_au(PayloadContext *data, const uint8_t *buf, int len)
120 {
121     int au_headers_length, au_header_size, i;
122     GetBitContext getbitcontext;
123
124     if (len < 2)
125         return AVERROR_INVALIDDATA;
126
127     /* decode the first 2 bytes where the AUHeader sections are stored
128        length in bits */
129     au_headers_length = AV_RB16(buf);
130
131     if (au_headers_length > RTP_MAX_PACKET_LENGTH)
132       return -1;
133
134     data->au_headers_length_bytes = (au_headers_length + 7) / 8;
135
136     /* skip AU headers length section (2 bytes) */
137     buf += 2;
138     len -= 2;
139
140     if (len < data->au_headers_length_bytes)
141         return AVERROR_INVALIDDATA;
142
143     init_get_bits(&getbitcontext, buf, data->au_headers_length_bytes * 8);
144
145     /* XXX: Wrong if optionnal additional sections are present (cts, dts etc...) */
146     au_header_size = data->sizelength + data->indexlength;
147     if (au_header_size <= 0 || (au_headers_length % au_header_size != 0))
148         return -1;
149
150     data->nb_au_headers = au_headers_length / au_header_size;
151     if (!data->au_headers || data->au_headers_allocated < data->nb_au_headers) {
152         av_free(data->au_headers);
153         data->au_headers = av_malloc(sizeof(struct AUHeaders) * data->nb_au_headers);
154         if (!data->au_headers)
155             return AVERROR(ENOMEM);
156         data->au_headers_allocated = data->nb_au_headers;
157     }
158
159     for (i = 0; i < data->nb_au_headers; ++i) {
160         data->au_headers[i].size  = get_bits_long(&getbitcontext, data->sizelength);
161         data->au_headers[i].index = get_bits_long(&getbitcontext, data->indexlength);
162     }
163
164     return 0;
165 }
166
167
168 /* Follows RFC 3640 */
169 static int aac_parse_packet(AVFormatContext *ctx, PayloadContext *data,
170                             AVStream *st, AVPacket *pkt, uint32_t *timestamp,
171                             const uint8_t *buf, int len, uint16_t seq,
172                             int flags)
173 {
174     int ret;
175
176     if (!buf) {
177         if (data->cur_au_index > data->nb_au_headers) {
178             av_log(ctx, AV_LOG_ERROR, "Invalid parser state\n");
179             return AVERROR_INVALIDDATA;
180         }
181         if (data->buf_size - data->buf_pos < data->au_headers[data->cur_au_index].size) {
182             av_log(ctx, AV_LOG_ERROR, "Invalid AU size\n");
183             return AVERROR_INVALIDDATA;
184         }
185         if ((ret = av_new_packet(pkt, data->au_headers[data->cur_au_index].size)) < 0) {
186             av_log(ctx, AV_LOG_ERROR, "Out of memory\n");
187             return ret;
188         }
189         memcpy(pkt->data, &data->buf[data->buf_pos], data->au_headers[data->cur_au_index].size);
190         data->buf_pos += data->au_headers[data->cur_au_index].size;
191         pkt->stream_index = st->index;
192         data->cur_au_index++;
193
194         if (data->cur_au_index == data->nb_au_headers) {
195             data->buf_pos = 0;
196             return 0;
197         }
198
199         return 1;
200     }
201
202     if (rtp_parse_mp4_au(data, buf, len)) {
203         av_log(ctx, AV_LOG_ERROR, "Error parsing AU headers\n");
204         return -1;
205     }
206
207     buf += data->au_headers_length_bytes + 2;
208     len -= data->au_headers_length_bytes + 2;
209     if (data->nb_au_headers == 1 && len < data->au_headers[0].size) {
210         /* Packet is fragmented */
211
212         if (!data->buf_pos) {
213             if (data->au_headers[0].size > MAX_AAC_HBR_FRAME_SIZE) {
214                 av_log(ctx, AV_LOG_ERROR, "Invalid AU size\n");
215                 return AVERROR_INVALIDDATA;
216             }
217
218             data->buf_size = data->au_headers[0].size;
219             data->timestamp = *timestamp;
220         }
221
222         if (data->timestamp != *timestamp ||
223             data->au_headers[0].size != data->buf_size ||
224             data->buf_pos + len > MAX_AAC_HBR_FRAME_SIZE) {
225             data->buf_pos = 0;
226             data->buf_size = 0;
227             av_log(ctx, AV_LOG_ERROR, "Invalid packet received\n");
228             return AVERROR_INVALIDDATA;
229         }
230
231         memcpy(&data->buf[data->buf_pos], buf, len);
232         data->buf_pos += len;
233
234         if (!(flags & RTP_FLAG_MARKER))
235             return AVERROR(EAGAIN);
236
237         if (data->buf_pos != data->buf_size) {
238             data->buf_pos = 0;
239             av_log(ctx, AV_LOG_ERROR, "Missed some packets, discarding frame\n");
240             return AVERROR_INVALIDDATA;
241         }
242
243         data->buf_pos = 0;
244         ret = av_new_packet(pkt, data->buf_size);
245         if (ret < 0) {
246             av_log(ctx, AV_LOG_ERROR, "Out of memory\n");
247             return ret;
248         }
249         pkt->stream_index = st->index;
250
251         memcpy(pkt->data, data->buf, data->buf_size);
252
253         return 0;
254     }
255
256     if (len < data->au_headers[0].size) {
257         av_log(ctx, AV_LOG_ERROR, "First AU larger than packet size\n");
258         return AVERROR_INVALIDDATA;
259     }
260     if ((ret = av_new_packet(pkt, data->au_headers[0].size)) < 0) {
261         av_log(ctx, AV_LOG_ERROR, "Out of memory\n");
262         return ret;
263     }
264     memcpy(pkt->data, buf, data->au_headers[0].size);
265     len -= data->au_headers[0].size;
266     buf += data->au_headers[0].size;
267     pkt->stream_index = st->index;
268
269     if (len > 0 && data->nb_au_headers > 1) {
270         data->buf_size = FFMIN(len, sizeof(data->buf));
271         memcpy(data->buf, buf, data->buf_size);
272         data->cur_au_index = 1;
273         data->buf_pos = 0;
274         return 1;
275     }
276
277     return 0;
278 }
279
280 static int parse_fmtp(AVFormatContext *s,
281                       AVStream *stream, PayloadContext *data,
282                       char *attr, char *value)
283 {
284     AVCodecContext *codec = stream->codec;
285     int res, i;
286
287     if (!strcmp(attr, "config")) {
288         res = parse_fmtp_config(codec, value);
289
290         if (res < 0)
291             return res;
292     }
293
294     if (codec->codec_id == AV_CODEC_ID_AAC) {
295         /* Looking for a known attribute */
296         for (i = 0; attr_names[i].str; ++i) {
297             if (!av_strcasecmp(attr, attr_names[i].str)) {
298                 if (attr_names[i].type == ATTR_NAME_TYPE_INT) {
299                     *(int *)((char *)data+
300                         attr_names[i].offset) = atoi(value);
301                 } else if (attr_names[i].type == ATTR_NAME_TYPE_STR)
302                     *(char **)((char *)data+
303                         attr_names[i].offset) = av_strdup(value);
304             }
305         }
306     }
307     return 0;
308 }
309
310 static int parse_sdp_line(AVFormatContext *s, int st_index,
311                           PayloadContext *data, const char *line)
312 {
313     const char *p;
314
315     if (st_index < 0)
316         return 0;
317
318     if (av_strstart(line, "fmtp:", &p))
319         return ff_parse_fmtp(s, s->streams[st_index], data, p, parse_fmtp);
320
321     return 0;
322 }
323
324 static av_cold int init_video(AVFormatContext *s, int st_index,
325                               PayloadContext *data)
326 {
327     if (st_index < 0)
328         return 0;
329     s->streams[st_index]->need_parsing = AVSTREAM_PARSE_FULL;
330     return 0;
331 }
332
333 RTPDynamicProtocolHandler ff_mp4v_es_dynamic_handler = {
334     .enc_name           = "MP4V-ES",
335     .codec_type         = AVMEDIA_TYPE_VIDEO,
336     .codec_id           = AV_CODEC_ID_MPEG4,
337     .init               = init_video,
338     .parse_sdp_a_line   = parse_sdp_line,
339 };
340
341 RTPDynamicProtocolHandler ff_mpeg4_generic_dynamic_handler = {
342     .enc_name           = "mpeg4-generic",
343     .codec_type         = AVMEDIA_TYPE_AUDIO,
344     .codec_id           = AV_CODEC_ID_AAC,
345     .parse_sdp_a_line   = parse_sdp_line,
346     .alloc              = new_context,
347     .free               = free_context,
348     .parse_packet       = aac_parse_packet
349 };