]> git.sesse.net Git - ffmpeg/blob - libavcodec/vp9_superframe_bsf.c
avcodec/videotoolbox: fix kVTCouldNotFindVideoDecoderErr trying to decode HEVC on iOS
[ffmpeg] / libavcodec / vp9_superframe_bsf.c
1 /*
2  * Vp9 invisible (alt-ref) frame to superframe merge bitstream filter
3  * Copyright (c) 2016 Ronald S. Bultje <rsbultje@gmail.com>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/avassert.h"
23 #include "avcodec.h"
24 #include "bsf.h"
25 #include "get_bits.h"
26
27 #define MAX_CACHE 8
28 typedef struct VP9BSFContext {
29     int n_cache;
30     AVPacket *cache[MAX_CACHE];
31 } VP9BSFContext;
32
33 static void stats(AVPacket * const *in, int n_in,
34                   unsigned *_max, unsigned *_sum)
35 {
36     int n;
37     unsigned max = 0, sum = 0;
38
39     for (n = 0; n < n_in; n++) {
40         unsigned sz = in[n]->size;
41
42         if (sz > max)
43             max = sz;
44         sum += sz;
45     }
46
47     *_max = max;
48     *_sum = sum;
49 }
50
51 static int merge_superframe(AVPacket * const *in, int n_in, AVPacket *out)
52 {
53     unsigned max, sum, mag, marker, n, sz;
54     uint8_t *ptr;
55     int res;
56
57     stats(in, n_in, &max, &sum);
58     mag = av_log2(max) >> 3;
59     marker = 0xC0 + (mag << 3) + (n_in - 1);
60     sz = sum + 2 + (mag + 1) * n_in;
61     res = av_new_packet(out, sz);
62     if (res < 0)
63         return res;
64     ptr = out->data;
65     for (n = 0; n < n_in; n++) {
66         memcpy(ptr, in[n]->data, in[n]->size);
67         ptr += in[n]->size;
68     }
69
70 #define wloop(mag, wr) \
71     do { \
72         for (n = 0; n < n_in; n++) { \
73             wr; \
74             ptr += mag + 1; \
75         } \
76     } while (0)
77
78     // write superframe with marker 110[mag:2][nframes:3]
79     *ptr++ = marker;
80     switch (mag) {
81     case 0:
82         wloop(mag, *ptr = in[n]->size);
83         break;
84     case 1:
85         wloop(mag, AV_WL16(ptr, in[n]->size));
86         break;
87     case 2:
88         wloop(mag, AV_WL24(ptr, in[n]->size));
89         break;
90     case 3:
91         wloop(mag, AV_WL32(ptr, in[n]->size));
92         break;
93     }
94     *ptr++ = marker;
95     av_assert0(ptr == &out->data[out->size]);
96
97     return 0;
98 }
99
100 static int vp9_superframe_filter(AVBSFContext *ctx, AVPacket *out)
101 {
102     GetBitContext gb;
103     VP9BSFContext *s = ctx->priv_data;
104     AVPacket *in;
105     int res, invisible, profile, marker, uses_superframe_syntax = 0, n;
106
107     res = ff_bsf_get_packet(ctx, &in);
108     if (res < 0)
109         return res;
110
111     marker = in->data[in->size - 1];
112     if ((marker & 0xe0) == 0xc0) {
113         int nbytes = 1 + ((marker >> 3) & 0x3);
114         int n_frames = 1 + (marker & 0x7), idx_sz = 2 + n_frames * nbytes;
115
116         uses_superframe_syntax = in->size >= idx_sz && in->data[in->size - idx_sz] == marker;
117     }
118
119     if ((res = init_get_bits8(&gb, in->data, in->size)) < 0)
120         goto done;
121
122     get_bits(&gb, 2); // frame marker
123     profile  = get_bits1(&gb);
124     profile |= get_bits1(&gb) << 1;
125     if (profile == 3) profile += get_bits1(&gb);
126
127     if (get_bits1(&gb)) {
128         invisible = 0;
129     } else {
130         get_bits1(&gb); // keyframe
131         invisible = !get_bits1(&gb);
132     }
133
134     if (uses_superframe_syntax && s->n_cache > 0) {
135         av_log(ctx, AV_LOG_ERROR,
136                "Mixing of superframe syntax and naked VP9 frames not supported");
137         res = AVERROR(ENOSYS);
138         goto done;
139     } else if ((!invisible || uses_superframe_syntax) && !s->n_cache) {
140         // passthrough
141         av_packet_move_ref(out, in);
142         goto done;
143     } else if (s->n_cache + 1 >= MAX_CACHE) {
144         av_log(ctx, AV_LOG_ERROR,
145                "Too many invisible frames");
146         res = AVERROR_INVALIDDATA;
147         goto done;
148     }
149
150     av_packet_move_ref(s->cache[s->n_cache++], in);
151
152     if (invisible) {
153         res = AVERROR(EAGAIN);
154         goto done;
155     }
156     av_assert0(s->n_cache > 0);
157
158     // build superframe
159     if ((res = merge_superframe(s->cache, s->n_cache, out)) < 0)
160         goto done;
161
162     res = av_packet_copy_props(out, s->cache[s->n_cache - 1]);
163     if (res < 0)
164         goto done;
165
166     for (n = 0; n < s->n_cache; n++)
167         av_packet_unref(s->cache[n]);
168     s->n_cache = 0;
169
170 done:
171     if (res < 0)
172         av_packet_unref(out);
173     av_packet_free(&in);
174     return res;
175 }
176
177 static int vp9_superframe_init(AVBSFContext *ctx)
178 {
179     VP9BSFContext *s = ctx->priv_data;
180     int n;
181
182     // alloc cache packets
183     for (n = 0; n < MAX_CACHE; n++) {
184         s->cache[n] = av_packet_alloc();
185         if (!s->cache[n])
186             return AVERROR(ENOMEM);
187     }
188
189     return 0;
190 }
191
192 static void vp9_superframe_close(AVBSFContext *ctx)
193 {
194     VP9BSFContext *s = ctx->priv_data;
195     int n;
196
197     // free cached data
198     for (n = 0; n < MAX_CACHE; n++)
199         av_packet_free(&s->cache[n]);
200 }
201
202 static const enum AVCodecID codec_ids[] = {
203     AV_CODEC_ID_VP9, AV_CODEC_ID_NONE,
204 };
205
206 const AVBitStreamFilter ff_vp9_superframe_bsf = {
207     .name           = "vp9_superframe",
208     .priv_data_size = sizeof(VP9BSFContext),
209     .filter         = vp9_superframe_filter,
210     .init           = vp9_superframe_init,
211     .close          = vp9_superframe_close,
212     .codec_ids      = codec_ids,
213 };