]> git.sesse.net Git - ffmpeg/blob - libavcodec/libx265.c
lavf/segment: fix crash when failing to open segment list
[ffmpeg] / libavcodec / libx265.c
1 /*
2  * libx265 encoder
3  *
4  * Copyright (c) 2013-2014 Derek Buitenhuis
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #if defined(_MSC_VER)
24 #define X265_API_IMPORTS 1
25 #endif
26
27 #include <x265.h>
28 #include <float.h>
29
30 #include "libavutil/internal.h"
31 #include "libavutil/common.h"
32 #include "libavutil/opt.h"
33 #include "libavutil/pixdesc.h"
34 #include "avcodec.h"
35 #include "internal.h"
36
37 typedef struct libx265Context {
38     const AVClass *class;
39
40     x265_encoder *encoder;
41     x265_param   *params;
42     const x265_api *api;
43
44     float crf;
45     int   forced_idr;
46     char *preset;
47     char *tune;
48     char *x265_opts;
49 } libx265Context;
50
51 static int is_keyframe(NalUnitType naltype)
52 {
53     switch (naltype) {
54     case NAL_UNIT_CODED_SLICE_BLA_W_LP:
55     case NAL_UNIT_CODED_SLICE_BLA_W_RADL:
56     case NAL_UNIT_CODED_SLICE_BLA_N_LP:
57     case NAL_UNIT_CODED_SLICE_IDR_W_RADL:
58     case NAL_UNIT_CODED_SLICE_IDR_N_LP:
59     case NAL_UNIT_CODED_SLICE_CRA:
60         return 1;
61     default:
62         return 0;
63     }
64 }
65
66 static av_cold int libx265_encode_close(AVCodecContext *avctx)
67 {
68     libx265Context *ctx = avctx->priv_data;
69
70     ctx->api->param_free(ctx->params);
71
72     if (ctx->encoder)
73         ctx->api->encoder_close(ctx->encoder);
74
75     return 0;
76 }
77
78 static av_cold int libx265_encode_init(AVCodecContext *avctx)
79 {
80     libx265Context *ctx = avctx->priv_data;
81
82     ctx->api = x265_api_get(av_pix_fmt_desc_get(avctx->pix_fmt)->comp[0].depth);
83     if (!ctx->api)
84         ctx->api = x265_api_get(0);
85
86     ctx->params = ctx->api->param_alloc();
87     if (!ctx->params) {
88         av_log(avctx, AV_LOG_ERROR, "Could not allocate x265 param structure.\n");
89         return AVERROR(ENOMEM);
90     }
91
92     if (ctx->api->param_default_preset(ctx->params, ctx->preset, ctx->tune) < 0) {
93         int i;
94
95         av_log(avctx, AV_LOG_ERROR, "Error setting preset/tune %s/%s.\n", ctx->preset, ctx->tune);
96         av_log(avctx, AV_LOG_INFO, "Possible presets:");
97         for (i = 0; x265_preset_names[i]; i++)
98             av_log(avctx, AV_LOG_INFO, " %s", x265_preset_names[i]);
99
100         av_log(avctx, AV_LOG_INFO, "\n");
101         av_log(avctx, AV_LOG_INFO, "Possible tunes:");
102         for (i = 0; x265_tune_names[i]; i++)
103             av_log(avctx, AV_LOG_INFO, " %s", x265_tune_names[i]);
104
105         av_log(avctx, AV_LOG_INFO, "\n");
106
107         return AVERROR(EINVAL);
108     }
109
110     ctx->params->frameNumThreads = avctx->thread_count;
111     ctx->params->fpsNum          = avctx->time_base.den;
112     ctx->params->fpsDenom        = avctx->time_base.num * avctx->ticks_per_frame;
113     ctx->params->sourceWidth     = avctx->width;
114     ctx->params->sourceHeight    = avctx->height;
115     ctx->params->bEnablePsnr     = !!(avctx->flags & AV_CODEC_FLAG_PSNR);
116
117     if ((avctx->color_primaries <= AVCOL_PRI_BT2020 &&
118          avctx->color_primaries != AVCOL_PRI_UNSPECIFIED) ||
119         (avctx->color_trc <= AVCOL_TRC_BT2020_12 &&
120          avctx->color_trc != AVCOL_TRC_UNSPECIFIED) ||
121         (avctx->colorspace <= AVCOL_SPC_BT2020_CL &&
122          avctx->colorspace != AVCOL_SPC_UNSPECIFIED)) {
123
124         ctx->params->vui.bEnableVideoSignalTypePresentFlag  = 1;
125         ctx->params->vui.bEnableColorDescriptionPresentFlag = 1;
126
127         // x265 validates the parameters internally
128         ctx->params->vui.colorPrimaries          = avctx->color_primaries;
129         ctx->params->vui.transferCharacteristics = avctx->color_trc;
130         ctx->params->vui.matrixCoeffs            = avctx->colorspace;
131     }
132
133     if (avctx->sample_aspect_ratio.num > 0 && avctx->sample_aspect_ratio.den > 0) {
134         char sar[12];
135         int sar_num, sar_den;
136
137         av_reduce(&sar_num, &sar_den,
138                   avctx->sample_aspect_ratio.num,
139                   avctx->sample_aspect_ratio.den, 65535);
140         snprintf(sar, sizeof(sar), "%d:%d", sar_num, sar_den);
141         if (ctx->api->param_parse(ctx->params, "sar", sar) == X265_PARAM_BAD_VALUE) {
142             av_log(avctx, AV_LOG_ERROR, "Invalid SAR: %d:%d.\n", sar_num, sar_den);
143             return AVERROR_INVALIDDATA;
144         }
145     }
146
147     switch (avctx->pix_fmt) {
148     case AV_PIX_FMT_YUV420P:
149     case AV_PIX_FMT_YUV420P10:
150     case AV_PIX_FMT_YUV420P12:
151         ctx->params->internalCsp = X265_CSP_I420;
152         break;
153     case AV_PIX_FMT_YUV422P:
154     case AV_PIX_FMT_YUV422P10:
155     case AV_PIX_FMT_YUV422P12:
156         ctx->params->internalCsp = X265_CSP_I422;
157         break;
158     case AV_PIX_FMT_GBRP:
159     case AV_PIX_FMT_GBRP10:
160     case AV_PIX_FMT_GBRP12:
161         ctx->params->vui.matrixCoeffs = AVCOL_SPC_RGB;
162         ctx->params->vui.bEnableVideoSignalTypePresentFlag  = 1;
163         ctx->params->vui.bEnableColorDescriptionPresentFlag = 1;
164     case AV_PIX_FMT_YUV444P:
165     case AV_PIX_FMT_YUV444P10:
166     case AV_PIX_FMT_YUV444P12:
167         ctx->params->internalCsp = X265_CSP_I444;
168         break;
169     case AV_PIX_FMT_GRAY8:
170         if (ctx->api->api_build_number < 85) {
171             av_log(avctx, AV_LOG_ERROR,
172                    "libx265 version is %d, must be at least 85 for gray encoding.\n",
173                    ctx->api->api_build_number);
174             return AVERROR_INVALIDDATA;
175         }
176         ctx->params->internalCsp = X265_CSP_I400;
177         break;
178     }
179
180     if (ctx->crf >= 0) {
181         char crf[6];
182
183         snprintf(crf, sizeof(crf), "%2.2f", ctx->crf);
184         if (ctx->api->param_parse(ctx->params, "crf", crf) == X265_PARAM_BAD_VALUE) {
185             av_log(avctx, AV_LOG_ERROR, "Invalid crf: %2.2f.\n", ctx->crf);
186             return AVERROR(EINVAL);
187         }
188     } else if (avctx->bit_rate > 0) {
189         ctx->params->rc.bitrate         = avctx->bit_rate / 1000;
190         ctx->params->rc.rateControlMode = X265_RC_ABR;
191     }
192
193     if (!(avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER))
194         ctx->params->bRepeatHeaders = 1;
195
196     if (ctx->x265_opts) {
197         AVDictionary *dict    = NULL;
198         AVDictionaryEntry *en = NULL;
199
200         if (!av_dict_parse_string(&dict, ctx->x265_opts, "=", ":", 0)) {
201             while ((en = av_dict_get(dict, "", en, AV_DICT_IGNORE_SUFFIX))) {
202                 int parse_ret = ctx->api->param_parse(ctx->params, en->key, en->value);
203
204                 switch (parse_ret) {
205                 case X265_PARAM_BAD_NAME:
206                     av_log(avctx, AV_LOG_WARNING,
207                           "Unknown option: %s.\n", en->key);
208                     break;
209                 case X265_PARAM_BAD_VALUE:
210                     av_log(avctx, AV_LOG_WARNING,
211                           "Invalid value for %s: %s.\n", en->key, en->value);
212                     break;
213                 default:
214                     break;
215                 }
216             }
217             av_dict_free(&dict);
218         }
219     }
220
221     ctx->encoder = ctx->api->encoder_open(ctx->params);
222     if (!ctx->encoder) {
223         av_log(avctx, AV_LOG_ERROR, "Cannot open libx265 encoder.\n");
224         libx265_encode_close(avctx);
225         return AVERROR_INVALIDDATA;
226     }
227
228     if (avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER) {
229         x265_nal *nal;
230         int nnal;
231
232         avctx->extradata_size = ctx->api->encoder_headers(ctx->encoder, &nal, &nnal);
233         if (avctx->extradata_size <= 0) {
234             av_log(avctx, AV_LOG_ERROR, "Cannot encode headers.\n");
235             libx265_encode_close(avctx);
236             return AVERROR_INVALIDDATA;
237         }
238
239         avctx->extradata = av_malloc(avctx->extradata_size + AV_INPUT_BUFFER_PADDING_SIZE);
240         if (!avctx->extradata) {
241             av_log(avctx, AV_LOG_ERROR,
242                    "Cannot allocate HEVC header of size %d.\n", avctx->extradata_size);
243             libx265_encode_close(avctx);
244             return AVERROR(ENOMEM);
245         }
246
247         memcpy(avctx->extradata, nal[0].payload, avctx->extradata_size);
248     }
249
250     return 0;
251 }
252
253 static int libx265_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
254                                 const AVFrame *pic, int *got_packet)
255 {
256     libx265Context *ctx = avctx->priv_data;
257     x265_picture x265pic;
258     x265_picture x265pic_out = { 0 };
259     x265_nal *nal;
260     uint8_t *dst;
261     int payload = 0;
262     int nnal;
263     int ret;
264     int i;
265
266     ctx->api->picture_init(ctx->params, &x265pic);
267
268     if (pic) {
269         for (i = 0; i < 3; i++) {
270            x265pic.planes[i] = pic->data[i];
271            x265pic.stride[i] = pic->linesize[i];
272         }
273
274         x265pic.pts      = pic->pts;
275         x265pic.bitDepth = av_pix_fmt_desc_get(avctx->pix_fmt)->comp[0].depth;
276
277         x265pic.sliceType = pic->pict_type == AV_PICTURE_TYPE_I ?
278                                               (ctx->forced_idr ? X265_TYPE_IDR : X265_TYPE_I) :
279                             pic->pict_type == AV_PICTURE_TYPE_P ? X265_TYPE_P :
280                             pic->pict_type == AV_PICTURE_TYPE_B ? X265_TYPE_B :
281                             X265_TYPE_AUTO;
282     }
283
284     ret = ctx->api->encoder_encode(ctx->encoder, &nal, &nnal,
285                                    pic ? &x265pic : NULL, &x265pic_out);
286     if (ret < 0)
287         return AVERROR_EXTERNAL;
288
289     if (!nnal)
290         return 0;
291
292     for (i = 0; i < nnal; i++)
293         payload += nal[i].sizeBytes;
294
295     ret = ff_alloc_packet(pkt, payload);
296     if (ret < 0) {
297         av_log(avctx, AV_LOG_ERROR, "Error getting output packet.\n");
298         return ret;
299     }
300     dst = pkt->data;
301
302     for (i = 0; i < nnal; i++) {
303         memcpy(dst, nal[i].payload, nal[i].sizeBytes);
304         dst += nal[i].sizeBytes;
305
306         if (is_keyframe(nal[i].type))
307             pkt->flags |= AV_PKT_FLAG_KEY;
308     }
309
310     pkt->pts = x265pic_out.pts;
311     pkt->dts = x265pic_out.dts;
312
313 #if FF_API_CODED_FRAME
314 FF_DISABLE_DEPRECATION_WARNINGS
315     switch (x265pic_out.sliceType) {
316     case X265_TYPE_IDR:
317     case X265_TYPE_I:
318         avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
319         break;
320     case X265_TYPE_P:
321         avctx->coded_frame->pict_type = AV_PICTURE_TYPE_P;
322         break;
323     case X265_TYPE_B:
324         avctx->coded_frame->pict_type = AV_PICTURE_TYPE_B;
325         break;
326     }
327 FF_ENABLE_DEPRECATION_WARNINGS
328 #endif
329
330     *got_packet = 1;
331     return 0;
332 }
333
334 static const enum AVPixelFormat x265_csp_eight[] = {
335     AV_PIX_FMT_YUV420P,
336     AV_PIX_FMT_YUV422P,
337     AV_PIX_FMT_YUV444P,
338     AV_PIX_FMT_GBRP,
339     AV_PIX_FMT_GRAY8,
340     AV_PIX_FMT_NONE
341 };
342
343 static const enum AVPixelFormat x265_csp_ten[] = {
344     AV_PIX_FMT_YUV420P,
345     AV_PIX_FMT_YUV422P,
346     AV_PIX_FMT_YUV444P,
347     AV_PIX_FMT_GBRP,
348     AV_PIX_FMT_YUV420P10,
349     AV_PIX_FMT_YUV422P10,
350     AV_PIX_FMT_YUV444P10,
351     AV_PIX_FMT_GBRP10,
352     AV_PIX_FMT_GRAY8,
353     AV_PIX_FMT_NONE
354 };
355
356 static const enum AVPixelFormat x265_csp_twelve[] = {
357     AV_PIX_FMT_YUV420P,
358     AV_PIX_FMT_YUV422P,
359     AV_PIX_FMT_YUV444P,
360     AV_PIX_FMT_GBRP,
361     AV_PIX_FMT_YUV420P10,
362     AV_PIX_FMT_YUV422P10,
363     AV_PIX_FMT_YUV444P10,
364     AV_PIX_FMT_GBRP10,
365     AV_PIX_FMT_YUV420P12,
366     AV_PIX_FMT_YUV422P12,
367     AV_PIX_FMT_YUV444P12,
368     AV_PIX_FMT_GBRP12,
369     AV_PIX_FMT_GRAY8,
370     AV_PIX_FMT_NONE
371 };
372
373 static av_cold void libx265_encode_init_csp(AVCodec *codec)
374 {
375     if (x265_api_get(12))
376         codec->pix_fmts = x265_csp_twelve;
377     else if (x265_api_get(10))
378         codec->pix_fmts = x265_csp_ten;
379     else if (x265_api_get(8))
380         codec->pix_fmts = x265_csp_eight;
381 }
382
383 #define OFFSET(x) offsetof(libx265Context, x)
384 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
385 static const AVOption options[] = {
386     { "crf",         "set the x265 crf",                                                            OFFSET(crf),       AV_OPT_TYPE_FLOAT,  { .dbl = -1 }, -1, FLT_MAX, VE },
387     { "forced-idr",  "if forcing keyframes, force them as IDR frames",                              OFFSET(forced_idr),AV_OPT_TYPE_BOOL,   { .i64 =  0 },  0,       1, VE },
388     { "preset",      "set the x265 preset",                                                         OFFSET(preset),    AV_OPT_TYPE_STRING, { 0 }, 0, 0, VE },
389     { "tune",        "set the x265 tune parameter",                                                 OFFSET(tune),      AV_OPT_TYPE_STRING, { 0 }, 0, 0, VE },
390     { "x265-params", "set the x265 configuration using a :-separated list of key=value parameters", OFFSET(x265_opts), AV_OPT_TYPE_STRING, { 0 }, 0, 0, VE },
391     { NULL }
392 };
393
394 static const AVClass class = {
395     .class_name = "libx265",
396     .item_name  = av_default_item_name,
397     .option     = options,
398     .version    = LIBAVUTIL_VERSION_INT,
399 };
400
401 static const AVCodecDefault x265_defaults[] = {
402     { "b", "0" },
403     { NULL },
404 };
405
406 AVCodec ff_libx265_encoder = {
407     .name             = "libx265",
408     .long_name        = NULL_IF_CONFIG_SMALL("libx265 H.265 / HEVC"),
409     .type             = AVMEDIA_TYPE_VIDEO,
410     .id               = AV_CODEC_ID_HEVC,
411     .init             = libx265_encode_init,
412     .init_static_data = libx265_encode_init_csp,
413     .encode2          = libx265_encode_frame,
414     .close            = libx265_encode_close,
415     .priv_data_size   = sizeof(libx265Context),
416     .priv_class       = &class,
417     .defaults         = x265_defaults,
418     .capabilities     = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_AUTO_THREADS,
419 };