]> git.sesse.net Git - ffmpeg/blob - libavcodec/libxvid.c
Merge commit '4b6b1082a73907c7c3de2646c6398bc61320f2c6'
[ffmpeg] / libavcodec / libxvid.c
1 /*
2  * Interface to xvidcore for mpeg4 encoding
3  * Copyright (c) 2004 Adam Thayer <krevnik@comcast.net>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Interface to xvidcore for MPEG-4 compliant encoding.
25  * @author Adam Thayer (krevnik@comcast.net)
26  */
27
28 #include <xvid.h>
29
30 #include "libavutil/cpu.h"
31 #include "libavutil/file.h"
32 #include "libavutil/intreadwrite.h"
33 #include "libavutil/mathematics.h"
34
35 #include "avcodec.h"
36 #include "internal.h"
37 #include "libxvid.h"
38 #include "mpegvideo.h"
39
40 #if HAVE_UNISTD_H
41 #include <unistd.h>
42 #endif
43
44 #if HAVE_IO_H
45 #include <io.h>
46 #endif
47
48 /**
49  * Buffer management macros.
50  */
51 #define BUFFER_SIZE         1024
52 #define BUFFER_REMAINING(x) (BUFFER_SIZE - strlen(x))
53 #define BUFFER_CAT(x)       (&((x)[strlen(x)]))
54
55 /**
56  * Structure for the private Xvid context.
57  * This stores all the private context for the codec.
58  */
59 struct xvid_context {
60     AVClass *class;
61     void *encoder_handle;          /**< Handle for Xvid encoder */
62     int xsize;                     /**< Frame x size */
63     int ysize;                     /**< Frame y size */
64     int vop_flags;                 /**< VOP flags for Xvid encoder */
65     int vol_flags;                 /**< VOL flags for Xvid encoder */
66     int me_flags;                  /**< Motion Estimation flags */
67     int qscale;                    /**< Do we use constant scale? */
68     int quicktime_format;          /**< Are we in a QT-based format? */
69     char *twopassbuffer;           /**< Character buffer for two-pass */
70     char *old_twopassbuffer;       /**< Old character buffer (two-pass) */
71     char *twopassfile;             /**< second pass temp file name */
72     int twopassfd;
73     unsigned char *intra_matrix;   /**< P-Frame Quant Matrix */
74     unsigned char *inter_matrix;   /**< I-Frame Quant Matrix */
75     int lumi_aq;                   /**< Lumi masking as an aq method */
76     int variance_aq;               /**< Variance adaptive quantization */
77     int ssim;                      /**< SSIM information display mode */
78     int ssim_acc;                  /**< SSIM accuracy. 0: accurate. 4: fast. */
79     int gmc;
80     int me_quality;                /**< Motion estimation quality. 0: fast 6: best. */
81 };
82
83 /**
84  * Structure for the private first-pass plugin.
85  */
86 struct xvid_ff_pass1 {
87     int version;                    /**< Xvid version */
88     struct xvid_context *context;   /**< Pointer to private context */
89 };
90
91 static int xvid_encode_close(AVCodecContext *avctx);
92
93 /*
94  * Xvid 2-Pass Kludge Section
95  *
96  * Xvid's default 2-pass doesn't allow us to create data as we need to, so
97  * this section spends time replacing the first pass plugin so we can write
98  * statistic information as libavcodec requests in. We have another kludge
99  * that allows us to pass data to the second pass in Xvid without a custom
100  * rate-control plugin.
101  */
102
103 /**
104  * Initialize the two-pass plugin and context.
105  *
106  * @param param Input construction parameter structure
107  * @param handle Private context handle
108  * @return Returns XVID_ERR_xxxx on failure, or 0 on success.
109  */
110 static int xvid_ff_2pass_create(xvid_plg_create_t *param, void **handle)
111 {
112     struct xvid_ff_pass1 *x = (struct xvid_ff_pass1 *) param->param;
113     char *log = x->context->twopassbuffer;
114
115     /* Do a quick bounds check */
116     if (!log)
117         return XVID_ERR_FAIL;
118
119     /* We use snprintf() */
120     /* This is because we can safely prevent a buffer overflow */
121     log[0] = 0;
122     snprintf(log, BUFFER_REMAINING(log),
123              "# ffmpeg 2-pass log file, using xvid codec\n");
124     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
125              "# Do not modify. libxvidcore version: %d.%d.%d\n\n",
126              XVID_VERSION_MAJOR(XVID_VERSION),
127              XVID_VERSION_MINOR(XVID_VERSION),
128              XVID_VERSION_PATCH(XVID_VERSION));
129
130     *handle = x->context;
131     return 0;
132 }
133
134 /**
135  * Destroy the two-pass plugin context.
136  *
137  * @param ref Context pointer for the plugin
138  * @param param Destrooy context
139  * @return Returns 0, success guaranteed
140  */
141 static int xvid_ff_2pass_destroy(struct xvid_context *ref,
142                                  xvid_plg_destroy_t *param)
143 {
144     /* Currently cannot think of anything to do on destruction */
145     /* Still, the framework should be here for reference/use */
146     if (ref->twopassbuffer)
147         ref->twopassbuffer[0] = 0;
148     return 0;
149 }
150
151 /**
152  * Enable fast encode mode during the first pass.
153  *
154  * @param ref Context pointer for the plugin
155  * @param param Frame data
156  * @return Returns 0, success guaranteed
157  */
158 static int xvid_ff_2pass_before(struct xvid_context *ref,
159                                 xvid_plg_data_t *param)
160 {
161     int motion_remove;
162     int motion_replacements;
163     int vop_remove;
164
165     /* Nothing to do here, result is changed too much */
166     if (param->zone && param->zone->mode == XVID_ZONE_QUANT)
167         return 0;
168
169     /* We can implement a 'turbo' first pass mode here */
170     param->quant = 2;
171
172     /* Init values */
173     motion_remove       = ~XVID_ME_CHROMA_PVOP &
174                           ~XVID_ME_CHROMA_BVOP &
175                           ~XVID_ME_EXTSEARCH16 &
176                           ~XVID_ME_ADVANCEDDIAMOND16;
177     motion_replacements = XVID_ME_FAST_MODEINTERPOLATE |
178                           XVID_ME_SKIP_DELTASEARCH     |
179                           XVID_ME_FASTREFINE16         |
180                           XVID_ME_BFRAME_EARLYSTOP;
181     vop_remove          = ~XVID_VOP_MODEDECISION_RD      &
182                           ~XVID_VOP_FAST_MODEDECISION_RD &
183                           ~XVID_VOP_TRELLISQUANT         &
184                           ~XVID_VOP_INTER4V              &
185                           ~XVID_VOP_HQACPRED;
186
187     param->vol_flags    &= ~XVID_VOL_GMC;
188     param->vop_flags    &= vop_remove;
189     param->motion_flags &= motion_remove;
190     param->motion_flags |= motion_replacements;
191
192     return 0;
193 }
194
195 /**
196  * Capture statistic data and write it during first pass.
197  *
198  * @param ref Context pointer for the plugin
199  * @param param Statistic data
200  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
201  */
202 static int xvid_ff_2pass_after(struct xvid_context *ref,
203                                xvid_plg_data_t *param)
204 {
205     char *log = ref->twopassbuffer;
206     const char *frame_types = " ipbs";
207     char frame_type;
208
209     /* Quick bounds check */
210     if (!log)
211         return XVID_ERR_FAIL;
212
213     /* Convert the type given to us into a character */
214     if (param->type < 5 && param->type > 0)
215         frame_type = frame_types[param->type];
216     else
217         return XVID_ERR_FAIL;
218
219     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
220              "%c %d %d %d %d %d %d\n",
221              frame_type, param->stats.quant, param->stats.kblks,
222              param->stats.mblks, param->stats.ublks,
223              param->stats.length, param->stats.hlength);
224
225     return 0;
226 }
227
228 /**
229  * Dispatch function for our custom plugin.
230  * This handles the dispatch for the Xvid plugin. It passes data
231  * on to other functions for actual processing.
232  *
233  * @param ref Context pointer for the plugin
234  * @param cmd The task given for us to complete
235  * @param p1 First parameter (varies)
236  * @param p2 Second parameter (varies)
237  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
238  */
239 static int xvid_ff_2pass(void *ref, int cmd, void *p1, void *p2)
240 {
241     switch (cmd) {
242     case XVID_PLG_INFO:
243     case XVID_PLG_FRAME:
244         return 0;
245     case XVID_PLG_BEFORE:
246         return xvid_ff_2pass_before(ref, p1);
247     case XVID_PLG_CREATE:
248         return xvid_ff_2pass_create(p1, p2);
249     case XVID_PLG_AFTER:
250         return xvid_ff_2pass_after(ref, p1);
251     case XVID_PLG_DESTROY:
252         return xvid_ff_2pass_destroy(ref, p1);
253     default:
254         return XVID_ERR_FAIL;
255     }
256 }
257
258 /**
259  * Routine to create a global VO/VOL header for MP4 container.
260  * What we do here is extract the header from the Xvid bitstream
261  * as it is encoded. We also strip the repeated headers from the
262  * bitstream when a global header is requested for MPEG-4 ISO
263  * compliance.
264  *
265  * @param avctx AVCodecContext pointer to context
266  * @param frame Pointer to encoded frame data
267  * @param header_len Length of header to search
268  * @param frame_len Length of encoded frame data
269  * @return Returns new length of frame data
270  */
271 static int xvid_strip_vol_header(AVCodecContext *avctx, AVPacket *pkt,
272                                  unsigned int header_len,
273                                  unsigned int frame_len)
274 {
275     int vo_len = 0, i;
276
277     for (i = 0; i < header_len - 3; i++) {
278         if (pkt->data[i]     == 0x00 &&
279             pkt->data[i + 1] == 0x00 &&
280             pkt->data[i + 2] == 0x01 &&
281             pkt->data[i + 3] == 0xB6) {
282             vo_len = i;
283             break;
284         }
285     }
286
287     if (vo_len > 0) {
288         /* We need to store the header, so extract it */
289         if (!avctx->extradata) {
290             avctx->extradata = av_malloc(vo_len);
291             if (!avctx->extradata)
292                 return AVERROR(ENOMEM);
293             memcpy(avctx->extradata, pkt->data, vo_len);
294             avctx->extradata_size = vo_len;
295         }
296         /* Less dangerous now, memmove properly copies the two
297          * chunks of overlapping data */
298         memmove(pkt->data, &pkt->data[vo_len], frame_len - vo_len);
299         pkt->size = frame_len - vo_len;
300     }
301     return 0;
302 }
303
304 /**
305  * Routine to correct a possibly erroneous framerate being fed to us.
306  * Xvid currently chokes on framerates where the ticks per frame is
307  * extremely large. This function works to correct problems in this area
308  * by estimating a new framerate and taking the simpler fraction of
309  * the two presented.
310  *
311  * @param avctx Context that contains the framerate to correct.
312  */
313 static void xvid_correct_framerate(AVCodecContext *avctx)
314 {
315     int frate, fbase;
316     int est_frate, est_fbase;
317     int gcd;
318     float est_fps, fps;
319
320     frate = avctx->time_base.den;
321     fbase = avctx->time_base.num;
322
323     gcd = av_gcd(frate, fbase);
324     if (gcd > 1) {
325         frate /= gcd;
326         fbase /= gcd;
327     }
328
329     if (frate <= 65000 && fbase <= 65000) {
330         avctx->time_base.den = frate;
331         avctx->time_base.num = fbase;
332         return;
333     }
334
335     fps     = (float) frate / (float) fbase;
336     est_fps = roundf(fps * 1000.0) / 1000.0;
337
338     est_frate = (int) est_fps;
339     if (est_fps > (int) est_fps) {
340         est_frate = (est_frate + 1) * 1000;
341         est_fbase = (int) roundf((float) est_frate / est_fps);
342     } else
343         est_fbase = 1;
344
345     gcd = av_gcd(est_frate, est_fbase);
346     if (gcd > 1) {
347         est_frate /= gcd;
348         est_fbase /= gcd;
349     }
350
351     if (fbase > est_fbase) {
352         avctx->time_base.den = est_frate;
353         avctx->time_base.num = est_fbase;
354         av_log(avctx, AV_LOG_DEBUG,
355                "Xvid: framerate re-estimated: %.2f, %.3f%% correction\n",
356                est_fps, (((est_fps - fps) / fps) * 100.0));
357     } else {
358         avctx->time_base.den = frate;
359         avctx->time_base.num = fbase;
360     }
361 }
362
363 static av_cold int xvid_encode_init(AVCodecContext *avctx)
364 {
365     int xerr, i, ret = -1;
366     int xvid_flags = avctx->flags;
367     struct xvid_context *x = avctx->priv_data;
368     uint16_t *intra, *inter;
369     int fd;
370
371     xvid_plugin_single_t      single          = { 0 };
372     struct xvid_ff_pass1      rc2pass1        = { 0 };
373     xvid_plugin_2pass2_t      rc2pass2        = { 0 };
374     xvid_plugin_lumimasking_t masking_l       = { 0 }; /* For lumi masking */
375     xvid_plugin_lumimasking_t masking_v       = { 0 }; /* For variance AQ */
376     xvid_plugin_ssim_t        ssim            = { 0 };
377     xvid_gbl_init_t           xvid_gbl_init   = { 0 };
378     xvid_enc_create_t         xvid_enc_create = { 0 };
379     xvid_enc_plugin_t         plugins[4];
380
381     x->twopassfd = -1;
382
383     /* Bring in VOP flags from ffmpeg command-line */
384     x->vop_flags = XVID_VOP_HALFPEL;              /* Bare minimum quality */
385     if (xvid_flags & CODEC_FLAG_4MV)
386         x->vop_flags    |= XVID_VOP_INTER4V;      /* Level 3 */
387     if (avctx->trellis)
388         x->vop_flags    |= XVID_VOP_TRELLISQUANT; /* Level 5 */
389     if (xvid_flags & CODEC_FLAG_AC_PRED)
390         x->vop_flags    |= XVID_VOP_HQACPRED;     /* Level 6 */
391     if (xvid_flags & CODEC_FLAG_GRAY)
392         x->vop_flags    |= XVID_VOP_GREYSCALE;
393
394     /* Decide which ME quality setting to use */
395     x->me_flags = 0;
396     switch (x->me_quality) {
397     case 6:
398     case 5:
399         x->me_flags |= XVID_ME_EXTSEARCH16 |
400                        XVID_ME_EXTSEARCH8;
401     case 4:
402     case 3:
403         x->me_flags |= XVID_ME_ADVANCEDDIAMOND8 |
404                        XVID_ME_HALFPELREFINE8   |
405                        XVID_ME_CHROMA_PVOP      |
406                        XVID_ME_CHROMA_BVOP;
407     case 2:
408     case 1:
409         x->me_flags |= XVID_ME_ADVANCEDDIAMOND16 |
410                        XVID_ME_HALFPELREFINE16;
411 #if FF_API_MOTION_EST
412 FF_DISABLE_DEPRECATION_WARNINGS
413         break;
414     default:
415         switch (avctx->me_method) {
416         case ME_FULL:   /* Quality 6 */
417              x->me_flags |= XVID_ME_EXTSEARCH16 |
418                             XVID_ME_EXTSEARCH8;
419         case ME_EPZS:   /* Quality 4 */
420              x->me_flags |= XVID_ME_ADVANCEDDIAMOND8 |
421                             XVID_ME_HALFPELREFINE8   |
422                             XVID_ME_CHROMA_PVOP      |
423                             XVID_ME_CHROMA_BVOP;
424         case ME_LOG:    /* Quality 2 */
425         case ME_PHODS:
426         case ME_X1:
427              x->me_flags |= XVID_ME_ADVANCEDDIAMOND16 |
428                             XVID_ME_HALFPELREFINE16;
429         case ME_ZERO:   /* Quality 0 */
430         default:
431             break;
432         }
433 FF_ENABLE_DEPRECATION_WARNINGS
434 #endif
435     }
436
437     /* Decide how we should decide blocks */
438     switch (avctx->mb_decision) {
439     case 2:
440         x->vop_flags |=  XVID_VOP_MODEDECISION_RD;
441         x->me_flags  |=  XVID_ME_HALFPELREFINE8_RD    |
442                          XVID_ME_QUARTERPELREFINE8_RD |
443                          XVID_ME_EXTSEARCH_RD         |
444                          XVID_ME_CHECKPREDICTION_RD;
445     case 1:
446         if (!(x->vop_flags & XVID_VOP_MODEDECISION_RD))
447             x->vop_flags |= XVID_VOP_FAST_MODEDECISION_RD;
448         x->me_flags |= XVID_ME_HALFPELREFINE16_RD |
449                        XVID_ME_QUARTERPELREFINE16_RD;
450     default:
451         break;
452     }
453
454     /* Bring in VOL flags from ffmpeg command-line */
455 #if FF_API_GMC
456     if (avctx->flags & CODEC_FLAG_GMC)
457         x->gmc = 1;
458 #endif
459
460     x->vol_flags = 0;
461     if (x->gmc) {
462         x->vol_flags |= XVID_VOL_GMC;
463         x->me_flags  |= XVID_ME_GME_REFINE;
464     }
465     if (xvid_flags & CODEC_FLAG_QPEL) {
466         x->vol_flags |= XVID_VOL_QUARTERPEL;
467         x->me_flags  |= XVID_ME_QUARTERPELREFINE16;
468         if (x->vop_flags & XVID_VOP_INTER4V)
469             x->me_flags |= XVID_ME_QUARTERPELREFINE8;
470     }
471
472     xvid_gbl_init.version   = XVID_VERSION;
473     xvid_gbl_init.debug     = 0;
474     xvid_gbl_init.cpu_flags = 0;
475
476     /* Initialize */
477     xvid_global(NULL, XVID_GBL_INIT, &xvid_gbl_init, NULL);
478
479     /* Create the encoder reference */
480     xvid_enc_create.version = XVID_VERSION;
481
482     /* Store the desired frame size */
483     xvid_enc_create.width  =
484     x->xsize               = avctx->width;
485     xvid_enc_create.height =
486     x->ysize               = avctx->height;
487
488     /* Xvid can determine the proper profile to use */
489     /* xvid_enc_create.profile = XVID_PROFILE_S_L3; */
490
491     /* We don't use zones */
492     xvid_enc_create.zones     = NULL;
493     xvid_enc_create.num_zones = 0;
494
495     xvid_enc_create.num_threads = avctx->thread_count;
496 #if (XVID_VERSION <= 0x010303) && (XVID_VERSION >= 0x010300)
497     /* workaround for a bug in libxvidcore */
498     if (avctx->height <= 16) {
499         if (avctx->thread_count < 2) {
500             xvid_enc_create.num_threads = 0;
501         } else {
502             av_log(avctx, AV_LOG_ERROR,
503                    "Too small height for threads > 1.");
504             return AVERROR(EINVAL);
505         }
506     }
507 #endif
508
509     xvid_enc_create.plugins     = plugins;
510     xvid_enc_create.num_plugins = 0;
511
512     /* Initialize Buffers */
513     x->twopassbuffer     = NULL;
514     x->old_twopassbuffer = NULL;
515     x->twopassfile       = NULL;
516
517     if (xvid_flags & CODEC_FLAG_PASS1) {
518         rc2pass1.version     = XVID_VERSION;
519         rc2pass1.context     = x;
520         x->twopassbuffer     = av_malloc(BUFFER_SIZE);
521         x->old_twopassbuffer = av_malloc(BUFFER_SIZE);
522         if (!x->twopassbuffer || !x->old_twopassbuffer) {
523             av_log(avctx, AV_LOG_ERROR,
524                    "Xvid: Cannot allocate 2-pass log buffers\n");
525             return AVERROR(ENOMEM);
526         }
527         x->twopassbuffer[0]     =
528         x->old_twopassbuffer[0] = 0;
529
530         plugins[xvid_enc_create.num_plugins].func  = xvid_ff_2pass;
531         plugins[xvid_enc_create.num_plugins].param = &rc2pass1;
532         xvid_enc_create.num_plugins++;
533     } else if (xvid_flags & CODEC_FLAG_PASS2) {
534         rc2pass2.version = XVID_VERSION;
535         rc2pass2.bitrate = avctx->bit_rate;
536
537         fd = av_tempfile("xvidff.", &x->twopassfile, 0, avctx);
538         if (fd < 0) {
539             av_log(avctx, AV_LOG_ERROR, "Xvid: Cannot write 2-pass pipe\n");
540             return fd;
541         }
542         x->twopassfd = fd;
543
544         if (!avctx->stats_in) {
545             av_log(avctx, AV_LOG_ERROR,
546                    "Xvid: No 2-pass information loaded for second pass\n");
547             return AVERROR(EINVAL);
548         }
549
550         ret = write(fd, avctx->stats_in, strlen(avctx->stats_in));
551         if (ret == -1)
552             ret = AVERROR(errno);
553         else if (strlen(avctx->stats_in) > ret) {
554             av_log(avctx, AV_LOG_ERROR, "Xvid: Cannot write to 2-pass pipe\n");
555             ret = AVERROR(EIO);
556         }
557         if (ret < 0)
558             return ret;
559
560         rc2pass2.filename                          = x->twopassfile;
561         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_2pass2;
562         plugins[xvid_enc_create.num_plugins].param = &rc2pass2;
563         xvid_enc_create.num_plugins++;
564     } else if (!(xvid_flags & CODEC_FLAG_QSCALE)) {
565         /* Single Pass Bitrate Control! */
566         single.version = XVID_VERSION;
567         single.bitrate = avctx->bit_rate;
568
569         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_single;
570         plugins[xvid_enc_create.num_plugins].param = &single;
571         xvid_enc_create.num_plugins++;
572     }
573
574     if (avctx->lumi_masking != 0.0)
575         x->lumi_aq = 1;
576
577     /* Luminance Masking */
578     if (x->lumi_aq) {
579         masking_l.method                          = 0;
580         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_lumimasking;
581
582         /* The old behavior is that when avctx->lumi_masking is specified,
583          * plugins[...].param = NULL. Trying to keep the old behavior here. */
584         plugins[xvid_enc_create.num_plugins].param =
585             avctx->lumi_masking ? NULL : &masking_l;
586         xvid_enc_create.num_plugins++;
587     }
588
589     /* Variance AQ */
590     if (x->variance_aq) {
591         masking_v.method                           = 1;
592         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_lumimasking;
593         plugins[xvid_enc_create.num_plugins].param = &masking_v;
594         xvid_enc_create.num_plugins++;
595     }
596
597     if (x->lumi_aq && x->variance_aq )
598         av_log(avctx, AV_LOG_INFO,
599                "Both lumi_aq and variance_aq are enabled. The resulting quality"
600                "will be the worse one of the two effects made by the AQ.\n");
601
602     /* SSIM */
603     if (x->ssim) {
604         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_ssim;
605         ssim.b_printstat                           = x->ssim == 2;
606         ssim.acc                                   = x->ssim_acc;
607         ssim.cpu_flags                             = xvid_gbl_init.cpu_flags;
608         ssim.b_visualize                           = 0;
609         plugins[xvid_enc_create.num_plugins].param = &ssim;
610         xvid_enc_create.num_plugins++;
611     }
612
613     /* Frame Rate and Key Frames */
614     xvid_correct_framerate(avctx);
615     xvid_enc_create.fincr = avctx->time_base.num;
616     xvid_enc_create.fbase = avctx->time_base.den;
617     if (avctx->gop_size > 0)
618         xvid_enc_create.max_key_interval = avctx->gop_size;
619     else
620         xvid_enc_create.max_key_interval = 240; /* Xvid's best default */
621
622     /* Quants */
623     if (xvid_flags & CODEC_FLAG_QSCALE)
624         x->qscale = 1;
625     else
626         x->qscale = 0;
627
628     xvid_enc_create.min_quant[0] = avctx->qmin;
629     xvid_enc_create.min_quant[1] = avctx->qmin;
630     xvid_enc_create.min_quant[2] = avctx->qmin;
631     xvid_enc_create.max_quant[0] = avctx->qmax;
632     xvid_enc_create.max_quant[1] = avctx->qmax;
633     xvid_enc_create.max_quant[2] = avctx->qmax;
634
635     /* Quant Matrices */
636     x->intra_matrix =
637     x->inter_matrix = NULL;
638     if (avctx->mpeg_quant)
639         x->vol_flags |= XVID_VOL_MPEGQUANT;
640     if ((avctx->intra_matrix || avctx->inter_matrix)) {
641         x->vol_flags |= XVID_VOL_MPEGQUANT;
642
643         if (avctx->intra_matrix) {
644             intra           = avctx->intra_matrix;
645             x->intra_matrix = av_malloc(sizeof(unsigned char) * 64);
646             if (!x->intra_matrix)
647                 return AVERROR(ENOMEM);
648         } else
649             intra = NULL;
650         if (avctx->inter_matrix) {
651             inter           = avctx->inter_matrix;
652             x->inter_matrix = av_malloc(sizeof(unsigned char) * 64);
653             if (!x->inter_matrix)
654                 return AVERROR(ENOMEM);
655         } else
656             inter = NULL;
657
658         for (i = 0; i < 64; i++) {
659             if (intra)
660                 x->intra_matrix[i] = (unsigned char) intra[i];
661             if (inter)
662                 x->inter_matrix[i] = (unsigned char) inter[i];
663         }
664     }
665
666     /* Misc Settings */
667     xvid_enc_create.frame_drop_ratio = 0;
668     xvid_enc_create.global           = 0;
669     if (xvid_flags & CODEC_FLAG_CLOSED_GOP)
670         xvid_enc_create.global |= XVID_GLOBAL_CLOSED_GOP;
671
672     /* Determines which codec mode we are operating in */
673     avctx->extradata      = NULL;
674     avctx->extradata_size = 0;
675     if (xvid_flags & CODEC_FLAG_GLOBAL_HEADER) {
676         /* In this case, we are claiming to be MPEG4 */
677         x->quicktime_format = 1;
678         avctx->codec_id     = AV_CODEC_ID_MPEG4;
679     } else {
680         /* We are claiming to be Xvid */
681         x->quicktime_format = 0;
682         if (!avctx->codec_tag)
683             avctx->codec_tag = AV_RL32("xvid");
684     }
685
686     /* Bframes */
687     xvid_enc_create.max_bframes   = avctx->max_b_frames;
688     xvid_enc_create.bquant_offset = 100 * avctx->b_quant_offset;
689     xvid_enc_create.bquant_ratio  = 100 * avctx->b_quant_factor;
690     if (avctx->max_b_frames > 0 && !x->quicktime_format)
691         xvid_enc_create.global |= XVID_GLOBAL_PACKED;
692
693     av_assert0(xvid_enc_create.num_plugins + (!!x->ssim) + (!!x->variance_aq) + (!!x->lumi_aq) <= FF_ARRAY_ELEMS(plugins));
694
695     /* Create encoder context */
696     xerr = xvid_encore(NULL, XVID_ENC_CREATE, &xvid_enc_create, NULL);
697     if (xerr) {
698         av_log(avctx, AV_LOG_ERROR, "Xvid: Could not create encoder reference\n");
699         return AVERROR_EXTERNAL;
700     }
701
702     x->encoder_handle  = xvid_enc_create.handle;
703
704     return 0;
705 }
706
707 static int xvid_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
708                              const AVFrame *picture, int *got_packet)
709 {
710     int xerr, i, ret, user_packet = !!pkt->data;
711     struct xvid_context *x = avctx->priv_data;
712     int mb_width  = (avctx->width  + 15) / 16;
713     int mb_height = (avctx->height + 15) / 16;
714     char *tmp;
715
716     xvid_enc_frame_t xvid_enc_frame = { 0 };
717     xvid_enc_stats_t xvid_enc_stats = { 0 };
718
719     if ((ret = ff_alloc_packet2(avctx, pkt, mb_width*(int64_t)mb_height*MAX_MB_BYTES + FF_MIN_BUFFER_SIZE, 0)) < 0)
720         return ret;
721
722     /* Start setting up the frame */
723     xvid_enc_frame.version = XVID_VERSION;
724     xvid_enc_stats.version = XVID_VERSION;
725
726     /* Let Xvid know where to put the frame. */
727     xvid_enc_frame.bitstream = pkt->data;
728     xvid_enc_frame.length    = pkt->size;
729
730     /* Initialize input image fields */
731     if (avctx->pix_fmt != AV_PIX_FMT_YUV420P) {
732         av_log(avctx, AV_LOG_ERROR,
733                "Xvid: Color spaces other than 420P not supported\n");
734         return AVERROR(EINVAL);
735     }
736
737     xvid_enc_frame.input.csp = XVID_CSP_PLANAR; /* YUV420P */
738
739     for (i = 0; i < 4; i++) {
740         xvid_enc_frame.input.plane[i]  = picture->data[i];
741         xvid_enc_frame.input.stride[i] = picture->linesize[i];
742     }
743
744     /* Encoder Flags */
745     xvid_enc_frame.vop_flags = x->vop_flags;
746     xvid_enc_frame.vol_flags = x->vol_flags;
747     xvid_enc_frame.motion    = x->me_flags;
748     xvid_enc_frame.type      =
749         picture->pict_type == AV_PICTURE_TYPE_I ? XVID_TYPE_IVOP :
750         picture->pict_type == AV_PICTURE_TYPE_P ? XVID_TYPE_PVOP :
751         picture->pict_type == AV_PICTURE_TYPE_B ? XVID_TYPE_BVOP :
752                                                   XVID_TYPE_AUTO;
753
754     /* Pixel aspect ratio setting */
755     if (avctx->sample_aspect_ratio.num < 0 || avctx->sample_aspect_ratio.num > 255 ||
756         avctx->sample_aspect_ratio.den < 0 || avctx->sample_aspect_ratio.den > 255) {
757         av_log(avctx, AV_LOG_WARNING,
758                "Invalid pixel aspect ratio %i/%i, limit is 255/255 reducing\n",
759                avctx->sample_aspect_ratio.num, avctx->sample_aspect_ratio.den);
760         av_reduce(&avctx->sample_aspect_ratio.num, &avctx->sample_aspect_ratio.den,
761                    avctx->sample_aspect_ratio.num,  avctx->sample_aspect_ratio.den, 255);
762     }
763     xvid_enc_frame.par        = XVID_PAR_EXT;
764     xvid_enc_frame.par_width  = avctx->sample_aspect_ratio.num;
765     xvid_enc_frame.par_height = avctx->sample_aspect_ratio.den;
766
767     /* Quant Setting */
768     if (x->qscale)
769         xvid_enc_frame.quant = picture->quality / FF_QP2LAMBDA;
770     else
771         xvid_enc_frame.quant = 0;
772
773     /* Matrices */
774     xvid_enc_frame.quant_intra_matrix = x->intra_matrix;
775     xvid_enc_frame.quant_inter_matrix = x->inter_matrix;
776
777     /* Encode */
778     xerr = xvid_encore(x->encoder_handle, XVID_ENC_ENCODE,
779                        &xvid_enc_frame, &xvid_enc_stats);
780
781     /* Two-pass log buffer swapping */
782     avctx->stats_out = NULL;
783     if (x->twopassbuffer) {
784         tmp                  = x->old_twopassbuffer;
785         x->old_twopassbuffer = x->twopassbuffer;
786         x->twopassbuffer     = tmp;
787         x->twopassbuffer[0]  = 0;
788         if (x->old_twopassbuffer[0] != 0) {
789             avctx->stats_out = x->old_twopassbuffer;
790         }
791     }
792
793     if (xerr > 0) {
794         int pict_type;
795
796         *got_packet = 1;
797
798         if (xvid_enc_stats.type == XVID_TYPE_PVOP)
799             pict_type = AV_PICTURE_TYPE_P;
800         else if (xvid_enc_stats.type == XVID_TYPE_BVOP)
801             pict_type = AV_PICTURE_TYPE_B;
802         else if (xvid_enc_stats.type == XVID_TYPE_SVOP)
803             pict_type = AV_PICTURE_TYPE_S;
804         else
805             pict_type = AV_PICTURE_TYPE_I;
806
807 #if FF_API_CODED_FRAME
808 FF_DISABLE_DEPRECATION_WARNINGS
809         avctx->coded_frame->pict_type = pict_type;
810         avctx->coded_frame->quality = xvid_enc_stats.quant * FF_QP2LAMBDA;
811 FF_ENABLE_DEPRECATION_WARNINGS
812 #endif
813
814         ff_side_data_set_encoder_stats(pkt, xvid_enc_stats.quant * FF_QP2LAMBDA, NULL, 0, pict_type);
815
816         if (xvid_enc_frame.out_flags & XVID_KEYFRAME) {
817 #if FF_API_CODED_FRAME
818 FF_DISABLE_DEPRECATION_WARNINGS
819             avctx->coded_frame->key_frame = 1;
820 FF_ENABLE_DEPRECATION_WARNINGS
821 #endif
822             pkt->flags  |= AV_PKT_FLAG_KEY;
823             if (x->quicktime_format)
824                 return xvid_strip_vol_header(avctx, pkt,
825                                              xvid_enc_stats.hlength, xerr);
826         } else {
827 #if FF_API_CODED_FRAME
828 FF_DISABLE_DEPRECATION_WARNINGS
829             avctx->coded_frame->key_frame = 0;
830 FF_ENABLE_DEPRECATION_WARNINGS
831 #endif
832         }
833
834         pkt->size = xerr;
835
836         return 0;
837     } else {
838         if (!user_packet)
839             av_free_packet(pkt);
840         if (!xerr)
841             return 0;
842         av_log(avctx, AV_LOG_ERROR,
843                "Xvid: Encoding Error Occurred: %i\n", xerr);
844         return AVERROR_EXTERNAL;
845     }
846 }
847
848 static av_cold int xvid_encode_close(AVCodecContext *avctx)
849 {
850     struct xvid_context *x = avctx->priv_data;
851
852     if (x->encoder_handle) {
853         xvid_encore(x->encoder_handle, XVID_ENC_DESTROY, NULL, NULL);
854         x->encoder_handle = NULL;
855     }
856
857     av_freep(&avctx->extradata);
858     if (x->twopassbuffer) {
859         av_freep(&x->twopassbuffer);
860         av_freep(&x->old_twopassbuffer);
861         avctx->stats_out = NULL;
862     }
863     if (x->twopassfd>=0) {
864         unlink(x->twopassfile);
865         close(x->twopassfd);
866         x->twopassfd = -1;
867     }
868     av_freep(&x->twopassfile);
869     av_freep(&x->intra_matrix);
870     av_freep(&x->inter_matrix);
871
872     return 0;
873 }
874
875 #define OFFSET(x) offsetof(struct xvid_context, x)
876 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
877 static const AVOption options[] = {
878     { "lumi_aq",     "Luminance masking AQ",            OFFSET(lumi_aq),     AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
879     { "variance_aq", "Variance AQ",                     OFFSET(variance_aq), AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
880     { "ssim",        "Show SSIM information to stdout", OFFSET(ssim),        AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       2, VE, "ssim" },
881     { "off",         NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 0 }, INT_MIN, INT_MAX, VE, "ssim" },
882     { "avg",         NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 1 }, INT_MIN, INT_MAX, VE, "ssim" },
883     { "frame",       NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 2 }, INT_MIN, INT_MAX, VE, "ssim" },
884     { "ssim_acc",    "SSIM accuracy",                   OFFSET(ssim_acc),    AV_OPT_TYPE_INT,   { .i64 = 2 },       0,       4, VE         },
885     { "gmc",         "use GMC",                         OFFSET(gmc),         AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
886     { "me_quality",  "Motion estimation quality",       OFFSET(me_quality),  AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       6, VE         },
887     { NULL },
888 };
889
890 static const AVClass xvid_class = {
891     .class_name = "libxvid",
892     .item_name  = av_default_item_name,
893     .option     = options,
894     .version    = LIBAVUTIL_VERSION_INT,
895 };
896
897 AVCodec ff_libxvid_encoder = {
898     .name           = "libxvid",
899     .long_name      = NULL_IF_CONFIG_SMALL("libxvidcore MPEG-4 part 2"),
900     .type           = AVMEDIA_TYPE_VIDEO,
901     .id             = AV_CODEC_ID_MPEG4,
902     .priv_data_size = sizeof(struct xvid_context),
903     .init           = xvid_encode_init,
904     .encode2        = xvid_encode_frame,
905     .close          = xvid_encode_close,
906     .pix_fmts       = (const enum AVPixelFormat[]) { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE },
907     .priv_class     = &xvid_class,
908     .caps_internal  = FF_CODEC_CAP_INIT_THREADSAFE |
909                       FF_CODEC_CAP_INIT_CLEANUP,
910 };