]> git.sesse.net Git - ffmpeg/blob - libavcodec/libxvid.c
Merge commit 'e7d7cf86dcaba8eaaed62c80172ff0aff2588c2a'
[ffmpeg] / libavcodec / libxvid.c
1 /*
2  * Interface to xvidcore for mpeg4 encoding
3  * Copyright (c) 2004 Adam Thayer <krevnik@comcast.net>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Interface to xvidcore for MPEG-4 compliant encoding.
25  * @author Adam Thayer (krevnik@comcast.net)
26  */
27
28 #include <stdio.h>
29 #include <string.h>
30 #include <xvid.h>
31
32 #include "libavutil/avassert.h"
33 #include "libavutil/cpu.h"
34 #include "libavutil/file.h"
35 #include "libavutil/internal.h"
36 #include "libavutil/intreadwrite.h"
37 #include "libavutil/mathematics.h"
38 #include "libavutil/mem.h"
39 #include "libavutil/opt.h"
40
41 #include "avcodec.h"
42 #include "internal.h"
43 #include "libxvid.h"
44 #include "mpegutils.h"
45
46 #if HAVE_UNISTD_H
47 #include <unistd.h>
48 #endif
49
50 #if HAVE_IO_H
51 #include <io.h>
52 #endif
53
54 /**
55  * Buffer management macros.
56  */
57 #define BUFFER_SIZE         1024
58 #define BUFFER_REMAINING(x) (BUFFER_SIZE - strlen(x))
59 #define BUFFER_CAT(x)       (&((x)[strlen(x)]))
60
61 /**
62  * Structure for the private Xvid context.
63  * This stores all the private context for the codec.
64  */
65 struct xvid_context {
66     AVClass *class;
67     void *encoder_handle;          /**< Handle for Xvid encoder */
68     int xsize;                     /**< Frame x size */
69     int ysize;                     /**< Frame y size */
70     int vop_flags;                 /**< VOP flags for Xvid encoder */
71     int vol_flags;                 /**< VOL flags for Xvid encoder */
72     int me_flags;                  /**< Motion Estimation flags */
73     int qscale;                    /**< Do we use constant scale? */
74     int quicktime_format;          /**< Are we in a QT-based format? */
75     char *twopassbuffer;           /**< Character buffer for two-pass */
76     char *old_twopassbuffer;       /**< Old character buffer (two-pass) */
77     char *twopassfile;             /**< second pass temp file name */
78     int twopassfd;
79     unsigned char *intra_matrix;   /**< P-Frame Quant Matrix */
80     unsigned char *inter_matrix;   /**< I-Frame Quant Matrix */
81     int lumi_aq;                   /**< Lumi masking as an aq method */
82     int variance_aq;               /**< Variance adaptive quantization */
83     int ssim;                      /**< SSIM information display mode */
84     int ssim_acc;                  /**< SSIM accuracy. 0: accurate. 4: fast. */
85     int gmc;
86     int me_quality;                /**< Motion estimation quality. 0: fast 6: best. */
87 };
88
89 /**
90  * Structure for the private first-pass plugin.
91  */
92 struct xvid_ff_pass1 {
93     int version;                    /**< Xvid version */
94     struct xvid_context *context;   /**< Pointer to private context */
95 };
96
97 static int xvid_encode_close(AVCodecContext *avctx);
98
99 /*
100  * Xvid 2-Pass Kludge Section
101  *
102  * Xvid's default 2-pass doesn't allow us to create data as we need to, so
103  * this section spends time replacing the first pass plugin so we can write
104  * statistic information as libavcodec requests in. We have another kludge
105  * that allows us to pass data to the second pass in Xvid without a custom
106  * rate-control plugin.
107  */
108
109 /**
110  * Initialize the two-pass plugin and context.
111  *
112  * @param param Input construction parameter structure
113  * @param handle Private context handle
114  * @return Returns XVID_ERR_xxxx on failure, or 0 on success.
115  */
116 static int xvid_ff_2pass_create(xvid_plg_create_t *param, void **handle)
117 {
118     struct xvid_ff_pass1 *x = (struct xvid_ff_pass1 *) param->param;
119     char *log = x->context->twopassbuffer;
120
121     /* Do a quick bounds check */
122     if (!log)
123         return XVID_ERR_FAIL;
124
125     /* We use snprintf() */
126     /* This is because we can safely prevent a buffer overflow */
127     log[0] = 0;
128     snprintf(log, BUFFER_REMAINING(log),
129              "# ffmpeg 2-pass log file, using xvid codec\n");
130     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
131              "# Do not modify. libxvidcore version: %d.%d.%d\n\n",
132              XVID_VERSION_MAJOR(XVID_VERSION),
133              XVID_VERSION_MINOR(XVID_VERSION),
134              XVID_VERSION_PATCH(XVID_VERSION));
135
136     *handle = x->context;
137     return 0;
138 }
139
140 /**
141  * Destroy the two-pass plugin context.
142  *
143  * @param ref Context pointer for the plugin
144  * @param param Destrooy context
145  * @return Returns 0, success guaranteed
146  */
147 static int xvid_ff_2pass_destroy(struct xvid_context *ref,
148                                  xvid_plg_destroy_t *param)
149 {
150     /* Currently cannot think of anything to do on destruction */
151     /* Still, the framework should be here for reference/use */
152     if (ref->twopassbuffer)
153         ref->twopassbuffer[0] = 0;
154     return 0;
155 }
156
157 /**
158  * Enable fast encode mode during the first pass.
159  *
160  * @param ref Context pointer for the plugin
161  * @param param Frame data
162  * @return Returns 0, success guaranteed
163  */
164 static int xvid_ff_2pass_before(struct xvid_context *ref,
165                                 xvid_plg_data_t *param)
166 {
167     int motion_remove;
168     int motion_replacements;
169     int vop_remove;
170
171     /* Nothing to do here, result is changed too much */
172     if (param->zone && param->zone->mode == XVID_ZONE_QUANT)
173         return 0;
174
175     /* We can implement a 'turbo' first pass mode here */
176     param->quant = 2;
177
178     /* Init values */
179     motion_remove       = ~XVID_ME_CHROMA_PVOP &
180                           ~XVID_ME_CHROMA_BVOP &
181                           ~XVID_ME_EXTSEARCH16 &
182                           ~XVID_ME_ADVANCEDDIAMOND16;
183     motion_replacements = XVID_ME_FAST_MODEINTERPOLATE |
184                           XVID_ME_SKIP_DELTASEARCH     |
185                           XVID_ME_FASTREFINE16         |
186                           XVID_ME_BFRAME_EARLYSTOP;
187     vop_remove          = ~XVID_VOP_MODEDECISION_RD      &
188                           ~XVID_VOP_FAST_MODEDECISION_RD &
189                           ~XVID_VOP_TRELLISQUANT         &
190                           ~XVID_VOP_INTER4V              &
191                           ~XVID_VOP_HQACPRED;
192
193     param->vol_flags    &= ~XVID_VOL_GMC;
194     param->vop_flags    &= vop_remove;
195     param->motion_flags &= motion_remove;
196     param->motion_flags |= motion_replacements;
197
198     return 0;
199 }
200
201 /**
202  * Capture statistic data and write it during first pass.
203  *
204  * @param ref Context pointer for the plugin
205  * @param param Statistic data
206  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
207  */
208 static int xvid_ff_2pass_after(struct xvid_context *ref,
209                                xvid_plg_data_t *param)
210 {
211     char *log = ref->twopassbuffer;
212     const char *frame_types = " ipbs";
213     char frame_type;
214
215     /* Quick bounds check */
216     if (!log)
217         return XVID_ERR_FAIL;
218
219     /* Convert the type given to us into a character */
220     if (param->type < 5 && param->type > 0)
221         frame_type = frame_types[param->type];
222     else
223         return XVID_ERR_FAIL;
224
225     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
226              "%c %d %d %d %d %d %d\n",
227              frame_type, param->stats.quant, param->stats.kblks,
228              param->stats.mblks, param->stats.ublks,
229              param->stats.length, param->stats.hlength);
230
231     return 0;
232 }
233
234 /**
235  * Dispatch function for our custom plugin.
236  * This handles the dispatch for the Xvid plugin. It passes data
237  * on to other functions for actual processing.
238  *
239  * @param ref Context pointer for the plugin
240  * @param cmd The task given for us to complete
241  * @param p1 First parameter (varies)
242  * @param p2 Second parameter (varies)
243  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
244  */
245 static int xvid_ff_2pass(void *ref, int cmd, void *p1, void *p2)
246 {
247     switch (cmd) {
248     case XVID_PLG_INFO:
249     case XVID_PLG_FRAME:
250         return 0;
251     case XVID_PLG_BEFORE:
252         return xvid_ff_2pass_before(ref, p1);
253     case XVID_PLG_CREATE:
254         return xvid_ff_2pass_create(p1, p2);
255     case XVID_PLG_AFTER:
256         return xvid_ff_2pass_after(ref, p1);
257     case XVID_PLG_DESTROY:
258         return xvid_ff_2pass_destroy(ref, p1);
259     default:
260         return XVID_ERR_FAIL;
261     }
262 }
263
264 /**
265  * Routine to create a global VO/VOL header for MP4 container.
266  * What we do here is extract the header from the Xvid bitstream
267  * as it is encoded. We also strip the repeated headers from the
268  * bitstream when a global header is requested for MPEG-4 ISO
269  * compliance.
270  *
271  * @param avctx AVCodecContext pointer to context
272  * @param frame Pointer to encoded frame data
273  * @param header_len Length of header to search
274  * @param frame_len Length of encoded frame data
275  * @return Returns new length of frame data
276  */
277 static int xvid_strip_vol_header(AVCodecContext *avctx, AVPacket *pkt,
278                                  unsigned int header_len,
279                                  unsigned int frame_len)
280 {
281     int vo_len = 0, i;
282
283     for (i = 0; i < header_len - 3; i++) {
284         if (pkt->data[i]     == 0x00 &&
285             pkt->data[i + 1] == 0x00 &&
286             pkt->data[i + 2] == 0x01 &&
287             pkt->data[i + 3] == 0xB6) {
288             vo_len = i;
289             break;
290         }
291     }
292
293     if (vo_len > 0) {
294         /* We need to store the header, so extract it */
295         if (!avctx->extradata) {
296             avctx->extradata = av_malloc(vo_len);
297             if (!avctx->extradata)
298                 return AVERROR(ENOMEM);
299             memcpy(avctx->extradata, pkt->data, vo_len);
300             avctx->extradata_size = vo_len;
301         }
302         /* Less dangerous now, memmove properly copies the two
303          * chunks of overlapping data */
304         memmove(pkt->data, &pkt->data[vo_len], frame_len - vo_len);
305         pkt->size = frame_len - vo_len;
306     }
307     return 0;
308 }
309
310 /**
311  * Routine to correct a possibly erroneous framerate being fed to us.
312  * Xvid currently chokes on framerates where the ticks per frame is
313  * extremely large. This function works to correct problems in this area
314  * by estimating a new framerate and taking the simpler fraction of
315  * the two presented.
316  *
317  * @param avctx Context that contains the framerate to correct.
318  */
319 static void xvid_correct_framerate(AVCodecContext *avctx)
320 {
321     int frate, fbase;
322     int est_frate, est_fbase;
323     int gcd;
324     float est_fps, fps;
325
326     frate = avctx->time_base.den;
327     fbase = avctx->time_base.num;
328
329     gcd = av_gcd(frate, fbase);
330     if (gcd > 1) {
331         frate /= gcd;
332         fbase /= gcd;
333     }
334
335     if (frate <= 65000 && fbase <= 65000) {
336         avctx->time_base.den = frate;
337         avctx->time_base.num = fbase;
338         return;
339     }
340
341     fps     = (float) frate / (float) fbase;
342     est_fps = roundf(fps * 1000.0) / 1000.0;
343
344     est_frate = (int) est_fps;
345     if (est_fps > (int) est_fps) {
346         est_frate = (est_frate + 1) * 1000;
347         est_fbase = (int) roundf((float) est_frate / est_fps);
348     } else
349         est_fbase = 1;
350
351     gcd = av_gcd(est_frate, est_fbase);
352     if (gcd > 1) {
353         est_frate /= gcd;
354         est_fbase /= gcd;
355     }
356
357     if (fbase > est_fbase) {
358         avctx->time_base.den = est_frate;
359         avctx->time_base.num = est_fbase;
360         av_log(avctx, AV_LOG_DEBUG,
361                "Xvid: framerate re-estimated: %.2f, %.3f%% correction\n",
362                est_fps, (((est_fps - fps) / fps) * 100.0));
363     } else {
364         avctx->time_base.den = frate;
365         avctx->time_base.num = fbase;
366     }
367 }
368
369 static av_cold int xvid_encode_init(AVCodecContext *avctx)
370 {
371     int xerr, i, ret = -1;
372     int xvid_flags = avctx->flags;
373     struct xvid_context *x = avctx->priv_data;
374     uint16_t *intra, *inter;
375     int fd;
376
377     xvid_plugin_single_t      single          = { 0 };
378     struct xvid_ff_pass1      rc2pass1        = { 0 };
379     xvid_plugin_2pass2_t      rc2pass2        = { 0 };
380     xvid_plugin_lumimasking_t masking_l       = { 0 }; /* For lumi masking */
381     xvid_plugin_lumimasking_t masking_v       = { 0 }; /* For variance AQ */
382     xvid_plugin_ssim_t        ssim            = { 0 };
383     xvid_gbl_init_t           xvid_gbl_init   = { 0 };
384     xvid_enc_create_t         xvid_enc_create = { 0 };
385     xvid_enc_plugin_t         plugins[4];
386
387     x->twopassfd = -1;
388
389     /* Bring in VOP flags from ffmpeg command-line */
390     x->vop_flags = XVID_VOP_HALFPEL;              /* Bare minimum quality */
391     if (xvid_flags & AV_CODEC_FLAG_4MV)
392         x->vop_flags    |= XVID_VOP_INTER4V;      /* Level 3 */
393     if (avctx->trellis)
394         x->vop_flags    |= XVID_VOP_TRELLISQUANT; /* Level 5 */
395     if (xvid_flags & AV_CODEC_FLAG_AC_PRED)
396         x->vop_flags    |= XVID_VOP_HQACPRED;     /* Level 6 */
397     if (xvid_flags & AV_CODEC_FLAG_GRAY)
398         x->vop_flags    |= XVID_VOP_GREYSCALE;
399
400     /* Decide which ME quality setting to use */
401     x->me_flags = 0;
402     switch (x->me_quality) {
403     case 6:
404     case 5:
405         x->me_flags |= XVID_ME_EXTSEARCH16 |
406                        XVID_ME_EXTSEARCH8;
407     case 4:
408     case 3:
409         x->me_flags |= XVID_ME_ADVANCEDDIAMOND8 |
410                        XVID_ME_HALFPELREFINE8   |
411                        XVID_ME_CHROMA_PVOP      |
412                        XVID_ME_CHROMA_BVOP;
413     case 2:
414     case 1:
415         x->me_flags |= XVID_ME_ADVANCEDDIAMOND16 |
416                        XVID_ME_HALFPELREFINE16;
417 #if FF_API_MOTION_EST
418 FF_DISABLE_DEPRECATION_WARNINGS
419         break;
420     default:
421         switch (avctx->me_method) {
422         case ME_FULL:   /* Quality 6 */
423              x->me_flags |= XVID_ME_EXTSEARCH16 |
424                             XVID_ME_EXTSEARCH8;
425         case ME_EPZS:   /* Quality 4 */
426              x->me_flags |= XVID_ME_ADVANCEDDIAMOND8 |
427                             XVID_ME_HALFPELREFINE8   |
428                             XVID_ME_CHROMA_PVOP      |
429                             XVID_ME_CHROMA_BVOP;
430         case ME_LOG:    /* Quality 2 */
431         case ME_PHODS:
432         case ME_X1:
433              x->me_flags |= XVID_ME_ADVANCEDDIAMOND16 |
434                             XVID_ME_HALFPELREFINE16;
435         case ME_ZERO:   /* Quality 0 */
436         default:
437             break;
438         }
439 FF_ENABLE_DEPRECATION_WARNINGS
440 #endif
441     }
442
443     /* Decide how we should decide blocks */
444     switch (avctx->mb_decision) {
445     case 2:
446         x->vop_flags |=  XVID_VOP_MODEDECISION_RD;
447         x->me_flags  |=  XVID_ME_HALFPELREFINE8_RD    |
448                          XVID_ME_QUARTERPELREFINE8_RD |
449                          XVID_ME_EXTSEARCH_RD         |
450                          XVID_ME_CHECKPREDICTION_RD;
451     case 1:
452         if (!(x->vop_flags & XVID_VOP_MODEDECISION_RD))
453             x->vop_flags |= XVID_VOP_FAST_MODEDECISION_RD;
454         x->me_flags |= XVID_ME_HALFPELREFINE16_RD |
455                        XVID_ME_QUARTERPELREFINE16_RD;
456     default:
457         break;
458     }
459
460     /* Bring in VOL flags from ffmpeg command-line */
461 #if FF_API_GMC
462     if (avctx->flags & CODEC_FLAG_GMC)
463         x->gmc = 1;
464 #endif
465
466     x->vol_flags = 0;
467     if (x->gmc) {
468         x->vol_flags |= XVID_VOL_GMC;
469         x->me_flags  |= XVID_ME_GME_REFINE;
470     }
471     if (xvid_flags & AV_CODEC_FLAG_QPEL) {
472         x->vol_flags |= XVID_VOL_QUARTERPEL;
473         x->me_flags  |= XVID_ME_QUARTERPELREFINE16;
474         if (x->vop_flags & XVID_VOP_INTER4V)
475             x->me_flags |= XVID_ME_QUARTERPELREFINE8;
476     }
477
478     xvid_gbl_init.version   = XVID_VERSION;
479     xvid_gbl_init.debug     = 0;
480     xvid_gbl_init.cpu_flags = 0;
481
482     /* Initialize */
483     xvid_global(NULL, XVID_GBL_INIT, &xvid_gbl_init, NULL);
484
485     /* Create the encoder reference */
486     xvid_enc_create.version = XVID_VERSION;
487
488     /* Store the desired frame size */
489     xvid_enc_create.width  =
490     x->xsize               = avctx->width;
491     xvid_enc_create.height =
492     x->ysize               = avctx->height;
493
494     /* Xvid can determine the proper profile to use */
495     /* xvid_enc_create.profile = XVID_PROFILE_S_L3; */
496
497     /* We don't use zones */
498     xvid_enc_create.zones     = NULL;
499     xvid_enc_create.num_zones = 0;
500
501     xvid_enc_create.num_threads = avctx->thread_count;
502 #if (XVID_VERSION <= 0x010303) && (XVID_VERSION >= 0x010300)
503     /* workaround for a bug in libxvidcore */
504     if (avctx->height <= 16) {
505         if (avctx->thread_count < 2) {
506             xvid_enc_create.num_threads = 0;
507         } else {
508             av_log(avctx, AV_LOG_ERROR,
509                    "Too small height for threads > 1.");
510             return AVERROR(EINVAL);
511         }
512     }
513 #endif
514
515     xvid_enc_create.plugins     = plugins;
516     xvid_enc_create.num_plugins = 0;
517
518     /* Initialize Buffers */
519     x->twopassbuffer     = NULL;
520     x->old_twopassbuffer = NULL;
521     x->twopassfile       = NULL;
522
523     if (xvid_flags & AV_CODEC_FLAG_PASS1) {
524         rc2pass1.version     = XVID_VERSION;
525         rc2pass1.context     = x;
526         x->twopassbuffer     = av_malloc(BUFFER_SIZE);
527         x->old_twopassbuffer = av_malloc(BUFFER_SIZE);
528         if (!x->twopassbuffer || !x->old_twopassbuffer) {
529             av_log(avctx, AV_LOG_ERROR,
530                    "Xvid: Cannot allocate 2-pass log buffers\n");
531             return AVERROR(ENOMEM);
532         }
533         x->twopassbuffer[0]     =
534         x->old_twopassbuffer[0] = 0;
535
536         plugins[xvid_enc_create.num_plugins].func  = xvid_ff_2pass;
537         plugins[xvid_enc_create.num_plugins].param = &rc2pass1;
538         xvid_enc_create.num_plugins++;
539     } else if (xvid_flags & AV_CODEC_FLAG_PASS2) {
540         rc2pass2.version = XVID_VERSION;
541         rc2pass2.bitrate = avctx->bit_rate;
542
543         fd = av_tempfile("xvidff.", &x->twopassfile, 0, avctx);
544         if (fd < 0) {
545             av_log(avctx, AV_LOG_ERROR, "Xvid: Cannot write 2-pass pipe\n");
546             return fd;
547         }
548         x->twopassfd = fd;
549
550         if (!avctx->stats_in) {
551             av_log(avctx, AV_LOG_ERROR,
552                    "Xvid: No 2-pass information loaded for second pass\n");
553             return AVERROR(EINVAL);
554         }
555
556         ret = write(fd, avctx->stats_in, strlen(avctx->stats_in));
557         if (ret == -1)
558             ret = AVERROR(errno);
559         else if (strlen(avctx->stats_in) > ret) {
560             av_log(avctx, AV_LOG_ERROR, "Xvid: Cannot write to 2-pass pipe\n");
561             ret = AVERROR(EIO);
562         }
563         if (ret < 0)
564             return ret;
565
566         rc2pass2.filename                          = x->twopassfile;
567         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_2pass2;
568         plugins[xvid_enc_create.num_plugins].param = &rc2pass2;
569         xvid_enc_create.num_plugins++;
570     } else if (!(xvid_flags & AV_CODEC_FLAG_QSCALE)) {
571         /* Single Pass Bitrate Control! */
572         single.version = XVID_VERSION;
573         single.bitrate = avctx->bit_rate;
574
575         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_single;
576         plugins[xvid_enc_create.num_plugins].param = &single;
577         xvid_enc_create.num_plugins++;
578     }
579
580     if (avctx->lumi_masking != 0.0)
581         x->lumi_aq = 1;
582
583     /* Luminance Masking */
584     if (x->lumi_aq) {
585         masking_l.method                          = 0;
586         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_lumimasking;
587
588         /* The old behavior is that when avctx->lumi_masking is specified,
589          * plugins[...].param = NULL. Trying to keep the old behavior here. */
590         plugins[xvid_enc_create.num_plugins].param =
591             avctx->lumi_masking ? NULL : &masking_l;
592         xvid_enc_create.num_plugins++;
593     }
594
595     /* Variance AQ */
596     if (x->variance_aq) {
597         masking_v.method                           = 1;
598         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_lumimasking;
599         plugins[xvid_enc_create.num_plugins].param = &masking_v;
600         xvid_enc_create.num_plugins++;
601     }
602
603     if (x->lumi_aq && x->variance_aq )
604         av_log(avctx, AV_LOG_INFO,
605                "Both lumi_aq and variance_aq are enabled. The resulting quality"
606                "will be the worse one of the two effects made by the AQ.\n");
607
608     /* SSIM */
609     if (x->ssim) {
610         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_ssim;
611         ssim.b_printstat                           = x->ssim == 2;
612         ssim.acc                                   = x->ssim_acc;
613         ssim.cpu_flags                             = xvid_gbl_init.cpu_flags;
614         ssim.b_visualize                           = 0;
615         plugins[xvid_enc_create.num_plugins].param = &ssim;
616         xvid_enc_create.num_plugins++;
617     }
618
619     /* Frame Rate and Key Frames */
620     xvid_correct_framerate(avctx);
621     xvid_enc_create.fincr = avctx->time_base.num;
622     xvid_enc_create.fbase = avctx->time_base.den;
623     if (avctx->gop_size > 0)
624         xvid_enc_create.max_key_interval = avctx->gop_size;
625     else
626         xvid_enc_create.max_key_interval = 240; /* Xvid's best default */
627
628     /* Quants */
629     if (xvid_flags & AV_CODEC_FLAG_QSCALE)
630         x->qscale = 1;
631     else
632         x->qscale = 0;
633
634     xvid_enc_create.min_quant[0] = avctx->qmin;
635     xvid_enc_create.min_quant[1] = avctx->qmin;
636     xvid_enc_create.min_quant[2] = avctx->qmin;
637     xvid_enc_create.max_quant[0] = avctx->qmax;
638     xvid_enc_create.max_quant[1] = avctx->qmax;
639     xvid_enc_create.max_quant[2] = avctx->qmax;
640
641     /* Quant Matrices */
642     x->intra_matrix =
643     x->inter_matrix = NULL;
644     if (avctx->mpeg_quant)
645         x->vol_flags |= XVID_VOL_MPEGQUANT;
646     if ((avctx->intra_matrix || avctx->inter_matrix)) {
647         x->vol_flags |= XVID_VOL_MPEGQUANT;
648
649         if (avctx->intra_matrix) {
650             intra           = avctx->intra_matrix;
651             x->intra_matrix = av_malloc(sizeof(unsigned char) * 64);
652             if (!x->intra_matrix)
653                 return AVERROR(ENOMEM);
654         } else
655             intra = NULL;
656         if (avctx->inter_matrix) {
657             inter           = avctx->inter_matrix;
658             x->inter_matrix = av_malloc(sizeof(unsigned char) * 64);
659             if (!x->inter_matrix)
660                 return AVERROR(ENOMEM);
661         } else
662             inter = NULL;
663
664         for (i = 0; i < 64; i++) {
665             if (intra)
666                 x->intra_matrix[i] = (unsigned char) intra[i];
667             if (inter)
668                 x->inter_matrix[i] = (unsigned char) inter[i];
669         }
670     }
671
672     /* Misc Settings */
673     xvid_enc_create.frame_drop_ratio = 0;
674     xvid_enc_create.global           = 0;
675     if (xvid_flags & AV_CODEC_FLAG_CLOSED_GOP)
676         xvid_enc_create.global |= XVID_GLOBAL_CLOSED_GOP;
677
678     /* Determines which codec mode we are operating in */
679     avctx->extradata      = NULL;
680     avctx->extradata_size = 0;
681     if (xvid_flags & AV_CODEC_FLAG_GLOBAL_HEADER) {
682         /* In this case, we are claiming to be MPEG4 */
683         x->quicktime_format = 1;
684         avctx->codec_id     = AV_CODEC_ID_MPEG4;
685     } else {
686         /* We are claiming to be Xvid */
687         x->quicktime_format = 0;
688         if (!avctx->codec_tag)
689             avctx->codec_tag = AV_RL32("xvid");
690     }
691
692     /* Bframes */
693     xvid_enc_create.max_bframes   = avctx->max_b_frames;
694     xvid_enc_create.bquant_offset = 100 * avctx->b_quant_offset;
695     xvid_enc_create.bquant_ratio  = 100 * avctx->b_quant_factor;
696     if (avctx->max_b_frames > 0 && !x->quicktime_format)
697         xvid_enc_create.global |= XVID_GLOBAL_PACKED;
698
699     av_assert0(xvid_enc_create.num_plugins + (!!x->ssim) + (!!x->variance_aq) + (!!x->lumi_aq) <= FF_ARRAY_ELEMS(plugins));
700
701     /* Create encoder context */
702     xerr = xvid_encore(NULL, XVID_ENC_CREATE, &xvid_enc_create, NULL);
703     if (xerr) {
704         av_log(avctx, AV_LOG_ERROR, "Xvid: Could not create encoder reference\n");
705         return AVERROR_EXTERNAL;
706     }
707
708     x->encoder_handle  = xvid_enc_create.handle;
709
710     return 0;
711 }
712
713 static int xvid_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
714                              const AVFrame *picture, int *got_packet)
715 {
716     int xerr, i, ret, user_packet = !!pkt->data;
717     struct xvid_context *x = avctx->priv_data;
718     int mb_width  = (avctx->width  + 15) / 16;
719     int mb_height = (avctx->height + 15) / 16;
720     char *tmp;
721
722     xvid_enc_frame_t xvid_enc_frame = { 0 };
723     xvid_enc_stats_t xvid_enc_stats = { 0 };
724
725     if ((ret = ff_alloc_packet2(avctx, pkt, mb_width*(int64_t)mb_height*MAX_MB_BYTES + AV_INPUT_BUFFER_MIN_SIZE, 0)) < 0)
726         return ret;
727
728     /* Start setting up the frame */
729     xvid_enc_frame.version = XVID_VERSION;
730     xvid_enc_stats.version = XVID_VERSION;
731
732     /* Let Xvid know where to put the frame. */
733     xvid_enc_frame.bitstream = pkt->data;
734     xvid_enc_frame.length    = pkt->size;
735
736     /* Initialize input image fields */
737     if (avctx->pix_fmt != AV_PIX_FMT_YUV420P) {
738         av_log(avctx, AV_LOG_ERROR,
739                "Xvid: Color spaces other than 420P not supported\n");
740         return AVERROR(EINVAL);
741     }
742
743     xvid_enc_frame.input.csp = XVID_CSP_PLANAR; /* YUV420P */
744
745     for (i = 0; i < 4; i++) {
746         xvid_enc_frame.input.plane[i]  = picture->data[i];
747         xvid_enc_frame.input.stride[i] = picture->linesize[i];
748     }
749
750     /* Encoder Flags */
751     xvid_enc_frame.vop_flags = x->vop_flags;
752     xvid_enc_frame.vol_flags = x->vol_flags;
753     xvid_enc_frame.motion    = x->me_flags;
754     xvid_enc_frame.type      =
755         picture->pict_type == AV_PICTURE_TYPE_I ? XVID_TYPE_IVOP :
756         picture->pict_type == AV_PICTURE_TYPE_P ? XVID_TYPE_PVOP :
757         picture->pict_type == AV_PICTURE_TYPE_B ? XVID_TYPE_BVOP :
758                                                   XVID_TYPE_AUTO;
759
760     /* Pixel aspect ratio setting */
761     if (avctx->sample_aspect_ratio.num < 0 || avctx->sample_aspect_ratio.num > 255 ||
762         avctx->sample_aspect_ratio.den < 0 || avctx->sample_aspect_ratio.den > 255) {
763         av_log(avctx, AV_LOG_WARNING,
764                "Invalid pixel aspect ratio %i/%i, limit is 255/255 reducing\n",
765                avctx->sample_aspect_ratio.num, avctx->sample_aspect_ratio.den);
766         av_reduce(&avctx->sample_aspect_ratio.num, &avctx->sample_aspect_ratio.den,
767                    avctx->sample_aspect_ratio.num,  avctx->sample_aspect_ratio.den, 255);
768     }
769     xvid_enc_frame.par        = XVID_PAR_EXT;
770     xvid_enc_frame.par_width  = avctx->sample_aspect_ratio.num;
771     xvid_enc_frame.par_height = avctx->sample_aspect_ratio.den;
772
773     /* Quant Setting */
774     if (x->qscale)
775         xvid_enc_frame.quant = picture->quality / FF_QP2LAMBDA;
776     else
777         xvid_enc_frame.quant = 0;
778
779     /* Matrices */
780     xvid_enc_frame.quant_intra_matrix = x->intra_matrix;
781     xvid_enc_frame.quant_inter_matrix = x->inter_matrix;
782
783     /* Encode */
784     xerr = xvid_encore(x->encoder_handle, XVID_ENC_ENCODE,
785                        &xvid_enc_frame, &xvid_enc_stats);
786
787     /* Two-pass log buffer swapping */
788     avctx->stats_out = NULL;
789     if (x->twopassbuffer) {
790         tmp                  = x->old_twopassbuffer;
791         x->old_twopassbuffer = x->twopassbuffer;
792         x->twopassbuffer     = tmp;
793         x->twopassbuffer[0]  = 0;
794         if (x->old_twopassbuffer[0] != 0) {
795             avctx->stats_out = x->old_twopassbuffer;
796         }
797     }
798
799     if (xerr > 0) {
800         int pict_type;
801
802         *got_packet = 1;
803
804         if (xvid_enc_stats.type == XVID_TYPE_PVOP)
805             pict_type = AV_PICTURE_TYPE_P;
806         else if (xvid_enc_stats.type == XVID_TYPE_BVOP)
807             pict_type = AV_PICTURE_TYPE_B;
808         else if (xvid_enc_stats.type == XVID_TYPE_SVOP)
809             pict_type = AV_PICTURE_TYPE_S;
810         else
811             pict_type = AV_PICTURE_TYPE_I;
812
813 #if FF_API_CODED_FRAME
814 FF_DISABLE_DEPRECATION_WARNINGS
815         avctx->coded_frame->pict_type = pict_type;
816         avctx->coded_frame->quality = xvid_enc_stats.quant * FF_QP2LAMBDA;
817 FF_ENABLE_DEPRECATION_WARNINGS
818 #endif
819
820         ff_side_data_set_encoder_stats(pkt, xvid_enc_stats.quant * FF_QP2LAMBDA, NULL, 0, pict_type);
821
822         if (xvid_enc_frame.out_flags & XVID_KEYFRAME) {
823 #if FF_API_CODED_FRAME
824 FF_DISABLE_DEPRECATION_WARNINGS
825             avctx->coded_frame->key_frame = 1;
826 FF_ENABLE_DEPRECATION_WARNINGS
827 #endif
828             pkt->flags  |= AV_PKT_FLAG_KEY;
829             if (x->quicktime_format)
830                 return xvid_strip_vol_header(avctx, pkt,
831                                              xvid_enc_stats.hlength, xerr);
832         } else {
833 #if FF_API_CODED_FRAME
834 FF_DISABLE_DEPRECATION_WARNINGS
835             avctx->coded_frame->key_frame = 0;
836 FF_ENABLE_DEPRECATION_WARNINGS
837 #endif
838         }
839
840         pkt->size = xerr;
841
842         return 0;
843     } else {
844         if (!user_packet)
845             av_packet_unref(pkt);
846         if (!xerr)
847             return 0;
848         av_log(avctx, AV_LOG_ERROR,
849                "Xvid: Encoding Error Occurred: %i\n", xerr);
850         return AVERROR_EXTERNAL;
851     }
852 }
853
854 static av_cold int xvid_encode_close(AVCodecContext *avctx)
855 {
856     struct xvid_context *x = avctx->priv_data;
857
858     if (x->encoder_handle) {
859         xvid_encore(x->encoder_handle, XVID_ENC_DESTROY, NULL, NULL);
860         x->encoder_handle = NULL;
861     }
862
863     av_freep(&avctx->extradata);
864     if (x->twopassbuffer) {
865         av_freep(&x->twopassbuffer);
866         av_freep(&x->old_twopassbuffer);
867         avctx->stats_out = NULL;
868     }
869     if (x->twopassfd>=0) {
870         unlink(x->twopassfile);
871         close(x->twopassfd);
872         x->twopassfd = -1;
873     }
874     av_freep(&x->twopassfile);
875     av_freep(&x->intra_matrix);
876     av_freep(&x->inter_matrix);
877
878     return 0;
879 }
880
881 #define OFFSET(x) offsetof(struct xvid_context, x)
882 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
883 static const AVOption options[] = {
884     { "lumi_aq",     "Luminance masking AQ",            OFFSET(lumi_aq),     AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
885     { "variance_aq", "Variance AQ",                     OFFSET(variance_aq), AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
886     { "ssim",        "Show SSIM information to stdout", OFFSET(ssim),        AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       2, VE, "ssim" },
887     { "off",         NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 0 }, INT_MIN, INT_MAX, VE, "ssim" },
888     { "avg",         NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 1 }, INT_MIN, INT_MAX, VE, "ssim" },
889     { "frame",       NULL,                                                0, AV_OPT_TYPE_CONST, { .i64 = 2 }, INT_MIN, INT_MAX, VE, "ssim" },
890     { "ssim_acc",    "SSIM accuracy",                   OFFSET(ssim_acc),    AV_OPT_TYPE_INT,   { .i64 = 2 },       0,       4, VE         },
891     { "gmc",         "use GMC",                         OFFSET(gmc),         AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       1, VE         },
892     { "me_quality",  "Motion estimation quality",       OFFSET(me_quality),  AV_OPT_TYPE_INT,   { .i64 = 0 },       0,       6, VE         },
893     { NULL },
894 };
895
896 static const AVClass xvid_class = {
897     .class_name = "libxvid",
898     .item_name  = av_default_item_name,
899     .option     = options,
900     .version    = LIBAVUTIL_VERSION_INT,
901 };
902
903 AVCodec ff_libxvid_encoder = {
904     .name           = "libxvid",
905     .long_name      = NULL_IF_CONFIG_SMALL("libxvidcore MPEG-4 part 2"),
906     .type           = AVMEDIA_TYPE_VIDEO,
907     .id             = AV_CODEC_ID_MPEG4,
908     .priv_data_size = sizeof(struct xvid_context),
909     .init           = xvid_encode_init,
910     .encode2        = xvid_encode_frame,
911     .close          = xvid_encode_close,
912     .pix_fmts       = (const enum AVPixelFormat[]) { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE },
913     .priv_class     = &xvid_class,
914     .caps_internal  = FF_CODEC_CAP_INIT_THREADSAFE |
915                       FF_CODEC_CAP_INIT_CLEANUP,
916 };