]> git.sesse.net Git - ffmpeg/blob - libavcodec/libxvidff.c
png: check bit depth for PAL8/Y400A pixel formats.
[ffmpeg] / libavcodec / libxvidff.c
1 /*
2  * Interface to xvidcore for mpeg4 encoding
3  * Copyright (c) 2004 Adam Thayer <krevnik@comcast.net>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Interface to xvidcore for MPEG-4 compliant encoding.
25  * @author Adam Thayer (krevnik@comcast.net)
26  */
27
28 #include <xvid.h>
29 #include <unistd.h>
30 #include "avcodec.h"
31 #include "libavutil/cpu.h"
32 #include "libavutil/intreadwrite.h"
33 #include "libavutil/mathematics.h"
34 #include "libxvid_internal.h"
35 #include "mpegvideo.h"
36 #if !HAVE_MKSTEMP
37 #include <fcntl.h>
38 #endif
39
40 /**
41  * Buffer management macros.
42  */
43 #define BUFFER_SIZE                 1024
44 #define BUFFER_REMAINING(x)         (BUFFER_SIZE - strlen(x))
45 #define BUFFER_CAT(x)               (&((x)[strlen(x)]))
46
47 /**
48  * Structure for the private Xvid context.
49  * This stores all the private context for the codec.
50  */
51 struct xvid_context {
52     void *encoder_handle;          /**< Handle for Xvid encoder */
53     int xsize;                     /**< Frame x size */
54     int ysize;                     /**< Frame y size */
55     int vop_flags;                 /**< VOP flags for Xvid encoder */
56     int vol_flags;                 /**< VOL flags for Xvid encoder */
57     int me_flags;                  /**< Motion Estimation flags */
58     int qscale;                    /**< Do we use constant scale? */
59     int quicktime_format;          /**< Are we in a QT-based format? */
60     AVFrame encoded_picture;       /**< Encoded frame information */
61     char *twopassbuffer;           /**< Character buffer for two-pass */
62     char *old_twopassbuffer;       /**< Old character buffer (two-pass) */
63     char *twopassfile;             /**< second pass temp file name */
64     unsigned char *intra_matrix;   /**< P-Frame Quant Matrix */
65     unsigned char *inter_matrix;   /**< I-Frame Quant Matrix */
66 };
67
68 /**
69  * Structure for the private first-pass plugin.
70  */
71 struct xvid_ff_pass1 {
72     int     version;                /**< Xvid version */
73     struct xvid_context *context;   /**< Pointer to private context */
74 };
75
76 /*
77  * Xvid 2-Pass Kludge Section
78  *
79  * Xvid's default 2-pass doesn't allow us to create data as we need to, so
80  * this section spends time replacing the first pass plugin so we can write
81  * statistic information as libavcodec requests in. We have another kludge
82  * that allows us to pass data to the second pass in Xvid without a custom
83  * rate-control plugin.
84  */
85
86 /* Wrapper to work around the lack of mkstemp() on mingw.
87  * Also, tries to create file in /tmp first, if possible.
88  * *prefix can be a character constant; *filename will be allocated internally.
89  * @return file descriptor of opened file (or -1 on error)
90  * and opened file name in **filename. */
91 int ff_tempfile(const char *prefix, char **filename) {
92     int fd=-1;
93 #if !HAVE_MKSTEMP
94     *filename = tempnam(".", prefix);
95 #else
96     size_t len = strlen(prefix) + 12; /* room for "/tmp/" and "XXXXXX\0" */
97     *filename = av_malloc(len);
98 #endif
99     /* -----common section-----*/
100     if (*filename == NULL) {
101         av_log(NULL, AV_LOG_ERROR, "ff_tempfile: Cannot allocate file name\n");
102         return -1;
103     }
104 #if !HAVE_MKSTEMP
105     fd = open(*filename, O_RDWR | O_BINARY | O_CREAT, 0444);
106 #else
107     snprintf(*filename, len, "/tmp/%sXXXXXX", prefix);
108     fd = mkstemp(*filename);
109     if (fd < 0) {
110         snprintf(*filename, len, "./%sXXXXXX", prefix);
111         fd = mkstemp(*filename);
112     }
113 #endif
114     /* -----common section-----*/
115     if (fd < 0) {
116         av_log(NULL, AV_LOG_ERROR, "ff_tempfile: Cannot open temporary file %s\n", *filename);
117         return -1;
118     }
119     return fd; /* success */
120 }
121
122 /**
123  * Initialize the two-pass plugin and context.
124  *
125  * @param param Input construction parameter structure
126  * @param handle Private context handle
127  * @return Returns XVID_ERR_xxxx on failure, or 0 on success.
128  */
129 static int xvid_ff_2pass_create(xvid_plg_create_t * param,
130                                 void ** handle) {
131     struct xvid_ff_pass1 *x = (struct xvid_ff_pass1 *)param->param;
132     char *log = x->context->twopassbuffer;
133
134     /* Do a quick bounds check */
135     if( log == NULL )
136         return XVID_ERR_FAIL;
137
138     /* We use snprintf() */
139     /* This is because we can safely prevent a buffer overflow */
140     log[0] = 0;
141     snprintf(log, BUFFER_REMAINING(log),
142         "# avconv 2-pass log file, using xvid codec\n");
143     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
144         "# Do not modify. libxvidcore version: %d.%d.%d\n\n",
145         XVID_VERSION_MAJOR(XVID_VERSION),
146         XVID_VERSION_MINOR(XVID_VERSION),
147         XVID_VERSION_PATCH(XVID_VERSION));
148
149     *handle = x->context;
150     return 0;
151 }
152
153 /**
154  * Destroy the two-pass plugin context.
155  *
156  * @param ref Context pointer for the plugin
157  * @param param Destrooy context
158  * @return Returns 0, success guaranteed
159  */
160 static int xvid_ff_2pass_destroy(struct xvid_context *ref,
161                                 xvid_plg_destroy_t *param) {
162     /* Currently cannot think of anything to do on destruction */
163     /* Still, the framework should be here for reference/use */
164     if( ref->twopassbuffer != NULL )
165         ref->twopassbuffer[0] = 0;
166     return 0;
167 }
168
169 /**
170  * Enable fast encode mode during the first pass.
171  *
172  * @param ref Context pointer for the plugin
173  * @param param Frame data
174  * @return Returns 0, success guaranteed
175  */
176 static int xvid_ff_2pass_before(struct xvid_context *ref,
177                                 xvid_plg_data_t *param) {
178     int motion_remove;
179     int motion_replacements;
180     int vop_remove;
181
182     /* Nothing to do here, result is changed too much */
183     if( param->zone && param->zone->mode == XVID_ZONE_QUANT )
184         return 0;
185
186     /* We can implement a 'turbo' first pass mode here */
187     param->quant = 2;
188
189     /* Init values */
190     motion_remove = ~XVID_ME_CHROMA_PVOP &
191                     ~XVID_ME_CHROMA_BVOP &
192                     ~XVID_ME_EXTSEARCH16 &
193                     ~XVID_ME_ADVANCEDDIAMOND16;
194     motion_replacements = XVID_ME_FAST_MODEINTERPOLATE |
195                           XVID_ME_SKIP_DELTASEARCH |
196                           XVID_ME_FASTREFINE16 |
197                           XVID_ME_BFRAME_EARLYSTOP;
198     vop_remove = ~XVID_VOP_MODEDECISION_RD &
199                  ~XVID_VOP_FAST_MODEDECISION_RD &
200                  ~XVID_VOP_TRELLISQUANT &
201                  ~XVID_VOP_INTER4V &
202                  ~XVID_VOP_HQACPRED;
203
204     param->vol_flags &= ~XVID_VOL_GMC;
205     param->vop_flags &= vop_remove;
206     param->motion_flags &= motion_remove;
207     param->motion_flags |= motion_replacements;
208
209     return 0;
210 }
211
212 /**
213  * Capture statistic data and write it during first pass.
214  *
215  * @param ref Context pointer for the plugin
216  * @param param Statistic data
217  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
218  */
219 static int xvid_ff_2pass_after(struct xvid_context *ref,
220                                 xvid_plg_data_t *param) {
221     char *log = ref->twopassbuffer;
222     const char *frame_types = " ipbs";
223     char frame_type;
224
225     /* Quick bounds check */
226     if( log == NULL )
227         return XVID_ERR_FAIL;
228
229     /* Convert the type given to us into a character */
230     if( param->type < 5 && param->type > 0 ) {
231         frame_type = frame_types[param->type];
232     } else {
233         return XVID_ERR_FAIL;
234     }
235
236     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
237         "%c %d %d %d %d %d %d\n",
238         frame_type, param->stats.quant, param->stats.kblks, param->stats.mblks,
239         param->stats.ublks, param->stats.length, param->stats.hlength);
240
241     return 0;
242 }
243
244 /**
245  * Dispatch function for our custom plugin.
246  * This handles the dispatch for the Xvid plugin. It passes data
247  * on to other functions for actual processing.
248  *
249  * @param ref Context pointer for the plugin
250  * @param cmd The task given for us to complete
251  * @param p1 First parameter (varies)
252  * @param p2 Second parameter (varies)
253  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
254  */
255 static int xvid_ff_2pass(void *ref, int cmd, void *p1, void *p2)
256 {
257     switch( cmd ) {
258         case XVID_PLG_INFO:
259         case XVID_PLG_FRAME:
260             return 0;
261
262         case XVID_PLG_BEFORE:
263             return xvid_ff_2pass_before(ref, p1);
264
265         case XVID_PLG_CREATE:
266             return xvid_ff_2pass_create(p1, p2);
267
268         case XVID_PLG_AFTER:
269             return xvid_ff_2pass_after(ref, p1);
270
271         case XVID_PLG_DESTROY:
272             return xvid_ff_2pass_destroy(ref, p1);
273
274         default:
275             return XVID_ERR_FAIL;
276     }
277 }
278
279 /**
280  * Routine to create a global VO/VOL header for MP4 container.
281  * What we do here is extract the header from the Xvid bitstream
282  * as it is encoded. We also strip the repeated headers from the
283  * bitstream when a global header is requested for MPEG-4 ISO
284  * compliance.
285  *
286  * @param avctx AVCodecContext pointer to context
287  * @param frame Pointer to encoded frame data
288  * @param header_len Length of header to search
289  * @param frame_len Length of encoded frame data
290  * @return Returns new length of frame data
291  */
292 static int xvid_strip_vol_header(AVCodecContext *avctx,
293                   AVPacket *pkt,
294                   unsigned int header_len,
295                   unsigned int frame_len) {
296     int vo_len = 0, i;
297
298     for( i = 0; i < header_len - 3; i++ ) {
299         if( pkt->data[i] == 0x00 &&
300             pkt->data[i+1] == 0x00 &&
301             pkt->data[i+2] == 0x01 &&
302             pkt->data[i+3] == 0xB6 ) {
303             vo_len = i;
304             break;
305         }
306     }
307
308     if( vo_len > 0 ) {
309         /* We need to store the header, so extract it */
310         if( avctx->extradata == NULL ) {
311             avctx->extradata = av_malloc(vo_len);
312             memcpy(avctx->extradata, pkt->data, vo_len);
313             avctx->extradata_size = vo_len;
314         }
315         /* Less dangerous now, memmove properly copies the two
316            chunks of overlapping data */
317         memmove(pkt->data, &pkt->data[vo_len], frame_len - vo_len);
318         pkt->size = frame_len - vo_len;
319     }
320     return 0;
321 }
322
323 /**
324  * Routine to correct a possibly erroneous framerate being fed to us.
325  * Xvid currently chokes on framerates where the ticks per frame is
326  * extremely large. This function works to correct problems in this area
327  * by estimating a new framerate and taking the simpler fraction of
328  * the two presented.
329  *
330  * @param avctx Context that contains the framerate to correct.
331  */
332 static void xvid_correct_framerate(AVCodecContext *avctx)
333 {
334     int frate, fbase;
335     int est_frate, est_fbase;
336     int gcd;
337     float est_fps, fps;
338
339     frate = avctx->time_base.den;
340     fbase = avctx->time_base.num;
341
342     gcd = av_gcd(frate, fbase);
343     if( gcd > 1 ) {
344         frate /= gcd;
345         fbase /= gcd;
346     }
347
348     if( frate <= 65000 && fbase <= 65000 ) {
349         avctx->time_base.den = frate;
350         avctx->time_base.num = fbase;
351         return;
352     }
353
354     fps = (float)frate / (float)fbase;
355     est_fps = roundf(fps * 1000.0) / 1000.0;
356
357     est_frate = (int)est_fps;
358     if( est_fps > (int)est_fps ) {
359         est_frate = (est_frate + 1) * 1000;
360         est_fbase = (int)roundf((float)est_frate / est_fps);
361     } else
362         est_fbase = 1;
363
364     gcd = av_gcd(est_frate, est_fbase);
365     if( gcd > 1 ) {
366         est_frate /= gcd;
367         est_fbase /= gcd;
368     }
369
370     if( fbase > est_fbase ) {
371         avctx->time_base.den = est_frate;
372         avctx->time_base.num = est_fbase;
373         av_log(avctx, AV_LOG_DEBUG,
374             "Xvid: framerate re-estimated: %.2f, %.3f%% correction\n",
375             est_fps, (((est_fps - fps)/fps) * 100.0));
376     } else {
377         avctx->time_base.den = frate;
378         avctx->time_base.num = fbase;
379     }
380 }
381
382 /**
383  * Create the private context for the encoder.
384  * All buffers are allocated, settings are loaded from the user,
385  * and the encoder context created.
386  *
387  * @param avctx AVCodecContext pointer to context
388  * @return Returns 0 on success, -1 on failure
389  */
390 static av_cold int xvid_encode_init(AVCodecContext *avctx)  {
391     int xerr, i;
392     int xvid_flags = avctx->flags;
393     struct xvid_context *x = avctx->priv_data;
394     uint16_t *intra, *inter;
395     int fd;
396
397     xvid_plugin_single_t single       = { 0 };
398     struct xvid_ff_pass1 rc2pass1     = { 0 };
399     xvid_plugin_2pass2_t rc2pass2     = { 0 };
400     xvid_gbl_init_t xvid_gbl_init     = { 0 };
401     xvid_enc_create_t xvid_enc_create = { 0 };
402     xvid_enc_plugin_t plugins[7];
403
404     /* Bring in VOP flags from avconv command-line */
405     x->vop_flags = XVID_VOP_HALFPEL; /* Bare minimum quality */
406     if( xvid_flags & CODEC_FLAG_4MV )
407         x->vop_flags |= XVID_VOP_INTER4V; /* Level 3 */
408     if( avctx->trellis
409         )
410         x->vop_flags |= XVID_VOP_TRELLISQUANT; /* Level 5 */
411     if( xvid_flags & CODEC_FLAG_AC_PRED )
412         x->vop_flags |= XVID_VOP_HQACPRED; /* Level 6 */
413     if( xvid_flags & CODEC_FLAG_GRAY )
414         x->vop_flags |= XVID_VOP_GREYSCALE;
415
416     /* Decide which ME quality setting to use */
417     x->me_flags = 0;
418     switch( avctx->me_method ) {
419        case ME_FULL:   /* Quality 6 */
420            x->me_flags |=  XVID_ME_EXTSEARCH16
421                        |   XVID_ME_EXTSEARCH8;
422
423        case ME_EPZS:   /* Quality 4 */
424            x->me_flags |=  XVID_ME_ADVANCEDDIAMOND8
425                        |   XVID_ME_HALFPELREFINE8
426                        |   XVID_ME_CHROMA_PVOP
427                        |   XVID_ME_CHROMA_BVOP;
428
429        case ME_LOG:    /* Quality 2 */
430        case ME_PHODS:
431        case ME_X1:
432            x->me_flags |=  XVID_ME_ADVANCEDDIAMOND16
433                        |   XVID_ME_HALFPELREFINE16;
434
435        case ME_ZERO:   /* Quality 0 */
436        default:
437            break;
438     }
439
440     /* Decide how we should decide blocks */
441     switch( avctx->mb_decision ) {
442        case 2:
443            x->vop_flags |= XVID_VOP_MODEDECISION_RD;
444            x->me_flags |=  XVID_ME_HALFPELREFINE8_RD
445                        |   XVID_ME_QUARTERPELREFINE8_RD
446                        |   XVID_ME_EXTSEARCH_RD
447                        |   XVID_ME_CHECKPREDICTION_RD;
448        case 1:
449            if( !(x->vop_flags & XVID_VOP_MODEDECISION_RD) )
450                x->vop_flags |= XVID_VOP_FAST_MODEDECISION_RD;
451            x->me_flags |=  XVID_ME_HALFPELREFINE16_RD
452                        |   XVID_ME_QUARTERPELREFINE16_RD;
453
454        default:
455            break;
456     }
457
458     /* Bring in VOL flags from avconv command-line */
459     x->vol_flags = 0;
460     if( xvid_flags & CODEC_FLAG_GMC ) {
461         x->vol_flags |= XVID_VOL_GMC;
462         x->me_flags |= XVID_ME_GME_REFINE;
463     }
464     if( xvid_flags & CODEC_FLAG_QPEL ) {
465         x->vol_flags |= XVID_VOL_QUARTERPEL;
466         x->me_flags |= XVID_ME_QUARTERPELREFINE16;
467         if( x->vop_flags & XVID_VOP_INTER4V )
468             x->me_flags |= XVID_ME_QUARTERPELREFINE8;
469     }
470
471     xvid_gbl_init.version = XVID_VERSION;
472     xvid_gbl_init.debug = 0;
473
474 #if ARCH_PPC
475     /* Xvid's PPC support is borked, use libavcodec to detect */
476 #if HAVE_ALTIVEC
477     if (av_get_cpu_flags() & AV_CPU_FLAG_ALTIVEC) {
478         xvid_gbl_init.cpu_flags = XVID_CPU_FORCE | XVID_CPU_ALTIVEC;
479     } else
480 #endif
481         xvid_gbl_init.cpu_flags = XVID_CPU_FORCE;
482 #else
483     /* Xvid can detect on x86 */
484     xvid_gbl_init.cpu_flags = 0;
485 #endif
486
487     /* Initialize */
488     xvid_global(NULL, XVID_GBL_INIT, &xvid_gbl_init, NULL);
489
490     /* Create the encoder reference */
491     xvid_enc_create.version = XVID_VERSION;
492
493     /* Store the desired frame size */
494     xvid_enc_create.width = x->xsize = avctx->width;
495     xvid_enc_create.height = x->ysize = avctx->height;
496
497     /* Xvid can determine the proper profile to use */
498     /* xvid_enc_create.profile = XVID_PROFILE_S_L3; */
499
500     /* We don't use zones */
501     xvid_enc_create.zones = NULL;
502     xvid_enc_create.num_zones = 0;
503
504     xvid_enc_create.num_threads = avctx->thread_count;
505
506     xvid_enc_create.plugins = plugins;
507     xvid_enc_create.num_plugins = 0;
508
509     /* Initialize Buffers */
510     x->twopassbuffer = NULL;
511     x->old_twopassbuffer = NULL;
512     x->twopassfile = NULL;
513
514     if( xvid_flags & CODEC_FLAG_PASS1 ) {
515         rc2pass1.version = XVID_VERSION;
516         rc2pass1.context = x;
517         x->twopassbuffer = av_malloc(BUFFER_SIZE);
518         x->old_twopassbuffer = av_malloc(BUFFER_SIZE);
519         if( x->twopassbuffer == NULL || x->old_twopassbuffer == NULL ) {
520             av_log(avctx, AV_LOG_ERROR,
521                 "Xvid: Cannot allocate 2-pass log buffers\n");
522             return -1;
523         }
524         x->twopassbuffer[0] = x->old_twopassbuffer[0] = 0;
525
526         plugins[xvid_enc_create.num_plugins].func = xvid_ff_2pass;
527         plugins[xvid_enc_create.num_plugins].param = &rc2pass1;
528         xvid_enc_create.num_plugins++;
529     } else if( xvid_flags & CODEC_FLAG_PASS2 ) {
530         rc2pass2.version = XVID_VERSION;
531         rc2pass2.bitrate = avctx->bit_rate;
532
533         fd = ff_tempfile("xvidff.", &x->twopassfile);
534         if( fd == -1 ) {
535             av_log(avctx, AV_LOG_ERROR,
536                 "Xvid: Cannot write 2-pass pipe\n");
537             return -1;
538         }
539
540         if( avctx->stats_in == NULL ) {
541             av_log(avctx, AV_LOG_ERROR,
542                 "Xvid: No 2-pass information loaded for second pass\n");
543             return -1;
544         }
545
546         if( strlen(avctx->stats_in) >
547               write(fd, avctx->stats_in, strlen(avctx->stats_in)) ) {
548             close(fd);
549             av_log(avctx, AV_LOG_ERROR,
550                 "Xvid: Cannot write to 2-pass pipe\n");
551             return -1;
552         }
553
554         close(fd);
555         rc2pass2.filename = x->twopassfile;
556         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_2pass2;
557         plugins[xvid_enc_create.num_plugins].param = &rc2pass2;
558         xvid_enc_create.num_plugins++;
559     } else if( !(xvid_flags & CODEC_FLAG_QSCALE) ) {
560         /* Single Pass Bitrate Control! */
561         single.version = XVID_VERSION;
562         single.bitrate = avctx->bit_rate;
563
564         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_single;
565         plugins[xvid_enc_create.num_plugins].param = &single;
566         xvid_enc_create.num_plugins++;
567     }
568
569     /* Luminance Masking */
570     if( 0.0 != avctx->lumi_masking ) {
571         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_lumimasking;
572         plugins[xvid_enc_create.num_plugins].param = NULL;
573         xvid_enc_create.num_plugins++;
574     }
575
576     /* Frame Rate and Key Frames */
577     xvid_correct_framerate(avctx);
578     xvid_enc_create.fincr = avctx->time_base.num;
579     xvid_enc_create.fbase = avctx->time_base.den;
580     if( avctx->gop_size > 0 )
581         xvid_enc_create.max_key_interval = avctx->gop_size;
582     else
583         xvid_enc_create.max_key_interval = 240; /* Xvid's best default */
584
585     /* Quants */
586     if( xvid_flags & CODEC_FLAG_QSCALE ) x->qscale = 1;
587     else x->qscale = 0;
588
589     xvid_enc_create.min_quant[0] = avctx->qmin;
590     xvid_enc_create.min_quant[1] = avctx->qmin;
591     xvid_enc_create.min_quant[2] = avctx->qmin;
592     xvid_enc_create.max_quant[0] = avctx->qmax;
593     xvid_enc_create.max_quant[1] = avctx->qmax;
594     xvid_enc_create.max_quant[2] = avctx->qmax;
595
596     /* Quant Matrices */
597     x->intra_matrix = x->inter_matrix = NULL;
598     if( avctx->mpeg_quant )
599        x->vol_flags |= XVID_VOL_MPEGQUANT;
600     if( (avctx->intra_matrix || avctx->inter_matrix) ) {
601        x->vol_flags |= XVID_VOL_MPEGQUANT;
602
603        if( avctx->intra_matrix ) {
604            intra = avctx->intra_matrix;
605            x->intra_matrix = av_malloc(sizeof(unsigned char) * 64);
606        } else
607            intra = NULL;
608        if( avctx->inter_matrix ) {
609            inter = avctx->inter_matrix;
610            x->inter_matrix = av_malloc(sizeof(unsigned char) * 64);
611        } else
612            inter = NULL;
613
614        for( i = 0; i < 64; i++ ) {
615            if( intra )
616                x->intra_matrix[i] = (unsigned char)intra[i];
617            if( inter )
618                x->inter_matrix[i] = (unsigned char)inter[i];
619        }
620     }
621
622     /* Misc Settings */
623     xvid_enc_create.frame_drop_ratio = 0;
624     xvid_enc_create.global = 0;
625     if( xvid_flags & CODEC_FLAG_CLOSED_GOP )
626         xvid_enc_create.global |= XVID_GLOBAL_CLOSED_GOP;
627
628     /* Determines which codec mode we are operating in */
629     avctx->extradata = NULL;
630     avctx->extradata_size = 0;
631     if( xvid_flags & CODEC_FLAG_GLOBAL_HEADER ) {
632         /* In this case, we are claiming to be MPEG4 */
633         x->quicktime_format = 1;
634         avctx->codec_id = CODEC_ID_MPEG4;
635     } else {
636         /* We are claiming to be Xvid */
637         x->quicktime_format = 0;
638         if(!avctx->codec_tag)
639             avctx->codec_tag = AV_RL32("xvid");
640     }
641
642     /* Bframes */
643     xvid_enc_create.max_bframes = avctx->max_b_frames;
644     xvid_enc_create.bquant_offset = 100 * avctx->b_quant_offset;
645     xvid_enc_create.bquant_ratio = 100 * avctx->b_quant_factor;
646     if( avctx->max_b_frames > 0  && !x->quicktime_format ) xvid_enc_create.global |= XVID_GLOBAL_PACKED;
647
648     /* Create encoder context */
649     xerr = xvid_encore(NULL, XVID_ENC_CREATE, &xvid_enc_create, NULL);
650     if( xerr ) {
651         av_log(avctx, AV_LOG_ERROR, "Xvid: Could not create encoder reference\n");
652         return -1;
653     }
654
655     x->encoder_handle = xvid_enc_create.handle;
656     avctx->coded_frame = &x->encoded_picture;
657
658     return 0;
659 }
660
661 /**
662  * Encode a single frame.
663  *
664  * @param avctx AVCodecContext pointer to context
665  * @param frame Pointer to encoded frame buffer
666  * @param buf_size Size of encoded frame buffer
667  * @param data Pointer to AVFrame of unencoded frame
668  * @return Returns 0 on success, -1 on failure
669  */
670 static int xvid_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
671                              const AVFrame *picture, int *got_packet)
672 {
673     int xerr, i, ret, user_packet = !!pkt->data;
674     char *tmp;
675     struct xvid_context *x = avctx->priv_data;
676     AVFrame *p = &x->encoded_picture;
677     int mb_width   = (avctx->width  + 15) / 16;
678     int mb_height  = (avctx->height + 15) / 16;
679
680     xvid_enc_frame_t xvid_enc_frame = { 0 };
681     xvid_enc_stats_t xvid_enc_stats = { 0 };
682
683     if (!user_packet &&
684         (ret = av_new_packet(pkt, mb_width*mb_height*MAX_MB_BYTES + FF_MIN_BUFFER_SIZE)) < 0) {
685         av_log(avctx, AV_LOG_ERROR, "Error getting output packet.\n");
686         return ret;
687     }
688
689     /* Start setting up the frame */
690     xvid_enc_frame.version = XVID_VERSION;
691     xvid_enc_stats.version = XVID_VERSION;
692     *p = *picture;
693
694     /* Let Xvid know where to put the frame. */
695     xvid_enc_frame.bitstream = pkt->data;
696     xvid_enc_frame.length    = pkt->size;
697
698     /* Initialize input image fields */
699     if( avctx->pix_fmt != PIX_FMT_YUV420P ) {
700         av_log(avctx, AV_LOG_ERROR, "Xvid: Color spaces other than 420p not supported\n");
701         return -1;
702     }
703
704     xvid_enc_frame.input.csp = XVID_CSP_PLANAR; /* YUV420P */
705
706     for( i = 0; i < 4; i++ ) {
707         xvid_enc_frame.input.plane[i] = picture->data[i];
708         xvid_enc_frame.input.stride[i] = picture->linesize[i];
709     }
710
711     /* Encoder Flags */
712     xvid_enc_frame.vop_flags = x->vop_flags;
713     xvid_enc_frame.vol_flags = x->vol_flags;
714     xvid_enc_frame.motion = x->me_flags;
715     xvid_enc_frame.type =
716         picture->pict_type == AV_PICTURE_TYPE_I ? XVID_TYPE_IVOP :
717         picture->pict_type == AV_PICTURE_TYPE_P ? XVID_TYPE_PVOP :
718         picture->pict_type == AV_PICTURE_TYPE_B ? XVID_TYPE_BVOP :
719                                           XVID_TYPE_AUTO;
720
721     /* Pixel aspect ratio setting */
722     if (avctx->sample_aspect_ratio.num < 1 || avctx->sample_aspect_ratio.num > 255 ||
723         avctx->sample_aspect_ratio.den < 1 || avctx->sample_aspect_ratio.den > 255) {
724         av_log(avctx, AV_LOG_ERROR, "Invalid pixel aspect ratio %i/%i\n",
725                avctx->sample_aspect_ratio.num, avctx->sample_aspect_ratio.den);
726         return -1;
727     }
728     xvid_enc_frame.par = XVID_PAR_EXT;
729     xvid_enc_frame.par_width  = avctx->sample_aspect_ratio.num;
730     xvid_enc_frame.par_height = avctx->sample_aspect_ratio.den;
731
732     /* Quant Setting */
733     if( x->qscale ) xvid_enc_frame.quant = picture->quality / FF_QP2LAMBDA;
734     else xvid_enc_frame.quant = 0;
735
736     /* Matrices */
737     xvid_enc_frame.quant_intra_matrix = x->intra_matrix;
738     xvid_enc_frame.quant_inter_matrix = x->inter_matrix;
739
740     /* Encode */
741     xerr = xvid_encore(x->encoder_handle, XVID_ENC_ENCODE,
742         &xvid_enc_frame, &xvid_enc_stats);
743
744     /* Two-pass log buffer swapping */
745     avctx->stats_out = NULL;
746     if( x->twopassbuffer ) {
747         tmp = x->old_twopassbuffer;
748         x->old_twopassbuffer = x->twopassbuffer;
749         x->twopassbuffer = tmp;
750         x->twopassbuffer[0] = 0;
751         if( x->old_twopassbuffer[0] != 0 ) {
752             avctx->stats_out = x->old_twopassbuffer;
753         }
754     }
755
756     if (xerr > 0) {
757         *got_packet = 1;
758
759         p->quality = xvid_enc_stats.quant * FF_QP2LAMBDA;
760         if( xvid_enc_stats.type == XVID_TYPE_PVOP )
761             p->pict_type = AV_PICTURE_TYPE_P;
762         else if( xvid_enc_stats.type == XVID_TYPE_BVOP )
763             p->pict_type = AV_PICTURE_TYPE_B;
764         else if( xvid_enc_stats.type == XVID_TYPE_SVOP )
765             p->pict_type = AV_PICTURE_TYPE_S;
766         else
767             p->pict_type = AV_PICTURE_TYPE_I;
768         if( xvid_enc_frame.out_flags & XVID_KEYFRAME ) {
769             p->key_frame = 1;
770             pkt->flags |= AV_PKT_FLAG_KEY;
771             if( x->quicktime_format )
772                 return xvid_strip_vol_header(avctx, pkt,
773                     xvid_enc_stats.hlength, xerr);
774          } else
775             p->key_frame = 0;
776
777         pkt->size = xerr;
778
779         return 0;
780     } else {
781         if (!user_packet)
782             av_free_packet(pkt);
783         if (!xerr)
784             return 0;
785         av_log(avctx, AV_LOG_ERROR, "Xvid: Encoding Error Occurred: %i\n", xerr);
786         return -1;
787     }
788 }
789
790 /**
791  * Destroy the private context for the encoder.
792  * All buffers are freed, and the Xvid encoder context is destroyed.
793  *
794  * @param avctx AVCodecContext pointer to context
795  * @return Returns 0, success guaranteed
796  */
797 static av_cold int xvid_encode_close(AVCodecContext *avctx) {
798     struct xvid_context *x = avctx->priv_data;
799
800     xvid_encore(x->encoder_handle, XVID_ENC_DESTROY, NULL, NULL);
801
802     av_freep(&avctx->extradata);
803     if( x->twopassbuffer != NULL ) {
804         av_free(x->twopassbuffer);
805         av_free(x->old_twopassbuffer);
806     }
807     av_free(x->twopassfile);
808     av_free(x->intra_matrix);
809     av_free(x->inter_matrix);
810
811     return 0;
812 }
813
814 /**
815  * Xvid codec definition for libavcodec.
816  */
817 AVCodec ff_libxvid_encoder = {
818     .name           = "libxvid",
819     .type           = AVMEDIA_TYPE_VIDEO,
820     .id             = CODEC_ID_MPEG4,
821     .priv_data_size = sizeof(struct xvid_context),
822     .init           = xvid_encode_init,
823     .encode2        = xvid_encode_frame,
824     .close          = xvid_encode_close,
825     .pix_fmts       = (const enum PixelFormat[]){ PIX_FMT_YUV420P, PIX_FMT_NONE },
826     .long_name      = NULL_IF_CONFIG_SMALL("libxvidcore MPEG-4 part 2"),
827 };