]> git.sesse.net Git - ffmpeg/blob - libavcodec/libxvid.c
g723_1: remove unneeded cliping
[ffmpeg] / libavcodec / libxvid.c
1 /*
2  * Interface to xvidcore for mpeg4 encoding
3  * Copyright (c) 2004 Adam Thayer <krevnik@comcast.net>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Interface to xvidcore for MPEG-4 compliant encoding.
25  * @author Adam Thayer (krevnik@comcast.net)
26  */
27
28 #include <xvid.h>
29 #include <unistd.h>
30 #include "avcodec.h"
31 #include "internal.h"
32 #include "libavutil/file.h"
33 #include "libavutil/cpu.h"
34 #include "libavutil/intreadwrite.h"
35 #include "libavutil/mathematics.h"
36 #include "libxvid.h"
37 #include "mpegvideo.h"
38
39 /**
40  * Buffer management macros.
41  */
42 #define BUFFER_SIZE                 1024
43 #define BUFFER_REMAINING(x)         (BUFFER_SIZE - strlen(x))
44 #define BUFFER_CAT(x)               (&((x)[strlen(x)]))
45
46 /**
47  * Structure for the private Xvid context.
48  * This stores all the private context for the codec.
49  */
50 struct xvid_context {
51     void *encoder_handle;          /**< Handle for Xvid encoder */
52     int xsize;                     /**< Frame x size */
53     int ysize;                     /**< Frame y size */
54     int vop_flags;                 /**< VOP flags for Xvid encoder */
55     int vol_flags;                 /**< VOL flags for Xvid encoder */
56     int me_flags;                  /**< Motion Estimation flags */
57     int qscale;                    /**< Do we use constant scale? */
58     int quicktime_format;          /**< Are we in a QT-based format? */
59     AVFrame encoded_picture;       /**< Encoded frame information */
60     char *twopassbuffer;           /**< Character buffer for two-pass */
61     char *old_twopassbuffer;       /**< Old character buffer (two-pass) */
62     char *twopassfile;             /**< second pass temp file name */
63     unsigned char *intra_matrix;   /**< P-Frame Quant Matrix */
64     unsigned char *inter_matrix;   /**< I-Frame Quant Matrix */
65 };
66
67 /**
68  * Structure for the private first-pass plugin.
69  */
70 struct xvid_ff_pass1 {
71     int     version;                /**< Xvid version */
72     struct xvid_context *context;   /**< Pointer to private context */
73 };
74
75 /*
76  * Xvid 2-Pass Kludge Section
77  *
78  * Xvid's default 2-pass doesn't allow us to create data as we need to, so
79  * this section spends time replacing the first pass plugin so we can write
80  * statistic information as libavcodec requests in. We have another kludge
81  * that allows us to pass data to the second pass in Xvid without a custom
82  * rate-control plugin.
83  */
84
85 /**
86  * Initialize the two-pass plugin and context.
87  *
88  * @param param Input construction parameter structure
89  * @param handle Private context handle
90  * @return Returns XVID_ERR_xxxx on failure, or 0 on success.
91  */
92 static int xvid_ff_2pass_create(xvid_plg_create_t * param,
93                                 void ** handle) {
94     struct xvid_ff_pass1 *x = (struct xvid_ff_pass1 *)param->param;
95     char *log = x->context->twopassbuffer;
96
97     /* Do a quick bounds check */
98     if( log == NULL )
99         return XVID_ERR_FAIL;
100
101     /* We use snprintf() */
102     /* This is because we can safely prevent a buffer overflow */
103     log[0] = 0;
104     snprintf(log, BUFFER_REMAINING(log),
105         "# ffmpeg 2-pass log file, using xvid codec\n");
106     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
107         "# Do not modify. libxvidcore version: %d.%d.%d\n\n",
108         XVID_VERSION_MAJOR(XVID_VERSION),
109         XVID_VERSION_MINOR(XVID_VERSION),
110         XVID_VERSION_PATCH(XVID_VERSION));
111
112     *handle = x->context;
113     return 0;
114 }
115
116 /**
117  * Destroy the two-pass plugin context.
118  *
119  * @param ref Context pointer for the plugin
120  * @param param Destrooy context
121  * @return Returns 0, success guaranteed
122  */
123 static int xvid_ff_2pass_destroy(struct xvid_context *ref,
124                                 xvid_plg_destroy_t *param) {
125     /* Currently cannot think of anything to do on destruction */
126     /* Still, the framework should be here for reference/use */
127     if( ref->twopassbuffer != NULL )
128         ref->twopassbuffer[0] = 0;
129     return 0;
130 }
131
132 /**
133  * Enable fast encode mode during the first pass.
134  *
135  * @param ref Context pointer for the plugin
136  * @param param Frame data
137  * @return Returns 0, success guaranteed
138  */
139 static int xvid_ff_2pass_before(struct xvid_context *ref,
140                                 xvid_plg_data_t *param) {
141     int motion_remove;
142     int motion_replacements;
143     int vop_remove;
144
145     /* Nothing to do here, result is changed too much */
146     if( param->zone && param->zone->mode == XVID_ZONE_QUANT )
147         return 0;
148
149     /* We can implement a 'turbo' first pass mode here */
150     param->quant = 2;
151
152     /* Init values */
153     motion_remove = ~XVID_ME_CHROMA_PVOP &
154                     ~XVID_ME_CHROMA_BVOP &
155                     ~XVID_ME_EXTSEARCH16 &
156                     ~XVID_ME_ADVANCEDDIAMOND16;
157     motion_replacements = XVID_ME_FAST_MODEINTERPOLATE |
158                           XVID_ME_SKIP_DELTASEARCH |
159                           XVID_ME_FASTREFINE16 |
160                           XVID_ME_BFRAME_EARLYSTOP;
161     vop_remove = ~XVID_VOP_MODEDECISION_RD &
162                  ~XVID_VOP_FAST_MODEDECISION_RD &
163                  ~XVID_VOP_TRELLISQUANT &
164                  ~XVID_VOP_INTER4V &
165                  ~XVID_VOP_HQACPRED;
166
167     param->vol_flags &= ~XVID_VOL_GMC;
168     param->vop_flags &= vop_remove;
169     param->motion_flags &= motion_remove;
170     param->motion_flags |= motion_replacements;
171
172     return 0;
173 }
174
175 /**
176  * Capture statistic data and write it during first pass.
177  *
178  * @param ref Context pointer for the plugin
179  * @param param Statistic data
180  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
181  */
182 static int xvid_ff_2pass_after(struct xvid_context *ref,
183                                 xvid_plg_data_t *param) {
184     char *log = ref->twopassbuffer;
185     const char *frame_types = " ipbs";
186     char frame_type;
187
188     /* Quick bounds check */
189     if( log == NULL )
190         return XVID_ERR_FAIL;
191
192     /* Convert the type given to us into a character */
193     if( param->type < 5 && param->type > 0 ) {
194         frame_type = frame_types[param->type];
195     } else {
196         return XVID_ERR_FAIL;
197     }
198
199     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
200         "%c %d %d %d %d %d %d\n",
201         frame_type, param->stats.quant, param->stats.kblks, param->stats.mblks,
202         param->stats.ublks, param->stats.length, param->stats.hlength);
203
204     return 0;
205 }
206
207 /**
208  * Dispatch function for our custom plugin.
209  * This handles the dispatch for the Xvid plugin. It passes data
210  * on to other functions for actual processing.
211  *
212  * @param ref Context pointer for the plugin
213  * @param cmd The task given for us to complete
214  * @param p1 First parameter (varies)
215  * @param p2 Second parameter (varies)
216  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
217  */
218 static int xvid_ff_2pass(void *ref, int cmd, void *p1, void *p2)
219 {
220     switch( cmd ) {
221         case XVID_PLG_INFO:
222         case XVID_PLG_FRAME:
223             return 0;
224
225         case XVID_PLG_BEFORE:
226             return xvid_ff_2pass_before(ref, p1);
227
228         case XVID_PLG_CREATE:
229             return xvid_ff_2pass_create(p1, p2);
230
231         case XVID_PLG_AFTER:
232             return xvid_ff_2pass_after(ref, p1);
233
234         case XVID_PLG_DESTROY:
235             return xvid_ff_2pass_destroy(ref, p1);
236
237         default:
238             return XVID_ERR_FAIL;
239     }
240 }
241
242 /**
243  * Routine to create a global VO/VOL header for MP4 container.
244  * What we do here is extract the header from the Xvid bitstream
245  * as it is encoded. We also strip the repeated headers from the
246  * bitstream when a global header is requested for MPEG-4 ISO
247  * compliance.
248  *
249  * @param avctx AVCodecContext pointer to context
250  * @param frame Pointer to encoded frame data
251  * @param header_len Length of header to search
252  * @param frame_len Length of encoded frame data
253  * @return Returns new length of frame data
254  */
255 static int xvid_strip_vol_header(AVCodecContext *avctx,
256                   AVPacket *pkt,
257                   unsigned int header_len,
258                   unsigned int frame_len) {
259     int vo_len = 0, i;
260
261     for( i = 0; i < header_len - 3; i++ ) {
262         if( pkt->data[i] == 0x00 &&
263             pkt->data[i+1] == 0x00 &&
264             pkt->data[i+2] == 0x01 &&
265             pkt->data[i+3] == 0xB6 ) {
266             vo_len = i;
267             break;
268         }
269     }
270
271     if( vo_len > 0 ) {
272         /* We need to store the header, so extract it */
273         if( avctx->extradata == NULL ) {
274             avctx->extradata = av_malloc(vo_len);
275             memcpy(avctx->extradata, pkt->data, vo_len);
276             avctx->extradata_size = vo_len;
277         }
278         /* Less dangerous now, memmove properly copies the two
279            chunks of overlapping data */
280         memmove(pkt->data, &pkt->data[vo_len], frame_len - vo_len);
281         pkt->size = frame_len - vo_len;
282     }
283     return 0;
284 }
285
286 /**
287  * Routine to correct a possibly erroneous framerate being fed to us.
288  * Xvid currently chokes on framerates where the ticks per frame is
289  * extremely large. This function works to correct problems in this area
290  * by estimating a new framerate and taking the simpler fraction of
291  * the two presented.
292  *
293  * @param avctx Context that contains the framerate to correct.
294  */
295 static void xvid_correct_framerate(AVCodecContext *avctx)
296 {
297     int frate, fbase;
298     int est_frate, est_fbase;
299     int gcd;
300     float est_fps, fps;
301
302     frate = avctx->time_base.den;
303     fbase = avctx->time_base.num;
304
305     gcd = av_gcd(frate, fbase);
306     if( gcd > 1 ) {
307         frate /= gcd;
308         fbase /= gcd;
309     }
310
311     if( frate <= 65000 && fbase <= 65000 ) {
312         avctx->time_base.den = frate;
313         avctx->time_base.num = fbase;
314         return;
315     }
316
317     fps = (float)frate / (float)fbase;
318     est_fps = roundf(fps * 1000.0) / 1000.0;
319
320     est_frate = (int)est_fps;
321     if( est_fps > (int)est_fps ) {
322         est_frate = (est_frate + 1) * 1000;
323         est_fbase = (int)roundf((float)est_frate / est_fps);
324     } else
325         est_fbase = 1;
326
327     gcd = av_gcd(est_frate, est_fbase);
328     if( gcd > 1 ) {
329         est_frate /= gcd;
330         est_fbase /= gcd;
331     }
332
333     if( fbase > est_fbase ) {
334         avctx->time_base.den = est_frate;
335         avctx->time_base.num = est_fbase;
336         av_log(avctx, AV_LOG_DEBUG,
337             "Xvid: framerate re-estimated: %.2f, %.3f%% correction\n",
338             est_fps, (((est_fps - fps)/fps) * 100.0));
339     } else {
340         avctx->time_base.den = frate;
341         avctx->time_base.num = fbase;
342     }
343 }
344
345 /**
346  * Create the private context for the encoder.
347  * All buffers are allocated, settings are loaded from the user,
348  * and the encoder context created.
349  *
350  * @param avctx AVCodecContext pointer to context
351  * @return Returns 0 on success, -1 on failure
352  */
353 static av_cold int xvid_encode_init(AVCodecContext *avctx)  {
354     int xerr, i;
355     int xvid_flags = avctx->flags;
356     struct xvid_context *x = avctx->priv_data;
357     uint16_t *intra, *inter;
358     int fd;
359
360     xvid_plugin_single_t single       = { 0 };
361     struct xvid_ff_pass1 rc2pass1     = { 0 };
362     xvid_plugin_2pass2_t rc2pass2     = { 0 };
363     xvid_gbl_init_t xvid_gbl_init     = { 0 };
364     xvid_enc_create_t xvid_enc_create = { 0 };
365     xvid_enc_plugin_t plugins[7];
366
367     /* Bring in VOP flags from ffmpeg command-line */
368     x->vop_flags = XVID_VOP_HALFPEL; /* Bare minimum quality */
369     if( xvid_flags & CODEC_FLAG_4MV )
370         x->vop_flags |= XVID_VOP_INTER4V; /* Level 3 */
371     if( avctx->trellis
372         )
373         x->vop_flags |= XVID_VOP_TRELLISQUANT; /* Level 5 */
374     if( xvid_flags & CODEC_FLAG_AC_PRED )
375         x->vop_flags |= XVID_VOP_HQACPRED; /* Level 6 */
376     if( xvid_flags & CODEC_FLAG_GRAY )
377         x->vop_flags |= XVID_VOP_GREYSCALE;
378
379     /* Decide which ME quality setting to use */
380     x->me_flags = 0;
381     switch( avctx->me_method ) {
382        case ME_FULL:   /* Quality 6 */
383            x->me_flags |=  XVID_ME_EXTSEARCH16
384                        |   XVID_ME_EXTSEARCH8;
385
386        case ME_EPZS:   /* Quality 4 */
387            x->me_flags |=  XVID_ME_ADVANCEDDIAMOND8
388                        |   XVID_ME_HALFPELREFINE8
389                        |   XVID_ME_CHROMA_PVOP
390                        |   XVID_ME_CHROMA_BVOP;
391
392        case ME_LOG:    /* Quality 2 */
393        case ME_PHODS:
394        case ME_X1:
395            x->me_flags |=  XVID_ME_ADVANCEDDIAMOND16
396                        |   XVID_ME_HALFPELREFINE16;
397
398        case ME_ZERO:   /* Quality 0 */
399        default:
400            break;
401     }
402
403     /* Decide how we should decide blocks */
404     switch( avctx->mb_decision ) {
405        case 2:
406            x->vop_flags |= XVID_VOP_MODEDECISION_RD;
407            x->me_flags |=  XVID_ME_HALFPELREFINE8_RD
408                        |   XVID_ME_QUARTERPELREFINE8_RD
409                        |   XVID_ME_EXTSEARCH_RD
410                        |   XVID_ME_CHECKPREDICTION_RD;
411        case 1:
412            if( !(x->vop_flags & XVID_VOP_MODEDECISION_RD) )
413                x->vop_flags |= XVID_VOP_FAST_MODEDECISION_RD;
414            x->me_flags |=  XVID_ME_HALFPELREFINE16_RD
415                        |   XVID_ME_QUARTERPELREFINE16_RD;
416
417        default:
418            break;
419     }
420
421     /* Bring in VOL flags from ffmpeg command-line */
422     x->vol_flags = 0;
423     if( xvid_flags & CODEC_FLAG_GMC ) {
424         x->vol_flags |= XVID_VOL_GMC;
425         x->me_flags |= XVID_ME_GME_REFINE;
426     }
427     if( xvid_flags & CODEC_FLAG_QPEL ) {
428         x->vol_flags |= XVID_VOL_QUARTERPEL;
429         x->me_flags |= XVID_ME_QUARTERPELREFINE16;
430         if( x->vop_flags & XVID_VOP_INTER4V )
431             x->me_flags |= XVID_ME_QUARTERPELREFINE8;
432     }
433
434     xvid_gbl_init.version = XVID_VERSION;
435     xvid_gbl_init.debug = 0;
436
437 #if ARCH_PPC
438     /* Xvid's PPC support is borked, use libavcodec to detect */
439 #if HAVE_ALTIVEC
440     if (av_get_cpu_flags() & AV_CPU_FLAG_ALTIVEC) {
441         xvid_gbl_init.cpu_flags = XVID_CPU_FORCE | XVID_CPU_ALTIVEC;
442     } else
443 #endif
444         xvid_gbl_init.cpu_flags = XVID_CPU_FORCE;
445 #else
446     /* Xvid can detect on x86 */
447     xvid_gbl_init.cpu_flags = 0;
448 #endif
449
450     /* Initialize */
451     xvid_global(NULL, XVID_GBL_INIT, &xvid_gbl_init, NULL);
452
453     /* Create the encoder reference */
454     xvid_enc_create.version = XVID_VERSION;
455
456     /* Store the desired frame size */
457     xvid_enc_create.width = x->xsize = avctx->width;
458     xvid_enc_create.height = x->ysize = avctx->height;
459
460     /* Xvid can determine the proper profile to use */
461     /* xvid_enc_create.profile = XVID_PROFILE_S_L3; */
462
463     /* We don't use zones */
464     xvid_enc_create.zones = NULL;
465     xvid_enc_create.num_zones = 0;
466
467     xvid_enc_create.num_threads = avctx->thread_count;
468
469     xvid_enc_create.plugins = plugins;
470     xvid_enc_create.num_plugins = 0;
471
472     /* Initialize Buffers */
473     x->twopassbuffer = NULL;
474     x->old_twopassbuffer = NULL;
475     x->twopassfile = NULL;
476
477     if( xvid_flags & CODEC_FLAG_PASS1 ) {
478         rc2pass1.version = XVID_VERSION;
479         rc2pass1.context = x;
480         x->twopassbuffer = av_malloc(BUFFER_SIZE);
481         x->old_twopassbuffer = av_malloc(BUFFER_SIZE);
482         if( x->twopassbuffer == NULL || x->old_twopassbuffer == NULL ) {
483             av_log(avctx, AV_LOG_ERROR,
484                 "Xvid: Cannot allocate 2-pass log buffers\n");
485             return -1;
486         }
487         x->twopassbuffer[0] = x->old_twopassbuffer[0] = 0;
488
489         plugins[xvid_enc_create.num_plugins].func = xvid_ff_2pass;
490         plugins[xvid_enc_create.num_plugins].param = &rc2pass1;
491         xvid_enc_create.num_plugins++;
492     } else if( xvid_flags & CODEC_FLAG_PASS2 ) {
493         rc2pass2.version = XVID_VERSION;
494         rc2pass2.bitrate = avctx->bit_rate;
495
496         fd = av_tempfile("xvidff.", &x->twopassfile, 0, avctx);
497         if( fd == -1 ) {
498             av_log(avctx, AV_LOG_ERROR,
499                 "Xvid: Cannot write 2-pass pipe\n");
500             return -1;
501         }
502
503         if( avctx->stats_in == NULL ) {
504             av_log(avctx, AV_LOG_ERROR,
505                 "Xvid: No 2-pass information loaded for second pass\n");
506             return -1;
507         }
508
509         if( strlen(avctx->stats_in) >
510               write(fd, avctx->stats_in, strlen(avctx->stats_in)) ) {
511             close(fd);
512             av_log(avctx, AV_LOG_ERROR,
513                 "Xvid: Cannot write to 2-pass pipe\n");
514             return -1;
515         }
516
517         close(fd);
518         rc2pass2.filename = x->twopassfile;
519         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_2pass2;
520         plugins[xvid_enc_create.num_plugins].param = &rc2pass2;
521         xvid_enc_create.num_plugins++;
522     } else if( !(xvid_flags & CODEC_FLAG_QSCALE) ) {
523         /* Single Pass Bitrate Control! */
524         single.version = XVID_VERSION;
525         single.bitrate = avctx->bit_rate;
526
527         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_single;
528         plugins[xvid_enc_create.num_plugins].param = &single;
529         xvid_enc_create.num_plugins++;
530     }
531
532     /* Luminance Masking */
533     if( 0.0 != avctx->lumi_masking ) {
534         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_lumimasking;
535         plugins[xvid_enc_create.num_plugins].param = NULL;
536         xvid_enc_create.num_plugins++;
537     }
538
539     /* Frame Rate and Key Frames */
540     xvid_correct_framerate(avctx);
541     xvid_enc_create.fincr = avctx->time_base.num;
542     xvid_enc_create.fbase = avctx->time_base.den;
543     if( avctx->gop_size > 0 )
544         xvid_enc_create.max_key_interval = avctx->gop_size;
545     else
546         xvid_enc_create.max_key_interval = 240; /* Xvid's best default */
547
548     /* Quants */
549     if( xvid_flags & CODEC_FLAG_QSCALE ) x->qscale = 1;
550     else x->qscale = 0;
551
552     xvid_enc_create.min_quant[0] = avctx->qmin;
553     xvid_enc_create.min_quant[1] = avctx->qmin;
554     xvid_enc_create.min_quant[2] = avctx->qmin;
555     xvid_enc_create.max_quant[0] = avctx->qmax;
556     xvid_enc_create.max_quant[1] = avctx->qmax;
557     xvid_enc_create.max_quant[2] = avctx->qmax;
558
559     /* Quant Matrices */
560     x->intra_matrix = x->inter_matrix = NULL;
561     if( avctx->mpeg_quant )
562        x->vol_flags |= XVID_VOL_MPEGQUANT;
563     if( (avctx->intra_matrix || avctx->inter_matrix) ) {
564        x->vol_flags |= XVID_VOL_MPEGQUANT;
565
566        if( avctx->intra_matrix ) {
567            intra = avctx->intra_matrix;
568            x->intra_matrix = av_malloc(sizeof(unsigned char) * 64);
569        } else
570            intra = NULL;
571        if( avctx->inter_matrix ) {
572            inter = avctx->inter_matrix;
573            x->inter_matrix = av_malloc(sizeof(unsigned char) * 64);
574        } else
575            inter = NULL;
576
577        for( i = 0; i < 64; i++ ) {
578            if( intra )
579                x->intra_matrix[i] = (unsigned char)intra[i];
580            if( inter )
581                x->inter_matrix[i] = (unsigned char)inter[i];
582        }
583     }
584
585     /* Misc Settings */
586     xvid_enc_create.frame_drop_ratio = 0;
587     xvid_enc_create.global = 0;
588     if( xvid_flags & CODEC_FLAG_CLOSED_GOP )
589         xvid_enc_create.global |= XVID_GLOBAL_CLOSED_GOP;
590
591     /* Determines which codec mode we are operating in */
592     avctx->extradata = NULL;
593     avctx->extradata_size = 0;
594     if( xvid_flags & CODEC_FLAG_GLOBAL_HEADER ) {
595         /* In this case, we are claiming to be MPEG4 */
596         x->quicktime_format = 1;
597         avctx->codec_id = AV_CODEC_ID_MPEG4;
598     } else {
599         /* We are claiming to be Xvid */
600         x->quicktime_format = 0;
601         if(!avctx->codec_tag)
602             avctx->codec_tag = AV_RL32("xvid");
603     }
604
605     /* Bframes */
606     xvid_enc_create.max_bframes = avctx->max_b_frames;
607     xvid_enc_create.bquant_offset = 100 * avctx->b_quant_offset;
608     xvid_enc_create.bquant_ratio = 100 * avctx->b_quant_factor;
609     if( avctx->max_b_frames > 0  && !x->quicktime_format ) xvid_enc_create.global |= XVID_GLOBAL_PACKED;
610
611     /* Create encoder context */
612     xerr = xvid_encore(NULL, XVID_ENC_CREATE, &xvid_enc_create, NULL);
613     if( xerr ) {
614         av_log(avctx, AV_LOG_ERROR, "Xvid: Could not create encoder reference\n");
615         return -1;
616     }
617
618     x->encoder_handle = xvid_enc_create.handle;
619     avctx->coded_frame = &x->encoded_picture;
620
621     return 0;
622 }
623
624 /**
625  * Encode a single frame.
626  *
627  * @param avctx AVCodecContext pointer to context
628  * @param frame Pointer to encoded frame buffer
629  * @param buf_size Size of encoded frame buffer
630  * @param data Pointer to AVFrame of unencoded frame
631  * @return Returns 0 on success, -1 on failure
632  */
633 static int xvid_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
634                              const AVFrame *picture, int *got_packet)
635 {
636     int xerr, i, ret, user_packet = !!pkt->data;
637     char *tmp;
638     struct xvid_context *x = avctx->priv_data;
639     AVFrame *p = &x->encoded_picture;
640     int mb_width   = (avctx->width  + 15) / 16;
641     int mb_height  = (avctx->height + 15) / 16;
642
643     xvid_enc_frame_t xvid_enc_frame = { 0 };
644     xvid_enc_stats_t xvid_enc_stats = { 0 };
645
646     if ((ret = ff_alloc_packet2(avctx, pkt, mb_width*mb_height*MAX_MB_BYTES + FF_MIN_BUFFER_SIZE)) < 0)
647         return ret;
648
649     /* Start setting up the frame */
650     xvid_enc_frame.version = XVID_VERSION;
651     xvid_enc_stats.version = XVID_VERSION;
652     *p = *picture;
653
654     /* Let Xvid know where to put the frame. */
655     xvid_enc_frame.bitstream = pkt->data;
656     xvid_enc_frame.length    = pkt->size;
657
658     /* Initialize input image fields */
659     if( avctx->pix_fmt != AV_PIX_FMT_YUV420P ) {
660         av_log(avctx, AV_LOG_ERROR, "Xvid: Color spaces other than 420p not supported\n");
661         return -1;
662     }
663
664     xvid_enc_frame.input.csp = XVID_CSP_PLANAR; /* YUV420P */
665
666     for( i = 0; i < 4; i++ ) {
667         xvid_enc_frame.input.plane[i] = picture->data[i];
668         xvid_enc_frame.input.stride[i] = picture->linesize[i];
669     }
670
671     /* Encoder Flags */
672     xvid_enc_frame.vop_flags = x->vop_flags;
673     xvid_enc_frame.vol_flags = x->vol_flags;
674     xvid_enc_frame.motion = x->me_flags;
675     xvid_enc_frame.type =
676         picture->pict_type == AV_PICTURE_TYPE_I ? XVID_TYPE_IVOP :
677         picture->pict_type == AV_PICTURE_TYPE_P ? XVID_TYPE_PVOP :
678         picture->pict_type == AV_PICTURE_TYPE_B ? XVID_TYPE_BVOP :
679                                           XVID_TYPE_AUTO;
680
681     /* Pixel aspect ratio setting */
682     if (avctx->sample_aspect_ratio.num < 0 || avctx->sample_aspect_ratio.num > 255 ||
683         avctx->sample_aspect_ratio.den < 0 || avctx->sample_aspect_ratio.den > 255) {
684         av_log(avctx, AV_LOG_ERROR, "Invalid pixel aspect ratio %i/%i\n",
685                avctx->sample_aspect_ratio.num, avctx->sample_aspect_ratio.den);
686         return -1;
687     }
688     xvid_enc_frame.par = XVID_PAR_EXT;
689     xvid_enc_frame.par_width  = avctx->sample_aspect_ratio.num;
690     xvid_enc_frame.par_height = avctx->sample_aspect_ratio.den;
691
692     /* Quant Setting */
693     if( x->qscale ) xvid_enc_frame.quant = picture->quality / FF_QP2LAMBDA;
694     else xvid_enc_frame.quant = 0;
695
696     /* Matrices */
697     xvid_enc_frame.quant_intra_matrix = x->intra_matrix;
698     xvid_enc_frame.quant_inter_matrix = x->inter_matrix;
699
700     /* Encode */
701     xerr = xvid_encore(x->encoder_handle, XVID_ENC_ENCODE,
702         &xvid_enc_frame, &xvid_enc_stats);
703
704     /* Two-pass log buffer swapping */
705     avctx->stats_out = NULL;
706     if( x->twopassbuffer ) {
707         tmp = x->old_twopassbuffer;
708         x->old_twopassbuffer = x->twopassbuffer;
709         x->twopassbuffer = tmp;
710         x->twopassbuffer[0] = 0;
711         if( x->old_twopassbuffer[0] != 0 ) {
712             avctx->stats_out = x->old_twopassbuffer;
713         }
714     }
715
716     if (xerr > 0) {
717         *got_packet = 1;
718
719         p->quality = xvid_enc_stats.quant * FF_QP2LAMBDA;
720         if( xvid_enc_stats.type == XVID_TYPE_PVOP )
721             p->pict_type = AV_PICTURE_TYPE_P;
722         else if( xvid_enc_stats.type == XVID_TYPE_BVOP )
723             p->pict_type = AV_PICTURE_TYPE_B;
724         else if( xvid_enc_stats.type == XVID_TYPE_SVOP )
725             p->pict_type = AV_PICTURE_TYPE_S;
726         else
727             p->pict_type = AV_PICTURE_TYPE_I;
728         if( xvid_enc_frame.out_flags & XVID_KEYFRAME ) {
729             p->key_frame = 1;
730             pkt->flags |= AV_PKT_FLAG_KEY;
731             if( x->quicktime_format )
732                 return xvid_strip_vol_header(avctx, pkt,
733                     xvid_enc_stats.hlength, xerr);
734          } else
735             p->key_frame = 0;
736
737         pkt->size = xerr;
738
739         return 0;
740     } else {
741         if (!user_packet)
742             av_free_packet(pkt);
743         if (!xerr)
744             return 0;
745         av_log(avctx, AV_LOG_ERROR, "Xvid: Encoding Error Occurred: %i\n", xerr);
746         return -1;
747     }
748 }
749
750 /**
751  * Destroy the private context for the encoder.
752  * All buffers are freed, and the Xvid encoder context is destroyed.
753  *
754  * @param avctx AVCodecContext pointer to context
755  * @return Returns 0, success guaranteed
756  */
757 static av_cold int xvid_encode_close(AVCodecContext *avctx) {
758     struct xvid_context *x = avctx->priv_data;
759
760     xvid_encore(x->encoder_handle, XVID_ENC_DESTROY, NULL, NULL);
761
762     av_freep(&avctx->extradata);
763     if( x->twopassbuffer != NULL ) {
764         av_free(x->twopassbuffer);
765         av_free(x->old_twopassbuffer);
766         avctx->stats_out = NULL;
767     }
768     av_free(x->twopassfile);
769     av_free(x->intra_matrix);
770     av_free(x->inter_matrix);
771
772     return 0;
773 }
774
775 /**
776  * Xvid codec definition for libavcodec.
777  */
778 AVCodec ff_libxvid_encoder = {
779     .name           = "libxvid",
780     .type           = AVMEDIA_TYPE_VIDEO,
781     .id             = AV_CODEC_ID_MPEG4,
782     .priv_data_size = sizeof(struct xvid_context),
783     .init           = xvid_encode_init,
784     .encode2        = xvid_encode_frame,
785     .close          = xvid_encode_close,
786     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE },
787     .long_name      = NULL_IF_CONFIG_SMALL("libxvidcore MPEG-4 part 2"),
788 };