git.sesse.net Git - ffmpeg/blob - libavcodec/libxvid.c

   1 /*
   2  * Interface to xvidcore for mpeg4 encoding
   3  * Copyright (c) 2004 Adam Thayer <krevnik@comcast.net>
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file
  24  * Interface to xvidcore for MPEG-4 compliant encoding.
  25  * @author Adam Thayer (krevnik@comcast.net)
  26  */
  27
  28 #include <xvid.h>
  29 #include "avcodec.h"
  30 #include "internal.h"
  31 #include "libavutil/file.h"
  32 #include "libavutil/cpu.h"
  33 #include "libavutil/intreadwrite.h"
  34 #include "libavutil/mathematics.h"
  35 #include "libxvid.h"
  36 #include "mpegvideo.h"
  37
  38 #if HAVE_UNISTD_H
  39 #include <unistd.h>
  40 #endif
  41
  42 /**
  43  * Buffer management macros.
  44  */
  45 #define BUFFER_SIZE                 1024
  46 #define BUFFER_REMAINING(x)         (BUFFER_SIZE - strlen(x))
  47 #define BUFFER_CAT(x)               (&((x)[strlen(x)]))
  48
  49 /**
  50  * Structure for the private Xvid context.
  51  * This stores all the private context for the codec.
  52  */
  53 struct xvid_context {
  54     AVClass *class;
  55     void *encoder_handle;          /**< Handle for Xvid encoder */
  56     int xsize;                     /**< Frame x size */
  57     int ysize;                     /**< Frame y size */
  58     int vop_flags;                 /**< VOP flags for Xvid encoder */
  59     int vol_flags;                 /**< VOL flags for Xvid encoder */
  60     int me_flags;                  /**< Motion Estimation flags */
  61     int qscale;                    /**< Do we use constant scale? */
  62     int quicktime_format;          /**< Are we in a QT-based format? */
  63     char *twopassbuffer;           /**< Character buffer for two-pass */
  64     char *old_twopassbuffer;       /**< Old character buffer (two-pass) */
  65     char *twopassfile;             /**< second pass temp file name */
  66     int twopassfd;
  67     unsigned char *intra_matrix;   /**< P-Frame Quant Matrix */
  68     unsigned char *inter_matrix;   /**< I-Frame Quant Matrix */
  69     int lumi_aq;                   /**< Lumi masking as an aq method */
  70     int variance_aq;               /**< Variance adaptive quantization */
  71     int ssim;                      /**< SSIM information display mode */
  72     int ssim_acc;                  /**< SSIM accuracy. 0: accurate. 4: fast. */
  73     int gmc;
  74 };
  75
  76 /**
  77  * Structure for the private first-pass plugin.
  78  */
  79 struct xvid_ff_pass1 {
  80     int     version;                /**< Xvid version */
  81     struct xvid_context *context;   /**< Pointer to private context */
  82 };
  83
  84 static int xvid_encode_close(AVCodecContext *avctx);
  85
  86 /*
  87  * Xvid 2-Pass Kludge Section
  88  *
  89  * Xvid's default 2-pass doesn't allow us to create data as we need to, so
  90  * this section spends time replacing the first pass plugin so we can write
  91  * statistic information as libavcodec requests in. We have another kludge
  92  * that allows us to pass data to the second pass in Xvid without a custom
  93  * rate-control plugin.
  94  */
  95
  96 /**
  97  * Initialize the two-pass plugin and context.
  98  *
  99  * @param param Input construction parameter structure
 100  * @param handle Private context handle
 101  * @return Returns XVID_ERR_xxxx on failure, or 0 on success.
 102  */
 103 static int xvid_ff_2pass_create(xvid_plg_create_t * param,
 104                                 void ** handle) {
 105     struct xvid_ff_pass1 *x = (struct xvid_ff_pass1 *)param->param;
 106     char *log = x->context->twopassbuffer;
 107
 108     /* Do a quick bounds check */
 109     if( log == NULL )
 110         return XVID_ERR_FAIL;
 111
 112     /* We use snprintf() */
 113     /* This is because we can safely prevent a buffer overflow */
 114     log[0] = 0;
 115     snprintf(log, BUFFER_REMAINING(log),
 116         "# ffmpeg 2-pass log file, using xvid codec\n");
 117     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
 118         "# Do not modify. libxvidcore version: %d.%d.%d\n\n",
 119         XVID_VERSION_MAJOR(XVID_VERSION),
 120         XVID_VERSION_MINOR(XVID_VERSION),
 121         XVID_VERSION_PATCH(XVID_VERSION));
 122
 123     *handle = x->context;
 124     return 0;
 125 }
 126
 127 /**
 128  * Destroy the two-pass plugin context.
 129  *
 130  * @param ref Context pointer for the plugin
 131  * @param param Destrooy context
 132  * @return Returns 0, success guaranteed
 133  */
 134 static int xvid_ff_2pass_destroy(struct xvid_context *ref,
 135                                 xvid_plg_destroy_t *param) {
 136     /* Currently cannot think of anything to do on destruction */
 137     /* Still, the framework should be here for reference/use */
 138     if( ref->twopassbuffer != NULL )
 139         ref->twopassbuffer[0] = 0;
 140     return 0;
 141 }
 142
 143 /**
 144  * Enable fast encode mode during the first pass.
 145  *
 146  * @param ref Context pointer for the plugin
 147  * @param param Frame data
 148  * @return Returns 0, success guaranteed
 149  */
 150 static int xvid_ff_2pass_before(struct xvid_context *ref,
 151                                 xvid_plg_data_t *param) {
 152     int motion_remove;
 153     int motion_replacements;
 154     int vop_remove;
 155
 156     /* Nothing to do here, result is changed too much */
 157     if( param->zone && param->zone->mode == XVID_ZONE_QUANT )
 158         return 0;
 159
 160     /* We can implement a 'turbo' first pass mode here */
 161     param->quant = 2;
 162
 163     /* Init values */
 164     motion_remove = ~XVID_ME_CHROMA_PVOP &
 165                     ~XVID_ME_CHROMA_BVOP &
 166                     ~XVID_ME_EXTSEARCH16 &
 167                     ~XVID_ME_ADVANCEDDIAMOND16;
 168     motion_replacements = XVID_ME_FAST_MODEINTERPOLATE |
 169                           XVID_ME_SKIP_DELTASEARCH |
 170                           XVID_ME_FASTREFINE16 |
 171                           XVID_ME_BFRAME_EARLYSTOP;
 172     vop_remove = ~XVID_VOP_MODEDECISION_RD &
 173                  ~XVID_VOP_FAST_MODEDECISION_RD &
 174                  ~XVID_VOP_TRELLISQUANT &
 175                  ~XVID_VOP_INTER4V &
 176                  ~XVID_VOP_HQACPRED;
 177
 178     param->vol_flags &= ~XVID_VOL_GMC;
 179     param->vop_flags &= vop_remove;
 180     param->motion_flags &= motion_remove;
 181     param->motion_flags |= motion_replacements;
 182
 183     return 0;
 184 }
 185
 186 /**
 187  * Capture statistic data and write it during first pass.
 188  *
 189  * @param ref Context pointer for the plugin
 190  * @param param Statistic data
 191  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
 192  */
 193 static int xvid_ff_2pass_after(struct xvid_context *ref,
 194                                 xvid_plg_data_t *param) {
 195     char *log = ref->twopassbuffer;
 196     const char *frame_types = " ipbs";
 197     char frame_type;
 198
 199     /* Quick bounds check */
 200     if( log == NULL )
 201         return XVID_ERR_FAIL;
 202
 203     /* Convert the type given to us into a character */
 204     if( param->type < 5 && param->type > 0 ) {
 205         frame_type = frame_types[param->type];
 206     } else {
 207         return XVID_ERR_FAIL;
 208     }
 209
 210     snprintf(BUFFER_CAT(log), BUFFER_REMAINING(log),
 211         "%c %d %d %d %d %d %d\n",
 212         frame_type, param->stats.quant, param->stats.kblks, param->stats.mblks,
 213         param->stats.ublks, param->stats.length, param->stats.hlength);
 214
 215     return 0;
 216 }
 217
 218 /**
 219  * Dispatch function for our custom plugin.
 220  * This handles the dispatch for the Xvid plugin. It passes data
 221  * on to other functions for actual processing.
 222  *
 223  * @param ref Context pointer for the plugin
 224  * @param cmd The task given for us to complete
 225  * @param p1 First parameter (varies)
 226  * @param p2 Second parameter (varies)
 227  * @return Returns XVID_ERR_xxxx on failure, or 0 on success
 228  */
 229 static int xvid_ff_2pass(void *ref, int cmd, void *p1, void *p2)
 230 {
 231     switch( cmd ) {
 232         case XVID_PLG_INFO:
 233         case XVID_PLG_FRAME:
 234             return 0;
 235
 236         case XVID_PLG_BEFORE:
 237             return xvid_ff_2pass_before(ref, p1);
 238
 239         case XVID_PLG_CREATE:
 240             return xvid_ff_2pass_create(p1, p2);
 241
 242         case XVID_PLG_AFTER:
 243             return xvid_ff_2pass_after(ref, p1);
 244
 245         case XVID_PLG_DESTROY:
 246             return xvid_ff_2pass_destroy(ref, p1);
 247
 248         default:
 249             return XVID_ERR_FAIL;
 250     }
 251 }
 252
 253 /**
 254  * Routine to create a global VO/VOL header for MP4 container.
 255  * What we do here is extract the header from the Xvid bitstream
 256  * as it is encoded. We also strip the repeated headers from the
 257  * bitstream when a global header is requested for MPEG-4 ISO
 258  * compliance.
 259  *
 260  * @param avctx AVCodecContext pointer to context
 261  * @param frame Pointer to encoded frame data
 262  * @param header_len Length of header to search
 263  * @param frame_len Length of encoded frame data
 264  * @return Returns new length of frame data
 265  */
 266 static int xvid_strip_vol_header(AVCodecContext *avctx,
 267                   AVPacket *pkt,
 268                   unsigned int header_len,
 269                   unsigned int frame_len) {
 270     int vo_len = 0, i;
 271
 272     for( i = 0; i < header_len - 3; i++ ) {
 273         if( pkt->data[i] == 0x00 &&
 274             pkt->data[i+1] == 0x00 &&
 275             pkt->data[i+2] == 0x01 &&
 276             pkt->data[i+3] == 0xB6 ) {
 277             vo_len = i;
 278             break;
 279         }
 280     }
 281
 282     if( vo_len > 0 ) {
 283         /* We need to store the header, so extract it */
 284         if( avctx->extradata == NULL ) {
 285             avctx->extradata = av_malloc(vo_len);
 286             memcpy(avctx->extradata, pkt->data, vo_len);
 287             avctx->extradata_size = vo_len;
 288         }
 289         /* Less dangerous now, memmove properly copies the two
 290            chunks of overlapping data */
 291         memmove(pkt->data, &pkt->data[vo_len], frame_len - vo_len);
 292         pkt->size = frame_len - vo_len;
 293     }
 294     return 0;
 295 }
 296
 297 /**
 298  * Routine to correct a possibly erroneous framerate being fed to us.
 299  * Xvid currently chokes on framerates where the ticks per frame is
 300  * extremely large. This function works to correct problems in this area
 301  * by estimating a new framerate and taking the simpler fraction of
 302  * the two presented.
 303  *
 304  * @param avctx Context that contains the framerate to correct.
 305  */
 306 static void xvid_correct_framerate(AVCodecContext *avctx)
 307 {
 308     int frate, fbase;
 309     int est_frate, est_fbase;
 310     int gcd;
 311     float est_fps, fps;
 312
 313     frate = avctx->time_base.den;
 314     fbase = avctx->time_base.num;
 315
 316     gcd = av_gcd(frate, fbase);
 317     if( gcd > 1 ) {
 318         frate /= gcd;
 319         fbase /= gcd;
 320     }
 321
 322     if( frate <= 65000 && fbase <= 65000 ) {
 323         avctx->time_base.den = frate;
 324         avctx->time_base.num = fbase;
 325         return;
 326     }
 327
 328     fps = (float)frate / (float)fbase;
 329     est_fps = roundf(fps * 1000.0) / 1000.0;
 330
 331     est_frate = (int)est_fps;
 332     if( est_fps > (int)est_fps ) {
 333         est_frate = (est_frate + 1) * 1000;
 334         est_fbase = (int)roundf((float)est_frate / est_fps);
 335     } else
 336         est_fbase = 1;
 337
 338     gcd = av_gcd(est_frate, est_fbase);
 339     if( gcd > 1 ) {
 340         est_frate /= gcd;
 341         est_fbase /= gcd;
 342     }
 343
 344     if( fbase > est_fbase ) {
 345         avctx->time_base.den = est_frate;
 346         avctx->time_base.num = est_fbase;
 347         av_log(avctx, AV_LOG_DEBUG,
 348             "Xvid: framerate re-estimated: %.2f, %.3f%% correction\n",
 349             est_fps, (((est_fps - fps)/fps) * 100.0));
 350     } else {
 351         avctx->time_base.den = frate;
 352         avctx->time_base.num = fbase;
 353     }
 354 }
 355
 356 static av_cold int xvid_encode_init(AVCodecContext *avctx)  {
 357     int xerr, i;
 358     int xvid_flags = avctx->flags;
 359     struct xvid_context *x = avctx->priv_data;
 360     uint16_t *intra, *inter;
 361     int fd;
 362
 363     xvid_plugin_single_t      single          = { 0 };
 364     struct xvid_ff_pass1      rc2pass1        = { 0 };
 365     xvid_plugin_2pass2_t      rc2pass2        = { 0 };
 366     xvid_plugin_lumimasking_t masking_l       = { 0 }; /* For lumi masking */
 367     xvid_plugin_lumimasking_t masking_v       = { 0 }; /* For variance AQ */
 368     xvid_plugin_ssim_t        ssim            = { 0 };
 369     xvid_gbl_init_t           xvid_gbl_init   = { 0 };
 370     xvid_enc_create_t         xvid_enc_create = { 0 };
 371     xvid_enc_plugin_t         plugins[4];
 372
 373     x->twopassfd = -1;
 374
 375     /* Bring in VOP flags from ffmpeg command-line */
 376     x->vop_flags = XVID_VOP_HALFPEL;              /* Bare minimum quality */
 377     if( xvid_flags & CODEC_FLAG_4MV )
 378         x->vop_flags    |= XVID_VOP_INTER4V;      /* Level 3 */
 379     if( avctx->trellis)
 380         x->vop_flags    |= XVID_VOP_TRELLISQUANT; /* Level 5 */
 381     if( xvid_flags & CODEC_FLAG_AC_PRED )
 382         x->vop_flags    |= XVID_VOP_HQACPRED;     /* Level 6 */
 383     if( xvid_flags & CODEC_FLAG_GRAY )
 384         x->vop_flags    |= XVID_VOP_GREYSCALE;
 385
 386     /* Decide which ME quality setting to use */
 387     x->me_flags = 0;
 388     switch( avctx->me_method ) {
 389        case ME_FULL:   /* Quality 6 */
 390            x->me_flags  |=  XVID_ME_EXTSEARCH16
 391                         |   XVID_ME_EXTSEARCH8;
 392
 393        case ME_EPZS:   /* Quality 4 */
 394            x->me_flags  |=  XVID_ME_ADVANCEDDIAMOND8
 395                         |   XVID_ME_HALFPELREFINE8
 396                         |   XVID_ME_CHROMA_PVOP
 397                         |   XVID_ME_CHROMA_BVOP;
 398
 399        case ME_LOG:    /* Quality 2 */
 400        case ME_PHODS:
 401        case ME_X1:
 402            x->me_flags  |=  XVID_ME_ADVANCEDDIAMOND16
 403                         |   XVID_ME_HALFPELREFINE16;
 404
 405        case ME_ZERO:   /* Quality 0 */
 406        default:
 407            break;
 408     }
 409
 410     /* Decide how we should decide blocks */
 411     switch( avctx->mb_decision ) {
 412        case 2:
 413            x->vop_flags |= XVID_VOP_MODEDECISION_RD;
 414            x->me_flags  |=  XVID_ME_HALFPELREFINE8_RD
 415                         |   XVID_ME_QUARTERPELREFINE8_RD
 416                         |   XVID_ME_EXTSEARCH_RD
 417                         |   XVID_ME_CHECKPREDICTION_RD;
 418        case 1:
 419            if( !(x->vop_flags & XVID_VOP_MODEDECISION_RD) )
 420                x->vop_flags |= XVID_VOP_FAST_MODEDECISION_RD;
 421            x->me_flags  |=  XVID_ME_HALFPELREFINE16_RD
 422                         |   XVID_ME_QUARTERPELREFINE16_RD;
 423
 424        default:
 425            break;
 426     }
 427
 428     /* Bring in VOL flags from ffmpeg command-line */
 429 #if FF_API_GMC
 430     if (avctx->flags & CODEC_FLAG_GMC)
 431         x->gmc = 1;
 432 #endif
 433
 434     x->vol_flags = 0;
 435     if (x->gmc) {
 436         x->vol_flags    |= XVID_VOL_GMC;
 437         x->me_flags     |= XVID_ME_GME_REFINE;
 438     }
 439     if( xvid_flags & CODEC_FLAG_QPEL ) {
 440         x->vol_flags    |= XVID_VOL_QUARTERPEL;
 441         x->me_flags     |= XVID_ME_QUARTERPELREFINE16;
 442         if( x->vop_flags & XVID_VOP_INTER4V )
 443             x->me_flags |= XVID_ME_QUARTERPELREFINE8;
 444     }
 445
 446     xvid_gbl_init.version = XVID_VERSION;
 447     xvid_gbl_init.debug = 0;
 448     xvid_gbl_init.cpu_flags = 0;
 449
 450     /* Initialize */
 451     xvid_global(NULL, XVID_GBL_INIT, &xvid_gbl_init, NULL);
 452
 453     /* Create the encoder reference */
 454     xvid_enc_create.version = XVID_VERSION;
 455
 456     /* Store the desired frame size */
 457     xvid_enc_create.width = x->xsize = avctx->width;
 458     xvid_enc_create.height = x->ysize = avctx->height;
 459
 460     /* Xvid can determine the proper profile to use */
 461     /* xvid_enc_create.profile = XVID_PROFILE_S_L3; */
 462
 463     /* We don't use zones */
 464     xvid_enc_create.zones = NULL;
 465     xvid_enc_create.num_zones = 0;
 466
 467     xvid_enc_create.num_threads = avctx->thread_count;
 468
 469     xvid_enc_create.plugins = plugins;
 470     xvid_enc_create.num_plugins = 0;
 471
 472     /* Initialize Buffers */
 473     x->twopassbuffer = NULL;
 474     x->old_twopassbuffer = NULL;
 475     x->twopassfile = NULL;
 476
 477     if( xvid_flags & CODEC_FLAG_PASS1 ) {
 478         rc2pass1.version = XVID_VERSION;
 479         rc2pass1.context = x;
 480         x->twopassbuffer = av_malloc(BUFFER_SIZE);
 481         x->old_twopassbuffer = av_malloc(BUFFER_SIZE);
 482         if( x->twopassbuffer == NULL || x->old_twopassbuffer == NULL ) {
 483             av_log(avctx, AV_LOG_ERROR,
 484                 "Xvid: Cannot allocate 2-pass log buffers\n");
 485             goto fail;
 486         }
 487         x->twopassbuffer[0] = x->old_twopassbuffer[0] = 0;
 488
 489         plugins[xvid_enc_create.num_plugins].func = xvid_ff_2pass;
 490         plugins[xvid_enc_create.num_plugins].param = &rc2pass1;
 491         xvid_enc_create.num_plugins++;
 492     } else if( xvid_flags & CODEC_FLAG_PASS2 ) {
 493         rc2pass2.version = XVID_VERSION;
 494         rc2pass2.bitrate = avctx->bit_rate;
 495
 496         fd = av_tempfile("xvidff.", &x->twopassfile, 0, avctx);
 497         if( fd == -1 ) {
 498             av_log(avctx, AV_LOG_ERROR,
 499                 "Xvid: Cannot write 2-pass pipe\n");
 500             goto fail;
 501         }
 502         x->twopassfd = fd;
 503
 504         if( avctx->stats_in == NULL ) {
 505             av_log(avctx, AV_LOG_ERROR,
 506                 "Xvid: No 2-pass information loaded for second pass\n");
 507             goto fail;
 508         }
 509
 510         if( strlen(avctx->stats_in) >
 511               write(fd, avctx->stats_in, strlen(avctx->stats_in)) ) {
 512             av_log(avctx, AV_LOG_ERROR,
 513                 "Xvid: Cannot write to 2-pass pipe\n");
 514             goto fail;
 515         }
 516
 517         rc2pass2.filename = x->twopassfile;
 518         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_2pass2;
 519         plugins[xvid_enc_create.num_plugins].param = &rc2pass2;
 520         xvid_enc_create.num_plugins++;
 521     } else if( !(xvid_flags & CODEC_FLAG_QSCALE) ) {
 522         /* Single Pass Bitrate Control! */
 523         single.version = XVID_VERSION;
 524         single.bitrate = avctx->bit_rate;
 525
 526         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_single;
 527         plugins[xvid_enc_create.num_plugins].param = &single;
 528         xvid_enc_create.num_plugins++;
 529     }
 530
 531     if (avctx->lumi_masking != 0.0)
 532         x->lumi_aq = 1;
 533
 534     /* Luminance Masking */
 535     if (x->lumi_aq) {
 536         masking_l.method = 0;
 537         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_lumimasking;
 538
 539         /* The old behavior is that when avctx->lumi_masking is specified,
 540          * plugins[...].param = NULL. Trying to keep the old behavior here. */
 541         plugins[xvid_enc_create.num_plugins].param = avctx->lumi_masking ? NULL
 542                                                                          : &masking_l;
 543                 xvid_enc_create.num_plugins++;
 544     }
 545
 546     /* Variance AQ */
 547     if (x->variance_aq) {
 548         masking_v.method = 1;
 549         plugins[xvid_enc_create.num_plugins].func  = xvid_plugin_lumimasking;
 550         plugins[xvid_enc_create.num_plugins].param = &masking_v;
 551         xvid_enc_create.num_plugins++;
 552     }
 553
 554     if( x->lumi_aq && x->variance_aq )
 555         av_log(avctx, AV_LOG_INFO,
 556                "Both lumi_aq and variance_aq are enabled. The resulting quality"
 557                "will be the worse one of the two effects made by the AQ.\n");
 558
 559     /* SSIM */
 560     if (x->ssim) {
 561         plugins[xvid_enc_create.num_plugins].func = xvid_plugin_ssim;
 562         ssim.b_printstat = x->ssim == 2;
 563         ssim.acc         = x->ssim_acc;
 564         ssim.cpu_flags   = xvid_gbl_init.cpu_flags;
 565         ssim.b_visualize = 0;
 566         plugins[xvid_enc_create.num_plugins].param = &ssim;
 567         xvid_enc_create.num_plugins++;
 568     }
 569
 570     /* Frame Rate and Key Frames */
 571     xvid_correct_framerate(avctx);
 572     xvid_enc_create.fincr = avctx->time_base.num;
 573     xvid_enc_create.fbase = avctx->time_base.den;
 574     if( avctx->gop_size > 0 )
 575         xvid_enc_create.max_key_interval = avctx->gop_size;
 576     else
 577         xvid_enc_create.max_key_interval = 240; /* Xvid's best default */
 578
 579     /* Quants */
 580     if( xvid_flags & CODEC_FLAG_QSCALE ) x->qscale = 1;
 581     else x->qscale = 0;
 582
 583     xvid_enc_create.min_quant[0] = avctx->qmin;
 584     xvid_enc_create.min_quant[1] = avctx->qmin;
 585     xvid_enc_create.min_quant[2] = avctx->qmin;
 586     xvid_enc_create.max_quant[0] = avctx->qmax;
 587     xvid_enc_create.max_quant[1] = avctx->qmax;
 588     xvid_enc_create.max_quant[2] = avctx->qmax;
 589
 590     /* Quant Matrices */
 591     x->intra_matrix = x->inter_matrix = NULL;
 592     if( avctx->mpeg_quant )
 593        x->vol_flags |= XVID_VOL_MPEGQUANT;
 594     if( (avctx->intra_matrix || avctx->inter_matrix) ) {
 595        x->vol_flags |= XVID_VOL_MPEGQUANT;
 596
 597        if( avctx->intra_matrix ) {
 598            intra = avctx->intra_matrix;
 599            x->intra_matrix = av_malloc(sizeof(unsigned char) * 64);
 600        } else
 601            intra = NULL;
 602        if( avctx->inter_matrix ) {
 603            inter = avctx->inter_matrix;
 604            x->inter_matrix = av_malloc(sizeof(unsigned char) * 64);
 605        } else
 606            inter = NULL;
 607
 608        for( i = 0; i < 64; i++ ) {
 609            if( intra )
 610                x->intra_matrix[i] = (unsigned char)intra[i];
 611            if( inter )
 612                x->inter_matrix[i] = (unsigned char)inter[i];
 613        }
 614     }
 615
 616     /* Misc Settings */
 617     xvid_enc_create.frame_drop_ratio = 0;
 618     xvid_enc_create.global = 0;
 619     if( xvid_flags & CODEC_FLAG_CLOSED_GOP )
 620         xvid_enc_create.global |= XVID_GLOBAL_CLOSED_GOP;
 621
 622     /* Determines which codec mode we are operating in */
 623     avctx->extradata = NULL;
 624     avctx->extradata_size = 0;
 625     if( xvid_flags & CODEC_FLAG_GLOBAL_HEADER ) {
 626         /* In this case, we are claiming to be MPEG4 */
 627         x->quicktime_format = 1;
 628         avctx->codec_id = AV_CODEC_ID_MPEG4;
 629     } else {
 630         /* We are claiming to be Xvid */
 631         x->quicktime_format = 0;
 632         if(!avctx->codec_tag)
 633             avctx->codec_tag = AV_RL32("xvid");
 634     }
 635
 636     /* Bframes */
 637     xvid_enc_create.max_bframes = avctx->max_b_frames;
 638     xvid_enc_create.bquant_offset = 100 * avctx->b_quant_offset;
 639     xvid_enc_create.bquant_ratio = 100 * avctx->b_quant_factor;
 640     if( avctx->max_b_frames > 0  && !x->quicktime_format ) xvid_enc_create.global |= XVID_GLOBAL_PACKED;
 641
 642     av_assert0(xvid_enc_create.num_plugins + (!!x->ssim) + (!!x->variance_aq) + (!!x->lumi_aq) <= FF_ARRAY_ELEMS(plugins));
 643
 644     /* Create encoder context */
 645     xerr = xvid_encore(NULL, XVID_ENC_CREATE, &xvid_enc_create, NULL);
 646     if( xerr ) {
 647         av_log(avctx, AV_LOG_ERROR, "Xvid: Could not create encoder reference\n");
 648         goto fail;
 649     }
 650
 651     x->encoder_handle = xvid_enc_create.handle;
 652     avctx->coded_frame = av_frame_alloc();
 653     if (!avctx->coded_frame)
 654         return AVERROR(ENOMEM);
 655
 656     return 0;
 657 fail:
 658     xvid_encode_close(avctx);
 659     return -1;
 660 }
 661
 662 static int xvid_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
 663                              const AVFrame *picture, int *got_packet)
 664 {
 665     int xerr, i, ret, user_packet = !!pkt->data;
 666     char *tmp;
 667     struct xvid_context *x = avctx->priv_data;
 668     AVFrame *p = avctx->coded_frame;
 669     int mb_width   = (avctx->width  + 15) / 16;
 670     int mb_height  = (avctx->height + 15) / 16;
 671
 672     xvid_enc_frame_t xvid_enc_frame = { 0 };
 673     xvid_enc_stats_t xvid_enc_stats = { 0 };
 674
 675     if ((ret = ff_alloc_packet2(avctx, pkt, mb_width*mb_height*MAX_MB_BYTES + FF_MIN_BUFFER_SIZE)) < 0)
 676         return ret;
 677
 678     /* Start setting up the frame */
 679     xvid_enc_frame.version = XVID_VERSION;
 680     xvid_enc_stats.version = XVID_VERSION;
 681
 682     /* Let Xvid know where to put the frame. */
 683     xvid_enc_frame.bitstream = pkt->data;
 684     xvid_enc_frame.length    = pkt->size;
 685
 686     /* Initialize input image fields */
 687     if( avctx->pix_fmt != AV_PIX_FMT_YUV420P ) {
 688         av_log(avctx, AV_LOG_ERROR, "Xvid: Color spaces other than 420p not supported\n");
 689         return AVERROR(EINVAL);
 690     }
 691
 692     xvid_enc_frame.input.csp = XVID_CSP_PLANAR; /* YUV420P */
 693
 694     for( i = 0; i < 4; i++ ) {
 695         xvid_enc_frame.input.plane[i] = picture->data[i];
 696         xvid_enc_frame.input.stride[i] = picture->linesize[i];
 697     }
 698
 699     /* Encoder Flags */
 700     xvid_enc_frame.vop_flags = x->vop_flags;
 701     xvid_enc_frame.vol_flags = x->vol_flags;
 702     xvid_enc_frame.motion = x->me_flags;
 703     xvid_enc_frame.type =
 704         picture->pict_type == AV_PICTURE_TYPE_I ? XVID_TYPE_IVOP :
 705         picture->pict_type == AV_PICTURE_TYPE_P ? XVID_TYPE_PVOP :
 706         picture->pict_type == AV_PICTURE_TYPE_B ? XVID_TYPE_BVOP :
 707                                           XVID_TYPE_AUTO;
 708
 709     /* Pixel aspect ratio setting */
 710     if (avctx->sample_aspect_ratio.num < 0 || avctx->sample_aspect_ratio.num > 255 ||
 711         avctx->sample_aspect_ratio.den < 0 || avctx->sample_aspect_ratio.den > 255) {
 712         av_log(avctx, AV_LOG_WARNING,
 713                "Invalid pixel aspect ratio %i/%i, limit is 255/255 reducing\n",
 714                avctx->sample_aspect_ratio.num, avctx->sample_aspect_ratio.den);
 715         av_reduce(&avctx->sample_aspect_ratio.num, &avctx->sample_aspect_ratio.den,
 716                    avctx->sample_aspect_ratio.num,  avctx->sample_aspect_ratio.den, 255);
 717     }
 718     xvid_enc_frame.par = XVID_PAR_EXT;
 719     xvid_enc_frame.par_width  = avctx->sample_aspect_ratio.num;
 720     xvid_enc_frame.par_height = avctx->sample_aspect_ratio.den;
 721
 722     /* Quant Setting */
 723     if( x->qscale ) xvid_enc_frame.quant = picture->quality / FF_QP2LAMBDA;
 724     else xvid_enc_frame.quant = 0;
 725
 726     /* Matrices */
 727     xvid_enc_frame.quant_intra_matrix = x->intra_matrix;
 728     xvid_enc_frame.quant_inter_matrix = x->inter_matrix;
 729
 730     /* Encode */
 731     xerr = xvid_encore(x->encoder_handle, XVID_ENC_ENCODE,
 732         &xvid_enc_frame, &xvid_enc_stats);
 733
 734     /* Two-pass log buffer swapping */
 735     avctx->stats_out = NULL;
 736     if( x->twopassbuffer ) {
 737         tmp = x->old_twopassbuffer;
 738         x->old_twopassbuffer = x->twopassbuffer;
 739         x->twopassbuffer = tmp;
 740         x->twopassbuffer[0] = 0;
 741         if( x->old_twopassbuffer[0] != 0 ) {
 742             avctx->stats_out = x->old_twopassbuffer;
 743         }
 744     }
 745
 746     if (xerr > 0) {
 747         *got_packet = 1;
 748
 749         p->quality = xvid_enc_stats.quant * FF_QP2LAMBDA;
 750         if( xvid_enc_stats.type == XVID_TYPE_PVOP )
 751             p->pict_type = AV_PICTURE_TYPE_P;
 752         else if( xvid_enc_stats.type == XVID_TYPE_BVOP )
 753             p->pict_type = AV_PICTURE_TYPE_B;
 754         else if( xvid_enc_stats.type == XVID_TYPE_SVOP )
 755             p->pict_type = AV_PICTURE_TYPE_S;
 756         else
 757             p->pict_type = AV_PICTURE_TYPE_I;
 758         if( xvid_enc_frame.out_flags & XVID_KEYFRAME ) {
 759             p->key_frame = 1;
 760             pkt->flags |= AV_PKT_FLAG_KEY;
 761             if( x->quicktime_format )
 762                 return xvid_strip_vol_header(avctx, pkt,
 763                     xvid_enc_stats.hlength, xerr);
 764          } else
 765             p->key_frame = 0;
 766
 767         pkt->size = xerr;
 768
 769         return 0;
 770     } else {
 771         if (!user_packet)
 772             av_free_packet(pkt);
 773         if (!xerr)
 774             return 0;
 775         av_log(avctx, AV_LOG_ERROR, "Xvid: Encoding Error Occurred: %i\n", xerr);
 776         return AVERROR_EXTERNAL;
 777     }
 778 }
 779
 780 static av_cold int xvid_encode_close(AVCodecContext *avctx) {
 781     struct xvid_context *x = avctx->priv_data;
 782
 783     if(x->encoder_handle)
 784         xvid_encore(x->encoder_handle, XVID_ENC_DESTROY, NULL, NULL);
 785     x->encoder_handle = NULL;
 786
 787     av_freep(&avctx->extradata);
 788     if( x->twopassbuffer != NULL ) {
 789         av_freep(&x->twopassbuffer);
 790         av_freep(&x->old_twopassbuffer);
 791         avctx->stats_out = NULL;
 792     }
 793     if (x->twopassfd>=0) {
 794         unlink(x->twopassfile);
 795         close(x->twopassfd);
 796         x->twopassfd = -1;
 797     }
 798     av_freep(&x->twopassfile);
 799     av_freep(&x->intra_matrix);
 800     av_freep(&x->inter_matrix);
 801
 802     return 0;
 803 }
 804
 805 #define OFFSET(x) offsetof(struct xvid_context, x)
 806 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
 807 static const AVOption options[] = {
 808     { "lumi_aq",     "Luminance masking AQ", OFFSET(lumi_aq),     AV_OPT_TYPE_INT, { .i64 = 0 }, 0, 1, VE },
 809     { "variance_aq", "Variance AQ",          OFFSET(variance_aq), AV_OPT_TYPE_INT, { .i64 = 0 }, 0, 1, VE },
 810     { "ssim",        "Show SSIM information to stdout",       OFFSET(ssim),              AV_OPT_TYPE_INT, { .i64 = 0 }, 0, 2, VE, "ssim" },
 811         { "off",     NULL, 0, AV_OPT_TYPE_CONST, { .i64 = 0 }, INT_MIN, INT_MAX, VE, "ssim" },
 812         { "avg",     NULL, 0, AV_OPT_TYPE_CONST, { .i64 = 1 }, INT_MIN, INT_MAX, VE, "ssim" },
 813         { "frame",   NULL, 0, AV_OPT_TYPE_CONST, { .i64 = 2 }, INT_MIN, INT_MAX, VE, "ssim" },
 814     { "ssim_acc",    "SSIM accuracy",                         OFFSET(ssim_acc),          AV_OPT_TYPE_INT, { .i64 = 2 }, 0, 4, VE },
 815     { "gmc",         "use GMC",              OFFSET(gmc),         AV_OPT_TYPE_INT, { .i64 = 0 }, 0, 1, VE },
 816     { NULL },
 817 };
 818
 819 static const AVClass xvid_class = {
 820     .class_name = "libxvid",
 821     .item_name  = av_default_item_name,
 822     .option     = options,
 823     .version    = LIBAVUTIL_VERSION_INT,
 824 };
 825
 826 AVCodec ff_libxvid_encoder = {
 827     .name           = "libxvid",
 828     .long_name      = NULL_IF_CONFIG_SMALL("libxvidcore MPEG-4 part 2"),
 829     .type           = AVMEDIA_TYPE_VIDEO,
 830     .id             = AV_CODEC_ID_MPEG4,
 831     .priv_data_size = sizeof(struct xvid_context),
 832     .init           = xvid_encode_init,
 833     .encode2        = xvid_encode_frame,
 834     .close          = xvid_encode_close,
 835     .pix_fmts       = (const enum AVPixelFormat[]){ AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE },
 836     .priv_class     = &xvid_class,
 837 };