git.sesse.net Git - x264/blob - output/mp4.c

   1 /*****************************************************************************
   2  * mp4.c: mp4 muxer
   3  *****************************************************************************
   4  * Copyright (C) 2003-2016 x264 project
   5  *
   6  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
   7  *          Loren Merritt <lorenm@u.washington.edu>
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License as published by
  11  * the Free Software Foundation; either version 2 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU General Public License
  20  * along with this program; if not, write to the Free Software
  21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  22  *
  23  * This program is also available under a commercial proprietary license.
  24  * For more information, contact us at licensing@x264.com.
  25  *****************************************************************************/
  26
  27 #include "output.h"
  28 #include <gpac/isomedia.h>
  29
  30 #ifdef _WIN32
  31 #include <windows.h>
  32 #endif
  33
  34 typedef struct
  35 {
  36     GF_ISOFile *p_file;
  37     GF_AVCConfig *p_config;
  38     GF_ISOSample *p_sample;
  39     int i_track;
  40     uint32_t i_descidx;
  41     uint64_t i_time_res;
  42     int64_t i_time_inc;
  43     int64_t i_delay_time;
  44     int64_t i_init_delta;
  45     int i_numframe;
  46     int i_delay_frames;
  47     int b_dts_compress;
  48     int i_dts_compress_multiplier;
  49     int i_data_size;
  50 } mp4_hnd_t;
  51
  52 static void recompute_bitrate_mp4( GF_ISOFile *p_file, int i_track )
  53 {
  54     u32 count, di, timescale, time_wnd, rate;
  55     u64 offset;
  56     Double br;
  57     GF_ESD *esd;
  58
  59     esd = gf_isom_get_esd( p_file, i_track, 1 );
  60     if( !esd )
  61         return;
  62
  63     esd->decoderConfig->avgBitrate = 0;
  64     esd->decoderConfig->maxBitrate = 0;
  65     rate = time_wnd = 0;
  66
  67     timescale = gf_isom_get_media_timescale( p_file, i_track );
  68     count = gf_isom_get_sample_count( p_file, i_track );
  69     for( u32 i = 0; i < count; i++ )
  70     {
  71         GF_ISOSample *samp = gf_isom_get_sample_info( p_file, i_track, i+1, &di, &offset );
  72         if( !samp )
  73         {
  74             x264_cli_log( "mp4", X264_LOG_ERROR, "failure reading back frame %u\n", i );
  75             break;
  76         }
  77
  78         if( esd->decoderConfig->bufferSizeDB < samp->dataLength )
  79             esd->decoderConfig->bufferSizeDB = samp->dataLength;
  80
  81         esd->decoderConfig->avgBitrate += samp->dataLength;
  82         rate += samp->dataLength;
  83         if( samp->DTS > time_wnd + timescale )
  84         {
  85             if( rate > esd->decoderConfig->maxBitrate )
  86                 esd->decoderConfig->maxBitrate = rate;
  87             time_wnd = samp->DTS;
  88             rate = 0;
  89         }
  90
  91         gf_isom_sample_del( &samp );
  92     }
  93
  94     br = (Double)(s64)gf_isom_get_media_duration( p_file, i_track );
  95     br /= timescale;
  96     esd->decoderConfig->avgBitrate = (u32)(esd->decoderConfig->avgBitrate / br);
  97     /*move to bps*/
  98     esd->decoderConfig->avgBitrate *= 8;
  99     esd->decoderConfig->maxBitrate *= 8;
 100
 101     gf_isom_change_mpeg4_description( p_file, i_track, 1, esd );
 102     gf_odf_desc_del( (GF_Descriptor*)esd );
 103 }
 104
 105 static int close_file( hnd_t handle, int64_t largest_pts, int64_t second_largest_pts )
 106 {
 107     mp4_hnd_t *p_mp4 = handle;
 108
 109     if( !p_mp4 )
 110         return 0;
 111
 112     if( p_mp4->p_config )
 113         gf_odf_avc_cfg_del( p_mp4->p_config );
 114
 115     if( p_mp4->p_sample )
 116     {
 117         if( p_mp4->p_sample->data )
 118             free( p_mp4->p_sample->data );
 119
 120         p_mp4->p_sample->dataLength = 0;
 121         gf_isom_sample_del( &p_mp4->p_sample );
 122     }
 123
 124     if( p_mp4->p_file )
 125     {
 126         if( p_mp4->i_track )
 127         {
 128             /* The mdhd duration is defined as CTS[final] - CTS[0] + duration of last frame.
 129              * The mdhd duration (in seconds) should be able to be longer than the tkhd duration since the track is managed by edts.
 130              * So, if mdhd duration is equal to the last DTS or less, we give the last composition time delta to the last sample duration.
 131              * And then, the mdhd duration is updated, but it time-wise doesn't give the actual duration.
 132              * The tkhd duration is the actual track duration. */
 133             uint64_t mdhd_duration = (2 * largest_pts - second_largest_pts) * p_mp4->i_time_inc;
 134             if( mdhd_duration != gf_isom_get_media_duration( p_mp4->p_file, p_mp4->i_track ) )
 135             {
 136                 uint64_t last_dts = gf_isom_get_sample_dts( p_mp4->p_file, p_mp4->i_track, p_mp4->i_numframe );
 137                 uint32_t last_duration = (uint32_t)( mdhd_duration > last_dts ? mdhd_duration - last_dts : (largest_pts - second_largest_pts) * p_mp4->i_time_inc );
 138                 gf_isom_set_last_sample_duration( p_mp4->p_file, p_mp4->i_track, last_duration );
 139             }
 140
 141             /* Write an Edit Box if the first CTS offset is positive.
 142              * A media_time is given by not the mvhd timescale but rather the mdhd timescale.
 143              * The reason is that an Edit Box maps the presentation time-line to the media time-line.
 144              * Any demuxers should follow the Edit Box if it exists. */
 145             GF_ISOSample *sample = gf_isom_get_sample_info( p_mp4->p_file, p_mp4->i_track, 1, NULL, NULL );
 146             if( sample && sample->CTS_Offset > 0 )
 147             {
 148                 uint32_t mvhd_timescale = gf_isom_get_timescale( p_mp4->p_file );
 149                 uint64_t tkhd_duration = (uint64_t)( mdhd_duration * ( (double)mvhd_timescale / p_mp4->i_time_res ) );
 150                 gf_isom_append_edit_segment( p_mp4->p_file, p_mp4->i_track, tkhd_duration, sample->CTS_Offset, GF_ISOM_EDIT_NORMAL );
 151             }
 152             gf_isom_sample_del( &sample );
 153
 154             recompute_bitrate_mp4( p_mp4->p_file, p_mp4->i_track );
 155         }
 156         gf_isom_set_pl_indication( p_mp4->p_file, GF_ISOM_PL_VISUAL, 0x15 );
 157         gf_isom_set_storage_mode( p_mp4->p_file, GF_ISOM_STORE_FLAT );
 158         gf_isom_close( p_mp4->p_file );
 159     }
 160
 161     free( p_mp4 );
 162
 163     return 0;
 164 }
 165
 166 static int open_file( char *psz_filename, hnd_t *p_handle, cli_output_opt_t *opt )
 167 {
 168     *p_handle = NULL;
 169     FILE *fh = x264_fopen( psz_filename, "w" );
 170     if( !fh )
 171         return -1;
 172     int b_regular = x264_is_regular_file( fh );
 173     fclose( fh );
 174     FAIL_IF_ERR( !b_regular, "mp4", "MP4 output is incompatible with non-regular file `%s'\n", psz_filename )
 175
 176     mp4_hnd_t *p_mp4 = calloc( 1, sizeof(mp4_hnd_t) );
 177     if( !p_mp4 )
 178         return -1;
 179
 180 #ifdef _WIN32
 181     /* GPAC doesn't support Unicode filenames. */
 182     char ansi_filename[MAX_PATH];
 183     FAIL_IF_ERR( !x264_ansi_filename( psz_filename, ansi_filename, MAX_PATH, 1 ), "mp4", "invalid ansi filename\n" )
 184     p_mp4->p_file = gf_isom_open( ansi_filename, GF_ISOM_OPEN_WRITE, NULL );
 185 #else
 186     p_mp4->p_file = gf_isom_open( psz_filename, GF_ISOM_OPEN_WRITE, NULL );
 187 #endif
 188
 189     p_mp4->b_dts_compress = opt->use_dts_compress;
 190
 191     if( !(p_mp4->p_sample = gf_isom_sample_new()) )
 192     {
 193         close_file( p_mp4, 0, 0 );
 194         return -1;
 195     }
 196
 197     gf_isom_set_brand_info( p_mp4->p_file, GF_ISOM_BRAND_AVC1, 0 );
 198
 199     *p_handle = p_mp4;
 200
 201     return 0;
 202 }
 203
 204 static int set_param( hnd_t handle, x264_param_t *p_param )
 205 {
 206     mp4_hnd_t *p_mp4 = handle;
 207
 208     p_mp4->i_delay_frames = p_param->i_bframe ? (p_param->i_bframe_pyramid ? 2 : 1) : 0;
 209     p_mp4->i_dts_compress_multiplier = p_mp4->b_dts_compress * p_mp4->i_delay_frames + 1;
 210
 211     p_mp4->i_time_res = (uint64_t)p_param->i_timebase_den * p_mp4->i_dts_compress_multiplier;
 212     p_mp4->i_time_inc = (uint64_t)p_param->i_timebase_num * p_mp4->i_dts_compress_multiplier;
 213     FAIL_IF_ERR( p_mp4->i_time_res > UINT32_MAX, "mp4", "MP4 media timescale %"PRIu64" exceeds maximum\n", p_mp4->i_time_res )
 214
 215     p_mp4->i_track = gf_isom_new_track( p_mp4->p_file, 0, GF_ISOM_MEDIA_VISUAL,
 216                                         p_mp4->i_time_res );
 217
 218     p_mp4->p_config = gf_odf_avc_cfg_new();
 219     gf_isom_avc_config_new( p_mp4->p_file, p_mp4->i_track, p_mp4->p_config,
 220                             NULL, NULL, &p_mp4->i_descidx );
 221
 222     gf_isom_set_track_enabled( p_mp4->p_file, p_mp4->i_track, 1 );
 223
 224     gf_isom_set_visual_info( p_mp4->p_file, p_mp4->i_track, p_mp4->i_descidx,
 225                              p_param->i_width, p_param->i_height );
 226
 227     if( p_param->vui.i_sar_width && p_param->vui.i_sar_height )
 228     {
 229         uint64_t dw = p_param->i_width << 16;
 230         uint64_t dh = p_param->i_height << 16;
 231         double sar = (double)p_param->vui.i_sar_width / p_param->vui.i_sar_height;
 232         if( sar > 1.0 )
 233             dw *= sar ;
 234         else
 235             dh /= sar;
 236         gf_isom_set_pixel_aspect_ratio( p_mp4->p_file, p_mp4->i_track, p_mp4->i_descidx, p_param->vui.i_sar_width, p_param->vui.i_sar_height );
 237         gf_isom_set_track_layout_info( p_mp4->p_file, p_mp4->i_track, dw, dh, 0, 0, 0 );
 238     }
 239
 240     p_mp4->i_data_size = p_param->i_width * p_param->i_height * 3 / 2;
 241     p_mp4->p_sample->data = malloc( p_mp4->i_data_size );
 242     if( !p_mp4->p_sample->data )
 243     {
 244         p_mp4->i_data_size = 0;
 245         return -1;
 246     }
 247
 248     return 0;
 249 }
 250
 251 static int check_buffer( mp4_hnd_t *p_mp4, int needed_size )
 252 {
 253     if( needed_size > p_mp4->i_data_size )
 254     {
 255         void *ptr = realloc( p_mp4->p_sample->data, needed_size );
 256         if( !ptr )
 257             return -1;
 258         p_mp4->p_sample->data = ptr;
 259         p_mp4->i_data_size = needed_size;
 260     }
 261     return 0;
 262 }
 263
 264 static int write_headers( hnd_t handle, x264_nal_t *p_nal )
 265 {
 266     mp4_hnd_t *p_mp4 = handle;
 267     GF_AVCConfigSlot *p_slot;
 268
 269     int sps_size = p_nal[0].i_payload - 4;
 270     int pps_size = p_nal[1].i_payload - 4;
 271     int sei_size = p_nal[2].i_payload;
 272
 273     uint8_t *sps = p_nal[0].p_payload + 4;
 274     uint8_t *pps = p_nal[1].p_payload + 4;
 275     uint8_t *sei = p_nal[2].p_payload;
 276
 277     // SPS
 278
 279     p_mp4->p_config->configurationVersion = 1;
 280     p_mp4->p_config->AVCProfileIndication = sps[1];
 281     p_mp4->p_config->profile_compatibility = sps[2];
 282     p_mp4->p_config->AVCLevelIndication = sps[3];
 283     p_slot = malloc( sizeof(GF_AVCConfigSlot) );
 284     if( !p_slot )
 285         return -1;
 286     p_slot->size = sps_size;
 287     p_slot->data = malloc( p_slot->size );
 288     if( !p_slot->data )
 289         return -1;
 290     memcpy( p_slot->data, sps, sps_size );
 291     gf_list_add( p_mp4->p_config->sequenceParameterSets, p_slot );
 292
 293     // PPS
 294
 295     p_slot = malloc( sizeof(GF_AVCConfigSlot) );
 296     if( !p_slot )
 297         return -1;
 298     p_slot->size = pps_size;
 299     p_slot->data = malloc( p_slot->size );
 300     if( !p_slot->data )
 301         return -1;
 302     memcpy( p_slot->data, pps, pps_size );
 303     gf_list_add( p_mp4->p_config->pictureParameterSets, p_slot );
 304     gf_isom_avc_config_update( p_mp4->p_file, p_mp4->i_track, 1, p_mp4->p_config );
 305
 306     // SEI
 307
 308     if( check_buffer( p_mp4, p_mp4->p_sample->dataLength + sei_size ) )
 309         return -1;
 310     memcpy( p_mp4->p_sample->data + p_mp4->p_sample->dataLength, sei, sei_size );
 311     p_mp4->p_sample->dataLength += sei_size;
 312
 313     return sei_size + sps_size + pps_size;
 314 }
 315
 316 static int write_frame( hnd_t handle, uint8_t *p_nalu, int i_size, x264_picture_t *p_picture )
 317 {
 318     mp4_hnd_t *p_mp4 = handle;
 319     int64_t dts;
 320     int64_t cts;
 321
 322     if( check_buffer( p_mp4, p_mp4->p_sample->dataLength + i_size ) )
 323         return -1;
 324     memcpy( p_mp4->p_sample->data + p_mp4->p_sample->dataLength, p_nalu, i_size );
 325     p_mp4->p_sample->dataLength += i_size;
 326
 327     if( !p_mp4->i_numframe )
 328         p_mp4->i_delay_time = p_picture->i_dts * -1;
 329
 330     if( p_mp4->b_dts_compress )
 331     {
 332         if( p_mp4->i_numframe == 1 )
 333             p_mp4->i_init_delta = (p_picture->i_dts + p_mp4->i_delay_time) * p_mp4->i_time_inc;
 334         dts = p_mp4->i_numframe > p_mp4->i_delay_frames
 335             ? p_picture->i_dts * p_mp4->i_time_inc
 336             : p_mp4->i_numframe * (p_mp4->i_init_delta / p_mp4->i_dts_compress_multiplier);
 337         cts = p_picture->i_pts * p_mp4->i_time_inc;
 338     }
 339     else
 340     {
 341         dts = (p_picture->i_dts + p_mp4->i_delay_time) * p_mp4->i_time_inc;
 342         cts = (p_picture->i_pts + p_mp4->i_delay_time) * p_mp4->i_time_inc;
 343     }
 344
 345     p_mp4->p_sample->IsRAP = p_picture->b_keyframe;
 346     p_mp4->p_sample->DTS = dts;
 347     p_mp4->p_sample->CTS_Offset = (uint32_t)(cts - dts);
 348     gf_isom_add_sample( p_mp4->p_file, p_mp4->i_track, p_mp4->i_descidx, p_mp4->p_sample );
 349
 350     p_mp4->p_sample->dataLength = 0;
 351     p_mp4->i_numframe++;
 352
 353     return i_size;
 354 }
 355
 356 const cli_output_t mp4_output = { open_file, set_param, write_headers, write_frame, close_file };