git.sesse.net Git - vlc/blob - modules/packetizer/mpeg4video.c

   1 /*****************************************************************************
   2  * mpeg4video.c: mpeg 4 video packetizer
   3  *****************************************************************************
   4  * Copyright (C) 2001-2006 the VideoLAN team
   5  * $Id$
   6  *
   7  * Authors: Gildas Bazin <gbazin@videolan.org>
   8  *          Laurent Aimar <fenrir@via.ecp.fr>
   9  *          Eric Petit <titer@videolan.org>
  10  *
  11  * This program is free software; you can redistribute it and/or modify
  12  * it under the terms of the GNU General Public License as published by
  13  * the Free Software Foundation; either version 2 of the License, or
  14  * (at your option) any later version.
  15  *
  16  * This program is distributed in the hope that it will be useful,
  17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19  * GNU General Public License for more details.
  20  *
  21  * You should have received a copy of the GNU General Public License
  22  * along with this program; if not, write to the Free Software
  23  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  24  *****************************************************************************/
  25
  26 /*****************************************************************************
  27  * Preamble
  28  *****************************************************************************/
  29
  30 #ifdef HAVE_CONFIG_H
  31 # include "config.h"
  32 #endif
  33
  34 #include <vlc_common.h>
  35 #include <vlc_plugin.h>
  36 #include <vlc_sout.h>
  37 #include <vlc_codec.h>
  38 #include <vlc_block.h>
  39
  40 #include "vlc_bits.h"
  41 #include "vlc_block_helper.h"
  42 #include "packetizer_helper.h"
  43
  44 /*****************************************************************************
  45  * Module descriptor
  46  *****************************************************************************/
  47 static int  Open ( vlc_object_t * );
  48 static void Close( vlc_object_t * );
  49
  50 vlc_module_begin ()
  51     set_category( CAT_SOUT )
  52     set_subcategory( SUBCAT_SOUT_PACKETIZER )
  53     set_description( N_("MPEG4 video packetizer") )
  54     set_capability( "packetizer", 50 )
  55     set_callbacks( Open, Close )
  56 vlc_module_end ()
  57
  58 /****************************************************************************
  59  * Local prototypes
  60  ****************************************************************************/
  61 struct decoder_sys_t
  62 {
  63     /*
  64      * Input properties
  65      */
  66     packetizer_t packetizer;
  67
  68     /*
  69      * Common properties
  70      */
  71     mtime_t i_interpolated_pts;
  72     mtime_t i_interpolated_dts;
  73     mtime_t i_last_ref_pts;
  74     mtime_t i_last_time_ref;
  75     mtime_t i_time_ref;
  76     mtime_t i_last_time;
  77     mtime_t i_last_timeincr;
  78
  79     unsigned int i_flags;
  80
  81     int         i_fps_num;
  82     int         i_fps_den;
  83     int         i_last_incr;
  84     int         i_last_incr_diff;
  85
  86     bool  b_frame;
  87
  88     /* Current frame being built */
  89     block_t    *p_frame;
  90     block_t    **pp_last;
  91 };
  92
  93 static block_t *Packetize( decoder_t *, block_t ** );
  94
  95 static void PacketizeReset( void *p_private, bool b_broken );
  96 static block_t *PacketizeParse( void *p_private, bool *pb_ts_used, block_t * );
  97 static int PacketizeValidate( void *p_private, block_t * );
  98
  99 static block_t *ParseMPEGBlock( decoder_t *, block_t * );
 100 static int ParseVOL( decoder_t *, es_format_t *, uint8_t *, int );
 101 static int ParseVOP( decoder_t *, block_t * );
 102 static int vlc_log2( unsigned int );
 103
 104 #define VIDEO_OBJECT_MASK                       0x01f
 105 #define VIDEO_OBJECT_LAYER_MASK                 0x00f
 106
 107 #define VIDEO_OBJECT_START_CODE                 0x100
 108 #define VIDEO_OBJECT_LAYER_START_CODE           0x120
 109 #define VISUAL_OBJECT_SEQUENCE_START_CODE       0x1b0
 110 #define VISUAL_OBJECT_SEQUENCE_END_CODE         0x1b1
 111 #define USER_DATA_START_CODE                    0x1b2
 112 #define GROUP_OF_VOP_START_CODE                 0x1b3
 113 #define VIDEO_SESSION_ERROR_CODE                0x1b4
 114 #define VISUAL_OBJECT_START_CODE                0x1b5
 115 #define VOP_START_CODE                          0x1b6
 116 #define FACE_OBJECT_START_CODE                  0x1ba
 117 #define FACE_OBJECT_PLANE_START_CODE            0x1bb
 118 #define MESH_OBJECT_START_CODE                  0x1bc
 119 #define MESH_OBJECT_PLANE_START_CODE            0x1bd
 120 #define STILL_TEXTURE_OBJECT_START_CODE         0x1be
 121 #define TEXTURE_SPATIAL_LAYER_START_CODE        0x1bf
 122 #define TEXTURE_SNR_LAYER_START_CODE            0x1c0
 123
 124 static const uint8_t p_mp4v_startcode[3] = { 0x00, 0x00, 0x01 };
 125
 126 /*****************************************************************************
 127  * Open: probe the packetizer and return score
 128  *****************************************************************************/
 129 static int Open( vlc_object_t *p_this )
 130 {
 131     decoder_t     *p_dec = (decoder_t*)p_this;
 132     decoder_sys_t *p_sys;
 133
 134     switch( p_dec->fmt_in.i_codec )
 135     {
 136         case VLC_FOURCC( 'm', '4', 's', '2'):
 137         case VLC_FOURCC( 'M', '4', 'S', '2'):
 138         case VLC_FOURCC( 'm', 'p', '4', 's'):
 139         case VLC_FOURCC( 'M', 'P', '4', 'S'):
 140         case VLC_FOURCC( 'm', 'p', '4', 'v'):
 141         case VLC_FOURCC( 'M', 'P', '4', 'V'):
 142         case VLC_FOURCC( 'D', 'I', 'V', 'X'):
 143         case VLC_FOURCC( 'd', 'i', 'v', 'x'):
 144         case VLC_FOURCC( 'X', 'V', 'I', 'D'):
 145         case VLC_FOURCC( 'X', 'v', 'i', 'D'):
 146         case VLC_FOURCC( 'x', 'v', 'i', 'd'):
 147         case VLC_FOURCC( 'D', 'X', '5', '0'):
 148         case VLC_FOURCC( 'd', 'x', '5', '0'):
 149         case VLC_FOURCC( 0x04, 0,   0,   0):
 150         case VLC_FOURCC( '3', 'I', 'V', '2'):
 151         case VLC_FOURCC( 'm', '4', 'c', 'c'):
 152         case VLC_FOURCC( 'M', '4', 'C', 'C'):
 153             break;
 154
 155         default:
 156             return VLC_EGENERIC;
 157     }
 158
 159     /* Allocate the memory needed to store the decoder's structure */
 160     if( ( p_dec->p_sys = p_sys = malloc( sizeof(decoder_sys_t) ) ) == NULL )
 161         return VLC_ENOMEM;
 162     memset( p_sys, 0, sizeof(decoder_sys_t) );
 163
 164     /* Misc init */
 165     packetizer_Init( &p_sys->packetizer,
 166                      p_mp4v_startcode, sizeof(p_mp4v_startcode),
 167                      NULL, 0,
 168                      PacketizeReset, PacketizeParse, PacketizeValidate, p_dec );
 169
 170     p_sys->p_frame = NULL;
 171     p_sys->pp_last = &p_sys->p_frame;
 172
 173     /* Setup properties */
 174     es_format_Copy( &p_dec->fmt_out, &p_dec->fmt_in );
 175     p_dec->fmt_out.i_codec = VLC_FOURCC( 'm', 'p', '4', 'v' );
 176
 177     if( p_dec->fmt_in.i_extra )
 178     {
 179         /* We have a vol */
 180         p_dec->fmt_out.i_extra = p_dec->fmt_in.i_extra;
 181         p_dec->fmt_out.p_extra = malloc( p_dec->fmt_in.i_extra );
 182         memcpy( p_dec->fmt_out.p_extra, p_dec->fmt_in.p_extra,
 183                 p_dec->fmt_in.i_extra );
 184
 185         msg_Dbg( p_dec, "opening with vol size: %d", p_dec->fmt_in.i_extra );
 186         ParseVOL( p_dec, &p_dec->fmt_out,
 187                   p_dec->fmt_out.p_extra, p_dec->fmt_out.i_extra );
 188     }
 189     else
 190     {
 191         /* No vol, we'll have to look for one later on */
 192         p_dec->fmt_out.i_extra = 0;
 193         p_dec->fmt_out.p_extra = 0;
 194     }
 195
 196     /* Set callback */
 197     p_dec->pf_packetize = Packetize;
 198
 199     return VLC_SUCCESS;
 200 }
 201
 202 /*****************************************************************************
 203  * Close: clean up the packetizer
 204  *****************************************************************************/
 205 static void Close( vlc_object_t *p_this )
 206 {
 207     decoder_t *p_dec = (decoder_t*)p_this;
 208     decoder_sys_t *p_sys = p_dec->p_sys;
 209
 210     packetizer_Clean( &p_sys->packetizer );
 211     if( p_sys->p_frame )
 212         block_ChainRelease( p_sys->p_frame );
 213     free( p_sys );
 214 }
 215
 216 /****************************************************************************
 217  * Packetize: the whole thing
 218  ****************************************************************************/
 219 static block_t *Packetize( decoder_t *p_dec, block_t **pp_block )
 220 {
 221     decoder_sys_t *p_sys = p_dec->p_sys;
 222
 223     return packetizer_Packetize( &p_sys->packetizer, pp_block );
 224 }
 225
 226 /*****************************************************************************
 227  * Helpers:
 228  *****************************************************************************/
 229 static void PacketizeReset( void *p_private, bool b_broken )
 230 {
 231     decoder_t *p_dec = p_private;
 232     decoder_sys_t *p_sys = p_dec->p_sys;
 233
 234     if( b_broken )
 235     {
 236         if( p_sys->p_frame )
 237             block_ChainRelease( p_sys->p_frame );
 238         p_sys->p_frame = NULL;
 239         p_sys->pp_last = &p_sys->p_frame;
 240     }
 241
 242     p_sys->i_interpolated_pts =
 243     p_sys->i_interpolated_dts =
 244     p_sys->i_last_ref_pts =
 245     p_sys->i_last_time_ref =
 246     p_sys->i_time_ref =
 247     p_sys->i_last_time =
 248     p_sys->i_last_timeincr = 0;
 249 }
 250
 251 static block_t *PacketizeParse( void *p_private, bool *pb_ts_used, block_t *p_block )
 252 {
 253     decoder_t *p_dec = p_private;
 254     const mtime_t i_dts = p_block->i_dts;
 255     const mtime_t i_pts = p_block->i_pts;
 256
 257     block_t *p_au = ParseMPEGBlock( p_dec, p_block );
 258
 259     *pb_ts_used = p_au &&  p_au->i_dts == i_dts && p_au->i_pts == i_pts;
 260
 261     return p_au;
 262 }
 263
 264
 265 static int PacketizeValidate( void *p_private, block_t *p_au )
 266 {
 267     decoder_t *p_dec = p_private;
 268     decoder_sys_t *p_sys = p_dec->p_sys;
 269
 270     /* We've just started the stream, wait for the first PTS.
 271      * We discard here so we can still get the sequence header. */
 272     if( p_sys->i_interpolated_pts <= 0 &&
 273         p_sys->i_interpolated_dts <= 0 )
 274     {
 275         msg_Dbg( p_dec, "need a starting pts/dts" );
 276         return VLC_EGENERIC;
 277     }
 278
 279     /* When starting the stream we can have the first frame with
 280      * a null DTS (i_interpolated_pts is initialized to 0) */
 281     if( !p_au->i_dts )
 282         p_au->i_dts = p_au->i_pts;
 283     return VLC_SUCCESS;
 284 }
 285
 286 /*****************************************************************************
 287  * ParseMPEGBlock: Re-assemble fragments into a block containing a picture
 288  *****************************************************************************/
 289 static block_t *ParseMPEGBlock( decoder_t *p_dec, block_t *p_frag )
 290 {
 291     decoder_sys_t *p_sys = p_dec->p_sys;
 292     block_t *p_pic = NULL;
 293
 294     if( p_frag->p_buffer[3] == 0xB0 || p_frag->p_buffer[3] == 0xB1 || p_frag->p_buffer[3] == 0xB2 )
 295     {   /* VOS and USERDATA */
 296 #if 0
 297         /* Remove VOS start/end code from the original stream */
 298         block_Release( p_frag );
 299 #else
 300         /* Append the block for now since ts/ps muxers rely on VOL
 301          * being present in the stream */
 302         block_ChainLastAppend( &p_sys->pp_last, p_frag );
 303 #endif
 304         return NULL;
 305     }
 306     if( p_frag->p_buffer[3] >= 0x20 && p_frag->p_buffer[3] <= 0x2f )
 307     {
 308         /* Copy the complete VOL */
 309         if( (size_t)p_dec->fmt_out.i_extra != p_frag->i_buffer )
 310         {
 311             p_dec->fmt_out.p_extra =
 312                 realloc( p_dec->fmt_out.p_extra, p_frag->i_buffer );
 313             p_dec->fmt_out.i_extra = p_frag->i_buffer;
 314         }
 315         memcpy( p_dec->fmt_out.p_extra, p_frag->p_buffer, p_frag->i_buffer );
 316         ParseVOL( p_dec, &p_dec->fmt_out,
 317                   p_dec->fmt_out.p_extra, p_dec->fmt_out.i_extra );
 318
 319 #if 0
 320         /* Remove from the original stream */
 321         block_Release( p_frag );
 322 #else
 323         /* Append the block for now since ts/ps muxers rely on VOL
 324          * being present in the stream */
 325         block_ChainLastAppend( &p_sys->pp_last, p_frag );
 326 #endif
 327         return NULL;
 328     }
 329     else
 330     {
 331         if( !p_dec->fmt_out.i_extra )
 332         {
 333             msg_Warn( p_dec, "waiting for VOL" );
 334             block_Release( p_frag );
 335             return NULL;
 336         }
 337
 338         /* Append the block */
 339         block_ChainLastAppend( &p_sys->pp_last, p_frag );
 340     }
 341
 342     if( p_frag->p_buffer[3] == 0xb6 &&
 343         ParseVOP( p_dec, p_frag ) == VLC_SUCCESS )
 344     {
 345         /* We are dealing with a VOP */
 346         p_pic = block_ChainGather( p_sys->p_frame );
 347         p_pic->i_flags = p_sys->i_flags;
 348         p_pic->i_pts = p_sys->i_interpolated_pts;
 349         p_pic->i_dts = p_sys->i_interpolated_dts;
 350
 351         /* Reset context */
 352         p_sys->p_frame = NULL;
 353         p_sys->pp_last = &p_sys->p_frame;
 354     }
 355
 356     return p_pic;
 357 }
 358
 359 /* ParseVOL:
 360  *  TODO:
 361  *      - support aspect ratio
 362  */
 363 static int ParseVOL( decoder_t *p_dec, es_format_t *fmt,
 364                      uint8_t *p_vol, int i_vol )
 365 {
 366     decoder_sys_t *p_sys = p_dec->p_sys;
 367     int i_vo_type, i_vo_ver_id, i_ar, i_shape;
 368     bs_t s;
 369
 370     for( ;; )
 371     {
 372         if( p_vol[0] == 0x00 && p_vol[1] == 0x00 && p_vol[2] == 0x01 &&
 373             p_vol[3] >= 0x20 && p_vol[3] <= 0x2f ) break;
 374
 375         p_vol++; i_vol--;
 376         if( i_vol <= 4 ) return VLC_EGENERIC;
 377     }
 378
 379     bs_init( &s, &p_vol[4], i_vol - 4 );
 380
 381     bs_skip( &s, 1 );   /* random access */
 382     i_vo_type = bs_read( &s, 8 );
 383     if( bs_read1( &s ) )
 384     {
 385         i_vo_ver_id = bs_read( &s, 4 );
 386         bs_skip( &s, 3 );
 387     }
 388     else
 389     {
 390         i_vo_ver_id = 1;
 391     }
 392     i_ar = bs_read( &s, 4 );
 393     if( i_ar == 0xf )
 394     {
 395         int i_ar_width, i_ar_height;
 396
 397         i_ar_width = bs_read( &s, 8 );
 398         i_ar_height= bs_read( &s, 8 );
 399     }
 400     if( bs_read1( &s ) )
 401     {
 402         int i_chroma_format;
 403         int i_low_delay;
 404
 405         /* vol control parameter */
 406         i_chroma_format = bs_read( &s, 2 );
 407         i_low_delay = bs_read1( &s );
 408
 409         if( bs_read1( &s ) )
 410         {
 411             bs_skip( &s, 16 );
 412             bs_skip( &s, 16 );
 413             bs_skip( &s, 16 );
 414             bs_skip( &s, 3 );
 415             bs_skip( &s, 11 );
 416             bs_skip( &s, 1 );
 417             bs_skip( &s, 16 );
 418         }
 419     }
 420     /* shape 0->RECT, 1->BIN, 2->BIN_ONLY, 3->GRAY */
 421     i_shape = bs_read( &s, 2 );
 422     if( i_shape == 3 && i_vo_ver_id != 1 )
 423     {
 424         bs_skip( &s, 4 );
 425     }
 426
 427     if( !bs_read1( &s ) ) return VLC_EGENERIC; /* Marker */
 428
 429     p_sys->i_fps_num = bs_read( &s, 16 ); /* Time increment resolution*/
 430     if( !p_sys->i_fps_num ) p_sys->i_fps_num = 1;
 431
 432     if( !bs_read1( &s ) ) return VLC_EGENERIC; /* Marker */
 433
 434     if( bs_read1( &s ) )
 435     {
 436         int i_time_increment_bits = vlc_log2( p_sys->i_fps_num - 1 ) + 1;
 437
 438         if( i_time_increment_bits < 1 ) i_time_increment_bits = 1;
 439
 440         p_sys->i_fps_den = bs_read( &s, i_time_increment_bits );
 441     }
 442     if( i_shape == 0 )
 443     {
 444         bs_skip( &s, 1 );
 445         fmt->video.i_width = bs_read( &s, 13 );
 446         bs_skip( &s, 1 );
 447         fmt->video.i_height= bs_read( &s, 13 );
 448         bs_skip( &s, 1 );
 449     }
 450
 451     return VLC_SUCCESS;
 452 }
 453
 454 static int ParseVOP( decoder_t *p_dec, block_t *p_vop )
 455 {
 456     decoder_sys_t *p_sys = p_dec->p_sys;
 457     int64_t i_time_increment, i_time_ref;
 458     int i_modulo_time_base = 0, i_time_increment_bits;
 459     bs_t s;
 460
 461     bs_init( &s, &p_vop->p_buffer[4], p_vop->i_buffer - 4 );
 462
 463     switch( bs_read( &s, 2 ) )
 464     {
 465     case 0:
 466         p_sys->i_flags = BLOCK_FLAG_TYPE_I;
 467         break;
 468     case 1:
 469         p_sys->i_flags = BLOCK_FLAG_TYPE_P;
 470         break;
 471     case 2:
 472         p_sys->i_flags = BLOCK_FLAG_TYPE_B;
 473         p_sys->b_frame = true;
 474         break;
 475     case 3: /* gni ? */
 476         p_sys->i_flags = BLOCK_FLAG_TYPE_PB;
 477         break;
 478     }
 479
 480     while( bs_read( &s, 1 ) ) i_modulo_time_base++;
 481     if( !bs_read1( &s ) ) return VLC_EGENERIC; /* Marker */
 482
 483     /* VOP time increment */
 484     i_time_increment_bits = vlc_log2(p_dec->p_sys->i_fps_num - 1) + 1;
 485     if( i_time_increment_bits < 1 ) i_time_increment_bits = 1;
 486     i_time_increment = bs_read( &s, i_time_increment_bits );
 487
 488     /* Interpolate PTS/DTS */
 489     if( !(p_sys->i_flags & BLOCK_FLAG_TYPE_B) )
 490     {
 491         p_sys->i_last_time_ref = p_sys->i_time_ref;
 492         p_sys->i_time_ref +=
 493             (i_modulo_time_base * p_dec->p_sys->i_fps_num);
 494         i_time_ref = p_sys->i_time_ref;
 495     }
 496     else
 497     {
 498         i_time_ref = p_sys->i_last_time_ref +
 499             (i_modulo_time_base * p_dec->p_sys->i_fps_num);
 500     }
 501
 502 #if 0
 503     msg_Err( p_dec, "interp pts/dts (%lli,%lli), pts/dts (%lli,%lli)",
 504              p_sys->i_interpolated_pts, p_sys->i_interpolated_dts,
 505              p_vop->i_pts, p_vop->i_dts );
 506 #endif
 507
 508     if( p_dec->p_sys->i_fps_num < 5 && /* Work-around buggy streams */
 509         p_dec->fmt_in.video.i_frame_rate > 0 &&
 510         p_dec->fmt_in.video.i_frame_rate_base > 0 )
 511     {
 512         p_sys->i_interpolated_pts += INT64_C(1000000) *
 513         p_dec->fmt_in.video.i_frame_rate_base /
 514         p_dec->fmt_in.video.i_frame_rate;
 515     }
 516     else if( p_dec->p_sys->i_fps_num )
 517         p_sys->i_interpolated_pts +=
 518             ( INT64_C(1000000) * (i_time_ref + i_time_increment -
 519               p_sys->i_last_time - p_sys->i_last_timeincr) /
 520               p_dec->p_sys->i_fps_num );
 521
 522     p_sys->i_last_time = i_time_ref;
 523     p_sys->i_last_timeincr = i_time_increment;
 524
 525     /* Correct interpolated dts when we receive a new pts/dts */
 526     if( p_vop->i_pts > 0 )
 527         p_sys->i_interpolated_pts = p_vop->i_pts;
 528     if( p_vop->i_dts > 0 )
 529         p_sys->i_interpolated_dts = p_vop->i_dts;
 530
 531     if( (p_sys->i_flags & BLOCK_FLAG_TYPE_B) || !p_sys->b_frame )
 532     {
 533         /* Trivial case (DTS == PTS) */
 534
 535         p_sys->i_interpolated_dts = p_sys->i_interpolated_pts;
 536
 537         if( p_vop->i_pts > 0 )
 538             p_sys->i_interpolated_dts = p_vop->i_pts;
 539         if( p_vop->i_dts > 0 )
 540             p_sys->i_interpolated_dts = p_vop->i_dts;
 541
 542         p_sys->i_interpolated_pts = p_sys->i_interpolated_dts;
 543     }
 544     else
 545     {
 546         if( p_sys->i_last_ref_pts > 0 )
 547             p_sys->i_interpolated_dts = p_sys->i_last_ref_pts;
 548
 549         p_sys->i_last_ref_pts = p_sys->i_interpolated_pts;
 550     }
 551
 552     return VLC_SUCCESS;
 553 }
 554
 555 /* look at ffmpeg av_log2 ;) */
 556 static int vlc_log2( unsigned int v )
 557 {
 558     int n = 0;
 559     static const int vlc_log2_table[16] =
 560     {
 561         0,0,1,1,2,2,2,2, 3,3,3,3,3,3,3,3
 562     };
 563
 564     if( v&0xffff0000 )
 565     {
 566         v >>= 16;
 567         n += 16;
 568     }
 569     if( v&0xff00 )
 570     {
 571         v >>= 8;
 572         n += 8;
 573     }
 574     if( v&0xf0 )
 575     {
 576         v >>= 4;
 577         n += 4;
 578     }
 579     n += vlc_log2_table[v];
 580
 581     return n;
 582 }