git.sesse.net Git - vlc/blob - modules/codec/h264_nal.h

   1 /*****************************************************************************
   2  * Copyright © 2010-2011 VideoLAN
   3  *
   4  * Authors: Jean-Baptiste Kempf <jb@videolan.org>
   5  *
   6  * This program is free software; you can redistribute it and/or modify it
   7  * under the terms of the GNU Lesser General Public License as published by
   8  * the Free Software Foundation; either version 2.1 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  14  * GNU Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public License
  17  * along with this program; if not, write to the Free Software Foundation,
  18  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
  19  *****************************************************************************/
  20
  21 #include <limits.h>
  22
  23 /* Parse the SPS/PPS Metadata and convert it to annex b format */
  24 static int convert_sps_pps( decoder_t *p_dec, const uint8_t *p_buf,
  25                             uint32_t i_buf_size, uint8_t *p_out_buf,
  26                             uint32_t i_out_buf_size, uint32_t *p_sps_pps_size,
  27                             uint32_t *p_nal_size)
  28 {
  29     int i_profile;
  30     uint32_t i_data_size = i_buf_size, i_nal_size, i_sps_pps_size = 0;
  31     unsigned int i_loop_end;
  32
  33     /* */
  34     if( i_data_size < 7 )
  35     {
  36         msg_Err( p_dec, "Input Metadata too small" );
  37         return VLC_ENOMEM;
  38     }
  39
  40     /* Read infos in first 6 bytes */
  41     i_profile    = (p_buf[1] << 16) | (p_buf[2] << 8) | p_buf[3];
  42     if (p_nal_size)
  43         *p_nal_size  = (p_buf[4] & 0x03) + 1;
  44     p_buf       += 5;
  45     i_data_size -= 5;
  46
  47     for ( unsigned int j = 0; j < 2; j++ )
  48     {
  49         /* First time is SPS, Second is PPS */
  50         if( i_data_size < 1 )
  51         {
  52             msg_Err( p_dec, "PPS too small after processing SPS/PPS %u",
  53                     i_data_size );
  54             return VLC_ENOMEM;
  55         }
  56         i_loop_end = p_buf[0] & (j == 0 ? 0x1f : 0xff);
  57         p_buf++; i_data_size--;
  58
  59         for ( unsigned int i = 0; i < i_loop_end; i++)
  60         {
  61             if( i_data_size < 2 )
  62             {
  63                 msg_Err( p_dec, "SPS is too small %u", i_data_size );
  64                 return VLC_ENOMEM;
  65             }
  66
  67             i_nal_size = (p_buf[0] << 8) | p_buf[1];
  68             p_buf += 2;
  69             i_data_size -= 2;
  70
  71             if( i_data_size < i_nal_size )
  72             {
  73                 msg_Err( p_dec, "SPS size does not match NAL specified size %u",
  74                         i_data_size );
  75                 return VLC_ENOMEM;
  76             }
  77             if( i_sps_pps_size + 4 + i_nal_size > i_out_buf_size )
  78             {
  79                 msg_Err( p_dec, "Output SPS/PPS buffer too small" );
  80                 return VLC_ENOMEM;
  81             }
  82
  83             p_out_buf[i_sps_pps_size++] = 0;
  84             p_out_buf[i_sps_pps_size++] = 0;
  85             p_out_buf[i_sps_pps_size++] = 0;
  86             p_out_buf[i_sps_pps_size++] = 1;
  87
  88             memcpy( p_out_buf + i_sps_pps_size, p_buf, i_nal_size );
  89             i_sps_pps_size += i_nal_size;
  90
  91             p_buf += i_nal_size;
  92             i_data_size -= i_nal_size;
  93         }
  94     }
  95
  96     *p_sps_pps_size = i_sps_pps_size;
  97
  98     return VLC_SUCCESS;
  99 }
 100
 101 /* Convert H.264 NAL format to annex b in-place */
 102 static void convert_h264_to_annexb( uint8_t *p_buf, uint32_t i_len,
 103                                     size_t i_nal_size )
 104 {
 105     if( i_nal_size < 3 || i_nal_size > 4 )
 106         return;
 107
 108     /* This only works for NAL sizes 3-4 */
 109     while( i_len >= i_nal_size )
 110     {
 111         uint32_t nal_len = 0;
 112         for( unsigned int i = 0; i < i_nal_size; i++ ) {
 113             nal_len = (nal_len << 8) | p_buf[i];
 114             p_buf[i] = 0;
 115         }
 116         p_buf[i_nal_size - 1] = 1;
 117         if( nal_len > INT_MAX || nal_len > (unsigned int) i_len )
 118             break;
 119         p_buf += nal_len + i_nal_size;
 120         i_len -= nal_len + i_nal_size;
 121     }
 122 }