git.sesse.net Git - ffmpeg/blob - libavcodec/h264_parse.c

   1 /*
   2  * This file is part of Libav.
   3  *
   4  * Libav is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Lesser General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2.1 of the License, or (at your option) any later version.
   8  *
   9  * Libav is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Lesser General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Lesser General Public
  15  * License along with Libav; if not, write to the Free Software
  16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  17  */
  18
  19 #include "bytestream.h"
  20 #include "get_bits.h"
  21 #include "golomb.h"
  22 #include "h264.h"
  23 #include "h264_parse.h"
  24
  25 int ff_h264_pred_weight_table(GetBitContext *gb, const SPS *sps,
  26                               const int *ref_count, int slice_type_nos,
  27                               H264PredWeightTable *pwt)
  28 {
  29     int list, i, j;
  30     int luma_def, chroma_def;
  31
  32     pwt->use_weight             = 0;
  33     pwt->use_weight_chroma      = 0;
  34     pwt->luma_log2_weight_denom = get_ue_golomb(gb);
  35     if (sps->chroma_format_idc)
  36         pwt->chroma_log2_weight_denom = get_ue_golomb(gb);
  37     luma_def   = 1 << pwt->luma_log2_weight_denom;
  38     chroma_def = 1 << pwt->chroma_log2_weight_denom;
  39
  40     for (list = 0; list < 2; list++) {
  41         pwt->luma_weight_flag[list]   = 0;
  42         pwt->chroma_weight_flag[list] = 0;
  43         for (i = 0; i < ref_count[list]; i++) {
  44             int luma_weight_flag, chroma_weight_flag;
  45
  46             luma_weight_flag = get_bits1(gb);
  47             if (luma_weight_flag) {
  48                 pwt->luma_weight[i][list][0] = get_se_golomb(gb);
  49                 pwt->luma_weight[i][list][1] = get_se_golomb(gb);
  50                 if (pwt->luma_weight[i][list][0] != luma_def ||
  51                     pwt->luma_weight[i][list][1] != 0) {
  52                     pwt->use_weight             = 1;
  53                     pwt->luma_weight_flag[list] = 1;
  54                 }
  55             } else {
  56                 pwt->luma_weight[i][list][0] = luma_def;
  57                 pwt->luma_weight[i][list][1] = 0;
  58             }
  59
  60             if (sps->chroma_format_idc) {
  61                 chroma_weight_flag = get_bits1(gb);
  62                 if (chroma_weight_flag) {
  63                     int j;
  64                     for (j = 0; j < 2; j++) {
  65                         pwt->chroma_weight[i][list][j][0] = get_se_golomb(gb);
  66                         pwt->chroma_weight[i][list][j][1] = get_se_golomb(gb);
  67                         if (pwt->chroma_weight[i][list][j][0] != chroma_def ||
  68                             pwt->chroma_weight[i][list][j][1] != 0) {
  69                             pwt->use_weight_chroma        = 1;
  70                             pwt->chroma_weight_flag[list] = 1;
  71                         }
  72                     }
  73                 } else {
  74                     int j;
  75                     for (j = 0; j < 2; j++) {
  76                         pwt->chroma_weight[i][list][j][0] = chroma_def;
  77                         pwt->chroma_weight[i][list][j][1] = 0;
  78                     }
  79                 }
  80             }
  81
  82             // for MBAFF
  83             pwt->luma_weight[16 + 2 * i][list][0] = pwt->luma_weight[16 + 2 * i + 1][list][0] = pwt->luma_weight[i][list][0];
  84             pwt->luma_weight[16 + 2 * i][list][1] = pwt->luma_weight[16 + 2 * i + 1][list][1] = pwt->luma_weight[i][list][1];
  85             for (j = 0; j < 2; j++) {
  86                 pwt->chroma_weight[16 + 2 * i][list][j][0] = pwt->chroma_weight[16 + 2 * i + 1][list][j][0] = pwt->chroma_weight[i][list][j][0];
  87                 pwt->chroma_weight[16 + 2 * i][list][j][1] = pwt->chroma_weight[16 + 2 * i + 1][list][j][1] = pwt->chroma_weight[i][list][j][1];
  88             }
  89         }
  90         if (slice_type_nos != AV_PICTURE_TYPE_B)
  91             break;
  92     }
  93     pwt->use_weight = pwt->use_weight || pwt->use_weight_chroma;
  94     return 0;
  95 }
  96
  97 /**
  98  * Check if the top & left blocks are available if needed and
  99  * change the dc mode so it only uses the available blocks.
 100  */
 101 int ff_h264_check_intra4x4_pred_mode(int8_t *pred_mode_cache, void *logctx,
 102                                      int top_samples_available, int left_samples_available)
 103 {
 104     static const int8_t top[12] = {
 105         -1, 0, LEFT_DC_PRED, -1, -1, -1, -1, -1, 0
 106     };
 107     static const int8_t left[12] = {
 108         0, -1, TOP_DC_PRED, 0, -1, -1, -1, 0, -1, DC_128_PRED
 109     };
 110     int i;
 111
 112     if (!(top_samples_available & 0x8000)) {
 113         for (i = 0; i < 4; i++) {
 114             int status = top[pred_mode_cache[scan8[0] + i]];
 115             if (status < 0) {
 116                 av_log(logctx, AV_LOG_ERROR,
 117                        "top block unavailable for requested intra4x4 mode %d\n",
 118                        status);
 119                 return AVERROR_INVALIDDATA;
 120             } else if (status) {
 121                 pred_mode_cache[scan8[0] + i] = status;
 122             }
 123         }
 124     }
 125
 126     if ((left_samples_available & 0x8888) != 0x8888) {
 127         static const int mask[4] = { 0x8000, 0x2000, 0x80, 0x20 };
 128         for (i = 0; i < 4; i++)
 129             if (!(left_samples_available & mask[i])) {
 130                 int status = left[pred_mode_cache[scan8[0] + 8 * i]];
 131                 if (status < 0) {
 132                     av_log(logctx, AV_LOG_ERROR,
 133                            "left block unavailable for requested intra4x4 mode %d\n",
 134                            status);
 135                     return AVERROR_INVALIDDATA;
 136                 } else if (status) {
 137                     pred_mode_cache[scan8[0] + 8 * i] = status;
 138                 }
 139             }
 140     }
 141
 142     return 0;
 143 }
 144
 145 /**
 146  * Check if the top & left blocks are available if needed and
 147  * change the dc mode so it only uses the available blocks.
 148  */
 149 int ff_h264_check_intra_pred_mode(void *logctx, int top_samples_available,
 150                                   int left_samples_available,
 151                                   int mode, int is_chroma)
 152 {
 153     static const int8_t top[4]  = { LEFT_DC_PRED8x8, 1, -1, -1 };
 154     static const int8_t left[5] = { TOP_DC_PRED8x8, -1,  2, -1, DC_128_PRED8x8 };
 155
 156     if (mode > 3U) {
 157         av_log(logctx, AV_LOG_ERROR,
 158                "out of range intra chroma pred mode\n");
 159         return AVERROR_INVALIDDATA;
 160     }
 161
 162     if (!(top_samples_available & 0x8000)) {
 163         mode = top[mode];
 164         if (mode < 0) {
 165             av_log(logctx, AV_LOG_ERROR,
 166                    "top block unavailable for requested intra mode\n");
 167             return AVERROR_INVALIDDATA;
 168         }
 169     }
 170
 171     if ((left_samples_available & 0x8080) != 0x8080) {
 172         mode = left[mode];
 173         if (is_chroma && (left_samples_available & 0x8080)) {
 174             // mad cow disease mode, aka MBAFF + constrained_intra_pred
 175             mode = ALZHEIMER_DC_L0T_PRED8x8 +
 176                    (!(left_samples_available & 0x8000)) +
 177                    2 * (mode == DC_128_PRED8x8);
 178         }
 179         if (mode < 0) {
 180             av_log(logctx, AV_LOG_ERROR,
 181                    "left block unavailable for requested intra mode\n");
 182             return AVERROR_INVALIDDATA;
 183         }
 184     }
 185
 186     return mode;
 187 }
 188
 189 int ff_h264_parse_ref_count(int *plist_count, int ref_count[2],
 190                             GetBitContext *gb, const PPS *pps,
 191                             int slice_type_nos, int picture_structure)
 192 {
 193     int list_count;
 194     int num_ref_idx_active_override_flag, max_refs;
 195
 196     // set defaults, might be overridden a few lines later
 197     ref_count[0] = pps->ref_count[0];
 198     ref_count[1] = pps->ref_count[1];
 199
 200     if (slice_type_nos != AV_PICTURE_TYPE_I) {
 201         num_ref_idx_active_override_flag = get_bits1(gb);
 202
 203         if (num_ref_idx_active_override_flag) {
 204             ref_count[0] = get_ue_golomb(gb) + 1;
 205             if (ref_count[0] < 1)
 206                 goto fail;
 207             if (slice_type_nos == AV_PICTURE_TYPE_B) {
 208                 ref_count[1] = get_ue_golomb(gb) + 1;
 209                 if (ref_count[1] < 1)
 210                     goto fail;
 211             }
 212         }
 213
 214         if (slice_type_nos == AV_PICTURE_TYPE_B)
 215             list_count = 2;
 216         else
 217             list_count = 1;
 218     } else {
 219         list_count   = 0;
 220         ref_count[0] = ref_count[1] = 0;
 221     }
 222
 223     max_refs = picture_structure == PICT_FRAME ? 16 : 32;
 224
 225     if (ref_count[0] > max_refs || ref_count[1] > max_refs)
 226         goto fail;
 227
 228     *plist_count = list_count;
 229
 230     return 0;
 231 fail:
 232     *plist_count = 0;
 233     ref_count[0] = 0;
 234     ref_count[1] = 0;
 235     return AVERROR_INVALIDDATA;
 236 }
 237
 238 int ff_h264_init_poc(int pic_field_poc[2], int *pic_poc,
 239                      const SPS *sps, H264POCContext *pc,
 240                      int picture_structure, int nal_ref_idc)
 241 {
 242     const int max_frame_num = 1 << sps->log2_max_frame_num;
 243     int field_poc[2];
 244
 245     pc->frame_num_offset = pc->prev_frame_num_offset;
 246     if (pc->frame_num < pc->prev_frame_num)
 247         pc->frame_num_offset += max_frame_num;
 248
 249     if (sps->poc_type == 0) {
 250         const int max_poc_lsb = 1 << sps->log2_max_poc_lsb;
 251
 252         if (pc->poc_lsb < pc->prev_poc_lsb &&
 253             pc->prev_poc_lsb - pc->poc_lsb >= max_poc_lsb / 2)
 254             pc->poc_msb = pc->prev_poc_msb + max_poc_lsb;
 255         else if (pc->poc_lsb > pc->prev_poc_lsb &&
 256                  pc->prev_poc_lsb - pc->poc_lsb < -max_poc_lsb / 2)
 257             pc->poc_msb = pc->prev_poc_msb - max_poc_lsb;
 258         else
 259             pc->poc_msb = pc->prev_poc_msb;
 260         field_poc[0] =
 261         field_poc[1] = pc->poc_msb + pc->poc_lsb;
 262         if (picture_structure == PICT_FRAME)
 263             field_poc[1] += pc->delta_poc_bottom;
 264     } else if (sps->poc_type == 1) {
 265         int abs_frame_num, expected_delta_per_poc_cycle, expectedpoc;
 266         int i;
 267
 268         if (sps->poc_cycle_length != 0)
 269             abs_frame_num = pc->frame_num_offset + pc->frame_num;
 270         else
 271             abs_frame_num = 0;
 272
 273         if (nal_ref_idc == 0 && abs_frame_num > 0)
 274             abs_frame_num--;
 275
 276         expected_delta_per_poc_cycle = 0;
 277         for (i = 0; i < sps->poc_cycle_length; i++)
 278             // FIXME integrate during sps parse
 279             expected_delta_per_poc_cycle += sps->offset_for_ref_frame[i];
 280
 281         if (abs_frame_num > 0) {
 282             int poc_cycle_cnt          = (abs_frame_num - 1) / sps->poc_cycle_length;
 283             int frame_num_in_poc_cycle = (abs_frame_num - 1) % sps->poc_cycle_length;
 284
 285             expectedpoc = poc_cycle_cnt * expected_delta_per_poc_cycle;
 286             for (i = 0; i <= frame_num_in_poc_cycle; i++)
 287                 expectedpoc = expectedpoc + sps->offset_for_ref_frame[i];
 288         } else
 289             expectedpoc = 0;
 290
 291         if (nal_ref_idc == 0)
 292             expectedpoc = expectedpoc + sps->offset_for_non_ref_pic;
 293
 294         field_poc[0] = expectedpoc + pc->delta_poc[0];
 295         field_poc[1] = field_poc[0] + sps->offset_for_top_to_bottom_field;
 296
 297         if (picture_structure == PICT_FRAME)
 298             field_poc[1] += pc->delta_poc[1];
 299     } else {
 300         int poc = 2 * (pc->frame_num_offset + pc->frame_num);
 301
 302         if (!nal_ref_idc)
 303             poc--;
 304
 305         field_poc[0] = poc;
 306         field_poc[1] = poc;
 307     }
 308
 309     if (picture_structure != PICT_BOTTOM_FIELD)
 310         pic_field_poc[0] = field_poc[0];
 311     if (picture_structure != PICT_TOP_FIELD)
 312         pic_field_poc[1] = field_poc[1];
 313     *pic_poc = FFMIN(pic_field_poc[0], pic_field_poc[1]);
 314
 315     return 0;
 316 }
 317
 318 static int decode_extradata_ps(const uint8_t *data, int size, H264ParamSets *ps,
 319                                int is_avc, void *logctx)
 320 {
 321     H2645Packet pkt = { 0 };
 322     int i, ret = 0;
 323
 324     ret = ff_h2645_packet_split(&pkt, data, size, logctx, is_avc, 2, AV_CODEC_ID_H264);
 325     if (ret < 0)
 326         goto fail;
 327
 328     for (i = 0; i < pkt.nb_nals; i++) {
 329         H2645NAL *nal = &pkt.nals[i];
 330         switch (nal->type) {
 331         case NAL_SPS:
 332             ret = ff_h264_decode_seq_parameter_set(&nal->gb, logctx, ps);
 333             if (ret < 0)
 334                 goto fail;
 335             break;
 336         case NAL_PPS:
 337             ret = ff_h264_decode_picture_parameter_set(&nal->gb, logctx, ps,
 338                                                        nal->size_bits);
 339             if (ret < 0)
 340                 goto fail;
 341             break;
 342         default:
 343             av_log(logctx, AV_LOG_VERBOSE, "Ignoring NAL type %d in extradata\n",
 344                    nal->type);
 345             break;
 346         }
 347     }
 348
 349 fail:
 350     ff_h2645_packet_uninit(&pkt);
 351     return ret;
 352 }
 353
 354 /* There are (invalid) samples in the wild with mp4-style extradata, where the
 355  * parameter sets are stored unescaped (i.e. as RBSP).
 356  * This function catches the parameter set decoding failure and tries again
 357  * after escaping it */
 358 static int decode_extradata_ps_mp4(const uint8_t *buf, int buf_size, H264ParamSets *ps,
 359                                    int err_recognition, void *logctx)
 360 {
 361     int ret;
 362
 363     ret = decode_extradata_ps(buf, buf_size, ps, 1, logctx);
 364     if (ret < 0 && !(err_recognition & AV_EF_EXPLODE)) {
 365         GetByteContext gbc;
 366         PutByteContext pbc;
 367         uint8_t *escaped_buf;
 368         int escaped_buf_size;
 369
 370         av_log(logctx, AV_LOG_WARNING,
 371                "SPS decoding failure, trying again after escaping the NAL\n");
 372
 373         if (buf_size / 2 >= (INT16_MAX - AV_INPUT_BUFFER_PADDING_SIZE) / 3)
 374             return AVERROR(ERANGE);
 375         escaped_buf_size = buf_size * 3 / 2 + AV_INPUT_BUFFER_PADDING_SIZE;
 376         escaped_buf = av_mallocz(escaped_buf_size);
 377         if (!escaped_buf)
 378             return AVERROR(ENOMEM);
 379
 380         bytestream2_init(&gbc, buf, buf_size);
 381         bytestream2_init_writer(&pbc, escaped_buf, escaped_buf_size);
 382
 383         while (bytestream2_get_bytes_left(&gbc)) {
 384             if (bytestream2_get_bytes_left(&gbc) >= 3 &&
 385                 bytestream2_peek_be24(&gbc) <= 3) {
 386                 bytestream2_put_be24(&pbc, 3);
 387                 bytestream2_skip(&gbc, 2);
 388             } else
 389                 bytestream2_put_byte(&pbc, bytestream2_get_byte(&gbc));
 390         }
 391
 392         escaped_buf_size = bytestream2_tell_p(&pbc);
 393         AV_WB16(escaped_buf, escaped_buf_size - 2);
 394
 395         ret = decode_extradata_ps(escaped_buf, escaped_buf_size, ps, 1, logctx);
 396         av_freep(&escaped_buf);
 397         if (ret < 0)
 398             return ret;
 399     }
 400
 401     return 0;
 402 }
 403
 404 int ff_h264_decode_extradata(const uint8_t *data, int size, H264ParamSets *ps,
 405                              int *is_avc, int *nal_length_size,
 406                              int err_recognition, void *logctx)
 407 {
 408     int ret;
 409
 410     if (data[0] == 1) {
 411         int i, cnt, nalsize;
 412         const uint8_t *p = data;
 413
 414         *is_avc = 1;
 415
 416         if (size < 7) {
 417             av_log(logctx, AV_LOG_ERROR, "avcC %d too short\n", size);
 418             return AVERROR_INVALIDDATA;
 419         }
 420
 421         // Decode sps from avcC
 422         cnt = *(p + 5) & 0x1f; // Number of sps
 423         p  += 6;
 424         for (i = 0; i < cnt; i++) {
 425             nalsize = AV_RB16(p) + 2;
 426             if (p - data + nalsize > size)
 427                 return AVERROR_INVALIDDATA;
 428             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
 429             if (ret < 0) {
 430                 av_log(logctx, AV_LOG_ERROR,
 431                        "Decoding sps %d from avcC failed\n", i);
 432                 return ret;
 433             }
 434             p += nalsize;
 435         }
 436         // Decode pps from avcC
 437         cnt = *(p++); // Number of pps
 438         for (i = 0; i < cnt; i++) {
 439             nalsize = AV_RB16(p) + 2;
 440             if (p - data + nalsize > size)
 441                 return AVERROR_INVALIDDATA;
 442             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
 443             if (ret < 0) {
 444                 av_log(logctx, AV_LOG_ERROR,
 445                        "Decoding pps %d from avcC failed\n", i);
 446                 return ret;
 447             }
 448             p += nalsize;
 449         }
 450         // Store right nal length size that will be used to parse all other nals
 451         *nal_length_size = (data[4] & 0x03) + 1;
 452     } else {
 453         *is_avc = 0;
 454         ret = decode_extradata_ps(data, size, ps, 0, logctx);
 455         if (ret < 0)
 456             return ret;
 457     }
 458     return 0;
 459 }
 460
 461 /**
 462  * Compute profile from profile_idc and constraint_set?_flags.
 463  *
 464  * @param sps SPS
 465  *
 466  * @return profile as defined by FF_PROFILE_H264_*
 467  */
 468 int ff_h264_get_profile(const SPS *sps)
 469 {
 470     int profile = sps->profile_idc;
 471
 472     switch (sps->profile_idc) {
 473     case FF_PROFILE_H264_BASELINE:
 474         // constraint_set1_flag set to 1
 475         profile |= (sps->constraint_set_flags & 1 << 1) ? FF_PROFILE_H264_CONSTRAINED : 0;
 476         break;
 477     case FF_PROFILE_H264_HIGH_10:
 478     case FF_PROFILE_H264_HIGH_422:
 479     case FF_PROFILE_H264_HIGH_444_PREDICTIVE:
 480         // constraint_set3_flag set to 1
 481         profile |= (sps->constraint_set_flags & 1 << 3) ? FF_PROFILE_H264_INTRA : 0;
 482         break;
 483     }
 484
 485     return profile;
 486 }