git.sesse.net Git - ffmpeg/blob - libavcodec/h264_parse.c

   1 /*
   2  * This file is part of FFmpeg.
   3  *
   4  * FFmpeg is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Lesser General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2.1 of the License, or (at your option) any later version.
   8  *
   9  * FFmpeg is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Lesser General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Lesser General Public
  15  * License along with FFmpeg; if not, write to the Free Software
  16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  17  */
  18
  19 #include "bytestream.h"
  20 #include "get_bits.h"
  21 #include "golomb.h"
  22 #include "h264.h"
  23 #include "h264_parse.h"
  24
  25 int ff_h264_pred_weight_table(GetBitContext *gb, const SPS *sps,
  26                               const int *ref_count, int slice_type_nos,
  27                               H264PredWeightTable *pwt, void *logctx)
  28 {
  29     int list, i, j;
  30     int luma_def, chroma_def;
  31
  32     pwt->use_weight             = 0;
  33     pwt->use_weight_chroma      = 0;
  34     pwt->luma_log2_weight_denom = get_ue_golomb(gb);
  35     if (sps->chroma_format_idc)
  36         pwt->chroma_log2_weight_denom = get_ue_golomb(gb);
  37
  38     if (pwt->luma_log2_weight_denom > 7U) {
  39         av_log(logctx, AV_LOG_ERROR, "luma_log2_weight_denom %d is out of range\n", pwt->luma_log2_weight_denom);
  40         pwt->luma_log2_weight_denom = 0;
  41     }
  42     if (pwt->chroma_log2_weight_denom > 7U) {
  43         av_log(logctx, AV_LOG_ERROR, "chroma_log2_weight_denom %d is out of range\n", pwt->chroma_log2_weight_denom);
  44         pwt->chroma_log2_weight_denom = 0;
  45     }
  46
  47     luma_def   = 1 << pwt->luma_log2_weight_denom;
  48     chroma_def = 1 << pwt->chroma_log2_weight_denom;
  49
  50     for (list = 0; list < 2; list++) {
  51         pwt->luma_weight_flag[list]   = 0;
  52         pwt->chroma_weight_flag[list] = 0;
  53         for (i = 0; i < ref_count[list]; i++) {
  54             int luma_weight_flag, chroma_weight_flag;
  55
  56             luma_weight_flag = get_bits1(gb);
  57             if (luma_weight_flag) {
  58                 pwt->luma_weight[i][list][0] = get_se_golomb(gb);
  59                 pwt->luma_weight[i][list][1] = get_se_golomb(gb);
  60                 if (pwt->luma_weight[i][list][0] != luma_def ||
  61                     pwt->luma_weight[i][list][1] != 0) {
  62                     pwt->use_weight             = 1;
  63                     pwt->luma_weight_flag[list] = 1;
  64                 }
  65             } else {
  66                 pwt->luma_weight[i][list][0] = luma_def;
  67                 pwt->luma_weight[i][list][1] = 0;
  68             }
  69
  70             if (sps->chroma_format_idc) {
  71                 chroma_weight_flag = get_bits1(gb);
  72                 if (chroma_weight_flag) {
  73                     int j;
  74                     for (j = 0; j < 2; j++) {
  75                         pwt->chroma_weight[i][list][j][0] = get_se_golomb(gb);
  76                         pwt->chroma_weight[i][list][j][1] = get_se_golomb(gb);
  77                         if (pwt->chroma_weight[i][list][j][0] != chroma_def ||
  78                             pwt->chroma_weight[i][list][j][1] != 0) {
  79                             pwt->use_weight_chroma        = 1;
  80                             pwt->chroma_weight_flag[list] = 1;
  81                         }
  82                     }
  83                 } else {
  84                     int j;
  85                     for (j = 0; j < 2; j++) {
  86                         pwt->chroma_weight[i][list][j][0] = chroma_def;
  87                         pwt->chroma_weight[i][list][j][1] = 0;
  88                     }
  89                 }
  90             }
  91
  92             // for MBAFF
  93             pwt->luma_weight[16 + 2 * i][list][0] = pwt->luma_weight[16 + 2 * i + 1][list][0] = pwt->luma_weight[i][list][0];
  94             pwt->luma_weight[16 + 2 * i][list][1] = pwt->luma_weight[16 + 2 * i + 1][list][1] = pwt->luma_weight[i][list][1];
  95             for (j = 0; j < 2; j++) {
  96                 pwt->chroma_weight[16 + 2 * i][list][j][0] = pwt->chroma_weight[16 + 2 * i + 1][list][j][0] = pwt->chroma_weight[i][list][j][0];
  97                 pwt->chroma_weight[16 + 2 * i][list][j][1] = pwt->chroma_weight[16 + 2 * i + 1][list][j][1] = pwt->chroma_weight[i][list][j][1];
  98             }
  99         }
 100         if (slice_type_nos != AV_PICTURE_TYPE_B)
 101             break;
 102     }
 103     pwt->use_weight = pwt->use_weight || pwt->use_weight_chroma;
 104     return 0;
 105 }
 106
 107 /**
 108  * Check if the top & left blocks are available if needed and
 109  * change the dc mode so it only uses the available blocks.
 110  */
 111 int ff_h264_check_intra4x4_pred_mode(int8_t *pred_mode_cache, void *logctx,
 112                                      int top_samples_available, int left_samples_available)
 113 {
 114     static const int8_t top[12] = {
 115         -1, 0, LEFT_DC_PRED, -1, -1, -1, -1, -1, 0
 116     };
 117     static const int8_t left[12] = {
 118         0, -1, TOP_DC_PRED, 0, -1, -1, -1, 0, -1, DC_128_PRED
 119     };
 120     int i;
 121
 122     if (!(top_samples_available & 0x8000)) {
 123         for (i = 0; i < 4; i++) {
 124             int status = top[pred_mode_cache[scan8[0] + i]];
 125             if (status < 0) {
 126                 av_log(logctx, AV_LOG_ERROR,
 127                        "top block unavailable for requested intra mode %d\n",
 128                        status);
 129                 return AVERROR_INVALIDDATA;
 130             } else if (status) {
 131                 pred_mode_cache[scan8[0] + i] = status;
 132             }
 133         }
 134     }
 135
 136     if ((left_samples_available & 0x8888) != 0x8888) {
 137         static const int mask[4] = { 0x8000, 0x2000, 0x80, 0x20 };
 138         for (i = 0; i < 4; i++)
 139             if (!(left_samples_available & mask[i])) {
 140                 int status = left[pred_mode_cache[scan8[0] + 8 * i]];
 141                 if (status < 0) {
 142                     av_log(logctx, AV_LOG_ERROR,
 143                            "left block unavailable for requested intra4x4 mode %d\n",
 144                            status);
 145                     return AVERROR_INVALIDDATA;
 146                 } else if (status) {
 147                     pred_mode_cache[scan8[0] + 8 * i] = status;
 148                 }
 149             }
 150     }
 151
 152     return 0;
 153 }
 154
 155 /**
 156  * Check if the top & left blocks are available if needed and
 157  * change the dc mode so it only uses the available blocks.
 158  */
 159 int ff_h264_check_intra_pred_mode(void *logctx, int top_samples_available,
 160                                   int left_samples_available,
 161                                   int mode, int is_chroma)
 162 {
 163     static const int8_t top[4]  = { LEFT_DC_PRED8x8, 1, -1, -1 };
 164     static const int8_t left[5] = { TOP_DC_PRED8x8, -1,  2, -1, DC_128_PRED8x8 };
 165
 166     if (mode > 3U) {
 167         av_log(logctx, AV_LOG_ERROR,
 168                "out of range intra chroma pred mode\n");
 169         return AVERROR_INVALIDDATA;
 170     }
 171
 172     if (!(top_samples_available & 0x8000)) {
 173         mode = top[mode];
 174         if (mode < 0) {
 175             av_log(logctx, AV_LOG_ERROR,
 176                    "top block unavailable for requested intra mode\n");
 177             return AVERROR_INVALIDDATA;
 178         }
 179     }
 180
 181     if ((left_samples_available & 0x8080) != 0x8080) {
 182         mode = left[mode];
 183         if (mode < 0) {
 184             av_log(logctx, AV_LOG_ERROR,
 185                    "left block unavailable for requested intra mode\n");
 186             return AVERROR_INVALIDDATA;
 187         }
 188         if (is_chroma && (left_samples_available & 0x8080)) {
 189             // mad cow disease mode, aka MBAFF + constrained_intra_pred
 190             mode = ALZHEIMER_DC_L0T_PRED8x8 +
 191                    (!(left_samples_available & 0x8000)) +
 192                    2 * (mode == DC_128_PRED8x8);
 193         }
 194     }
 195
 196     return mode;
 197 }
 198
 199 int ff_h264_parse_ref_count(int *plist_count, int ref_count[2],
 200                             GetBitContext *gb, const PPS *pps,
 201                             int slice_type_nos, int picture_structure, void *logctx)
 202 {
 203     int list_count;
 204     int num_ref_idx_active_override_flag;
 205
 206     // set defaults, might be overridden a few lines later
 207     ref_count[0] = pps->ref_count[0];
 208     ref_count[1] = pps->ref_count[1];
 209
 210     if (slice_type_nos != AV_PICTURE_TYPE_I) {
 211         unsigned max[2];
 212         max[0] = max[1] = picture_structure == PICT_FRAME ? 15 : 31;
 213
 214         num_ref_idx_active_override_flag = get_bits1(gb);
 215
 216         if (num_ref_idx_active_override_flag) {
 217             ref_count[0] = get_ue_golomb(gb) + 1;
 218             if (slice_type_nos == AV_PICTURE_TYPE_B) {
 219                 ref_count[1] = get_ue_golomb(gb) + 1;
 220             } else
 221                 // full range is spec-ok in this case, even for frames
 222                 ref_count[1] = 1;
 223         }
 224
 225         if (ref_count[0] - 1 > max[0] || ref_count[1] - 1 > max[1]) {
 226             av_log(logctx, AV_LOG_ERROR, "reference overflow %u > %u or %u > %u\n",
 227                    ref_count[0] - 1, max[0], ref_count[1] - 1, max[1]);
 228             ref_count[0] = ref_count[1] = 0;
 229             *plist_count = 0;
 230             goto fail;
 231         }
 232
 233         if (slice_type_nos == AV_PICTURE_TYPE_B)
 234             list_count = 2;
 235         else
 236             list_count = 1;
 237     } else {
 238         list_count   = 0;
 239         ref_count[0] = ref_count[1] = 0;
 240     }
 241
 242     *plist_count = list_count;
 243
 244     return 0;
 245 fail:
 246     *plist_count = 0;
 247     ref_count[0] = 0;
 248     ref_count[1] = 0;
 249     return AVERROR_INVALIDDATA;
 250 }
 251
 252 int ff_h264_init_poc(int pic_field_poc[2], int *pic_poc,
 253                      const SPS *sps, H264POCContext *pc,
 254                      int picture_structure, int nal_ref_idc)
 255 {
 256     const int max_frame_num = 1 << sps->log2_max_frame_num;
 257     int field_poc[2];
 258
 259     pc->frame_num_offset = pc->prev_frame_num_offset;
 260     if (pc->frame_num < pc->prev_frame_num)
 261         pc->frame_num_offset += max_frame_num;
 262
 263     if (sps->poc_type == 0) {
 264         const int max_poc_lsb = 1 << sps->log2_max_poc_lsb;
 265
 266         if (pc->poc_lsb < pc->prev_poc_lsb &&
 267             pc->prev_poc_lsb - pc->poc_lsb >= max_poc_lsb / 2)
 268             pc->poc_msb = pc->prev_poc_msb + max_poc_lsb;
 269         else if (pc->poc_lsb > pc->prev_poc_lsb &&
 270                  pc->prev_poc_lsb - pc->poc_lsb < -max_poc_lsb / 2)
 271             pc->poc_msb = pc->prev_poc_msb - max_poc_lsb;
 272         else
 273             pc->poc_msb = pc->prev_poc_msb;
 274         field_poc[0] =
 275         field_poc[1] = pc->poc_msb + pc->poc_lsb;
 276         if (picture_structure == PICT_FRAME)
 277             field_poc[1] += pc->delta_poc_bottom;
 278     } else if (sps->poc_type == 1) {
 279         int abs_frame_num, expected_delta_per_poc_cycle, expectedpoc;
 280         int i;
 281
 282         if (sps->poc_cycle_length != 0)
 283             abs_frame_num = pc->frame_num_offset + pc->frame_num;
 284         else
 285             abs_frame_num = 0;
 286
 287         if (nal_ref_idc == 0 && abs_frame_num > 0)
 288             abs_frame_num--;
 289
 290         expected_delta_per_poc_cycle = 0;
 291         for (i = 0; i < sps->poc_cycle_length; i++)
 292             // FIXME integrate during sps parse
 293             expected_delta_per_poc_cycle += sps->offset_for_ref_frame[i];
 294
 295         if (abs_frame_num > 0) {
 296             int poc_cycle_cnt          = (abs_frame_num - 1) / sps->poc_cycle_length;
 297             int frame_num_in_poc_cycle = (abs_frame_num - 1) % sps->poc_cycle_length;
 298
 299             expectedpoc = poc_cycle_cnt * expected_delta_per_poc_cycle;
 300             for (i = 0; i <= frame_num_in_poc_cycle; i++)
 301                 expectedpoc = expectedpoc + sps->offset_for_ref_frame[i];
 302         } else
 303             expectedpoc = 0;
 304
 305         if (nal_ref_idc == 0)
 306             expectedpoc = expectedpoc + sps->offset_for_non_ref_pic;
 307
 308         field_poc[0] = expectedpoc + pc->delta_poc[0];
 309         field_poc[1] = field_poc[0] + sps->offset_for_top_to_bottom_field;
 310
 311         if (picture_structure == PICT_FRAME)
 312             field_poc[1] += pc->delta_poc[1];
 313     } else {
 314         int poc = 2 * (pc->frame_num_offset + pc->frame_num);
 315
 316         if (!nal_ref_idc)
 317             poc--;
 318
 319         field_poc[0] = poc;
 320         field_poc[1] = poc;
 321     }
 322
 323     if (picture_structure != PICT_BOTTOM_FIELD)
 324         pic_field_poc[0] = field_poc[0];
 325     if (picture_structure != PICT_TOP_FIELD)
 326         pic_field_poc[1] = field_poc[1];
 327     *pic_poc = FFMIN(pic_field_poc[0], pic_field_poc[1]);
 328
 329     return 0;
 330 }
 331
 332 static int decode_extradata_ps(const uint8_t *data, int size, H264ParamSets *ps,
 333                                int is_avc, void *logctx)
 334 {
 335     H2645Packet pkt = { 0 };
 336     int i, ret = 0;
 337
 338     ret = ff_h2645_packet_split(&pkt, data, size, logctx, is_avc, 2, AV_CODEC_ID_H264);
 339     if (ret < 0) {
 340         ret = 0;
 341         goto fail;
 342     }
 343
 344     for (i = 0; i < pkt.nb_nals; i++) {
 345         H2645NAL *nal = &pkt.nals[i];
 346         switch (nal->type) {
 347         case NAL_SPS:
 348             ret = ff_h264_decode_seq_parameter_set(&nal->gb, logctx, ps, 0);
 349             if (ret < 0)
 350                 goto fail;
 351             break;
 352         case NAL_PPS:
 353             ret = ff_h264_decode_picture_parameter_set(&nal->gb, logctx, ps,
 354                                                        nal->size_bits);
 355             if (ret < 0)
 356                 goto fail;
 357             break;
 358         default:
 359             av_log(logctx, AV_LOG_VERBOSE, "Ignoring NAL type %d in extradata\n",
 360                    nal->type);
 361             break;
 362         }
 363     }
 364
 365 fail:
 366     ff_h2645_packet_uninit(&pkt);
 367     return ret;
 368 }
 369
 370 /* There are (invalid) samples in the wild with mp4-style extradata, where the
 371  * parameter sets are stored unescaped (i.e. as RBSP).
 372  * This function catches the parameter set decoding failure and tries again
 373  * after escaping it */
 374 static int decode_extradata_ps_mp4(const uint8_t *buf, int buf_size, H264ParamSets *ps,
 375                                    int err_recognition, void *logctx)
 376 {
 377     int ret;
 378
 379     ret = decode_extradata_ps(buf, buf_size, ps, 1, logctx);
 380     if (ret < 0 && !(err_recognition & AV_EF_EXPLODE)) {
 381         GetByteContext gbc;
 382         PutByteContext pbc;
 383         uint8_t *escaped_buf;
 384         int escaped_buf_size;
 385
 386         av_log(logctx, AV_LOG_WARNING,
 387                "SPS decoding failure, trying again after escaping the NAL\n");
 388
 389         if (buf_size / 2 >= (INT16_MAX - AV_INPUT_BUFFER_PADDING_SIZE) / 3)
 390             return AVERROR(ERANGE);
 391         escaped_buf_size = buf_size * 3 / 2 + AV_INPUT_BUFFER_PADDING_SIZE;
 392         escaped_buf = av_mallocz(escaped_buf_size);
 393         if (!escaped_buf)
 394             return AVERROR(ENOMEM);
 395
 396         bytestream2_init(&gbc, buf, buf_size);
 397         bytestream2_init_writer(&pbc, escaped_buf, escaped_buf_size);
 398
 399         while (bytestream2_get_bytes_left(&gbc)) {
 400             if (bytestream2_get_bytes_left(&gbc) >= 3 &&
 401                 bytestream2_peek_be24(&gbc) <= 3) {
 402                 bytestream2_put_be24(&pbc, 3);
 403                 bytestream2_skip(&gbc, 2);
 404             } else
 405                 bytestream2_put_byte(&pbc, bytestream2_get_byte(&gbc));
 406         }
 407
 408         escaped_buf_size = bytestream2_tell_p(&pbc);
 409         AV_WB16(escaped_buf, escaped_buf_size - 2);
 410
 411         ret = decode_extradata_ps(escaped_buf, escaped_buf_size, ps, 1, logctx);
 412         av_freep(&escaped_buf);
 413         if (ret < 0)
 414             return ret;
 415     }
 416
 417     return 0;
 418 }
 419
 420 int ff_h264_decode_extradata(const uint8_t *data, int size, H264ParamSets *ps,
 421                              int *is_avc, int *nal_length_size,
 422                              int err_recognition, void *logctx)
 423 {
 424     int ret;
 425
 426     if (!data || size <= 0)
 427         return -1;
 428
 429     if (data[0] == 1) {
 430         int i, cnt, nalsize;
 431         const uint8_t *p = data;
 432
 433         *is_avc = 1;
 434
 435         if (size < 7) {
 436             av_log(logctx, AV_LOG_ERROR, "avcC %d too short\n", size);
 437             return AVERROR_INVALIDDATA;
 438         }
 439
 440         // Decode sps from avcC
 441         cnt = *(p + 5) & 0x1f; // Number of sps
 442         p  += 6;
 443         for (i = 0; i < cnt; i++) {
 444             nalsize = AV_RB16(p) + 2;
 445             if (nalsize > size - (p - data))
 446                 return AVERROR_INVALIDDATA;
 447             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
 448             if (ret < 0) {
 449                 av_log(logctx, AV_LOG_ERROR,
 450                        "Decoding sps %d from avcC failed\n", i);
 451                 return ret;
 452             }
 453             p += nalsize;
 454         }
 455         // Decode pps from avcC
 456         cnt = *(p++); // Number of pps
 457         for (i = 0; i < cnt; i++) {
 458             nalsize = AV_RB16(p) + 2;
 459             if (nalsize > size - (p - data))
 460                 return AVERROR_INVALIDDATA;
 461             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
 462             if (ret < 0) {
 463                 av_log(logctx, AV_LOG_ERROR,
 464                        "Decoding pps %d from avcC failed\n", i);
 465                 return ret;
 466             }
 467             p += nalsize;
 468         }
 469         // Store right nal length size that will be used to parse all other nals
 470         *nal_length_size = (data[4] & 0x03) + 1;
 471     } else {
 472         *is_avc = 0;
 473         ret = decode_extradata_ps(data, size, ps, 0, logctx);
 474         if (ret < 0)
 475             return ret;
 476     }
 477     return size;
 478 }
 479
 480 /**
 481  * Compute profile from profile_idc and constraint_set?_flags.
 482  *
 483  * @param sps SPS
 484  *
 485  * @return profile as defined by FF_PROFILE_H264_*
 486  */
 487 int ff_h264_get_profile(const SPS *sps)
 488 {
 489     int profile = sps->profile_idc;
 490
 491     switch (sps->profile_idc) {
 492     case FF_PROFILE_H264_BASELINE:
 493         // constraint_set1_flag set to 1
 494         profile |= (sps->constraint_set_flags & 1 << 1) ? FF_PROFILE_H264_CONSTRAINED : 0;
 495         break;
 496     case FF_PROFILE_H264_HIGH_10:
 497     case FF_PROFILE_H264_HIGH_422:
 498     case FF_PROFILE_H264_HIGH_444_PREDICTIVE:
 499         // constraint_set3_flag set to 1
 500         profile |= (sps->constraint_set_flags & 1 << 3) ? FF_PROFILE_H264_INTRA : 0;
 501         break;
 502     }
 503
 504     return profile;
 505 }