git.sesse.net Git - ffmpeg/blob - libavcodec/h264_parse.c

   1 /*
   2  * This file is part of FFmpeg.
   3  *
   4  * FFmpeg is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Lesser General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2.1 of the License, or (at your option) any later version.
   8  *
   9  * FFmpeg is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Lesser General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Lesser General Public
  15  * License along with FFmpeg; if not, write to the Free Software
  16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  17  */
  18
  19 #include "bytestream.h"
  20 #include "get_bits.h"
  21 #include "golomb.h"
  22 #include "h264.h"
  23 #include "h264dec.h"
  24 #include "h264_parse.h"
  25 #include "h264_ps.h"
  26
  27 int ff_h264_pred_weight_table(GetBitContext *gb, const SPS *sps,
  28                               const int *ref_count, int slice_type_nos,
  29                               H264PredWeightTable *pwt,
  30                               int picture_structure, void *logctx)
  31 {
  32     int list, i, j;
  33     int luma_def, chroma_def;
  34
  35     pwt->use_weight             = 0;
  36     pwt->use_weight_chroma      = 0;
  37
  38     pwt->luma_log2_weight_denom = get_ue_golomb(gb);
  39     if (pwt->luma_log2_weight_denom > 7U) {
  40         av_log(logctx, AV_LOG_ERROR, "luma_log2_weight_denom %d is out of range\n", pwt->luma_log2_weight_denom);
  41         pwt->luma_log2_weight_denom = 0;
  42     }
  43     luma_def = 1 << pwt->luma_log2_weight_denom;
  44
  45     if (sps->chroma_format_idc) {
  46         pwt->chroma_log2_weight_denom = get_ue_golomb(gb);
  47         if (pwt->chroma_log2_weight_denom > 7U) {
  48             av_log(logctx, AV_LOG_ERROR, "chroma_log2_weight_denom %d is out of range\n", pwt->chroma_log2_weight_denom);
  49             pwt->chroma_log2_weight_denom = 0;
  50         }
  51         chroma_def = 1 << pwt->chroma_log2_weight_denom;
  52     }
  53
  54     for (list = 0; list < 2; list++) {
  55         pwt->luma_weight_flag[list]   = 0;
  56         pwt->chroma_weight_flag[list] = 0;
  57         for (i = 0; i < ref_count[list]; i++) {
  58             int luma_weight_flag, chroma_weight_flag;
  59
  60             luma_weight_flag = get_bits1(gb);
  61             if (luma_weight_flag) {
  62                 pwt->luma_weight[i][list][0] = get_se_golomb(gb);
  63                 pwt->luma_weight[i][list][1] = get_se_golomb(gb);
  64                 if ((int8_t)pwt->luma_weight[i][list][0] != pwt->luma_weight[i][list][0] ||
  65                     (int8_t)pwt->luma_weight[i][list][1] != pwt->luma_weight[i][list][1])
  66                     goto out_range_weight;
  67                 if (pwt->luma_weight[i][list][0] != luma_def ||
  68                     pwt->luma_weight[i][list][1] != 0) {
  69                     pwt->use_weight             = 1;
  70                     pwt->luma_weight_flag[list] = 1;
  71                 }
  72             } else {
  73                 pwt->luma_weight[i][list][0] = luma_def;
  74                 pwt->luma_weight[i][list][1] = 0;
  75             }
  76
  77             if (sps->chroma_format_idc) {
  78                 chroma_weight_flag = get_bits1(gb);
  79                 if (chroma_weight_flag) {
  80                     int j;
  81                     for (j = 0; j < 2; j++) {
  82                         pwt->chroma_weight[i][list][j][0] = get_se_golomb(gb);
  83                         pwt->chroma_weight[i][list][j][1] = get_se_golomb(gb);
  84                         if ((int8_t)pwt->chroma_weight[i][list][j][0] != pwt->chroma_weight[i][list][j][0] ||
  85                             (int8_t)pwt->chroma_weight[i][list][j][1] != pwt->chroma_weight[i][list][j][1]) {
  86                             pwt->chroma_weight[i][list][j][0] = chroma_def;
  87                             pwt->chroma_weight[i][list][j][1] = 0;
  88                             goto out_range_weight;
  89                         }
  90                         if (pwt->chroma_weight[i][list][j][0] != chroma_def ||
  91                             pwt->chroma_weight[i][list][j][1] != 0) {
  92                             pwt->use_weight_chroma        = 1;
  93                             pwt->chroma_weight_flag[list] = 1;
  94                         }
  95                     }
  96                 } else {
  97                     int j;
  98                     for (j = 0; j < 2; j++) {
  99                         pwt->chroma_weight[i][list][j][0] = chroma_def;
 100                         pwt->chroma_weight[i][list][j][1] = 0;
 101                     }
 102                 }
 103             }
 104
 105             // for MBAFF
 106             if (picture_structure == PICT_FRAME) {
 107                 pwt->luma_weight[16 + 2 * i][list][0] = pwt->luma_weight[16 + 2 * i + 1][list][0] = pwt->luma_weight[i][list][0];
 108                 pwt->luma_weight[16 + 2 * i][list][1] = pwt->luma_weight[16 + 2 * i + 1][list][1] = pwt->luma_weight[i][list][1];
 109                 if (sps->chroma_format_idc) {
 110                     for (j = 0; j < 2; j++) {
 111                         pwt->chroma_weight[16 + 2 * i][list][j][0] = pwt->chroma_weight[16 + 2 * i + 1][list][j][0] = pwt->chroma_weight[i][list][j][0];
 112                         pwt->chroma_weight[16 + 2 * i][list][j][1] = pwt->chroma_weight[16 + 2 * i + 1][list][j][1] = pwt->chroma_weight[i][list][j][1];
 113                     }
 114                 }
 115             }
 116         }
 117         if (slice_type_nos != AV_PICTURE_TYPE_B)
 118             break;
 119     }
 120     pwt->use_weight = pwt->use_weight || pwt->use_weight_chroma;
 121     return 0;
 122 out_range_weight:
 123     avpriv_request_sample(logctx, "Out of range weight");
 124     return AVERROR_INVALIDDATA;
 125 }
 126
 127 /**
 128  * Check if the top & left blocks are available if needed and
 129  * change the dc mode so it only uses the available blocks.
 130  */
 131 int ff_h264_check_intra4x4_pred_mode(int8_t *pred_mode_cache, void *logctx,
 132                                      int top_samples_available, int left_samples_available)
 133 {
 134     static const int8_t top[12] = {
 135         -1, 0, LEFT_DC_PRED, -1, -1, -1, -1, -1, 0
 136     };
 137     static const int8_t left[12] = {
 138         0, -1, TOP_DC_PRED, 0, -1, -1, -1, 0, -1, DC_128_PRED
 139     };
 140     int i;
 141
 142     if (!(top_samples_available & 0x8000)) {
 143         for (i = 0; i < 4; i++) {
 144             int status = top[pred_mode_cache[scan8[0] + i]];
 145             if (status < 0) {
 146                 av_log(logctx, AV_LOG_ERROR,
 147                        "top block unavailable for requested intra mode %d\n",
 148                        status);
 149                 return AVERROR_INVALIDDATA;
 150             } else if (status) {
 151                 pred_mode_cache[scan8[0] + i] = status;
 152             }
 153         }
 154     }
 155
 156     if ((left_samples_available & 0x8888) != 0x8888) {
 157         static const int mask[4] = { 0x8000, 0x2000, 0x80, 0x20 };
 158         for (i = 0; i < 4; i++)
 159             if (!(left_samples_available & mask[i])) {
 160                 int status = left[pred_mode_cache[scan8[0] + 8 * i]];
 161                 if (status < 0) {
 162                     av_log(logctx, AV_LOG_ERROR,
 163                            "left block unavailable for requested intra4x4 mode %d\n",
 164                            status);
 165                     return AVERROR_INVALIDDATA;
 166                 } else if (status) {
 167                     pred_mode_cache[scan8[0] + 8 * i] = status;
 168                 }
 169             }
 170     }
 171
 172     return 0;
 173 }
 174
 175 /**
 176  * Check if the top & left blocks are available if needed and
 177  * change the dc mode so it only uses the available blocks.
 178  */
 179 int ff_h264_check_intra_pred_mode(void *logctx, int top_samples_available,
 180                                   int left_samples_available,
 181                                   int mode, int is_chroma)
 182 {
 183     static const int8_t top[4]  = { LEFT_DC_PRED8x8, 1, -1, -1 };
 184     static const int8_t left[5] = { TOP_DC_PRED8x8, -1,  2, -1, DC_128_PRED8x8 };
 185
 186     if (mode > 3U) {
 187         av_log(logctx, AV_LOG_ERROR,
 188                "out of range intra chroma pred mode\n");
 189         return AVERROR_INVALIDDATA;
 190     }
 191
 192     if (!(top_samples_available & 0x8000)) {
 193         mode = top[mode];
 194         if (mode < 0) {
 195             av_log(logctx, AV_LOG_ERROR,
 196                    "top block unavailable for requested intra mode\n");
 197             return AVERROR_INVALIDDATA;
 198         }
 199     }
 200
 201     if ((left_samples_available & 0x8080) != 0x8080) {
 202         mode = left[mode];
 203         if (mode < 0) {
 204             av_log(logctx, AV_LOG_ERROR,
 205                    "left block unavailable for requested intra mode\n");
 206             return AVERROR_INVALIDDATA;
 207         }
 208         if (is_chroma && (left_samples_available & 0x8080)) {
 209             // mad cow disease mode, aka MBAFF + constrained_intra_pred
 210             mode = ALZHEIMER_DC_L0T_PRED8x8 +
 211                    (!(left_samples_available & 0x8000)) +
 212                    2 * (mode == DC_128_PRED8x8);
 213         }
 214     }
 215
 216     return mode;
 217 }
 218
 219 int ff_h264_parse_ref_count(int *plist_count, int ref_count[2],
 220                             GetBitContext *gb, const PPS *pps,
 221                             int slice_type_nos, int picture_structure, void *logctx)
 222 {
 223     int list_count;
 224     int num_ref_idx_active_override_flag;
 225
 226     // set defaults, might be overridden a few lines later
 227     ref_count[0] = pps->ref_count[0];
 228     ref_count[1] = pps->ref_count[1];
 229
 230     if (slice_type_nos != AV_PICTURE_TYPE_I) {
 231         unsigned max[2];
 232         max[0] = max[1] = picture_structure == PICT_FRAME ? 15 : 31;
 233
 234         num_ref_idx_active_override_flag = get_bits1(gb);
 235
 236         if (num_ref_idx_active_override_flag) {
 237             ref_count[0] = get_ue_golomb(gb) + 1;
 238             if (slice_type_nos == AV_PICTURE_TYPE_B) {
 239                 ref_count[1] = get_ue_golomb(gb) + 1;
 240             } else
 241                 // full range is spec-ok in this case, even for frames
 242                 ref_count[1] = 1;
 243         }
 244
 245         if (slice_type_nos == AV_PICTURE_TYPE_B)
 246             list_count = 2;
 247         else
 248             list_count = 1;
 249
 250         if (ref_count[0] - 1 > max[0] || (list_count == 2 && (ref_count[1] - 1 > max[1]))) {
 251             av_log(logctx, AV_LOG_ERROR, "reference overflow %u > %u or %u > %u\n",
 252                    ref_count[0] - 1, max[0], ref_count[1] - 1, max[1]);
 253             ref_count[0] = ref_count[1] = 0;
 254             *plist_count = 0;
 255             goto fail;
 256         } else if (ref_count[1] - 1 > max[1]) {
 257             av_log(logctx, AV_LOG_DEBUG, "reference overflow %u > %u \n",
 258                    ref_count[1] - 1, max[1]);
 259             ref_count[1] = 0;
 260         }
 261
 262     } else {
 263         list_count   = 0;
 264         ref_count[0] = ref_count[1] = 0;
 265     }
 266
 267     *plist_count = list_count;
 268
 269     return 0;
 270 fail:
 271     *plist_count = 0;
 272     ref_count[0] = 0;
 273     ref_count[1] = 0;
 274     return AVERROR_INVALIDDATA;
 275 }
 276
 277 int ff_h264_init_poc(int pic_field_poc[2], int *pic_poc,
 278                      const SPS *sps, H264POCContext *pc,
 279                      int picture_structure, int nal_ref_idc)
 280 {
 281     const int max_frame_num = 1 << sps->log2_max_frame_num;
 282     int64_t field_poc[2];
 283
 284     pc->frame_num_offset = pc->prev_frame_num_offset;
 285     if (pc->frame_num < pc->prev_frame_num)
 286         pc->frame_num_offset += max_frame_num;
 287
 288     if (sps->poc_type == 0) {
 289         const int max_poc_lsb = 1 << sps->log2_max_poc_lsb;
 290
 291         if (pc->poc_lsb < pc->prev_poc_lsb &&
 292             pc->prev_poc_lsb - pc->poc_lsb >= max_poc_lsb / 2)
 293             pc->poc_msb = pc->prev_poc_msb + max_poc_lsb;
 294         else if (pc->poc_lsb > pc->prev_poc_lsb &&
 295                  pc->prev_poc_lsb - pc->poc_lsb < -max_poc_lsb / 2)
 296             pc->poc_msb = pc->prev_poc_msb - max_poc_lsb;
 297         else
 298             pc->poc_msb = pc->prev_poc_msb;
 299         field_poc[0] =
 300         field_poc[1] = pc->poc_msb + pc->poc_lsb;
 301         if (picture_structure == PICT_FRAME)
 302             field_poc[1] += pc->delta_poc_bottom;
 303     } else if (sps->poc_type == 1) {
 304         int abs_frame_num, expected_delta_per_poc_cycle, expectedpoc;
 305         int i;
 306
 307         if (sps->poc_cycle_length != 0)
 308             abs_frame_num = pc->frame_num_offset + pc->frame_num;
 309         else
 310             abs_frame_num = 0;
 311
 312         if (nal_ref_idc == 0 && abs_frame_num > 0)
 313             abs_frame_num--;
 314
 315         expected_delta_per_poc_cycle = 0;
 316         for (i = 0; i < sps->poc_cycle_length; i++)
 317             // FIXME integrate during sps parse
 318             expected_delta_per_poc_cycle += sps->offset_for_ref_frame[i];
 319
 320         if (abs_frame_num > 0) {
 321             int poc_cycle_cnt          = (abs_frame_num - 1) / sps->poc_cycle_length;
 322             int frame_num_in_poc_cycle = (abs_frame_num - 1) % sps->poc_cycle_length;
 323
 324             expectedpoc = poc_cycle_cnt * expected_delta_per_poc_cycle;
 325             for (i = 0; i <= frame_num_in_poc_cycle; i++)
 326                 expectedpoc = expectedpoc + sps->offset_for_ref_frame[i];
 327         } else
 328             expectedpoc = 0;
 329
 330         if (nal_ref_idc == 0)
 331             expectedpoc = expectedpoc + sps->offset_for_non_ref_pic;
 332
 333         field_poc[0] = expectedpoc + pc->delta_poc[0];
 334         field_poc[1] = field_poc[0] + sps->offset_for_top_to_bottom_field;
 335
 336         if (picture_structure == PICT_FRAME)
 337             field_poc[1] += pc->delta_poc[1];
 338     } else {
 339         int poc = 2 * (pc->frame_num_offset + pc->frame_num);
 340
 341         if (!nal_ref_idc)
 342             poc--;
 343
 344         field_poc[0] = poc;
 345         field_poc[1] = poc;
 346     }
 347
 348     if (   field_poc[0] != (int)field_poc[0]
 349         || field_poc[1] != (int)field_poc[1])
 350         return AVERROR_INVALIDDATA;
 351
 352     if (picture_structure != PICT_BOTTOM_FIELD)
 353         pic_field_poc[0] = field_poc[0];
 354     if (picture_structure != PICT_TOP_FIELD)
 355         pic_field_poc[1] = field_poc[1];
 356     *pic_poc = FFMIN(pic_field_poc[0], pic_field_poc[1]);
 357
 358     return 0;
 359 }
 360
 361 static int decode_extradata_ps(const uint8_t *data, int size, H264ParamSets *ps,
 362                                int is_avc, void *logctx)
 363 {
 364     H2645Packet pkt = { 0 };
 365     int i, ret = 0;
 366
 367     ret = ff_h2645_packet_split(&pkt, data, size, logctx, is_avc, 2, AV_CODEC_ID_H264, 1, 0);
 368     if (ret < 0) {
 369         ret = 0;
 370         goto fail;
 371     }
 372
 373     for (i = 0; i < pkt.nb_nals; i++) {
 374         H2645NAL *nal = &pkt.nals[i];
 375         switch (nal->type) {
 376         case H264_NAL_SPS:
 377             ret = ff_h264_decode_seq_parameter_set(&nal->gb, logctx, ps, 0);
 378             if (ret < 0)
 379                 goto fail;
 380             break;
 381         case H264_NAL_PPS:
 382             ret = ff_h264_decode_picture_parameter_set(&nal->gb, logctx, ps,
 383                                                        nal->size_bits);
 384             if (ret < 0)
 385                 goto fail;
 386             break;
 387         default:
 388             av_log(logctx, AV_LOG_VERBOSE, "Ignoring NAL type %d in extradata\n",
 389                    nal->type);
 390             break;
 391         }
 392     }
 393
 394 fail:
 395     ff_h2645_packet_uninit(&pkt);
 396     return ret;
 397 }
 398
 399 /* There are (invalid) samples in the wild with mp4-style extradata, where the
 400  * parameter sets are stored unescaped (i.e. as RBSP).
 401  * This function catches the parameter set decoding failure and tries again
 402  * after escaping it */
 403 static int decode_extradata_ps_mp4(const uint8_t *buf, int buf_size, H264ParamSets *ps,
 404                                    int err_recognition, void *logctx)
 405 {
 406     int ret;
 407
 408     ret = decode_extradata_ps(buf, buf_size, ps, 1, logctx);
 409     if (ret < 0 && !(err_recognition & AV_EF_EXPLODE)) {
 410         GetByteContext gbc;
 411         PutByteContext pbc;
 412         uint8_t *escaped_buf;
 413         int escaped_buf_size;
 414
 415         av_log(logctx, AV_LOG_WARNING,
 416                "SPS decoding failure, trying again after escaping the NAL\n");
 417
 418         if (buf_size / 2 >= (INT16_MAX - AV_INPUT_BUFFER_PADDING_SIZE) / 3)
 419             return AVERROR(ERANGE);
 420         escaped_buf_size = buf_size * 3 / 2 + AV_INPUT_BUFFER_PADDING_SIZE;
 421         escaped_buf = av_mallocz(escaped_buf_size);
 422         if (!escaped_buf)
 423             return AVERROR(ENOMEM);
 424
 425         bytestream2_init(&gbc, buf, buf_size);
 426         bytestream2_init_writer(&pbc, escaped_buf, escaped_buf_size);
 427
 428         while (bytestream2_get_bytes_left(&gbc)) {
 429             if (bytestream2_get_bytes_left(&gbc) >= 3 &&
 430                 bytestream2_peek_be24(&gbc) <= 3) {
 431                 bytestream2_put_be24(&pbc, 3);
 432                 bytestream2_skip(&gbc, 2);
 433             } else
 434                 bytestream2_put_byte(&pbc, bytestream2_get_byte(&gbc));
 435         }
 436
 437         escaped_buf_size = bytestream2_tell_p(&pbc);
 438         AV_WB16(escaped_buf, escaped_buf_size - 2);
 439
 440         (void)decode_extradata_ps(escaped_buf, escaped_buf_size, ps, 1, logctx);
 441         // lorex.mp4 decodes ok even with extradata decoding failing
 442         av_freep(&escaped_buf);
 443     }
 444
 445     return 0;
 446 }
 447
 448 int ff_h264_decode_extradata(const uint8_t *data, int size, H264ParamSets *ps,
 449                              int *is_avc, int *nal_length_size,
 450                              int err_recognition, void *logctx)
 451 {
 452     int ret;
 453
 454     if (!data || size <= 0)
 455         return -1;
 456
 457     if (data[0] == 1) {
 458         int i, cnt, nalsize;
 459         const uint8_t *p = data;
 460
 461         *is_avc = 1;
 462
 463         if (size < 7) {
 464             av_log(logctx, AV_LOG_ERROR, "avcC %d too short\n", size);
 465             return AVERROR_INVALIDDATA;
 466         }
 467
 468         // Decode sps from avcC
 469         cnt = *(p + 5) & 0x1f; // Number of sps
 470         p  += 6;
 471         for (i = 0; i < cnt; i++) {
 472             nalsize = AV_RB16(p) + 2;
 473             if (nalsize > size - (p - data))
 474                 return AVERROR_INVALIDDATA;
 475             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
 476             if (ret < 0) {
 477                 av_log(logctx, AV_LOG_ERROR,
 478                        "Decoding sps %d from avcC failed\n", i);
 479                 return ret;
 480             }
 481             p += nalsize;
 482         }
 483         // Decode pps from avcC
 484         cnt = *(p++); // Number of pps
 485         for (i = 0; i < cnt; i++) {
 486             nalsize = AV_RB16(p) + 2;
 487             if (nalsize > size - (p - data))
 488                 return AVERROR_INVALIDDATA;
 489             ret = decode_extradata_ps_mp4(p, nalsize, ps, err_recognition, logctx);
 490             if (ret < 0) {
 491                 av_log(logctx, AV_LOG_ERROR,
 492                        "Decoding pps %d from avcC failed\n", i);
 493                 return ret;
 494             }
 495             p += nalsize;
 496         }
 497         // Store right nal length size that will be used to parse all other nals
 498         *nal_length_size = (data[4] & 0x03) + 1;
 499     } else {
 500         *is_avc = 0;
 501         ret = decode_extradata_ps(data, size, ps, 0, logctx);
 502         if (ret < 0)
 503             return ret;
 504     }
 505     return size;
 506 }
 507
 508 /**
 509  * Compute profile from profile_idc and constraint_set?_flags.
 510  *
 511  * @param sps SPS
 512  *
 513  * @return profile as defined by FF_PROFILE_H264_*
 514  */
 515 int ff_h264_get_profile(const SPS *sps)
 516 {
 517     int profile = sps->profile_idc;
 518
 519     switch (sps->profile_idc) {
 520     case FF_PROFILE_H264_BASELINE:
 521         // constraint_set1_flag set to 1
 522         profile |= (sps->constraint_set_flags & 1 << 1) ? FF_PROFILE_H264_CONSTRAINED : 0;
 523         break;
 524     case FF_PROFILE_H264_HIGH_10:
 525     case FF_PROFILE_H264_HIGH_422:
 526     case FF_PROFILE_H264_HIGH_444_PREDICTIVE:
 527         // constraint_set3_flag set to 1
 528         profile |= (sps->constraint_set_flags & 1 << 3) ? FF_PROFILE_H264_INTRA : 0;
 529         break;
 530     }
 531
 532     return profile;
 533 }