git.sesse.net Git - ffmpeg/blob - libavutil/frame.c

   1 /*
   2  *
   3  * This file is part of FFmpeg.
   4  *
   5  * FFmpeg is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU Lesser General Public
   7  * License as published by the Free Software Foundation; either
   8  * version 2.1 of the License, or (at your option) any later version.
   9  *
  10  * FFmpeg is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * Lesser General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU Lesser General Public
  16  * License along with FFmpeg; if not, write to the Free Software
  17  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  18  */
  19
  20 #include "channel_layout.h"
  21 #include "avassert.h"
  22 #include "buffer.h"
  23 #include "common.h"
  24 #include "dict.h"
  25 #include "frame.h"
  26 #include "imgutils.h"
  27 #include "mem.h"
  28 #include "samplefmt.h"
  29
  30 #define MAKE_ACCESSORS(str, name, type, field) \
  31     type av_##name##_get_##field(const str *s) { return s->field; } \
  32     void av_##name##_set_##field(str *s, type v) { s->field = v; }
  33
  34 MAKE_ACCESSORS(AVFrame, frame, int64_t, best_effort_timestamp)
  35 MAKE_ACCESSORS(AVFrame, frame, int64_t, pkt_duration)
  36 MAKE_ACCESSORS(AVFrame, frame, int64_t, pkt_pos)
  37 MAKE_ACCESSORS(AVFrame, frame, int64_t, channel_layout)
  38 MAKE_ACCESSORS(AVFrame, frame, int,     channels)
  39 MAKE_ACCESSORS(AVFrame, frame, int,     sample_rate)
  40 MAKE_ACCESSORS(AVFrame, frame, AVDictionary *, metadata)
  41 MAKE_ACCESSORS(AVFrame, frame, int,     decode_error_flags)
  42 MAKE_ACCESSORS(AVFrame, frame, int,     pkt_size)
  43
  44 #define CHECK_CHANNELS_CONSISTENCY(frame) \
  45     av_assert2(!(frame)->channel_layout || \
  46                (frame)->channels == \
  47                av_get_channel_layout_nb_channels((frame)->channel_layout))
  48
  49 AVDictionary **avpriv_frame_get_metadatap(AVFrame *frame) {return &frame->metadata;};
  50
  51 int av_frame_set_qp_table(AVFrame *f, AVBufferRef *buf, int stride, int qp_type)
  52 {
  53     av_buffer_unref(&f->qp_table_buf);
  54
  55     f->qp_table_buf = buf;
  56
  57     f->qscale_table = buf->data;
  58     f->qstride      = stride;
  59     f->qscale_type  = qp_type;
  60
  61     return 0;
  62 }
  63
  64 int8_t *av_frame_get_qp_table(AVFrame *f, int *stride, int *type)
  65 {
  66     *stride = f->qstride;
  67     *type   = f->qscale_type;
  68
  69     if (!f->qp_table_buf)
  70         return NULL;
  71
  72     return f->qp_table_buf->data;
  73 }
  74
  75 static void get_frame_defaults(AVFrame *frame)
  76 {
  77     if (frame->extended_data != frame->data)
  78         av_freep(&frame->extended_data);
  79
  80     memset(frame, 0, sizeof(*frame));
  81
  82     frame->pts                   =
  83     frame->pkt_dts               =
  84     frame->pkt_pts               = AV_NOPTS_VALUE;
  85     av_frame_set_best_effort_timestamp(frame, AV_NOPTS_VALUE);
  86     av_frame_set_pkt_duration         (frame, 0);
  87     av_frame_set_pkt_pos              (frame, -1);
  88     av_frame_set_pkt_size             (frame, -1);
  89     frame->key_frame           = 1;
  90     frame->sample_aspect_ratio = (AVRational){ 0, 1 };
  91     frame->format              = -1; /* unknown */
  92     frame->extended_data       = frame->data;
  93 }
  94
  95 AVFrame *av_frame_alloc(void)
  96 {
  97     AVFrame *frame = av_mallocz(sizeof(*frame));
  98
  99     if (!frame)
 100         return NULL;
 101
 102     frame->extended_data = NULL;
 103     get_frame_defaults(frame);
 104
 105     return frame;
 106 }
 107
 108 void av_frame_free(AVFrame **frame)
 109 {
 110     if (!frame || !*frame)
 111         return;
 112
 113     av_frame_unref(*frame);
 114     av_freep(frame);
 115 }
 116
 117 static int get_video_buffer(AVFrame *frame, int align)
 118 {
 119     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(frame->format);
 120     int ret, i;
 121
 122     if (!desc)
 123         return AVERROR(EINVAL);
 124
 125     if ((ret = av_image_check_size(frame->width, frame->height, 0, NULL)) < 0)
 126         return ret;
 127
 128     if (!frame->linesize[0]) {
 129         ret = av_image_fill_linesizes(frame->linesize, frame->format,
 130                                       frame->width);
 131         if (ret < 0)
 132             return ret;
 133
 134         for (i = 0; i < 4 && frame->linesize[i]; i++)
 135             frame->linesize[i] = FFALIGN(frame->linesize[i], align);
 136     }
 137
 138     for (i = 0; i < 4 && frame->linesize[i]; i++) {
 139         int h = FFALIGN(frame->height, 32);
 140         if (i == 1 || i == 2)
 141             h = FF_CEIL_RSHIFT(h, desc->log2_chroma_h);
 142
 143         frame->buf[i] = av_buffer_alloc(frame->linesize[i] * h + 16);
 144         if (!frame->buf[i])
 145             goto fail;
 146
 147         frame->data[i] = frame->buf[i]->data;
 148     }
 149     if (desc->flags & AV_PIX_FMT_FLAG_PAL || desc->flags & AV_PIX_FMT_FLAG_PSEUDOPAL) {
 150         av_buffer_unref(&frame->buf[1]);
 151         frame->buf[1] = av_buffer_alloc(1024);
 152         if (!frame->buf[1])
 153             goto fail;
 154         frame->data[1] = frame->buf[1]->data;
 155     }
 156
 157     frame->extended_data = frame->data;
 158
 159     return 0;
 160 fail:
 161     av_frame_unref(frame);
 162     return AVERROR(ENOMEM);
 163 }
 164
 165 static int get_audio_buffer(AVFrame *frame, int align)
 166 {
 167     int channels = frame->channels;
 168     int planar   = av_sample_fmt_is_planar(frame->format);
 169     int planes   = planar ? channels : 1;
 170     int ret, i;
 171
 172     CHECK_CHANNELS_CONSISTENCY(frame);
 173     if (!frame->linesize[0]) {
 174         ret = av_samples_get_buffer_size(&frame->linesize[0], channels,
 175                                          frame->nb_samples, frame->format,
 176                                          align);
 177         if (ret < 0)
 178             return ret;
 179     }
 180
 181     if (planes > AV_NUM_DATA_POINTERS) {
 182         frame->extended_data = av_mallocz(planes *
 183                                           sizeof(*frame->extended_data));
 184         frame->extended_buf  = av_mallocz((planes - AV_NUM_DATA_POINTERS) *
 185                                           sizeof(*frame->extended_buf));
 186         if (!frame->extended_data || !frame->extended_buf) {
 187             av_freep(&frame->extended_data);
 188             av_freep(&frame->extended_buf);
 189             return AVERROR(ENOMEM);
 190         }
 191         frame->nb_extended_buf = planes - AV_NUM_DATA_POINTERS;
 192     } else
 193         frame->extended_data = frame->data;
 194
 195     for (i = 0; i < FFMIN(planes, AV_NUM_DATA_POINTERS); i++) {
 196         frame->buf[i] = av_buffer_alloc(frame->linesize[0]);
 197         if (!frame->buf[i]) {
 198             av_frame_unref(frame);
 199             return AVERROR(ENOMEM);
 200         }
 201         frame->extended_data[i] = frame->data[i] = frame->buf[i]->data;
 202     }
 203     for (i = 0; i < planes - AV_NUM_DATA_POINTERS; i++) {
 204         frame->extended_buf[i] = av_buffer_alloc(frame->linesize[0]);
 205         if (!frame->extended_buf[i]) {
 206             av_frame_unref(frame);
 207             return AVERROR(ENOMEM);
 208         }
 209         frame->extended_data[i + AV_NUM_DATA_POINTERS] = frame->extended_buf[i]->data;
 210     }
 211     return 0;
 212
 213 }
 214
 215 int av_frame_get_buffer(AVFrame *frame, int align)
 216 {
 217     if (frame->format < 0)
 218         return AVERROR(EINVAL);
 219
 220     if (frame->width > 0 && frame->height > 0)
 221         return get_video_buffer(frame, align);
 222     else if (frame->nb_samples > 0 && frame->channel_layout)
 223         return get_audio_buffer(frame, align);
 224
 225     return AVERROR(EINVAL);
 226 }
 227
 228 int av_frame_ref(AVFrame *dst, AVFrame *src)
 229 {
 230     int i, ret = 0;
 231
 232     dst->format         = src->format;
 233     dst->width          = src->width;
 234     dst->height         = src->height;
 235     dst->channels       = src->channels;
 236     dst->channel_layout = src->channel_layout;
 237     dst->nb_samples     = src->nb_samples;
 238
 239     ret = av_frame_copy_props(dst, src);
 240     if (ret < 0)
 241         return ret;
 242
 243     /* duplicate the frame data if it's not refcounted */
 244     if (!src->buf[0]) {
 245         ret = av_frame_get_buffer(dst, 32);
 246         if (ret < 0)
 247             return ret;
 248
 249         if (src->nb_samples) {
 250             int ch = src->channels;
 251             CHECK_CHANNELS_CONSISTENCY(src);
 252             av_samples_copy(dst->extended_data, src->extended_data, 0, 0,
 253                             dst->nb_samples, ch, dst->format);
 254         } else {
 255             av_image_copy(dst->data, dst->linesize, src->data, src->linesize,
 256                           dst->format, dst->width, dst->height);
 257         }
 258         return 0;
 259     }
 260
 261     /* ref the buffers */
 262     for (i = 0; i < FF_ARRAY_ELEMS(src->buf); i++) {
 263         if (!src->buf[i])
 264             continue;
 265         dst->buf[i] = av_buffer_ref(src->buf[i]);
 266         if (!dst->buf[i]) {
 267             ret = AVERROR(ENOMEM);
 268             goto fail;
 269         }
 270     }
 271
 272     if (src->extended_buf) {
 273         dst->extended_buf = av_mallocz(sizeof(*dst->extended_buf) *
 274                                        src->nb_extended_buf);
 275         if (!dst->extended_buf) {
 276             ret = AVERROR(ENOMEM);
 277             goto fail;
 278         }
 279         dst->nb_extended_buf = src->nb_extended_buf;
 280
 281         for (i = 0; i < src->nb_extended_buf; i++) {
 282             dst->extended_buf[i] = av_buffer_ref(src->extended_buf[i]);
 283             if (!dst->extended_buf[i]) {
 284                 ret = AVERROR(ENOMEM);
 285                 goto fail;
 286             }
 287         }
 288     }
 289
 290     /* duplicate extended data */
 291     if (src->extended_data != src->data) {
 292         int ch = src->channels;
 293
 294         if (!ch) {
 295             ret = AVERROR(EINVAL);
 296             goto fail;
 297         }
 298         CHECK_CHANNELS_CONSISTENCY(src);
 299
 300         dst->extended_data = av_malloc(sizeof(*dst->extended_data) * ch);
 301         if (!dst->extended_data) {
 302             ret = AVERROR(ENOMEM);
 303             goto fail;
 304         }
 305         memcpy(dst->extended_data, src->extended_data, sizeof(*src->extended_data) * ch);
 306     } else
 307         dst->extended_data = dst->data;
 308
 309     memcpy(dst->data,     src->data,     sizeof(src->data));
 310     memcpy(dst->linesize, src->linesize, sizeof(src->linesize));
 311
 312     return 0;
 313
 314 fail:
 315     av_frame_unref(dst);
 316     return ret;
 317 }
 318
 319 AVFrame *av_frame_clone(AVFrame *src)
 320 {
 321     AVFrame *ret = av_frame_alloc();
 322
 323     if (!ret)
 324         return NULL;
 325
 326     if (av_frame_ref(ret, src) < 0)
 327         av_frame_free(&ret);
 328
 329     return ret;
 330 }
 331
 332 void av_frame_unref(AVFrame *frame)
 333 {
 334     int i;
 335
 336     for (i = 0; i < frame->nb_side_data; i++) {
 337         av_freep(&frame->side_data[i]->data);
 338         av_dict_free(&frame->side_data[i]->metadata);
 339         av_freep(&frame->side_data[i]);
 340     }
 341     av_freep(&frame->side_data);
 342
 343     for (i = 0; i < FF_ARRAY_ELEMS(frame->buf); i++)
 344         av_buffer_unref(&frame->buf[i]);
 345     for (i = 0; i < frame->nb_extended_buf; i++)
 346         av_buffer_unref(&frame->extended_buf[i]);
 347     av_freep(&frame->extended_buf);
 348     av_dict_free(&frame->metadata);
 349     av_buffer_unref(&frame->qp_table_buf);
 350
 351     get_frame_defaults(frame);
 352 }
 353
 354 void av_frame_move_ref(AVFrame *dst, AVFrame *src)
 355 {
 356     *dst = *src;
 357     if (src->extended_data == src->data)
 358         dst->extended_data = dst->data;
 359     memset(src, 0, sizeof(*src));
 360     get_frame_defaults(src);
 361 }
 362
 363 int av_frame_is_writable(AVFrame *frame)
 364 {
 365     int i, ret = 1;
 366
 367     /* assume non-refcounted frames are not writable */
 368     if (!frame->buf[0])
 369         return 0;
 370
 371     for (i = 0; i < FF_ARRAY_ELEMS(frame->buf); i++)
 372         if (frame->buf[i])
 373             ret &= !!av_buffer_is_writable(frame->buf[i]);
 374     for (i = 0; i < frame->nb_extended_buf; i++)
 375         ret &= !!av_buffer_is_writable(frame->extended_buf[i]);
 376
 377     return ret;
 378 }
 379
 380 int av_frame_make_writable(AVFrame *frame)
 381 {
 382     AVFrame tmp;
 383     int ret;
 384
 385     if (!frame->buf[0])
 386         return AVERROR(EINVAL);
 387
 388     if (av_frame_is_writable(frame))
 389         return 0;
 390
 391     memset(&tmp, 0, sizeof(tmp));
 392     tmp.format         = frame->format;
 393     tmp.width          = frame->width;
 394     tmp.height         = frame->height;
 395     tmp.channels       = frame->channels;
 396     tmp.channel_layout = frame->channel_layout;
 397     tmp.nb_samples     = frame->nb_samples;
 398     ret = av_frame_get_buffer(&tmp, 32);
 399     if (ret < 0)
 400         return ret;
 401
 402     if (tmp.nb_samples) {
 403         int ch = tmp.channels;
 404         CHECK_CHANNELS_CONSISTENCY(&tmp);
 405         av_samples_copy(tmp.extended_data, frame->extended_data, 0, 0,
 406                         frame->nb_samples, ch, frame->format);
 407     } else {
 408         av_image_copy(tmp.data, tmp.linesize, frame->data, frame->linesize,
 409                       frame->format, frame->width, frame->height);
 410     }
 411
 412     ret = av_frame_copy_props(&tmp, frame);
 413     if (ret < 0) {
 414         av_frame_unref(&tmp);
 415         return ret;
 416     }
 417
 418     av_frame_unref(frame);
 419
 420     *frame = tmp;
 421     if (tmp.data == tmp.extended_data)
 422         frame->extended_data = frame->data;
 423
 424     return 0;
 425 }
 426
 427 int av_frame_copy_props(AVFrame *dst, const AVFrame *src)
 428 {
 429     int i;
 430
 431     dst->key_frame           = src->key_frame;
 432     dst->pict_type           = src->pict_type;
 433     dst->sample_aspect_ratio = src->sample_aspect_ratio;
 434     dst->pts                 = src->pts;
 435     dst->repeat_pict         = src->repeat_pict;
 436     dst->interlaced_frame    = src->interlaced_frame;
 437     dst->top_field_first     = src->top_field_first;
 438     dst->palette_has_changed = src->palette_has_changed;
 439     dst->sample_rate         = src->sample_rate;
 440     dst->opaque              = src->opaque;
 441 #if FF_API_AVFRAME_LAVC
 442     dst->type                = src->type;
 443 #endif
 444     dst->pkt_pts             = src->pkt_pts;
 445     dst->pkt_dts             = src->pkt_dts;
 446     dst->pkt_pos             = src->pkt_pos;
 447     dst->pkt_size            = src->pkt_size;
 448     dst->pkt_duration        = src->pkt_duration;
 449     dst->reordered_opaque    = src->reordered_opaque;
 450     dst->quality             = src->quality;
 451     dst->best_effort_timestamp = src->best_effort_timestamp;
 452     dst->coded_picture_number = src->coded_picture_number;
 453     dst->display_picture_number = src->display_picture_number;
 454     dst->decode_error_flags  = src->decode_error_flags;
 455
 456     av_dict_copy(&dst->metadata, src->metadata, 0);
 457
 458     memcpy(dst->error, src->error, sizeof(dst->error));
 459
 460     for (i = 0; i < src->nb_side_data; i++) {
 461         const AVFrameSideData *sd_src = src->side_data[i];
 462         AVFrameSideData *sd_dst = av_frame_new_side_data(dst, sd_src->type,
 463                                                          sd_src->size);
 464         if (!sd_dst) {
 465             for (i = 0; i < dst->nb_side_data; i++) {
 466                 av_freep(&dst->side_data[i]->data);
 467                 av_freep(&dst->side_data[i]);
 468                 av_dict_free(&dst->side_data[i]->metadata);
 469             }
 470             av_freep(&dst->side_data);
 471             return AVERROR(ENOMEM);
 472         }
 473         memcpy(sd_dst->data, sd_src->data, sd_src->size);
 474         av_dict_copy(&sd_dst->metadata, sd_src->metadata, 0);
 475     }
 476
 477     dst->qscale_table = NULL;
 478     dst->qstride      = 0;
 479     dst->qscale_type  = 0;
 480     if (src->qp_table_buf) {
 481         dst->qp_table_buf = av_buffer_ref(src->qp_table_buf);
 482         if (dst->qp_table_buf) {
 483             dst->qscale_table = dst->qp_table_buf->data;
 484             dst->qstride      = src->qstride;
 485             dst->qscale_type  = src->qscale_type;
 486         }
 487     }
 488
 489     return 0;
 490 }
 491
 492 AVBufferRef *av_frame_get_plane_buffer(AVFrame *frame, int plane)
 493 {
 494     uint8_t *data;
 495     int planes, i;
 496
 497     if (frame->nb_samples) {
 498         int channels = frame->channels;
 499         if (!channels)
 500             return NULL;
 501         CHECK_CHANNELS_CONSISTENCY(frame);
 502         planes = av_sample_fmt_is_planar(frame->format) ? channels : 1;
 503     } else
 504         planes = 4;
 505
 506     if (plane < 0 || plane >= planes || !frame->extended_data[plane])
 507         return NULL;
 508     data = frame->extended_data[plane];
 509
 510     for (i = 0; i < FF_ARRAY_ELEMS(frame->buf) && frame->buf[i]; i++) {
 511         AVBufferRef *buf = frame->buf[i];
 512         if (data >= buf->data && data < buf->data + buf->size)
 513             return buf;
 514     }
 515     for (i = 0; i < frame->nb_extended_buf; i++) {
 516         AVBufferRef *buf = frame->extended_buf[i];
 517         if (data >= buf->data && data < buf->data + buf->size)
 518             return buf;
 519     }
 520     return NULL;
 521 }
 522
 523 AVFrameSideData *av_frame_new_side_data(AVFrame *frame,
 524                                         enum AVFrameSideDataType type,
 525                                         int size)
 526 {
 527     AVFrameSideData *ret, **tmp;
 528
 529     if (frame->nb_side_data > INT_MAX / sizeof(*frame->side_data) - 1)
 530         return NULL;
 531
 532     tmp = av_realloc(frame->side_data,
 533                      (frame->nb_side_data + 1) * sizeof(*frame->side_data));
 534     if (!tmp)
 535         return NULL;
 536     frame->side_data = tmp;
 537
 538     ret = av_mallocz(sizeof(*ret));
 539     if (!ret)
 540         return NULL;
 541
 542     ret->data = av_malloc(size);
 543     if (!ret->data) {
 544         av_freep(&ret);
 545         return NULL;
 546     }
 547
 548     ret->size = size;
 549     ret->type = type;
 550
 551     frame->side_data[frame->nb_side_data++] = ret;
 552
 553     return ret;
 554 }
 555
 556 AVFrameSideData *av_frame_get_side_data(AVFrame *frame,
 557                                         enum AVFrameSideDataType type)
 558 {
 559     int i;
 560
 561     for (i = 0; i < frame->nb_side_data; i++) {
 562         if (frame->side_data[i]->type == type)
 563             return frame->side_data[i];
 564     }
 565     return NULL;
 566 }