git.sesse.net Git - ffmpeg/blob - libavfilter/audio.c

   1 /*
   2  * Copyright (c) Stefano Sabatini | stefasab at gmail.com
   3  * Copyright (c) S.N. Hemanth Meenakshisundaram | smeenaks at ucsd.edu
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "libavutil/avassert.h"
  23 #include "libavutil/audioconvert.h"
  24
  25 #include "audio.h"
  26 #include "avfilter.h"
  27 #include "internal.h"
  28
  29 AVFilterBufferRef *ff_null_get_audio_buffer(AVFilterLink *link, int perms,
  30                                             int nb_samples)
  31 {
  32     return ff_get_audio_buffer(link->dst->outputs[0], perms, nb_samples);
  33 }
  34
  35 AVFilterBufferRef *ff_default_get_audio_buffer(AVFilterLink *link, int perms,
  36                                                      int nb_samples)
  37 {
  38     AVFilterBufferRef *samplesref = NULL;
  39     int linesize[8] = {0};
  40     uint8_t *data[8] = {0};
  41     int ch, nb_channels = av_get_channel_layout_nb_channels(link->channel_layout);
  42
  43     /* right now we don't support more than 8 channels */
  44     av_assert0(nb_channels <= 8);
  45
  46     /* Calculate total buffer size, round to multiple of 16 to be SIMD friendly */
  47     if (av_samples_alloc(data, linesize,
  48                          nb_channels, nb_samples,
  49                          av_get_alt_sample_fmt(link->format, link->planar),
  50                          16) < 0)
  51         return NULL;
  52
  53     for (ch = 1; link->planar && ch < nb_channels; ch++)
  54         linesize[ch] = linesize[0];
  55     samplesref =
  56         avfilter_get_audio_buffer_ref_from_arrays(data, linesize, perms,
  57                                                   nb_samples, link->format,
  58                                                   link->channel_layout, link->planar);
  59     if (!samplesref) {
  60         av_free(data[0]);
  61         return NULL;
  62     }
  63
  64     return samplesref;
  65 }
  66
  67 static AVFilterBufferRef *ff_default_get_audio_buffer_alt(AVFilterLink *link, int perms,
  68                                                int nb_samples)
  69 {
  70     AVFilterBufferRef *samplesref = NULL;
  71     uint8_t **data;
  72     int planar      = av_sample_fmt_is_planar(link->format);
  73     int nb_channels = av_get_channel_layout_nb_channels(link->channel_layout);
  74     int planes      = planar ? nb_channels : 1;
  75     int linesize;
  76
  77     if (!(data = av_mallocz(sizeof(*data) * planes)))
  78         goto fail;
  79
  80     if (av_samples_alloc(data, &linesize, nb_channels, nb_samples, link->format, 0) < 0)
  81         goto fail;
  82
  83     samplesref = avfilter_get_audio_buffer_ref_from_arrays_alt(data, linesize, perms,
  84                                                            nb_samples, link->format,
  85                                                            link->channel_layout);
  86     if (!samplesref)
  87         goto fail;
  88
  89     av_freep(&data);
  90
  91 fail:
  92     if (data)
  93         av_freep(&data[0]);
  94     av_freep(&data);
  95     return samplesref;
  96 }
  97
  98 AVFilterBufferRef *ff_get_audio_buffer(AVFilterLink *link, int perms,
  99                                        int nb_samples)
 100 {
 101     AVFilterBufferRef *ret = NULL;
 102
 103     if (link->dstpad->get_audio_buffer)
 104         ret = link->dstpad->get_audio_buffer(link, perms, nb_samples);
 105
 106     if (!ret)
 107         ret = ff_default_get_audio_buffer(link, perms, nb_samples);
 108
 109     if (ret)
 110         ret->type = AVMEDIA_TYPE_AUDIO;
 111
 112     return ret;
 113 }
 114
 115 AVFilterBufferRef *
 116 avfilter_get_audio_buffer_ref_from_arrays(uint8_t *data[8], int linesize[8], int perms,
 117                                           int nb_samples, enum AVSampleFormat sample_fmt,
 118                                           uint64_t channel_layout, int planar)
 119 {
 120     AVFilterBuffer *samples = av_mallocz(sizeof(AVFilterBuffer));
 121     AVFilterBufferRef *samplesref = av_mallocz(sizeof(AVFilterBufferRef));
 122
 123     if (!samples || !samplesref)
 124         goto fail;
 125
 126     samplesref->buf = samples;
 127     samplesref->buf->free = ff_avfilter_default_free_buffer;
 128     if (!(samplesref->audio = av_mallocz(sizeof(AVFilterBufferRefAudioProps))))
 129         goto fail;
 130
 131     samplesref->audio->nb_samples     = nb_samples;
 132     samplesref->audio->channel_layout = channel_layout;
 133     samplesref->audio->planar         = planar;
 134
 135     /* make sure the buffer gets read permission or it's useless for output */
 136     samplesref->perms = perms | AV_PERM_READ;
 137
 138     samples->refcount = 1;
 139     samplesref->type = AVMEDIA_TYPE_AUDIO;
 140     samplesref->format = sample_fmt;
 141
 142     memcpy(samples->data,        data,     sizeof(samples->data));
 143     memcpy(samples->linesize,    linesize, sizeof(samples->linesize));
 144     memcpy(samplesref->data,     data,     sizeof(samplesref->data));
 145     memcpy(samplesref->linesize, linesize, sizeof(samplesref->linesize));
 146
 147     return samplesref;
 148
 149 fail:
 150     if (samplesref && samplesref->audio)
 151         av_freep(&samplesref->audio);
 152     av_freep(&samplesref);
 153     av_freep(&samples);
 154     return NULL;
 155 }
 156
 157 AVFilterBufferRef* avfilter_get_audio_buffer_ref_from_arrays_alt(uint8_t **data,
 158                                                              int linesize,int perms,
 159                                                              int nb_samples,
 160                                                              enum AVSampleFormat sample_fmt,
 161                                                              uint64_t channel_layout)
 162 {
 163     int planes;
 164     AVFilterBuffer    *samples    = av_mallocz(sizeof(*samples));
 165     AVFilterBufferRef *samplesref = av_mallocz(sizeof(*samplesref));
 166
 167     if (!samples || !samplesref)
 168         goto fail;
 169
 170     samplesref->buf         = samples;
 171     samplesref->buf->free   = ff_avfilter_default_free_buffer;
 172     if (!(samplesref->audio = av_mallocz(sizeof(*samplesref->audio))))
 173         goto fail;
 174
 175     samplesref->audio->nb_samples     = nb_samples;
 176     samplesref->audio->channel_layout = channel_layout;
 177     samplesref->audio->planar         = av_sample_fmt_is_planar(sample_fmt);
 178
 179     planes = samplesref->audio->planar ? av_get_channel_layout_nb_channels(channel_layout) : 1;
 180
 181     /* make sure the buffer gets read permission or it's useless for output */
 182     samplesref->perms = perms | AV_PERM_READ;
 183
 184     samples->refcount  = 1;
 185     samplesref->type   = AVMEDIA_TYPE_AUDIO;
 186     samplesref->format = sample_fmt;
 187
 188     memcpy(samples->data, data,
 189            FFMIN(FF_ARRAY_ELEMS(samples->data), planes)*sizeof(samples->data[0]));
 190     memcpy(samplesref->data, samples->data, sizeof(samples->data));
 191
 192     samples->linesize[0] = samplesref->linesize[0] = linesize;
 193
 194     if (planes > FF_ARRAY_ELEMS(samples->data)) {
 195         samples->   extended_data = av_mallocz(sizeof(*samples->extended_data) *
 196                                                planes);
 197         samplesref->extended_data = av_mallocz(sizeof(*samplesref->extended_data) *
 198                                                planes);
 199
 200         if (!samples->extended_data || !samplesref->extended_data)
 201             goto fail;
 202
 203         memcpy(samples->   extended_data, data, sizeof(*data)*planes);
 204         memcpy(samplesref->extended_data, data, sizeof(*data)*planes);
 205     } else {
 206         samples->extended_data    = samples->data;
 207         samplesref->extended_data = samplesref->data;
 208     }
 209
 210     return samplesref;
 211
 212 fail:
 213     if (samples && samples->extended_data != samples->data)
 214         av_freep(&samples->extended_data);
 215     if (samplesref) {
 216         av_freep(&samplesref->audio);
 217         if (samplesref->extended_data != samplesref->data)
 218             av_freep(&samplesref->extended_data);
 219     }
 220     av_freep(&samplesref);
 221     av_freep(&samples);
 222     return NULL;
 223 }
 224
 225 void ff_null_filter_samples(AVFilterLink *link, AVFilterBufferRef *samplesref)
 226 {
 227     ff_filter_samples(link->dst->outputs[0], samplesref);
 228 }
 229
 230 /* FIXME: samplesref is same as link->cur_buf. Need to consider removing the redundant parameter. */
 231 void ff_default_filter_samples(AVFilterLink *inlink, AVFilterBufferRef *samplesref)
 232 {
 233     AVFilterLink *outlink = NULL;
 234
 235     if (inlink->dst->output_count)
 236         outlink = inlink->dst->outputs[0];
 237
 238     if (outlink) {
 239         outlink->out_buf = ff_default_get_audio_buffer(inlink, AV_PERM_WRITE,
 240                                                        samplesref->audio->nb_samples);
 241         outlink->out_buf->pts                = samplesref->pts;
 242         outlink->out_buf->audio->sample_rate = samplesref->audio->sample_rate;
 243         ff_filter_samples(outlink, avfilter_ref_buffer(outlink->out_buf, ~0));
 244         avfilter_unref_buffer(outlink->out_buf);
 245         outlink->out_buf = NULL;
 246     }
 247     avfilter_unref_buffer(samplesref);
 248     inlink->cur_buf = NULL;
 249 }
 250
 251 void ff_filter_samples(AVFilterLink *link, AVFilterBufferRef *samplesref)
 252 {
 253     void (*filter_samples)(AVFilterLink *, AVFilterBufferRef *);
 254     AVFilterPad *dst = link->dstpad;
 255     int64_t pts;
 256
 257     FF_DPRINTF_START(NULL, filter_samples); ff_dlog_link(NULL, link, 1);
 258
 259     if (!(filter_samples = dst->filter_samples))
 260         filter_samples = ff_default_filter_samples;
 261
 262     /* prepare to copy the samples if the buffer has insufficient permissions */
 263     if ((dst->min_perms & samplesref->perms) != dst->min_perms ||
 264         dst->rej_perms & samplesref->perms) {
 265         int  i, planar = av_sample_fmt_is_planar(samplesref->format);
 266         int planes = !planar ? 1:
 267                      av_get_channel_layout_nb_channels(samplesref->audio->channel_layout);
 268
 269         av_log(link->dst, AV_LOG_DEBUG,
 270                "Copying audio data in avfilter (have perms %x, need %x, reject %x)\n",
 271                samplesref->perms, link->dstpad->min_perms, link->dstpad->rej_perms);
 272
 273         link->cur_buf = ff_default_get_audio_buffer(link, dst->min_perms,
 274                                                     samplesref->audio->nb_samples);
 275         link->cur_buf->pts                = samplesref->pts;
 276         link->cur_buf->audio->sample_rate = samplesref->audio->sample_rate;
 277
 278         /* Copy actual data into new samples buffer */
 279         for (i = 0; samplesref->data[i] && i < 8; i++)
 280             memcpy(link->cur_buf->data[i], samplesref->data[i], samplesref->linesize[0]);
 281         for (i = 0; i < planes; i++)
 282             memcpy(link->cur_buf->extended_data[i], samplesref->extended_data[i], samplesref->linesize[0]);
 283
 284         avfilter_unref_buffer(samplesref);
 285     } else
 286         link->cur_buf = samplesref;
 287
 288     pts = link->cur_buf->pts;
 289     filter_samples(link, link->cur_buf);
 290     ff_update_link_current_pts(link, pts);
 291 }