git.sesse.net Git - kdenlive/blob - src/lib/audio/audioEnvelope.cpp

   1 /***************************************************************************
   2  *   Copyright (C) 2012 by Simon Andreas Eugster (simon.eu@gmail.com)      *
   3  *   This file is part of kdenlive. See www.kdenlive.org.                  *
   4  *                                                                         *
   5  *   This program is free software; you can redistribute it and/or modify  *
   6  *   it under the terms of the GNU General Public License as published by  *
   7  *   the Free Software Foundation; either version 2 of the License, or     *
   8  *   (at your option) any later version.                                   *
   9  ***************************************************************************/
  10
  11 #include "audioEnvelope.h"
  12
  13 #include "audioStreamInfo.h"
  14 #include <QImage>
  15 #include <QTime>
  16 #include <cmath>
  17 #include <iostream>
  18
  19 AudioEnvelope::AudioEnvelope(Mlt::Producer *producer, int offset, int length) :
  20     m_envelope(NULL),
  21     m_producer(producer),
  22     m_offset(offset),
  23     m_length(length),
  24     m_envelopeSize(producer->get_length()),
  25     m_envelopeStdDevCalculated(false),
  26     m_envelopeIsNormalized(false)
  27 {
  28     m_info = new AudioInfo(m_producer);
  29
  30     Q_ASSERT(m_offset >= 0);
  31     if (m_length > 0) {
  32         Q_ASSERT(m_length+m_offset <= m_envelopeSize);
  33         m_envelopeSize = m_length;
  34     }
  35 }
  36
  37 AudioEnvelope::~AudioEnvelope()
  38 {
  39     if (m_envelope != NULL) {
  40         delete[] m_envelope;
  41     }
  42     delete m_info;
  43 }
  44
  45
  46
  47 const int64_t *AudioEnvelope::envelope()
  48 {
  49     if (m_envelope == NULL) {
  50         loadEnvelope();
  51     }
  52     return m_envelope;
  53 }
  54 int AudioEnvelope::envelopeSize() const
  55 {
  56     return m_envelopeSize;
  57 }
  58
  59
  60
  61
  62 void AudioEnvelope::loadEnvelope()
  63 {
  64     Q_ASSERT(m_envelope == NULL);
  65
  66     std::cout << "Loading envelope ..." << std::endl;
  67
  68     int samplingRate = m_info->info(0)->samplingRate();
  69     mlt_audio_format format_s16 = mlt_audio_s16;
  70     int channels = 1;
  71
  72     Mlt::Frame *frame;
  73     int64_t position;
  74     int samples;
  75
  76     m_envelope = new int64_t[m_envelopeSize];
  77     m_envelopeMax = 0;
  78     m_envelopeMean = 0;
  79
  80     QTime t;
  81     t.start();
  82     int count = 0;
  83     m_producer->seek(m_offset);
  84     m_producer->set_speed(1.0); // This is necessary, otherwise we don't get any new frames in the 2nd run.
  85     for (int i = 0; i < m_envelopeSize; i++) {
  86
  87         frame = m_producer->get_frame(i);
  88         position = mlt_frame_get_position(frame->get_frame());
  89         samples = mlt_sample_calculator(m_producer->get_fps(), samplingRate, position);
  90
  91         int16_t *data = static_cast<int16_t*>(frame->get_audio(format_s16, samplingRate, channels, samples));
  92
  93         int64_t sum = 0;
  94         for (int k = 0; k < samples; k++) {
  95             sum += fabs(data[k]);
  96         }
  97         m_envelope[i] = sum;
  98
  99         m_envelopeMean += sum;
 100         if (sum > m_envelopeMax) {
 101             m_envelopeMax = sum;
 102         }
 103
 104         std::cout << position << "|" << m_producer->get_playtime()
 105                   << "-" << m_producer->get_in() << "+" << m_producer->get_out() << " ";
 106
 107         delete frame;
 108
 109         count++;
 110         if (m_length > 0 && count > m_length) {
 111             break;
 112         }
 113     }
 114     m_envelopeMean /= m_envelopeSize;
 115     std::cout << "Calculating the envelope (" << m_envelopeSize << " frames) took "
 116               << t.elapsed() << " ms." << std::endl;
 117 }
 118
 119 int64_t AudioEnvelope::loadStdDev()
 120 {
 121     if (m_envelopeStdDevCalculated) {
 122         std::cout << "Standard deviation already calculated, not re-calculating." << std::endl;
 123     } else {
 124
 125         if (m_envelope == NULL) {
 126             loadEnvelope();
 127         }
 128
 129         m_envelopeStdDev = 0;
 130         for (int i = 0; i < m_envelopeSize; i++) {
 131             m_envelopeStdDev += sqrt((m_envelope[i]-m_envelopeMean)*(m_envelope[i]-m_envelopeMean)/m_envelopeSize);
 132         }
 133         m_envelopeStdDevCalculated = true;
 134
 135     }
 136     return m_envelopeStdDev;
 137 }
 138
 139 void AudioEnvelope::normalizeEnvelope(bool clampTo0)
 140 {
 141     if (m_envelope == NULL) {
 142         loadEnvelope();
 143     }
 144
 145     if (!m_envelopeIsNormalized) {
 146
 147         m_envelopeMax = 0;
 148         int64_t newMean = 0;
 149         for (int i = 0; i < m_envelopeSize; i++) {
 150
 151             m_envelope[i] -= m_envelopeMean;
 152
 153             if (clampTo0) {
 154                 if (m_envelope[i] < 0) { m_envelope[i] = 0; }
 155             }
 156
 157             if (m_envelope[i] > m_envelopeMax) {
 158                 m_envelopeMax = m_envelope[i];
 159             }
 160
 161             newMean += m_envelope[i];
 162         }
 163         m_envelopeMean = newMean / m_envelopeSize;
 164
 165         m_envelopeIsNormalized = true;
 166     }
 167
 168 }
 169
 170 QImage AudioEnvelope::drawEnvelope()
 171 {
 172     if (m_envelope == NULL) {
 173         loadEnvelope();
 174     }
 175
 176     QImage img(m_envelopeSize, 400, QImage::Format_ARGB32);
 177     img.fill(qRgb(255,255,255));
 178     double fy;
 179     for (int x = 0; x < img.width(); x++) {
 180         fy = m_envelope[x]/double(m_envelopeMax) * img.height();
 181         for (int y = img.height()-1; y > img.height()-1-fy; y--) {
 182             img.setPixel(x,y, qRgb(50, 50, 50));
 183         }
 184     }
 185     return img;
 186 }
 187
 188 void AudioEnvelope::dumpInfo() const
 189 {
 190     if (m_envelope == NULL) {
 191         std::cout << "Envelope not generated, no information available." << std::endl;
 192     } else {
 193         std::cout << "Envelope info" << std::endl
 194                   << "* size = " << m_envelopeSize << std::endl
 195                   << "* max = " << m_envelopeMax << std::endl
 196                   << "* µ = " << m_envelopeMean << std::endl
 197                      ;
 198         if (m_envelopeStdDevCalculated) {
 199             std::cout << "* s = " << m_envelopeStdDev << std::endl;
 200         }
 201     }
 202 }