]> git.sesse.net Git - kdenlive/blobdiff - src/kthumb.cpp
Various changes for getting an OpenGL context (almost) everywhere it is needed.
[kdenlive] / src / kthumb.cpp
index 6eb212a7d358eac233f2e889edbb4a1037596601..5a81f5481ad789e159b7fdb8ce449faf0ece0773 100644 (file)
 #include <QApplication>
 #include <QtConcurrentRun>
 #include <QVarLengthArray>
+#include <QPainter>
+#include <QGLWidget>
 
-KThumb::KThumb(ClipManager *clipManager, KUrl url, const QString &id, const QString &hash, QObject * parent, const char */*name*/) :
+KThumb::KThumb(ClipManager *clipManager, const KUrl &url, const QString &id, const QString &hash, QObject * parent) :
     QObject(parent),
-    m_audioThumbProducer(),
     m_url(url),
     m_thumbFile(),
     m_dar(1),
     m_ratio(1),
     m_producer(NULL),
     m_clipManager(clipManager),
-    m_id(id),
-    m_stopAudioThumbs(false)
+    m_id(id)
 {
     m_thumbFile = clipManager->projectFolder() + "/thumbs/" + hash + ".thumb";
 }
 
 KThumb::~KThumb()
 {
-    m_listMutex.lock();
-    m_requestedThumbs.clear();
-    m_listMutex.unlock();
+    if (m_producer) m_clipManager->stopThumbs(m_id);
+    m_producer = NULL;
     m_intraFramesQueue.clear();
-    if (m_audioThumbProducer.isRunning()) {
-        m_stopAudioThumbs = true;
-        m_audioThumbProducer.waitForFinished();
-        slotAudioThumbOver();
-    }
-    m_future.waitForFinished();
     m_intra.waitForFinished();
 }
 
 void KThumb::setProducer(Mlt::Producer *producer)
 {
-    m_listMutex.lock();
-    m_requestedThumbs.clear();
-    m_listMutex.unlock();
+    if (m_producer) m_clipManager->stopThumbs(m_id);
     m_intraFramesQueue.clear();
-    m_future.waitForFinished();
     m_intra.waitForFinished();
-    m_mutex.lock();
+    QMutexLocker lock(&m_mutex);
     m_producer = producer;
     // FIXME: the profile() call leaks an object, but trying to free
     // it leads to a double-free in Profile::~Profile()
     if (producer) {
-        m_dar = producer->profile()->dar();
-        m_ratio = (double) producer->profile()->width() / producer->profile()->height();
+        Mlt::Profile *profile = producer->profile();
+        m_dar = profile->dar();
+        m_ratio = (double) profile->width() / profile->height();
     }
-    m_mutex.unlock();
 }
 
 void KThumb::clearProducer()
 {
-    setProducer(NULL);
+    if (m_producer) setProducer(NULL);
 }
 
 bool KThumb::hasProducer() const
@@ -104,69 +94,59 @@ void KThumb::updateThumbUrl(const QString &hash)
     m_thumbFile = m_clipManager->projectFolder() + "/thumbs/" + hash + ".thumb";
 }
 
-void KThumb::updateClipUrl(KUrl url, const QString &hash)
+void KThumb::updateClipUrl(const KUrl &url, const QString &hash)
 {
     m_url = url;
     m_thumbFile = m_clipManager->projectFolder() + "/thumbs/" + hash + ".thumb";
 }
 
 //static
-QPixmap KThumb::getImage(KUrl url, int width, int height)
+QPixmap KThumb::getImage(const KUrl& url, int width, int height)
 {
     if (url.isEmpty()) return QPixmap();
     return getImage(url, 0, width, height);
 }
 
-void KThumb::extractImage(int frame, int frame2)
+void KThumb::extractImage(const QList<int> &frames)
 {
     if (!KdenliveSettings::videothumbnails() || m_producer == NULL) return;
-    m_listMutex.lock();
-    if (frame != -1 && !m_requestedThumbs.contains(frame)) m_requestedThumbs.append(frame);
-    if (frame2 != -1 && !m_requestedThumbs.contains(frame2)) m_requestedThumbs.append(frame2);
-    qSort(m_requestedThumbs);
-    m_listMutex.unlock();
-    if (!m_future.isRunning()) {
-        m_future = QtConcurrent::run(this, &KThumb::doGetThumbs);
-    }
+    m_clipManager->slotRequestThumbs(m_id, frames);
 }
 
-void KThumb::doGetThumbs()
+
+void KThumb::getThumb(int frame)
 {
-    const int theight = KdenliveSettings::trackheight();
+    const int theight = Kdenlive::DefaultThumbHeight;
     const int swidth = (int)(theight * m_ratio + 0.5);
     const int dwidth = (int)(theight * m_dar + 0.5);
+    QImage img = getProducerFrame(frame, swidth, dwidth, theight);
+    emit thumbReady(frame, img);
+}
 
-    while (!m_requestedThumbs.isEmpty()) {
-        m_listMutex.lock();
-        int frame = m_requestedThumbs.takeFirst();
-        m_listMutex.unlock();
-        if (frame != -1) {
-            QImage img = getProducerFrame(frame, swidth, dwidth, theight);
-            emit thumbReady(frame, img);
-        }
-    }
+void KThumb::getGenericThumb(int frame, int height, int type)
+{
+    const int swidth = (int)(height * m_ratio + 0.5);
+    const int dwidth = (int)(height * m_dar + 0.5);
+    QImage img = getProducerFrame(frame, swidth, dwidth, height);
+    m_clipManager->projectTreeThumbReady(m_id, frame, img, type);
 }
 
-QPixmap KThumb::extractImage(int frame, int width, int height)
+QImage KThumb::extractImage(int frame, int width, int height)
 {
     if (m_producer == NULL) {
-        QPixmap p(width, height);
-        p.fill(Qt::black);
-        return p;
+        QImage img(width, height, QImage::Format_ARGB32_Premultiplied);
+        img.fill(QColor(Qt::black).rgb());
+        return img;
     }
-    QImage img = getProducerFrame(frame, (int) (height * m_ratio + 0.5), width, height);
-    return QPixmap::fromImage(img);
+    return getProducerFrame(frame, (int) (height * m_ratio + 0.5), width, height);
 }
 
 //static
-QPixmap KThumb::getImage(KUrl url, int frame, int width, int height)
+QPixmap KThumb::getImage(const KUrl& url, int frame, int width, int height)
 {
     Mlt::Profile profile(KdenliveSettings::current_profile().toUtf8().constData());
     QPixmap pix(width, height);
     if (url.isEmpty()) return pix;
-
-    //"<mlt><playlist><producer resource=\"" + url.path() + "\" /></playlist></mlt>");
-    //Mlt::Producer producer(profile, "xml-string", tmp);
     Mlt::Producer *producer = new Mlt::Producer(profile, url.path().toUtf8().constData());
     double swidth = (double) profile.width() / profile.height();
     pix = QPixmap::fromImage(getFrame(producer, frame, (int) (height * swidth + 0.5), width, height));
@@ -187,12 +167,14 @@ QImage KThumb::getProducerFrame(int framepos, int frameWidth, int displayWidth,
         p.fill(QColor(Qt::black).rgb());
         return p;
     }
-    m_mutex.lock();
+    QMutexLocker lock(&m_mutex);
     m_producer->seek(framepos);
     Mlt::Frame *frame = m_producer->get_frame();
+    /*frame->set("rescale.interp", "nearest");
+    frame->set("deinterlace_method", "onefield");
+    frame->set("top_field_first", -1 );*/
     QImage p = getFrame(frame, frameWidth, displayWidth, height);
     delete frame;
-    m_mutex.unlock();
     return p;
 }
 
@@ -212,7 +194,10 @@ QImage KThumb::getFrame(Mlt::Producer *producer, int framepos, int frameWidth, i
 
     producer->seek(framepos);
     Mlt::Frame *frame = producer->get_frame();
-    QImage p = getFrame(frame, frameWidth, displayWidth, height);
+    frame->set("rescale.interp", "nearest");
+    frame->set("deinterlace_method", "onefield");
+    frame->set("top_field_first", -1 );
+    const QImage p = getFrame(frame, frameWidth, displayWidth, height);
     delete frame;
     return p;
 }
@@ -226,13 +211,22 @@ QImage KThumb::getFrame(Mlt::Frame *frame, int frameWidth, int displayWidth, int
         p.fill(QColor(Qt::red).rgb());
         return p;
     }
-
+    
     int ow = frameWidth;
     int oh = height;
     mlt_image_format format = mlt_image_rgb24a;
-    
+    //frame->set("progressive", "1");
+    if (ow % 2 == 1) ow++;
+    QImage image(ow, oh, QImage::Format_ARGB32_Premultiplied);
     const uchar* imagedata = frame->get_image(format, ow, oh);
-    QImage image(imagedata, ow, oh, QImage::Format_ARGB32_Premultiplied);
+    if (imagedata == NULL) {
+        p.fill(QColor(Qt::red).rgb());
+        return p;
+    }
+    memcpy(image.bits(), imagedata, ow * oh * 4);//.byteCount());
+    
+    //const uchar* imagedata = frame->get_image(format, ow, oh);
+    //QImage image(imagedata, ow, oh, QImage::Format_ARGB32_Premultiplied);
     
     if (!image.isNull()) {
         if (ow > (2 * displayWidth)) {
@@ -241,8 +235,14 @@ QImage KThumb::getFrame(Mlt::Frame *frame, int frameWidth, int displayWidth, int
         } else {
             image = image.scaled(displayWidth, height, Qt::IgnoreAspectRatio).rgbSwapped();
         }
-        p.fill(QColor(Qt::black).rgb());
+#if QT_VERSION >= 0x040800
+       p.fill(QColor(100, 100, 100, 70));
         QPainter painter(&p);
+#else
+       p.fill(Qt::transparent);
+       QPainter painter(&p);
+       painter.fillRect(p.rect(), QColor(100, 100, 100, 70));
+#endif
         painter.drawImage(p.rect(), image);
         painter.end();
     } else
@@ -251,7 +251,7 @@ QImage KThumb::getFrame(Mlt::Frame *frame, int frameWidth, int displayWidth, int
 }
 
 //static
-uint KThumb::imageVariance(QImage image )
+uint KThumb::imageVariance(const QImage &image )
 {
     uint delta = 0;
     uint avg = 0;
@@ -260,7 +260,7 @@ uint KThumb::imageVariance(QImage image )
     QVarLengthArray<uchar> pivot(STEPS);
     const uchar *bits=image.bits();
     // First pass: get pivots and taking average
-    for( uint i=0; i<STEPS ; i++ ){
+    for( uint i=0; i<STEPS ; ++i ){
         pivot[i] = bits[2 * i];
 #if QT_VERSION >= 0x040700
         avg+=pivot.at(i);
@@ -268,9 +268,10 @@ uint KThumb::imageVariance(QImage image )
         avg+=pivot[i];
 #endif
     }
-    avg=avg/STEPS;
+    if (STEPS)
+        avg=avg/STEPS;
     // Second Step: calculate delta (average?)
-    for (uint i=0; i<STEPS; i++)
+    for (uint i=0; i<STEPS; ++i)
     {
 #if QT_VERSION >= 0x040700
         int curdelta=abs(int(avg - pivot.at(i)));
@@ -279,7 +280,10 @@ uint KThumb::imageVariance(QImage image )
 #endif
         delta+=curdelta;
     }
-    return delta/STEPS;
+    if (STEPS)
+        return delta/STEPS;
+    else
+        return 0;
 }
 
 /*
@@ -316,7 +320,7 @@ void KThumb::getThumbs(KUrl url, int startframe, int endframe, int width, int he
     if (url.isEmpty()) return;
     QPixmap image(width, height);
     Mlt::Producer m_producer(url.path().toUtf8().constData());
-    image.fill(Qt::black);
+    image.fill(QColor(Qt::black).rgb());
 
     if (m_producer.is_blank()) {
  emit thumbReady(startframe, image);
@@ -353,155 +357,14 @@ void KThumb::getThumbs(KUrl url, int startframe, int endframe, int width, int he
     emit thumbReady(endframe, image);
 }
 */
-void KThumb::stopAudioThumbs()
-{
-    if (m_audioThumbProducer.isRunning()) {
-        m_stopAudioThumbs = true;
-        m_audioThumbProducer.waitForFinished();
-        slotAudioThumbOver();
-    }
-}
-
-void KThumb::removeAudioThumb()
-{
-    if (m_thumbFile.isEmpty()) return;
-    stopAudioThumbs();
-    QFile f(m_thumbFile);
-    f.remove();
-}
-
-void KThumb::getAudioThumbs(int channel, double frame, double frameLength, int arrayWidth)
-{
-    if (channel == 0) {
-        slotAudioThumbOver();
-        return;
-    }
-    if (m_audioThumbProducer.isRunning()) {
-        return;
-    }
-
-    audioByteArray storeIn;
-    //FIXME: Hardcoded!!!
-    m_frequency = 48000;
-    m_channels = channel;
-
-    QFile f(m_thumbFile);
-    if (f.open(QIODevice::ReadOnly)) {
-        const QByteArray channelarray = f.readAll();
-        f.close();
-        if (channelarray.size() != arrayWidth*(frame + frameLength)*m_channels) {
-            kDebug() << "--- BROKEN THUMB FOR: " << m_url.fileName() << " ---------------------- " << endl;
-            f.remove();
-            slotAudioThumbOver();
-            return;
-        }
-
-        kDebug() << "reading audio thumbs from file";
-
-        int h1 = arrayWidth * m_channels;
-        int h2 = (int) frame * h1;
-        int h3;
-        for (int z = (int) frame; z < (int)(frame + frameLength); z++) {
-            h3 = 0;
-            for (int c = 0; c < m_channels; c++) {
-                QByteArray m_array(arrayWidth, '\x00');
-                for (int i = 0; i < arrayWidth; i++) {
-                    m_array[i] = channelarray.at(h2 + h3 + i);
-                }
-                h3 += arrayWidth;
-                storeIn[z][c] = m_array;
-            }
-            h2 += h1;
-        }
-        emit audioThumbReady(storeIn);
-        slotAudioThumbOver();
-    } else {
-        if (m_audioThumbProducer.isRunning()) return;
-        m_audioThumbFile.setFileName(m_thumbFile);
-        m_frame = frame;
-        m_frameLength = frameLength;
-        m_arrayWidth = arrayWidth;
-        m_audioThumbProducer = QtConcurrent::run(this, &KThumb::slotCreateAudioThumbs);
-        /*m_audioThumbProducer.init(m_url, m_thumbFile, frame, frameLength, m_frequency, m_channels, arrayWidth);
-        m_audioThumbProducer.start(QThread::LowestPriority);*/
-        // kDebug() << "STARTING GENERATE THMB FOR: " <<m_id<<", URL: "<< m_url << " ................................";
-    }
-}
 
 void KThumb::slotCreateAudioThumbs()
 {
-    Mlt::Profile prof((char*) KdenliveSettings::current_profile().toUtf8().data());
-    Mlt::Producer producer(prof, m_url.path().toUtf8().data());
-    if (!producer.is_valid()) {
-        kDebug() << "++++++++  INVALID CLIP: " << m_url.path();
-        return;
-    }
-    if (!m_audioThumbFile.open(QIODevice::WriteOnly)) {
-        kDebug() << "++++++++  ERROR WRITING TO FILE: " << m_audioThumbFile.fileName();
-        kDebug() << "++++++++  DISABLING AUDIO THUMBS";
-        KdenliveSettings::setAudiothumbnails(false);
-        return;
-    }
-
-    if (KdenliveSettings::normaliseaudiothumbs()) {
-        Mlt::Filter m_convert(prof, "volume");
-        m_convert.set("gain", "normalise");
-        producer.attach(m_convert);
-    }
-
-    int last_val = 0;
-    int val = 0;
-    //kDebug() << "for " << m_frame << " " << m_frameLength << " " << m_producer.is_valid();
-    for (int z = (int) m_frame; z < (int)(m_frame + m_frameLength) && producer.is_valid(); z++) {
-        if (m_stopAudioThumbs) break;
-        val = (int)((z - m_frame) / (m_frame + m_frameLength) * 100.0);
-        if (last_val != val && val > 1) {
-            m_clipManager->setThumbsProgress(i18n("Creating thumbnail for %1", m_url.fileName()), val);
-            last_val = val;
-        }
-        producer.seek(z);
-        Mlt::Frame *mlt_frame = producer.get_frame();
-        if (mlt_frame && mlt_frame->is_valid()) {
-            double m_framesPerSecond = mlt_producer_get_fps(producer.get_producer());
-            int m_samples = mlt_sample_calculator(m_framesPerSecond, m_frequency, mlt_frame_get_position(mlt_frame->get_frame()));
-            mlt_audio_format m_audioFormat = mlt_audio_pcm;
-            qint16* m_pcm = static_cast<qint16*>(mlt_frame->get_audio(m_audioFormat, m_frequency, m_channels, m_samples));
-
-            for (int c = 0; c < m_channels; c++) {
-                QByteArray m_array;
-                m_array.resize(m_arrayWidth);
-                for (int i = 0; i < m_array.size(); i++) {
-                    m_array[i] = ((*(m_pcm + c + i * m_samples / m_array.size())) >> 9) + 127 / 2 ;
-                }
-                m_audioThumbFile.write(m_array);
-
-            }
-        } else {
-            m_audioThumbFile.write(QByteArray(m_arrayWidth, '\x00'));
-        }
-        delete mlt_frame;
-    }
-    m_audioThumbFile.close();
-    if (m_stopAudioThumbs) {
-        m_audioThumbFile.remove();
-    } else {
-        slotAudioThumbOver();
-    }
-}
-
-void KThumb::slotAudioThumbOver()
-{
-    m_clipManager->setThumbsProgress(i18n("Creating thumbnail for %1", m_url.fileName()), -1);
-    m_clipManager->endAudioThumbsGeneration(m_id);
-}
-
-void KThumb::askForAudioThumbs(const QString &id)
-{
-    m_clipManager->askForAudioThumb(id);
+    m_clipManager->askForAudioThumb(m_id);
 }
 
 #if KDE_IS_VERSION(4,5,0)
-void KThumb::queryIntraThumbs(QList <int> missingFrames)
+void KThumb::queryIntraThumbs(const QList <int> &missingFrames)
 {
     foreach (int i, missingFrames) {
         if (!m_intraFramesQueue.contains(i)) m_intraFramesQueue.append(i);
@@ -514,10 +377,14 @@ void KThumb::queryIntraThumbs(QList <int> missingFrames)
 
 void KThumb::slotGetIntraThumbs()
 {
+    // We are in a new thread, so we need a new OpenGL context for the remainder of the function.
+    QGLWidget ctx(0, m_clipManager->getMainContext());
+    ctx.makeCurrent();
+
     const int theight = KdenliveSettings::trackheight();
     const int frameWidth = (int)(theight * m_ratio + 0.5);
     const int displayWidth = (int)(theight * m_dar + 0.5);
-    QString path = m_url.path() + "_";
+    QString path = m_url.path() + '_';
     bool addedThumbs = false;
 
     while (!m_intraFramesQueue.isEmpty()) {
@@ -533,7 +400,7 @@ void KThumb::slotGetIntraThumbs()
     if (addedThumbs) emit thumbsCached();
 }
 
-QImage KThumb::findCachedThumb(const QString path)
+QImage KThumb::findCachedThumb(const QString &path)
 {
     QImage img;
     m_clipManager->pixmapCache->findImage(path, &img);