]> git.sesse.net Git - kdenlive/blobdiff - src/kthumb.cpp
Introduce video thumbnail for each frame when zooming at max level (causes slowdown...
[kdenlive] / src / kthumb.cpp
index 54fb42798a72ec12d4db01e26041add108cab205..c8971af46b0fb7a2739656843cc3d8bace8e338d 100644 (file)
  *                                                                         *
  ***************************************************************************/
 
+#include "kthumb.h"
+#include "clipmanager.h"
+#include "renderer.h"
+#include "kdenlivesettings.h"
+
+#include <mlt++/Mlt.h>
+
 #include <kio/netaccess.h>
 #include <kdebug.h>
 #include <klocale.h>
-#include <kdenlivesettings.h>
 #include <kfileitem.h>
 #include <kmessagebox.h>
 #include <KStandardDirs>
 
-#include <mlt++/Mlt.h>
-
 #include <qxml.h>
-#include <qimage.h>
-
-#include <QThread>
+#include <QImage>
 #include <QApplication>
-#include <QCryptographicHash>
+#include <QtConcurrentRun>
 
-#include "clipmanager.h"
-#include "renderer.h"
-#include "kthumb.h"
-#include "kdenlivesettings.h"
-#include "events.h"
-
-void MyThread::init(QObject *parent, KUrl url, QString target, double frame, double frameLength, int frequency, int channels, int arrayWidth) {
+void MyThread::init(KUrl url, QString target, double frame, double frameLength, int frequency, int channels, int arrayWidth)
+{
     stop_me = false;
-    m_parent = parent;
     m_isWorking = false;
     f.setFileName(target);
     m_url = url;
@@ -56,12 +52,13 @@ void MyThread::init(QObject *parent, KUrl url, QString target, double frame, dou
     m_arrayWidth = arrayWidth;
 }
 
-bool MyThread::isWorking() {
+bool MyThread::isWorking()
+{
     return m_isWorking;
 }
 
-void MyThread::run() {
-
+void MyThread::run()
+{
     if (!f.open(QIODevice::WriteOnly)) {
         kDebug() << "++++++++  ERROR WRITING TO FILE: " << f.fileName() << endl;
         kDebug() << "++++++++  DISABLING AUDIO THUMBS" << endl;
@@ -79,32 +76,28 @@ void MyThread::run() {
         m_producer.attach(m_convert);
     }
 
-    //QApplication::postEvent(m_parent, new ProgressEvent(-1, (QEvent::Type)10005));
-
     int last_val = 0;
     int val = 0;
     kDebug() << "for " << m_frame << " " << m_frameLength << " " << m_producer.is_valid();
-    for (int z = (int) m_frame;z < (int)(m_frame + m_frameLength) && m_producer.is_valid();z++) {
+    for (int z = (int) m_frame; z < (int)(m_frame + m_frameLength) && m_producer.is_valid(); z++) {
         if (stop_me) break;
         val = (int)((z - m_frame) / (m_frame + m_frameLength) * 100.0);
-        if (last_val != val & val > 1) {
-            QApplication::postEvent(m_parent, new ProgressEvent(val, (QEvent::Type)10005));
-
+        if (last_val != val && val > 1) {
+            emit audioThumbProgress(val);
             last_val = val;
         }
         m_producer.seek(z);
         Mlt::Frame *mlt_frame = m_producer.get_frame();
         if (mlt_frame && mlt_frame->is_valid()) {
-            double m_framesPerSecond = mlt_producer_get_fps(m_producer.get_producer());   //mlt_frame->get_double( "fps" );
+            double m_framesPerSecond = mlt_producer_get_fps(m_producer.get_producer());
             int m_samples = mlt_sample_calculator(m_framesPerSecond, m_frequency, mlt_frame_get_position(mlt_frame->get_frame()));
             mlt_audio_format m_audioFormat = mlt_audio_pcm;
+            qint16* m_pcm = static_cast<qint16*>(mlt_frame->get_audio(m_audioFormat, m_frequency, m_channels, m_samples));
 
-            int16_t* m_pcm = mlt_frame->get_audio(m_audioFormat, m_frequency, m_channels, m_samples);
-
-            for (int c = 0;c < m_channels;c++) {
+            for (int c = 0; c < m_channels; c++) {
                 QByteArray m_array;
                 m_array.resize(m_arrayWidth);
-                for (uint i = 0; i < m_array.size(); i++) {
+                for (int i = 0; i < m_array.size(); i++) {
                     m_array[i] = ((*(m_pcm + c + i * m_samples / m_array.size())) >> 9) + 127 / 2 ;
                 }
                 f.write(m_array);
@@ -113,136 +106,172 @@ void MyThread::run() {
         } else {
             f.write(QByteArray(m_arrayWidth, '\x00'));
         }
-        if (mlt_frame)
-            delete mlt_frame;
+        delete mlt_frame;
     }
-    kDebug() << "done";
+    //kDebug() << "done";
     f.close();
     m_isWorking = false;
     if (stop_me) {
         f.remove();
-        QApplication::postEvent(m_parent, new ProgressEvent(-1, (QEvent::Type)10005));
+    } else emit audioThumbOver();
+}
 
-    }
-    QApplication::postEvent(m_parent, new ProgressEvent(0, (QEvent::Type)10005));
 
+KThumb::KThumb(ClipManager *clipManager, KUrl url, const QString &id, const QString &hash, QObject * parent, const char */*name*/) :
+        QObject(parent),
+        m_audioThumbProducer(),
+        m_url(url),
+        m_thumbFile(),
+        m_dar(1),
+        m_producer(NULL),
+        m_clipManager(clipManager),
+        m_id(id)
+{
+    m_thumbFile = clipManager->projectFolder() + "/thumbs/" + hash + ".thumb";
+    connect(&m_audioThumbProducer, SIGNAL(audioThumbProgress(const int)), this, SLOT(slotAudioThumbProgress(const int)));
+    connect(&m_audioThumbProducer, SIGNAL(audioThumbOver()), this, SLOT(slotAudioThumbOver()));
 }
 
+KThumb::~KThumb()
+{
+    m_requestedThumbs.clear();
+    if (m_audioThumbProducer.isRunning()) {
+        m_audioThumbProducer.stop_me = true;
+        m_audioThumbProducer.wait();
+        slotAudioThumbOver();
+    }
+    m_future.waitForFinished();
+}
 
-#define _S(a)           (a)>255 ? 255 : (a)<0 ? 0 : (a)
-#define _R(y,u,v) (0x2568*(y)                          + 0x3343*(u)) /0x2000
-#define _G(y,u,v) (0x2568*(y) - 0x0c92*(v) - 0x1a1e*(u)) /0x2000
-#define _B(y,u,v) (0x2568*(y) + 0x40cf*(v))                                          /0x2000
+void KThumb::setProducer(Mlt::Producer *producer)
+{
+    m_requestedThumbs.clear();
+    m_future.waitForFinished();
+    m_producer = producer;
+    // FIXME: the profile() call leaks an object, but trying to free
+    // it leads to a double-free in Profile::~Profile()
+    m_dar = producer->profile()->dar();
+}
 
-KThumb::KThumb(ClipManager *clipManager, KUrl url, QObject * parent, const char *name): QObject(parent), m_clipManager(clipManager), m_url(url) {
+void KThumb::clearProducer()
+{
+    m_producer = NULL;
+}
 
-    m_profile = new Mlt::Profile((char*) KdenliveSettings::current_profile().data());
-    QCryptographicHash context(QCryptographicHash::Sha1);
-    context.addData((KFileItem(m_url, "text/plain", S_IFREG).timeString() + m_url.fileName()).toAscii().data());
-    m_thumbFile = KGlobal::dirs()->saveLocation("tmp" , "kdenlive") + context.result().toHex() + ".thumb";
-    kDebug() << "thumbfile=" << m_thumbFile;
+bool KThumb::hasProducer() const
+{
+    return m_producer != NULL;
 }
 
-KThumb::~KThumb() {
-    if (m_profile) delete m_profile;
-    if (thumbProducer.isRunning()) thumbProducer.exit();
+void KThumb::updateThumbUrl(const QString &hash)
+{
+    m_thumbFile = m_clipManager->projectFolder() + "/thumbs/" + hash + ".thumb";
 }
 
+void KThumb::updateClipUrl(KUrl url, const QString &hash)
+{
+    m_url = url;
+    if (m_producer) {
+        char *tmp = Render::decodedString(url.path());
+        m_producer->set("resource", tmp);
+        delete[] tmp;
+    }
+    m_thumbFile = m_clipManager->projectFolder() + "/thumbs/" + hash + ".thumb";
+}
 
 //static
-QPixmap KThumb::getImage(KUrl url, int width, int height) {
+QPixmap KThumb::getImage(KUrl url, int width, int height)
+{
     if (url.isEmpty()) return QPixmap();
-    /*QPixmap pix(width, height);
-    kDebug() << "+++++++++++  GET THMB IMG FOR: " << url;
-    char *tmp = Render::decodedString(url.path());
-    Mlt::Profile prof((char*) KdenliveSettings::current_profile().data());
-    Mlt::Producer m_producer(prof, tmp);
-    delete[] tmp;
-
-    if (m_producer.is_blank()) {
-        pix.fill(Qt::black);
-        return pix;
-    }
-    Mlt::Frame * m_frame;
-    mlt_image_format format = mlt_image_rgb24a;
-    Mlt::Filter m_convert(prof, "avcolour_space");
-    m_convert.set("forced", mlt_image_rgb24a);
-    m_producer.attach(m_convert);
-    //m_producer.seek(frame);
-    m_frame = m_producer.get_frame();
-    if (m_frame && m_frame->is_valid()) {
-        uint8_t *thumb = m_frame->get_image(format, width, height);
-        QImage image(thumb, width, height, QImage::Format_ARGB32);
-        if (!image.isNull()) {
-            pix = pix.fromImage(image);
-        } else pix.fill(Qt::black);
-    }
-    if (m_frame) delete m_frame;
-    return pix;*/
     return getImage(url, 0, width, height);
 }
 
-void KThumb::extractImage(int frame, int frame2) {
-    if (m_url.isEmpty()) return;
-
-    char *tmp = Render::decodedString(m_url.path());
-    Mlt::Producer m_producer(*m_profile, tmp);
-    delete[] tmp;
+void KThumb::extractImage(int frame, int frame2)
+{
+    if (!KdenliveSettings::videothumbnails() || m_producer == NULL) return;
+    if (frame != -1 && !m_requestedThumbs.contains(frame)) m_requestedThumbs.append(frame);
+    if (frame2 != -1 && !m_requestedThumbs.contains(frame2)) m_requestedThumbs.append(frame2);
+    if (!m_future.isRunning()) m_future = QtConcurrent::run(this, &KThumb::doGetThumbs);
+}
 
-    if (m_producer.is_blank()) {
-        QPixmap pix(KdenliveSettings::trackheight() * KdenliveSettings::project_display_ratio(), KdenliveSettings::trackheight());
-        pix.fill(Qt::black);
-        emit thumbReady(frame, pix);
-        return;
-    }
-    if (frame != -1) {
-        QPixmap pix = getFrame(&m_producer, frame, KdenliveSettings::trackheight() * KdenliveSettings::project_display_ratio(), KdenliveSettings::trackheight());
-        emit thumbReady(frame, pix);
-    }
-    if (frame2 != -1) {
-        QPixmap pix = getFrame(&m_producer, frame2, KdenliveSettings::trackheight() * KdenliveSettings::project_display_ratio(), KdenliveSettings::trackheight());
-        emit thumbReady(frame2, pix);
+void KThumb::doGetThumbs()
+{
+    const int theight = KdenliveSettings::trackheight();
+    const int twidth = FRAME_SIZE;//(int)(theight * m_dar + 0.5);
+
+    while (!m_requestedThumbs.isEmpty()) {
+        int frame = m_requestedThumbs.takeFirst();
+        if (frame != -1) {
+            QImage img = getFrame(m_producer, frame, twidth, theight);
+            emit thumbReady(frame, img);
+        }
     }
+}
 
+QPixmap KThumb::extractImage(int frame, int width, int height)
+{
+    return QPixmap::fromImage(getFrame(m_producer, frame, width, height));
 }
 
-QPixmap KThumb::getImage(KUrl url, int frame, int width, int height) {
-    Mlt::Profile profile((char*) KdenliveSettings::current_profile().data());
+//static
+QPixmap KThumb::getImage(KUrl url, int frame, int width, int height)
+{
+    char *tmp = Render::decodedString(KdenliveSettings::current_profile());
+    Mlt::Profile profile(tmp);
+    delete[] tmp;
     QPixmap pix(width, height);
     if (url.isEmpty()) return pix;
-    char *tmp = Render::decodedString(url.path());
-    Mlt::Producer producer(profile, tmp);
+
+    tmp = Render::decodedString(url.path());
+    //"<mlt><playlist><producer resource=\"" + url.path() + "\" /></playlist></mlt>");
+    //Mlt::Producer producer(profile, "xml-string", tmp);
+    Mlt::Producer *producer = new Mlt::Producer(profile, tmp);
     delete[] tmp;
 
-    if (producer.is_blank()) {
+    pix = QPixmap::fromImage(getFrame(producer, frame, width, height));
+    delete producer;
+    return pix;
+}
+
 
-        pix.fill(Qt::black);
-        return pix;
+//static
+QImage KThumb::getFrame(Mlt::Producer *producer, int framepos, int width, int height)
+{
+    QImage p(width, height, QImage::Format_ARGB32);
+    if (producer == NULL) {
+        p.fill(Qt::red);
+        return p;
     }
-    return getFrame(&producer, frame, width, height);
 
-}
+    if (producer->is_blank()) {
+        p.fill(Qt::black);
+        return p;
+    }
 
-QPixmap KThumb::getFrame(Mlt::Producer* producer, int frame, int width, int height) {
-    Mlt::Profile profile((char*) KdenliveSettings::current_profile().data());
-    Mlt::Filter m_convert(profile, "avcolour_space");
-    m_convert.set("forced", mlt_image_rgb24a);
-    producer->attach(m_convert);
+    producer->seek(framepos);
+    Mlt::Frame *frame = producer->get_frame();
+    if (!frame) {
+        kDebug() << "///// BROKEN FRAME";
+        p.fill(Qt::red);
+        return p;
+    }
+
+    /*Mlt::Producer parentProd(producer->parent());
+    Mlt::Service service(parentProd.get_service());
+    mlt_service_lock(service.get_service());*/
 
-    producer->seek(frame);
-    Mlt::Frame * m_frame = producer->get_frame();
     mlt_image_format format = mlt_image_rgb24a;
-    QPixmap pix(width, height);
-    if (m_frame && m_frame->is_valid()) {
-        uint8_t *thumb = m_frame->get_image(format, width, height);
-        QImage image(thumb, width, height, QImage::Format_ARGB32);
-        if (!image.isNull()) {
-            pix = pix.fromImage(image);
-        } else pix.fill(Qt::black);
-    }
-    if (m_frame) delete m_frame;
-    return pix;
+    uint8_t *data = frame->get_image(format, width, height, 0);
+    QImage image((uchar *)data, width, height, QImage::Format_ARGB32);
+    //mlt_service_unlock(service.get_service());
+
+    if (!image.isNull()) {
+        p = image.rgbSwapped();
+    } else
+        p.fill(Qt::red);
 
+    delete frame;
+    return p;
 }
 /*
 void KThumb::getImage(KUrl url, int frame, int width, int height)
@@ -319,21 +348,29 @@ void KThumb::getThumbs(KUrl url, int startframe, int endframe, int width, int he
     emit thumbReady(endframe, image);
 }
 */
-void KThumb::stopAudioThumbs() {
-    if (thumbProducer.isRunning()) thumbProducer.stop_me = true;
+void KThumb::stopAudioThumbs()
+{
+    if (m_audioThumbProducer.isRunning()) {
+        m_audioThumbProducer.stop_me = true;
+        slotAudioThumbOver();
+    }
 }
 
-
-void KThumb::removeAudioThumb() {
+void KThumb::removeAudioThumb()
+{
     if (m_thumbFile.isEmpty()) return;
     stopAudioThumbs();
     QFile f(m_thumbFile);
     f.remove();
 }
 
-void KThumb::getAudioThumbs(int channel, double frame, double frameLength, int arrayWidth) {
-
-    if ((thumbProducer.isRunning() && thumbProducer.isWorking()) || channel == 0) {
+void KThumb::getAudioThumbs(int channel, double frame, double frameLength, int arrayWidth)
+{
+    if (channel == 0) {
+        slotAudioThumbOver();
+        return;
+    }
+    if ((m_audioThumbProducer.isRunning() && m_audioThumbProducer.isWorking())) {
         return;
     }
 
@@ -349,11 +386,12 @@ void KThumb::getAudioThumbs(int channel, double frame, double frameLength, int a
         if (channelarray.size() != arrayWidth*(frame + frameLength)*m_channels) {
             kDebug() << "--- BROKEN THUMB FOR: " << m_url.fileName() << " ---------------------- " << endl;
             f.remove();
+            slotAudioThumbOver();
             return;
         }
         kDebug() << "reading audio thumbs from file";
-        for (int z = (int) frame;z < (int)(frame + frameLength);z++) {
-            for (int c = 0;c < m_channels;c++) {
+        for (int z = (int) frame; z < (int)(frame + frameLength); z++) {
+            for (int c = 0; c < m_channels; c++) {
                 QByteArray m_array(arrayWidth, '\x00');
                 for (int i = 0; i < arrayWidth; i++)
                     m_array[i] = channelarray[z*arrayWidth*m_channels + c*arrayWidth + i];
@@ -361,21 +399,30 @@ void KThumb::getAudioThumbs(int channel, double frame, double frameLength, int a
             }
         }
         emit audioThumbReady(storeIn);
+        slotAudioThumbOver();
     } else {
-        if (thumbProducer.isRunning()) return;
-        thumbProducer.init(this, m_url, m_thumbFile, frame, frameLength, m_frequency, m_channels, arrayWidth);
-        thumbProducer.start(QThread::LowestPriority);
-        kDebug() << "STARTING GENERATE THMB FOR: " << m_url << " ................................";
+        if (m_audioThumbProducer.isRunning()) return;
+        m_audioThumbProducer.init(m_url, m_thumbFile, frame, frameLength, m_frequency, m_channels, arrayWidth);
+        m_audioThumbProducer.start(QThread::LowestPriority);
+        // kDebug() << "STARTING GENERATE THMB FOR: " <<m_id<<", URL: "<< m_url << " ................................";
     }
 }
 
-void KThumb::customEvent(QEvent * event) {
-    if (event->type() == 10005) {
-        ProgressEvent* p = (ProgressEvent*) event;
-        m_clipManager->setThumbsProgress(m_url, p->value());
-    }
+void KThumb::slotAudioThumbProgress(const int progress)
+{
+    m_clipManager->setThumbsProgress(i18n("Creating thumbnail for %1", m_url.fileName()), progress);
+}
+
+void KThumb::slotAudioThumbOver()
+{
+    m_clipManager->setThumbsProgress(i18n("Creating thumbnail for %1", m_url.fileName()), -1);
+    m_clipManager->endAudioThumbsGeneration(m_id);
 }
 
+void KThumb::askForAudioThumbs(const QString &id)
+{
+    m_clipManager->askForAudioThumb(id);
+}
 
 
 #include "kthumb.moc"