如何在不阻塞数据流的同时保存数据流中的数据？（PyQt5 signal emit（）性能）

Question

我正在开发一个PyQt5应用程序。 在我的应用程序中，它有一个数据流，它的速度大约是5~20个数据/秒。在

每次数据到达时，将调用Analyzer类的onData()方法。（以下代码是我的应用程序的简化代码）

class Analyzer():
    def __init__(self):
        self.cnt = 0
        self.dataDeque = deque(MAXLENGTH=10000)
    def onData(self, data):
        self.dataDeque.append({
            "data": data, 
            "createdTime": time.time()
        })
        self.cnt += 1
        if self.cnt % 10000 == 0:
            pickle.dump(dataDeque, open(file, 'wb'))

但问题是，这个dataDeque对象太大（50~150MB），所以转储pickle大约需要1~2秒。在

在此期间（1~2秒），调用onData()方法的请求排队，1~2秒后，排队的请求同时调用大量onData()方法，最终扭曲了createdTime的数据。在

用qti来解决我的线程问题。在

以下代码是已编辑的代码。在

^{pr2}$

下面的代码是PickleDumpingThread类。在

class PickleDumpingThread(QThread):
   def __init__(self):
       super().__init__()
       self.daemon = True
       self.pickleDumpingSignal[dict].connect(self.savePickle)

   def savePickle(self, signal_dict):
       pickle.dump(signal_dict["deque"], open(file, 'wb'))

我预计这段新编辑的代码会显著减少流阻塞时间（1~2秒），但这段代码仍然阻塞流大约0.5~2秒。在

似乎pickleDumpingThread.pickleDumpingSignal.emit(somedict)需要0.5~2秒。在

我的问题是三件事。在

1. signal emit（）函数的性能不是这样好吗？

2. 在我的函数emit（）中有没有其他方法？

3. 或者有什么方法可以在不阻塞数据流的同时保存pickle？ （如有任何修改我的代码的建议，我们将不胜感激）

谢谢你读了这个长长的问题！在

Answer 1

像这样的事情也许会奏效

class PickleDumpingThread(QThread):
   def __init__(self, data):
       super().__init__()
       self.data = data

   def run(self):
       pickle.dump(self.data["deque"], open(file, 'wb'))
       self.emit(QtCore.SIGNAL('threadFinished(int)'), self.currentThreadId())

class Analyzer():
    def __init__(self):
        self.cnt = 0
        self.dataDeque = deque(MAXLENGTH=10000)
        self.threadHandler = {}

    def onData(self, data):
        self.dataDeque.append({ "data": data, "createdTime": time.time() })
        self.cnt += 1
        if self.cnt % 10000 == 0:
            thread = PickleDumpingThread(self.dataDeque)
            self.connect(thread, QtCore.SIGNAL("threadFinished(int)"), self.threadFinished)
            thread.start() 
            self.threadHandler[thread.currentThreadId()] = thread

    @QtCore.pyqtSlot(int)
    def threadFinished(id):
        del self.threadHandler[id]

self.threadHandler只是想知道有多少线程仍在运行，可以去掉它和threadFinished方法