Python多处理应用_async“assert left>0”AssertionE

Question

我正在尝试在池中异步加载numy文件：

self.pool = Pool(2, maxtasksperchild = 1)
...
nextPackage = self.pool.apply_async(loadPackages, (...))
for fi in np.arange(len(files)):
    packages = nextPackage.get(timeout=30)
    # preload the next package asynchronously. It will be available
    # by the time it is required.
    nextPackage = self.pool.apply_async(loadPackages, (...))

方法“loadPackages”：

^{pr2}$

在加载第一个“包”之前，会发生以下错误：

Exception in thread Thread-8: Traceback (most recent call last):
File "C:\Users\roman\Anaconda3\envs\tsc1\lib\threading.py", line 914, in _bootstrap_inner self.run() File "C:\Users\roman\Anaconda3\envs\tsc1\lib\threading.py", line 862, in run self._target(*self._args, **self._kwargs) File "C:\Users\roman\Anaconda3\envs\tsc1\lib\multiprocessing\pool.py", line 463, in _handle_results task = get() File "C:\Users\roman\Anaconda3\envs\tsc1\lib\multiprocessing\connection.py", line 250, in recv buf = self._recv_bytes() File "C:\Users\roman\Anaconda3\envs\tsc1\lib\multiprocessing\connection.py", line 318, in _recv_bytes return self._get_more_data(ov, maxsize) File "C:\Users\roman\Anaconda3\envs\tsc1\lib\multiprocessing\connection.py", line 337, in _get_more_data assert left > 0 AssertionError

我密切监视资源：内存不是问题，出错时我还有足够的内存。 解压缩的文件只是普通的多维numpy数组。 单独使用一个池和一个更简单的方法是可行的，并且像这样加载文件。只有结合起来它才会失败。 （所有这些都发生在定制的keras生成器中。我怀疑这是否有用，但谁知道呢。）python3.5。在

这个问题的原因是什么？如何解释这个错误？在

谢谢你的帮助！在

Answer 1

pythonccore代码中有一个错误，它阻止大于2GB的数据响应正确返回到主线程。 您需要按照前面的回答将数据拆分成更小的块，或者不对此函数使用多处理

{1{1}可能需要一个python（^/strong）来修复这个bug（^/strong）

如果你感兴趣的话，你可以在我发布的链接中的bug描述中找到更多关于导致这个bug的细节