python中使用多处理模块的并行编程用例

Question

我是python的新手，我试图用python的多处理模块编写快速代码。实际上，我的问题很笼统：我想知道使用多处理的不同方法，我很困惑，因为我不确定这段代码是如何工作的，以便进行正确的归纳

import numpy as np
from multiprocessing import Process, Pool

def sqd(x):
  return x*x.T

A = np.random.random((10000, 10000))

if __name__ == '__main__':
   pool = Pool(processes = 4)
   result = pool.apply_async(sqd, [A])
   print result.get(timeout = 1)
   print len(pool.map(sqd, A))

然而，当我为了加速随机矩阵的生成而执行下面的泛化时，情况并不是很好

^{pr2}$

所以输出是：

$ python prueba2.py
[[ 0.50770071  0.36508745  0.02447127 ...,  0.12122494  0.72641019
0.68209404]
[ 0.19470934  0.89260293  0.58143287 ...,  0.25042778  0.05046485
0.50856362]
[ 0.67367326  0.76929582  0.4232229  ...,  0.72910757  0.56047056
0.11873254]
..., 
[ 0.91234565  0.20216969  0.2961842  ...,  0.57539533  0.99836323
0.79875158]
[ 0.85407066  0.99905665  0.12948157 ...,  0.58411818  0.06688349
0.71026483]
[ 0.0599241   0.82759421  0.9532148  ...,  0.22463593  0.0859876
0.41072156]]
Traceback (most recent call last):
File "prueba2.py", line 14, in <module>
print pool.map(sqd, D)
File "/home/nacho/anaconda/lib/python2.7/multiprocessing/pool.py", line 251, in map
return self.map_async(func, iterable, chunksize).get()
File "/home/nacho/anaconda/lib/python2.7/multiprocessing/pool.py", line 304, in   map_async
iterable = list(iterable)
TypeError: 'int' object is not iterable

在这种情况下，我知道我给“某物”传递了不正确的参数，但我不确定原因是什么，我能做什么和我不能做什么，在这种情况下和其他不同的情况下，把列表或范围传递给多处理模块，而且我想知道在这之后如何释放内存，如果我允许在没有内存错误。。。在

我想补充一些细节，不管我想知道使用多处理的不同用例，这个问题背后的动机是因为我拍了一张我的处理器正在工作的照片，有一个独立的进程在单处理器上工作，我想这是由于random（）造成的，所以我想把整个任务并行化在

我希望不要这么模棱两可。提前谢谢你。。。在

Answer 1

不能定义要用函数内部的multiprocessing计算的函数的参数。pool.map要做的是，切掉A数组，并在不同的处理器之间映射，作业将在您提交的处理器数量之间分配，直到它完成。但是在代码中，您只是将输入数组的维数作为pool.map的参数，因此它只计算了一次并引发错误，而map需要您的函数加上一个iterable参数。在