并行写入数组

Question

我有一个任务要处理大量的数据行（在一个pandasDataFrame）上，但是每一个计算都是独立的，因此我想并行化它。在

所以我有一个函数，获取一个行并输出一个对象（输出实际上是一个包含一个字符串和一个集合的数组）。在

def compute_row(index, row, output):      
    output[index] = some_function(row)

然后我试着并行使用它。在

^{pr2}$

如果cd4{I>

由于索引是唯一的，因此不应该存在任何并发内存访问问题。我错过了什么？我应该使用另一种数据结构吗？在

提前谢谢！在

Answer 1

好吧， 我找到了另一种方法，使用Pool对象。在

from multiprocessing import Pool

def compute_row(row):    
    return some_function(row)

pool = Pool()
output = pool.map(compute_row, (row for i, row in db.iterrows()))