并行写入文件

Question

我目前正在以迭代的方式运行代码，迭代数据帧并逐行将输出写入文件

with open(subtract_output_file, "w") as csvfile:
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()
    for row in df.iterrows():
        a = row[1][0]
        b = row[1][1]
        writer.writerow(a-b)

我想使用并行处理，因为上述方法对我的程序来说非常慢。我正在使用joblib

res = Parallel(n_parallel, backend="multiprocessing", verbose=10, pre_dispatch="all")(
        delayed(function)(query) for row in enumerate(df))

我不知道如何将此输出同时写入文件。有没有办法至少写一批100个