循环的并行dask比常规循环慢？

Question

如果我试图用dask并行for循环，它的执行速度会比常规版本慢。基本上，我只是遵循dask教程中的介绍性示例，但由于某些原因，它在我这方面失败了。我做错什么了？在

In [1]: import numpy as np
   ...: from dask import delayed, compute
   ...: import dask.multiprocessing

In [2]: a10e4 = np.random.rand(10000, 11).astype(np.float16)
   ...: b10e4 = np.random.rand(10000, 11).astype(np.float16)

In [3]: def subtract(a, b):
   ...:     return a - b

In [4]: %%timeit
   ...: results = [subtract(a10e4, b10e4[index]) for index in range(len(b10e4))]
1 loop, best of 3: 10.6 s per loop

In [5]: %%timeit
   ...: values = [delayed(subtract)(a10e4, b10e4[index]) for index in range(len(b10e4)) ]
   ...: resultsDask = compute(*values, get=dask.multiprocessing.get)
1 loop, best of 3: 14.4 s per loop

Answer 1

两个问题：

1. Dask为每个任务引入大约一毫秒的开销。你需要确保你的计算所花费的时间比这要长得多。在
2. 使用多进程调度程序时，数据在进程之间序列化，这可能相当昂贵。见http://dask.pydata.org/en/latest/setup.html