Python csv多处理加载到字典或lis

Question

我正在从MATLAB转到python我的算法，我一直坚持并行处理

我需要处理大量的csv（1到1M）和大量的行（10k到10M）以及5个独立的数据列。在

我已经有一个代码可以做到这一点，但是只有一个处理器，将csv加载到RAM中的字典大约需要30分钟（大约100k行的~1k csv）。在

文件名位于从csv加载的列表中（此操作已完成）：

Amp Freq    Offset  PW  FileName
3   10000.0 1.5 1e-08   FlexOut_20140814_221948.csv
3   10000.0 1.5 1.1e-08 FlexOut_20140814_222000.csv
3   10000.0 1.5 1.2e-08 FlexOut_20140814_222012.csv
...

以及以下形式的CSV：（示例：FlexOut_20140815_013804.CSV）

^{pr2}$

我正在寻找类似MATLAB'parfor'的东西，它从列表中获取名称打开文件并将数据放入字典的列表中。 这是一个列表，因为文件中有一个顺序（PW），但在我发现的例子中，这样做似乎更复杂，所以首先我将尝试将其放入听写式中，然后将数据排列在一个列表中。在

现在我从web上的多处理示例开始： Writing to dictionary of objects in parallel 当我有一段“工作”代码时，我会发布更新。在