并行化手术室步行()

Question

我在网络存储设备上有一个大型目录结构，我想使用os.walk遍历该结构。我认为同一时间可以用同一个根目录进行查询（如果同一时间处理多个目录的话，我认为可以更快地完成）。我不在乎输出的顺序，只要到最后我已经解析了所有内容。在

我正在考虑重新实现os.walk，以便将新目录传递到线程工人池中。如果别人的代码已经存在，我宁愿使用它（为什么要重新发明轮子？），但还没遇到过。在

这肯定是一个共同的任务吗？以前有人遇到过这样的事吗？也许我遗漏了一些东西，不会导致加速。在

如果我在一周左右没有得到答案，毫无疑问我会把我的尝试贴在这里。在

Answer 1

看来你需要一个分布式作业执行系统。我使用Gearman已经有一段时间了，我发现它是一个很棒的框架，如果你不想从基本线程模块开始，我推荐它。它支持用Python编写的客户机和工作人员，因此可能适合您的需要。但你可能还需要做部门的工作。在