我可以使用iterable以并行的方式大量读取文件吗？

Question

目前我有一个函数，它分块读取一个文件，做一些工作（解析、格式化），然后yeilds为elasticsearch大容量加载程序格式的数据。在

目前我正在使用^{}，但我想知道是否可以使用^{}来代替？在

^{}是表示它同时向elasticsearch发送数据，还是意味着它同时调用迭代器？在

基本上，parallel_bulk使用额外线程到底是为了什么？

Answer 1

简而言之：parallel_bulk同时向elasticsearch发送数据。在

从代码片段here：我们看到parallel_bulk同时向elasticsearch发送动作块。 它使用pythonsmultiprocessing.dummy模块。
数据被分块传递到每个线程