是否可以使用多处理来处理X个流式API流？

Question

我希望能够使用python中的多处理库，通过python请求（使用stream选项）连续地从多个livewebapi流化。这是否在双核Linux系统上实现，还是我最好在多个屏幕会话中以单个程序的形式运行它们？你知道吗

我还想用一个工人池吗？你知道吗

谢谢你的帮助，如果问题不清楚请告诉我。你知道吗

Answer 1

在设计解决方案之前，先弄清楚你的瓶颈是什么

首先要看的可能是网络bandwith。如果一个流可以饱和你的网络，下载多个在一起不会更快。你知道吗

第二件事是磁盘写吞吐量。你的磁盘和操作系统能处理所有这些并发写操作吗？你知道吗

如果您想进行代码转换，还可能会遇到计算限制。你知道吗

Answer 2

是的，使用multiprocessing可以让您从多个api进行流式处理。您希望使用Pool，因为它简化了来回获取数据的过程。你知道吗

下面是一个简单的例子：

来源

import multiprocessing

def calc(num):
    return num*2

pool = multiprocessing.Pool(5)
for output in pool.map(calc, [1,2,3]):
    print 'output:',output

输出

output: 2
output: 4
output: 6