Python中文
首页
教程
问答
标签
搜索
登录
注册
Python中的并行数据处理
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我有一个架构,基本上是一个带有url地址的队列和一些处理这些url地址内容的类。目前代码运行良好,但是从队列中依次拉出一个url、将其发送到相应的类、下载url内容并最终处理它的过程会很慢。在</p> <p>例如,如果它可以从队列中读取<code>n</code>个url,然后抛出<code>n</code>个进程或线程来处理下载和处理,那么它将更快并正确地利用资源。在</p> <p>如果您能帮我做这些,我将不胜感激:</p> <ol> <li>什么样的软件包可以用来解决这个问题?在</li> <li>你还能想出什么别的办法?在</li> </ol>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>您可能需要查看<a href="http://docs.python.org/2/library/multiprocessing.html" rel="nofollow">Python Multiprocessing</a>库。使用<code>multiprocessing.pool</code>,您可以给它一个函数和一个数组,它将用数组的每个值并行调用函数,使用您指定的任意多个或多个进程。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何重塑数组、迭代列的所有行并将重塑后的数组分配给新列?Python/Pandas/Numpy
8 回答
如何重塑数组的形状?
7 回答
如何重塑文本数据以适应keras的LSTM模型
5 回答
如何重塑未对齐的数据集,并使用numpy丢弃剩余数据?
3 回答
如何重塑此数据以使用绘图
3 回答
如何重塑此数据帧?
2 回答
如何重塑此数据集以适应RNN
9 回答
如何重塑没有列的数组?
3 回答
如何重塑测试数据帧,使其维数与训练和预测工作中使用的维数相同?
8 回答
如何重塑系列以在StandardScaler中使用它
2 回答
如何重塑线性回归的数据
6 回答
如何重塑线性回归的数据?
8 回答
如何重塑表格?
5 回答
如何重塑要堆叠的重复宽数据帧?
5 回答
如何重塑输入以放入二维层?
8 回答
如何重塑输入神经网络的三通道数据集
9 回答
如何重塑这个numpy数组
5 回答
如何重塑这个numpy数组以排除“额外维度”?
5 回答
如何重塑这个numpy阵列?
7 回答
如何重塑这个数据帧
6 回答