我目前有一个函数,可以接受以下单个输入:
getterdone_func("thisismyfunc123")
此函数根据提供的输入发出url请求,如下所示:
requests.get('thisismywebsite.com/thisismyfun123')
我有一个数以百万计的项目清单,我需要从我的网站与传递的信息要求
我现在的想法是使用for循环,这是可行的,但速度非常慢。 带宽不是问题,因为它是针对我的服务器的所有本地查询
for request in urlfile():
getterdonefunc(requests)
我知道我使用过PowerShell的invoke-parallel cmdlet,它使我能够向运行该函数的函数传递一个包含项列表的变量,最多不超过60次
我已经研究过尝试多线程,但不确定这是否是最好的方法,使吨这样的请求。如何加快请求的速率,或者至少加快批处理模式下url路径的传递
目前没有回答
相关问题 更多 >
编程相关推荐