将不同的ip地址绑定到scrapy spider

2024-05-03 05:46:36 发布

您现在位置:Python中文网/ 问答频道 /正文

如何将不同的公共ip地址绑定到scrapy spider?此外,是否可以为每个源ip设置速率限制(如并发的“每个源”ip的请求数)。在

从粗糙的文档中可以看出,并发的“每个域的请求”和“每个IP的并发请求”似乎都适用于目标域和目标IP。在


Tags: 文档ip目标速率地址spiderscrapy
1条回答
网友
1楼 · 发布于 2024-05-03 05:46:36

这是可能的,但需要你改变一点点的核心。 不久前,有人提出了一个变更建议,但从目前的来源来看,它从未提出过。在

使用the information in this change proposal你应该可以在几分钟内自己修补它。在

尽管变更建议已经有超过1.5年的历史了,但是该特定建议的编辑文件的当前来源仍然非常相似。在

相关问题 更多 >