使用selenium抓取多个javascript网站有什么更快的方法?

2024-09-29 21:59:12 发布

您现在位置:Python中文网/ 问答频道 /正文

事实上,我正在做一项从trello.com上刮板卡的工作(如果有人熟悉trello,他可能已经知道那些不熟悉的人了。这是一个动态网站,其中包含关于todo任务的信息卡)。我已经成功地在selenium python webdriver中编写了一个脚本,它可以刮取trello firtst,从中获取google maps链接,转到地图位置,刮取该位置的图像,返回trello,并将这些图像的链接作为附件一个接一个地附加到卡上。
一张卡需要1.5到2分钟才能完成这个过程,但我有6000张卡,所以如果我坚持这样做,我肯定会完蛋。
我正在寻找一个人告诉我一个更好的方法来做到这一点。如果我在splash中使用scrapy,会比这个更快吗?
或者我没有其他选择了
提前谢谢


Tags: 图像刮板脚本com网站链接seleniumgoogle

热门问题