事实上,我正在做一项从trello.com上刮板卡的工作(如果有人熟悉trello,他可能已经知道那些不熟悉的人了。这是一个动态网站,其中包含关于todo任务的信息卡)。我已经成功地在selenium python webdriver中编写了一个脚本,它可以刮取trello firtst,从中获取google maps链接,转到地图位置,刮取该位置的图像,返回trello,并将这些图像的链接作为附件一个接一个地附加到卡上。
一张卡需要1.5到2分钟才能完成这个过程,但我有6000张卡,所以如果我坚持这样做,我肯定会完蛋。
我正在寻找一个人告诉我一个更好的方法来做到这一点。如果我在splash中使用scrapy,会比这个更快吗?
或者我没有其他选择了
提前谢谢
目前没有回答
相关问题 更多 >
编程相关推荐