机器人程序与vi的pythonDjango点爬虫不同吗

Question

实际上，我对术语感到困惑。我正在研究scrapy，我认为这是为了抓取网站和提取一些数据。在

但是我想制作一些python程序，它可以像实际用户那样做。我的意思是自动化任务。在

E，g转到www.myblah.com网站然后得到最便宜的产品在某些类别，如果低于我的预设金额，然后给我发电子邮件。在

现在我不知道这些类型的东西是爬行还是其他什么。在

我可以在scrapy中这样做吗？或者我们有其他库来完成这些任务吗。在

Answer 1

Scrapy是可用于创建bot或crawler（aka spider）的框架。爬虫是一种特殊的机器人，但机器人不一定是爬虫。爬虫是通过设计来探索页面（节点）及其嵌入的url（边缘）的图形来定义的，尽管它们可能会被限制跟随特定的url。在

自动化任务是机器人的工作。Scrapy是否能做到这一点，将取决于需要什么信息以及如何采取行动。现在很多网站都在大量使用javascript，因此如果bot不能执行javascript并正确地提供cookies，那么它可能无法将信息传递给它的任务。某些web自动化任务可能需要浏览器插件，甚至可能需要GUI自动化工具。在