如何将Scrapy与我的Flask应用程序整合？

Question

我有一个应用程序，它需要从几个网站上删除数据，我已经能够使用python的scrapy库来废弃数据，但问题是我希望有一个特性，我可以使用restapi调用我的spider。在

我怎么能做到这一点呢，因为我不想在后台先抓取数据，然后在后台保存，然后使用api获取数据？在

任何帮助都将不胜感激。我已经尝试过Arachne，但是我无法从scrapy返回JSON响应。在

Answer 1

我想你应该看看scrapyd：https://scrapyd.readthedocs.io/en/stable/

它允许您部署蜘蛛并使用JSONAPI控制它们。在