我第一次在ubuntu14.04中安装scrapyd时,我没有使用通用的方法。在
使用apt get,myscrapyd被认为是可以启动的服务,并且具有(log/config/dbs…)依赖关系,但是scrapy版本已经非常过时。在
所以我用pip在virtualenv中安装了scrapyd。 虽然它是最新的,但我无法将scrapyd作为服务启动,也找不到任何依赖项。 在哪里创建配置文件来链接(eggs/dbs/items/log)依赖项?在
我有10多只蜘蛛。使用一个远程的Ubuntu服务器,我希望每个spider周期性地废弃(例如,一个弱的),并将数据发送到mangodb。大多数蜘蛛不必同时报废。在
在我的Ubuntu服务器中,将scrapyd作为服务运行并定期运行其spider的最佳方法是什么?在
目前没有回答
相关问题 更多 >
编程相关推荐