虚拟环境下的报废服务与周期性报废

2024-09-30 20:23:56 发布

您现在位置:Python中文网/ 问答频道 /正文

我第一次在ubuntu14.04中安装scrapyd时,我没有使用通用的方法。在

使用apt get,myscrapyd被认为是可以启动的服务,并且具有(log/config/dbs…)依赖关系,但是scrapy版本已经非常过时。在

所以我用pip在virtualenv中安装了scrapyd。 虽然它是最新的,但我无法将scrapyd作为服务启动,也找不到任何依赖项。 在哪里创建配置文件来链接(eggs/dbs/items/log)依赖项?在

我有10多只蜘蛛。使用一个远程的Ubuntu服务器,我希望每个spider周期性地废弃(例如,一个弱的),并将数据发送到mangodb。大多数蜘蛛不必同时报废。在

在我的Ubuntu服务器中,将scrapyd作为服务运行并定期运行其spider的最佳方法是什么?在


Tags: 方法版本服务器logconfigget关系ubuntu