一个调度蜘蛛的守护进程

scrapy-do的Python项目详细描述


https://api.travis-ci.org/ljanyst/scrapy-do.svg?branch=masterhttps://coveralls.io/repos/github/ljanyst/scrapy-do/badge.svg?branch=masterPyPI Version

scrapy do是一个守护进程,它提供了一种运行Scrapyspider的方便方法。它既可以立即做一次;也可以 可以按指定的时间间隔定期运行它们。它的灵感来自 scrapyd但是从头开始写的。它 带有rest api、命令行客户机和交互式web界面。

快速启动

  • 使用pip

    安装scrapy-do
    $ pip install scrapy-do
    
  • 在前台启动守护程序:

    $ scrapy-do -n scrapy-do
    
  • 打开另一个终端窗口,下载Scrapy'sQuotesBot示例,然后 将代码推送到服务器:

    $ git clone https://github.com/scrapy/quotesbot.git
    $cd quotesbot
    $ scrapy-do-cl push-project
    +----------------+
    | quotesbot      |
    |----------------|
    | toscrape-css   |
    | toscrape-xpath |
    +----------------+
  • 安排一些工作:

    $ scrapy-do-cl schedule-job --project quotesbot \
        --spider toscrape-css --when 'every 5 to 15 minutes'+--------------------------------------+
    | identifier                           |
    |--------------------------------------|
    | 0a3db618-d8e1-48dc-a557-4e8d705d599c |
    +--------------------------------------+
    
    $ scrapy-do-cl schedule-job --project quotesbot --spider toscrape-css
    +--------------------------------------+
    | identifier                           |
    |--------------------------------------|
    | b3a61347-92ef-4095-bb68-0702270a52b8 |
    +--------------------------------------+
  • 看看发生了什么:

    Active Jobs

    默认情况下,web界面位于http://localhost:7654处。

从源构建

以下两个步骤都要求安装nodejs。

  • 检查工作是否正常:

    $ pip install -rrequirements-dev.txt
    $ tox
    
  • 制造轮子:

    $ python setup.py bdist_wheel
    

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何使用从PreparedStatement返回的RowId。getGeneratedKeys()?   selenium chrome驱动程序中下一个网站url的java空白页   java如何将参数化匿名类转换为lambda?   java JUnit在AfterClass上获取测试结果   java将动态XML/JSON内容与静态标记化负载进行比较,并检索标记值   java共享一个需要数据持久性的项目[数据库]   java在调用方法时获取意外的参数类型。getParameterTypes()   java如何用jdbc在swing中用另一个字段替换外键?   需要java Jersey Tomcat CDI依赖项解释   java如何生成UML图   java如何编写Jersey rest服务可以通过给定的spring代码访问   SpringMaven存储库管理器Nexus与Java依赖项的Artifactory   java将包从另一个项目导入eclipse中的当前项目   加密Java使用密码加密文件