用于scrapyd集群管理、scrapy日志分析和可视化的全功能web ui

scrapyd_U的Python项目详细描述


ScrapyWeb:用于ScrapyD群集管理、Scrapy日志分析和可视化的全功能Web用户界面
====

[![pypi-scrapydweb版本](https://img.shields.io/pypi/v/scrapydweb.svg)(https://pypi.org/project/scrapydweb/)
[![pypi-python版本](https://img.shields.io/pypi/pyversions/scrapydweb.svg)(https://pypi.org/project/scrapydweb/)
[![覆盖状态](https://coveralls.io/repos/github/my8100/scrapydweb/badge.svg?branch=master)(https://coveralls.io/github/my8100/scrapydweb?分支=主)
[![Github许可证](https://img.shields.io/github/license/my8100/scrapydweb.svg)](https://github.com/my8100/scrapydweb/blob/master/license)
[![推特](https://img.shields.io/twitter/url/https/github.com/my8100/scrapydweb.svg?style=social)(https://twitter.com/intent/tweet?text=scrapyDweb:%20full featured%20web%20ui%20for%20scrapyd%20cluster%20management%20scrapy%20log%20analysis%20%26%20visualization%20%23python%20%20%23scrapy%20%23scrapyd%20%23webcraping%20%23scrapydweb%20@my8100\u20&;url=https%3a%2f%2fgithub.com%2fmy8100%2fscrapydweb)


功能
----


-scrapyd群集管理
-组,过滤并选择任意数量的节点
-在多节点上执行命令,只需单击一次

-scrapy日志分析
-统计信息收集
-进度可视化
-日志分类

-所有受支持的scrapyd api
-部署项目、运行spider、停止作业-删除版本/项目

-其他
-自动提示
-web ui的基本身份验证
-访问受基本身份验证保护的scrapyd服务器


----
-[my8100](https://github.com/my8100)
-[simplety](https://github.com/simplety)(前端)



installation
----


运行“scrapydweb-h”获得帮助,
一个名为**scrapydweb_settings_vn.py**(n表示数字)的配置文件将被复制到当前工作目录,
然后您可以在其中自定义设置。
2。运行“scrapydweb”
3。访问[http://127.0.0.1:5000](http://127.0.0.1:5000)**(建议使用google chrome来获得更好的体验。)**




settings
----
[默认设置.py](http s://github.com/my8100/scrapydweb/blob/master/scrapydweb/default\settings.py)



----

-overview
![概述](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/overview.png)

-dashboard
![仪表板](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/dashboard.png)

-log analysis
-stats collection
![日志统计](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu stats.png)

-进度可视化
![日志图表](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu charts.png)

-日志分类
![日志](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu logs.png)

-部署项目
![部署](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/deploy.png)

-运行蜘蛛
![运行](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/run.png)

-管理项目
![管理](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/manage.png)

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
JAVAlang.NoClassDefFoundError:解析失败:Lcom/google/安卓/gms/common/internal/zzbp;   简单框架和图形的java帮助   java多个项目可以具有相同的contextroot吗?   java无法使用log4j。spark中jar的属性   java如何打破无限循环   javajavax。通信   安卓 GCM如何用java向具有不同消息内容的多个设备目标发送通知   java While循环覆盖其他输入   java如何从AWS访问RDS数据库   安卓按钮。performclick()java。lang.NullPointerException   java会话。getAttribute未返回正确的值   日志记录如何在Java中自动记录方法的进入/退出?   docusignapi Java Docusign身份验证   将XML文件解析为DOM时发生java错误   java HttpClient无法访问GET方法中的Cookie   java如何在使用ModelMapper反序列化Json时修复错误START_数组标记?   Java中的字符串代码转换   JavaJee7:创建另一个永不退出的线程的最佳方法   java访问Arraylist项   javascript Liferay选择项填充json responseData