用于scrapyd集群管理、scrapy日志分析和可视化的全功能web ui
scrapyd_U的Python项目详细描述
ScrapyWeb:用于ScrapyD群集管理、Scrapy日志分析和可视化的全功能Web用户界面
====
[![pypi-scrapydweb版本](https://img.shields.io/pypi/v/scrapydweb.svg)(https://pypi.org/project/scrapydweb/)
[![pypi-python版本](https://img.shields.io/pypi/pyversions/scrapydweb.svg)(https://pypi.org/project/scrapydweb/)
[![覆盖状态](https://coveralls.io/repos/github/my8100/scrapydweb/badge.svg?branch=master)(https://coveralls.io/github/my8100/scrapydweb?分支=主)
[![Github许可证](https://img.shields.io/github/license/my8100/scrapydweb.svg)](https://github.com/my8100/scrapydweb/blob/master/license)
[![推特](https://img.shields.io/twitter/url/https/github.com/my8100/scrapydweb.svg?style=social)(https://twitter.com/intent/tweet?text=scrapyDweb:%20full featured%20web%20ui%20for%20scrapyd%20cluster%20management%20scrapy%20log%20analysis%20%26%20visualization%20%23python%20%20%23scrapy%20%23scrapyd%20%23webcraping%20%23scrapydweb%20@my8100\u20&;url=https%3a%2f%2fgithub.com%2fmy8100%2fscrapydweb)
功能
----
-scrapyd群集管理
-组,过滤并选择任意数量的节点
-在多节点上执行命令,只需单击一次
-scrapy日志分析
-统计信息收集
-进度可视化
-日志分类
-所有受支持的scrapyd api
-部署项目、运行spider、停止作业-删除版本/项目
-其他
-自动提示
-web ui的基本身份验证
-访问受基本身份验证保护的scrapyd服务器
----
-[my8100](https://github.com/my8100)
-[simplety](https://github.com/simplety)(前端)
installation
----
运行“scrapydweb-h”获得帮助,
一个名为**scrapydweb_settings_vn.py**(n表示数字)的配置文件将被复制到当前工作目录,
然后您可以在其中自定义设置。
2。运行“scrapydweb”
3。访问[http://127.0.0.1:5000](http://127.0.0.1:5000)**(建议使用google chrome来获得更好的体验。)**
settings
----
[默认设置.py](http s://github.com/my8100/scrapydweb/blob/master/scrapydweb/default\settings.py)
----
-overview
![概述](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/overview.png)
-dashboard
![仪表板](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/dashboard.png)
-log analysis
-stats collection
![日志统计](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu stats.png)
-进度可视化
![日志图表](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu charts.png)
-日志分类
![日志](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu logs.png)
-部署项目
![部署](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/deploy.png)
-运行蜘蛛
![运行](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/run.png)
-管理项目
![管理](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/manage.png)
====
[![pypi-scrapydweb版本](https://img.shields.io/pypi/v/scrapydweb.svg)(https://pypi.org/project/scrapydweb/)
[![pypi-python版本](https://img.shields.io/pypi/pyversions/scrapydweb.svg)(https://pypi.org/project/scrapydweb/)
[![覆盖状态](https://coveralls.io/repos/github/my8100/scrapydweb/badge.svg?branch=master)(https://coveralls.io/github/my8100/scrapydweb?分支=主)
[![Github许可证](https://img.shields.io/github/license/my8100/scrapydweb.svg)](https://github.com/my8100/scrapydweb/blob/master/license)
[![推特](https://img.shields.io/twitter/url/https/github.com/my8100/scrapydweb.svg?style=social)(https://twitter.com/intent/tweet?text=scrapyDweb:%20full featured%20web%20ui%20for%20scrapyd%20cluster%20management%20scrapy%20log%20analysis%20%26%20visualization%20%23python%20%20%23scrapy%20%23scrapyd%20%23webcraping%20%23scrapydweb%20@my8100\u20&;url=https%3a%2f%2fgithub.com%2fmy8100%2fscrapydweb)
功能
----
-scrapyd群集管理
-组,过滤并选择任意数量的节点
-在多节点上执行命令,只需单击一次
-scrapy日志分析
-统计信息收集
-进度可视化
-日志分类
-所有受支持的scrapyd api
-部署项目、运行spider、停止作业-删除版本/项目
-其他
-自动提示
-web ui的基本身份验证
-访问受基本身份验证保护的scrapyd服务器
-[my8100](https://github.com/my8100)
-[simplety](https://github.com/simplety)(前端)
installation
----
运行“scrapydweb-h”获得帮助,
一个名为**scrapydweb_settings_vn.py**(n表示数字)的配置文件将被复制到当前工作目录,
然后您可以在其中自定义设置。
2。运行“scrapydweb”
3。访问[http://127.0.0.1:5000](http://127.0.0.1:5000)**(建议使用google chrome来获得更好的体验。)**
settings
----
[默认设置.py](http s://github.com/my8100/scrapydweb/blob/master/scrapydweb/default\settings.py)
----
-overview
![概述](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/overview.png)
-dashboard
![仪表板](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/dashboard.png)
-log analysis
-stats collection
![日志统计](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu stats.png)
-进度可视化
![日志图表](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu charts.png)
-日志分类
![日志](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/logu logs.png)
-部署项目
![部署](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/deploy.png)
-运行蜘蛛
![运行](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/run.png)
-管理项目
![管理](https://raw.githubusercontent.com/my8100/scrapydweb/master/screenshots/manage.png)