基于芹菜的网络爬虫管理平台，用于管理分布式网络蜘蛛，而不考虑语言和框架。
crawlab-server的Python项目详细描述
#基于芹菜的网络爬虫管理平台，管理分布式网络蜘蛛，不分语言和框架，不分语言和框架，不分语言和框架，不分语言和框架，不分语言和框架，不分语言和框架，不分语言和框架的分布式网络蜘蛛的管理平台，基于芹菜的网络爬虫管理平台，基于芹菜的网络爬虫管理平台，不分语言和框架，不分语言和框架的分布式网络蜘蛛的管理平台。文件` py `配置api和数据库连接。
前端节点实际上是工作节点用芹菜定义。节点正在运行并连接到任务队列（例如redis）以接收和运行任务。由于蜘蛛需要部署到节点，用户应在部署前指定其IP地址和端口。
web应用程序将自动发现蜘蛛项目。
只需单击spider detail页面上的“deploy”按钮，然后为部署选择正确的节点。
它将为爬网触发一个任务，您可以在“任务”页中详细查看该任务。
用户可以在任务详细信息页中查看任务状态信息并登录。
前端节点实际上是工作节点用芹菜定义。节点正在运行并连接到任务队列（例如redis）以接收和运行任务。由于蜘蛛需要部署到节点，用户应在部署前指定其IP地址和端口。
web应用程序将自动发现蜘蛛项目。
只需单击spider detail页面上的“deploy”按钮，然后为部署选择正确的节点。
它将为爬网触发一个任务，您可以在“任务”页中详细查看该任务。
用户可以在任务详细信息页中查看任务状态信息并登录。
欢迎加入QQ群-->： 979659372
