爬行框架
crawler-framework的Python项目详细描述
爬虫程序框架
关于
主要目标是确保爬虫系统的快速部署，这将帮助您设置所需的一切 开始使用CMD/终端上的交互式数据挖掘。 这个概念是基于长期的工作经验和多年来在数据挖掘中所学到的错误 数据库架构。使用这个框架可以节省很多时间和精力。
安装
最重要的是你应该在你的机器上安装Python3。
在我的例子中，我使用pip3.7 install crawler_framework。
但它也应该适用于Python3.6和 对于较旧的版本，我没有测试过，所以如果它在其他Python3版本上工作，请务必给我发送msg。
设置
####数据库配置 在部署任何东西之前，我们必须为一个或多个数据库设置连接字符串 我们要使用的服务器。 目前支持PostgreSQL、Oracle和Microsoft SQL Server。
步骤1
打开cmd/terminal并写入dbconfig.py。如果您已经安装了Python2.7并且它被设置为您的主解释器 您将必须遵循程序中的说明，然后才能使用框架。 别担心它不会改变你以前的程序，它只会给 爬虫框架，以便他可以方便地在未来操作。必须在一台机器上只做一件 如果python 2.7作为主解释器安装。如果一切顺利，你应该看到下面的选项。
欢迎加入QQ群-->： 979659372
