一个用于python的web爬行和web抓取框架(crawlframe)。

crawlframe的Python项目详细描述


crawlframe:一个web爬网框架

PyPI

看,爬行框架的力量:
crawlf createapp <appname> -url http://<website>/
crawlf createpro <projectname>
crawlf start app:<name>
crawlf start project
crawlf stop app:<name>
crawlf stop project
crawlf stop <pid>

CrawlFrame正式支持python3.5+。

安装

要安装crawlframe,只需使用pip

$ pip install crawlframe

文档

在建筑中…

更改

CHANGES.md

爬行帧-1.0.3

合作方式

爬行帧-1.0.2

CRAWLFRAME_SURVIVE_SWITCH = True
CRAWLFRAME_SURVIVE_MAX = int
reload spider

爬行帧存活开关=真 crawlFrame_survive_max=int 两个参数 发出。驻军 “中间人”和“记录者”的“创始者”缺陷。 基础记录员

爬行帧-1.0.1

crawlf createapp <appname> -url http://<website>/
crawlf createpro <projectname>
crawlf start app:<name>
crawlf start project
crawlf stop app:<name>
crawlf stop project
crawlf stop <pid>

开始停止。 中国石油天然气股份有限公司 皮皮吉特中心

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java Android同步不同页面上的按钮   java评测每个类收集的垃圾对象实例数   java(Spring MVC+Hibernate 4+Test 4)自动连线DAO返回NULL   java Android编辑文本和虚拟键盘   java Selenium与BrowserMobProxy   JAVAlang.NoClassDefFoundError:com/sun/jersey/spi/inject/Errors$关闭原因?   java为什么在我成功登录后仍然会出现“不正确的帐户或密码或用户类型”   安卓应用程序在重新启动java时崩溃。网UnknownHostException:无法解析主机   多线程在Java中同步共享静态对象的正确方法是什么?   未调用自定义注释的java类验证(约束类)   java如何将指定目录的存档文件放入所需位置?   java如何识别Selenium中的每个编辑文本字段,如果它们的Xpath都相同   使用gwtmockito/mockito的java简单单选按钮单元测试?