帕鲁是一只小蜘蛛,是帕图的叉。
palu的Python项目详细描述
帕卢
一种小蜘蛛,用于检查站点的404和500秒。 它是[patu][1]的分叉。palu需要httplib2和lxml:
pip install -U httplib2 lxml
安全吗?[![生成状态](https://secure.travis-ci.org/akrito/palu.png?branch=master)](http://travis-ci.org/akrito/palu)
快速使用
查看可用选项:
palu.py –help
使用5个工作人员创建整个站点的蜘蛛网,只显示错误:
palu.py –spiders=5 www.example.com
对于spider,在第一级链接之后停止:
palu.py –depth=1 www.example.com
要获取网站上每个链接页面的列表:
palu.py –generate www.example.com > urls.txt
使用一个文件代替对url的搜索,并显示所有响应:
palu.py –input=urls.txt –verbose www.example.com
URL文件格式
<;code>;–generate生成的输出格式如下:
FIRST_URL<TAB>None LINK1<TAB>REFERER LINK2<TAB>REFERER
<;code>;–input<;/code>;可以采用该格式的文件,或者每行一个url,而不使用referer。<;code>;–input=-<;/code>;从stdin读取。