simple-site-crawler 0.1.1

安装

>；来自PYPI:

$ pip3 install simple-site-crawler

使用Git克隆：

$ git clone https://github.com/pawelad/simple-site-crawler
$ pip3 install -r simple-site-crawler/requirements.txt
$ cd simple-site-crawler/bin

用法

$ simple-site-crawler --help
Usage: simple-site-crawler [OPTIONS] URL

  Simple website crawler that generates its sitemap and can either print it
  (and its static content) or export it to standard XML format.

  See https://github.com/pawelad/simple-site-crawler for more info.

Options:
  -t, --max-tasks INTEGER  Maximum allowed number of async tasks.
  -e, --export-to-xml      Export sitemap to XML file.
  -s, --suppress           Suppress printing output to stdout.
  --help                   Show this message and exit.

API

到目前为止还没有合适的文档，但是代码被注释了 应该很容易使用。

也就是说-你可以随便问我 email或GitHub issues如果 什么都不清楚。

测试

在python上使用py.test和tox对包进行了测试 3.5和3.6（见tox.ini）。

代码覆盖率可在 Coveralls。

要自己运行测试，您需要在存储库中运行tox：

$ pip install -r requirements/dev.txt
$ tox

贡献

包源代码位于 GitHub。

请随意使用、询问、叉、星、报告错误、修复错误、建议 增强功能，添加功能并指出任何错误。谢谢！

作者

由Paweł Adamczak开发和维护。

在MIT License下发布。