robots.txt解析器替代python的robotparser模块
robotexclusionrulesparser的Python项目详细描述
robotexclusionrulesparser是python标准库的替代品 模块RobotParser。它获取并解析robots.txt文件，并可以回答 关于给定用户代理是否允许访问 特定的网址。
该模块具有标准库模块robotparser的一些特性 不，包括解码非ascii robots.txt文件的能力，尊重 对于expires头和对爬网延迟和sitemap指令的理解 以及路径名中的通配符语法。
完整的文档（包括与标准库的比较 模块robotparser）在readme.html中提供。
robotexclusionrulesparser是根据bsd许可证发布的。
欢迎加入QQ群-->： 979659372
