DJ机器人

djrobots的Python项目详细描述


我们的内部实用程序可以方便地将robots.txt用于开发和 生产

安装

pip install djrobots

用法

将djrobots url包含到urlconf中,就完成了!

(r'^robots\.txt$', include('djrobots.urls')),

并将DJrobots添加到已安装的应用程序中

站点地图

如果要在robots.txt中指定站点地图URL,请提供 在设置中查看名称

DJROBOTS_SITEMAPS = 'sitemap-root'

djrobots是一个特殊的设置,您可以使用数组指定 robots.txt中的更多站点地图

DJROBOTS_SITEMAPS = ['sitemap-root', 'department-sitemap']

或者可以将视图名称与原始URL混合使用

DJROBOTS_SITEMAPS = ['sitemap-root', 'department-sitemap', '/my-sitemap-index.xml']

定制

默认情况下,djrobots为生产提供robots.txt模板,并且 用于使用默认配置进行开发的robots-debug.txt 在洛特雷克内部。

如果要指定更多可以扩展默认模板的指令, robots.txt和robots-debug.txt

{% extends "djrobots/base-robots.txt" %}
{% block content %}
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: {% url 'documents' %}

Host: example.com

{% endblock %}

运行测试

$ pip install -r requirements-dev.txt
$ ./runtests.py --with-coverage

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
在Esper中声明Classtype实例变量并调用实例方法时未调用java实例方法   java Android真的很慢   macos在Mac上用Java播放声音   java如何在springboot中生成clientid和clientsecret并存储在数据库中?   返回假条件的java方法   数组在Java中截断同步ArrayList的正确方法   java HashMap<Long,String>和HashMap<>之间有什么区别?   正在寻找允许按名称读取列的java CSV库   HQL Hibernate查询中的java左连接   java以编程方式添加可绘制图像的最佳方法是什么?   已使用NetworkImageView下载的安卓加载图像上的java截击不起作用   java CORBA通知订阅(错误:org.omg.CORBA.MARSHAL:vmcid:0x0次要代码:0已完成:否)   Java BufferedReader openvms   java是搜索字符串中的一个字母并在字母前加上“a”的最佳算法?   由于测试依赖关系,java Gradle Spring云流项目未生成   Java程序中的数组ArrayIndexOutOfBoundsException,用于检查double是否为负数   java Android/RxJava如何链接网络请求并在失败时重试   java告诉OpenEJB忽略MDB   java如何在不迁移的情况下在room数据库中添加表