直接搜索引擎不索引*.herokuapp.com网址。
django-hide-herokuapp的Python项目详细描述
为Heroku用户设计的Django应用程序,用于隐藏您的^{TT1}$ 从搜索引擎结果。
用例
你想开发一个名为artisanalraisinbeer.com的网站 Django部署在Heroku。你写了一点django代码 创建一个名为artisanalraisinbeer的新heroku应用程序以进行部署。
在开发过程中,您可以通过以下URL访问您的网站: http://artisanalraisinbeer.herokuapp.com
最终,你完成了网站的第一个版本,购买 域名artisalRaisinBeer.com,并设置所有内容 这样您就可以通过转到以下URL来查看站点: http://www.artisanalraisinbeer.com
您仍然可以访问http://artisanalraisinbeer.herokuapp.com,它 很好,但有一个问题:你想让你的主站点显示 在搜索结果中,not您的.herokuapp.comsite。
工作原理
这个应用程序有两种方式:robots.txt 以及X-Robots-Tag。 为什么两者都是?加倍肯定…:眼睛:
如果herokuapp似乎在originating host中 对于用户请求,我们做两件事:
在robots.txt中放入以下内容:
User-agent: * Disallow: /
将响应头中的X-Robots-Tag设置为noindex, nofollow。
对于尊重这些设置的搜索引擎,他们应该开始忽略这些站点 在未来爬行。
快速启动
将'hide_herokuapp'添加到INSTALLED_APPS设置中。
将HideHerokuappFromRobotsMiddleware中间件添加到MIDDLEWARE_CLASSES 像这样:
MIDDLEWARE_CLASSES = ( ... 'hide_herokuapp.middleware.HideHerokuappFromRobotsMiddleware', )
在项目的urls.py中包含hide_herokuappurl,如下所示:
urlpatterns = [ ... url(r'^', include('hide_herokuapp.urls')), ... ]
或者,您可以直接连接视图:
from hide_herokuapp.views import herokuapp_robots_view urlpatterns = [ ... url(r'^robots\.txt$', herokuapp_robots_view), ... ]