阻止机器人爬网我的谷歌应用引擎网站

Question

我注意到我的googleappengine站点被很多机器人（比如Baido和Ahrefs）爬网，它们吞噬了我所有的带宽和数据存储读操作。在

我知道在一个普通的自助网站上机器人.txt在我的基本文件夹，但我如何确切地告诉机器人不要爬网我的网站在谷歌应用引擎？我在运行python和jinja2，如果这有区别的话。在

谢谢。在

Answer 1

在您的app.yaml中执行此操作

- url: /robots.txt
  static_files: static/robots.txt
  upload: static/robots.txt

那么，只要你的项目中有static/robots.txt，你就可以走了。在