可重复使用的django应用程序来记录触动404多个页面的爬虫程序。
django-brokenlinks的Python项目详细描述
django-django-brokenlinks
log-brokenlink到日志文件和配置fail2b到日志文件和配置fail2b到禁止爬虫访问404多个页面。
/>----
1.将“brokenlinks”添加到已安装的应用程序
2。将“brokenlinks.middleware.brokenlinkemailsmidleware”添加到“middleware”类中
3。设置“brokenlinks”日志路径“`
4。更改brokenlinks配置后，运行“manage.py createbrokenlinksconfs”一次，并使用失败的结果conf文件2 ban
your settings.py如下：
中间件类=（
“brokenlinks.middleware.brokenlinkemailsmidleware”，
“brokenlinks.middleware.brokenlinkemailsmidleware”，
“brokenlinks.log”
log-brokenlink到日志文件和配置fail2b到日志文件和配置fail2b到禁止爬虫访问404多个页面。
/>----
1.将“brokenlinks”添加到已安装的应用程序
2。将“brokenlinks.middleware.brokenlinkemailsmidleware”添加到“middleware”类中
3。设置“brokenlinks”日志路径“`
4。更改brokenlinks配置后，运行“manage.py createbrokenlinksconfs”一次，并使用失败的结果conf文件2 ban
your settings.py如下：
中间件类=（
“brokenlinks.middleware.brokenlinkemailsmidleware”，
“brokenlinks.middleware.brokenlinkemailsmidleware”，
“brokenlinks.log”
欢迎加入QQ群-->： 979659372
