分布式网络机器人检测的工作原理

2024-10-01 17:31:31 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试使用python中的Scrapy框架来创建一个网站。但我得到了验证码。服务器使用Distil netrok bot检测来实现bot检测。有没有什么我可以处理的?在


Tags: 服务器框架网站bot验证码scrapydistilnetrok
1条回答
网友
1楼 · 发布于 2024-10-01 17:31:31

你可以通过使用像Selenium这样的工具来克服它。它是一个web测试框架,可以自动加载web浏览器来模拟普通用户。页面加载后,可以使用Scrapy或Bs4等工具来抓取内容。继续加载下一页,然后刮取。它比普通的刮刀慢,但它能正常工作,并且能通过像Incapsula这样的探测器。在

希望有帮助。在

相关问题 更多 >

    热门问题