绕过Cloudflare Scrapshield

Question

我正在做一个网络垃圾项目，我遇到了cloudflare scrapeshield的问题。有人知道怎么避开它吗？我使用的是selenium webdriver，它被scrapshield重定向到一些lightspeed页面。在firefox上使用python构建。浏览通常不会导致它重定向。webdriver有什么不同于普通浏览器的地方吗？在

Answer 1

你看，scrapshield做的是检查你是否在使用一个真正的浏览器，它本质上是检查你的浏览器是否有某些错误。假设Chrome不能处理IFrame，如果同时有一个303 error，那么某些web浏览器对不同的测试的反应是不同的，所以webdriver不能对这些导致系统说“我们有入侵者，请更改页面！”。我也许是对的，但不是百分之百肯定。。。在

有关来源的详细信息：

我在一个Defcon上找到了大部分关于web嗅探器和阻止他们在服务器上获取正确的漏洞信息的信息，他用PHP做了一个web浏览器标识符。在

Answer 2

“我使用的是selenium webdriver，它被scrapeshield重定向到某个lightspeed页面。” 这不是scrapshield的工作原理。在

另外，我建议关闭这个线程，因为你正在请求帮助绕过一个安全功能，一个网站所有者故意决定在他们的网站上启用，以阻止人们从他们的内容。在