如何从python错误中删除robot？

Question

在我的刮板运行搜索查询时出现此错误，请帮助如何删除此错误

我们的系统检测到来自您计算机网络的异常流量。这个页面检查是否真的是你发送请求，而不是机器人。为什么会这样

IP地址：2402:3a80:d1c:f42e:456:104e:9dc2:c1a 时间：2021-06-13T17:56:52Z 网址：https://www.google.com/search?q=site%3Alinkedin.com%2Fin%2F+AND+Digital+Marketing+AND+India&source=hp&ei=30bGYPGXLNvYz7sP-pSaCA&iflsig=AINFCbYAAAAAYMZU7921y9bXDFBqamh-L5KzaKTOZQRQ&oq=site%3Alinkedin.com%2Fin%2F+AND+Digital+Marketing+AND+India&gs_lcp=Cgdnd3Mtd2l6EANQ6RpY9xtgjBxoAHAAeACAAQCIAQCSAQCYAQCgAQGqAQdnd3Mtd2l6&sclient=gws-wiz&ved=0ahUKEwixg823l5XxAhVb7HMBHXqKBgEQ4dUDCAc&uact=5

Answer 1

因为我对你们的刮刀一无所知，也不知道它想完成什么，所以我只能给你们一个大概的答案

据我所知，你的刮板似乎被Captcha阻止了，这是一个测试，旨在阻止机器人在不知道主机的情况下访问互联网，迫使你在允许你继续之前从一组图片中选择项目

由于您没有共享您的代码，我不知道触发验证码的原因，但一般来说，除了通过测试之外，没有其他方法可以绕过验证码

也许您可以在UI会话中运行selenium并手动执行验证码，并使用某种用户输入来阻止scraper运行，直到您完成验证码为止（这可以在python中完成，只需在scraper的代码之前放置一个input('')，在shell中按Enter键之前它不会运行任何命令），这种方法在过去对我很有效，但如果出于某种原因需要在headless中运行，它将不起作用，因为selenium无法在同一会话中在headless和headless之间切换

如果手工解决是不可行的，那么也有一些API是用来自动执行验证码的，可能会起作用（参见How to solve Captcha image in selenium?）

这里还有一些避免被检测为bot的好方法：How does ReCaptcha 3 know I'm using selenium chromedriver?