Cloudflare保护错误503“检查浏览器”

2024-10-01 00:26:56 发布

您现在位置:Python中文网/ 问答频道 /正文

我制作了一个脚本,从一个受cloudflare保护的网页上抓取数据。我从this网站上删除了大约25k个链接,脚本运行良好。我已经能够提取这个网站的所有链接,现在想从这些链接刮取信息。早些时候,脚本运行良好,但由于网站最近的安全更新,我收到请求库的错误503和selenium的“检查浏览器”网页。有没有办法绕过它

我还订阅了scraper api,可以使用代理和“scraper_api”库发出请求

我正在共享一些需要取消的链接,但出现以下错误:
https://coinatmradar.com/bitcoin_atm/31285/bitcoin-atm-general-bytes-birmingham-altadena-spirits/https://coinatmradar.com/bitcoin_atm/23676/bitcoin-atm-general-bytes-birmingham-marathon-gas/

已经尝试过其他方法,如CFScraster、cloud Scraster、未检测到的chromedriver,但没有成功。 请尝试删除任何其他链接并共享任何解决方案。谢谢


Tags: https脚本comapi网页bytes网站链接