我制作了一个脚本,从一个受cloudflare保护的网页上抓取数据。我从this网站上删除了大约25k个链接,脚本运行良好。我已经能够提取这个网站的所有链接,现在想从这些链接刮取信息。早些时候,脚本运行良好,但由于网站最近的安全更新,我收到请求库的错误503和selenium的“检查浏览器”网页。有没有办法绕过它
我还订阅了scraper api,可以使用代理和“scraper_api”库发出请求
我正在共享一些需要取消的链接,但出现以下错误:
https://coinatmradar.com/bitcoin_atm/31285/bitcoin-atm-general-bytes-birmingham-altadena-spirits/https://coinatmradar.com/bitcoin_atm/23676/bitcoin-atm-general-bytes-birmingham-marathon-gas/
已经尝试过其他方法,如CFScraster、cloud Scraster、未检测到的chromedriver,但没有成功。 请尝试删除任何其他链接并共享任何解决方案。谢谢
目前没有回答
相关问题 更多 >
编程相关推荐