Python网页抓取,用户输入验证码挑战

2024-05-18 15:20:24 发布

您现在位置:Python中文网/ 问答频道 /正文

一般来说,我对使用请求和web技术有点陌生,所以我甚至不确定我想要的是不可能的,还是非常容易的。但我到处都找不到

我正在使用requests和bs4来抓取一个供我个人使用的网站。我不想要整个网站,这更像是一项自动化任务,我写这篇文章是为了让自己的生活更轻松。它工作了将近一年,直到该网站使用Cloudflare版本2验证码挑战来阻止我的请求

现在我试着用浏览器的cookies和头来欺骗网站,使其认为我是在用网络浏览器冲浪,但没有成功。我不确定我是否在请求中正确使用了cookiejar

我还使用了cloudscraper模块来绕过这个问题,但它说免费版本在Couldflares V2验证码挑战中不起作用。我甚至找不到付费版本,github页面在近2年内也没有看到任何活动

但我认为我最好亲自解决验证码挑战。这样,如果它改变了挑战并使其变得更加困难,我的代码仍然可以工作。 现在我想知道一个人怎么做这样的事

我的确切问题是,我是否可以使用python中的requests模块获取网页,将其发送到浏览器以查看和输入一些内容,然后使用另一个requests方法发送响应?如果是,我该怎么做


Tags: 模块版本网络web网站浏览器cloudflarerequests

热门问题