使用DataDome的网站在使用Selenium和Python进行抓取时被阻止验证码

2024-09-30 01:24:02 发布

您现在位置：Python中文网/ 问答频道 /正文
4905 3

实际上，我正试图从不同的网站上获取一些汽车数据，我一直在使用selenium和chromebrowser，但一些网站实际上通过验证码验证（例如：https://www.leboncoin.fr/）阻止selenium，这只需要1或2个请求。 我尝试在chromebrowser中更改$\u cdc，但这并没有解决问题，我一直在使用chromebrowser的这些选项

user_agent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
options = webdriver.ChromeOptions()
options.add_argument(f'user-agent={user_agent}')
options.add_argument('start-maximized')
options.add_argument('disable-infobars')
options.add_argument('--profile-directory=Default')
options.add_argument("--incognito")
options.add_argument("--disable-plugins-discovery")
options.add_experimental_option("excludeSwitches", ["ignore-certificate-errors", "safebrowsing-disable-download-protection", "safebrowsing-disable-auto-update", "disable-client-side-phishing-detection"])
options.add_argument('--disable-extensions')
browser = webdriver.Chrome(chrome_options=options)

browser.delete_all_cookies()

browser.set_window_size(800,800)

browser.set_window_position(0,0)

我试图抓取的网站使用DataDome进行机器人安全，有线索吗


Tags： browseradd网站seleniumchromewindowargumentagent
3条回答
网友
1楼 · 编辑于 2024-09-30 01:24:02

这可能是由于各种原因造成的。试着通过给出的答案here来避免这个问题

有时对我有效的一个简单解决方案是在selenium中使用Waits/Sleep调用，请参见文档中关于等待的here。 或者睡眠电话也可以这样做

Import time
time.sleep(2)
网友
2楼 · 编辑于 2024-09-30 01:24:02

关于从不同网站或https://www.leboncoin.fr/上抓取汽车数据的用例的更多细节将有助于我们构建更规范的答案。但是，我可以使用Selenium访问页面源，如下所示：

  • 代码块：

    from selenium import webdriver

options = webdriver.ChromeOptions() 
options.add_argument("start-maximized")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=options, executable_path=r'C:\WebDrivers\chromedriver.exe')
driver.get('https://www.leboncoin.fr/')
print(driver.page_source)

  • 控制台输出：

    <html class="gServer"><head><link rel="preconnect" href="//fonts.googleapis.com" crossorigin=""><link rel="preload" href="https://fonts.googleapis.com/css2?family=Open+Sans:wght@400;600;700&amp;display=swap" crossorigin="" as="style"><link rel="stylesheet" href="https://fonts.googleapis.com/css2?family=Open+Sans:wght@400;600;700&amp;display=swap" crossorigin=""><style data-emotion-css=""></style><meta charset="utf-8"><link rel="manifest" href="/manifest.json"><link type="application/opensearchdescription+xml" rel="search" href="/opensearch.xml"><meta name="theme-color" content="#ff6e14"><meta property="og:locale" content="fr_FR"><meta property="og:site_name" content="leboncoin"><meta name="twitter:site" content="leboncoin"><meta http-equiv="P3P" content="CP=&quot;This is not a P3P policy&quot;"><meta name="viewport" content="initial-scale=1.0, width=device-width, maximum-scale=1.0, user-scalable=0"><script type="text/javascript" async="" src="https://www.googleadservices.com/pagead/conversion_async.js"></script><script type="text/javascript" async="" src="https://tp.realytics.io/sync/se/cnktbDNiMG5jb3xyeV83NTFGRUQwMy1CMDdGLTRBQTgtOTAxRi1DNUREMDVGRjkxQTJ8?ct=1&amp;rt=1&amp;u=https%3A%2F%2Fwww.leboncoin.fr%2F&amp;r=&amp;ts=1591306049397"></script><script type="text/javascript" async="" src="https://www.googleadservices.com/pagead/conversion_async.js"></script><script type="text/javascript" async="" src="https://www.googleadservices.com/pagead/conversion_async.js"></script><script type="text/javascript" async="" src="https://www.googletagmanager.com/gtag/js?id=AW-766292687&amp;l=dataLayer&amp;cx=c"></script><script type="text/javascript" async="" src="https://www.googletagmanager.com/gtag/js?id=AW-667462656&amp;l=dataLayer&amp;cx=c"></script><script type="text/javascript" async="" src="https://cdn-eu.realytics.net/realytics-1.2.min.js"></script><script type="text/javascript" async="" src="https://i.realytics.io/tc.js?cb=1591306047755"></script><script type="text/javascript" async="" src="https://www.googletagmanager.com/gtag/js?id=DC-4167650&amp;l=dataLayer&amp;cx=c"></script><script type="text/javascript" async="" src="https://www.googletagmanager.com/gtag/js?id=AW-744431185&amp;l=dataLayer&amp;cx=c"></script><script type="text/javascript" async="" charset="utf-8" src="//www.googleadservices.com/pagead/conversion_async.js" id="utag_82"></script><script type="text/javascript" async="" charset="utf-8" src="//sdk.mpianalytics.com/pulse.min.js" id="utag_47"></script><script async="true" type="text/javascript" src="https://sslwidget.criteo.com/event?a=50103&amp;v=5.5.0&amp;p0=e%3Dexd%26site_type%3Dd&amp;p1=e%3Dvh&amp;p2=e%3Ddis&amp;adce=1&amp;tld=leboncoin.fr&amp;dtycbr=6569" data-owner="criteo-tag"></script><script type="text/javascript" src="//try.abtasty.com/09643a1c5bc909059579da8aac99e8f1.js"></script><script>window.dataLayer = window.dataLayer || [];
.
.
.
<iframe height="1" width="1" style="display:none" src="//4167650.fls.doubleclick.net/activityi;src=4167650;type=slbc01;cat=all-site;u1=homepage;ord=9979622847645.51?" id="utag_179_iframe"></iframe></body></html>

然而，从DOM Tree可以明显看出，网站通过DataDome受到了坏机器人的保护，如下所示：

DataDome

DataDome

主要特点如下：

  • DataDome是唯一以服务形式提供的机器人保护解决方案
  • DataDome不需要架构更改或DNS重新路由
  • DataDome的机器人检测引擎将每个对网站的请求与海量内存模式数据库进行比较，并使用人工智能和机器学习相结合的方法，在不到2毫秒的时间内决定是否应授予对页面的访问权
  • DataDome检测并识别100%的OWASP自动威胁
  • DataDome的自定义规则功能甚至可以让您阻止来自非销售国的人工流量，或者只允许合作伙伴机器人在特定情况下访问您的站点

奥特罗

有关DataDoe的文档可在以下网址找到：

网友
3楼 · 编辑于 2024-09-30 01:24:02

验证码有什么问题？你可以用反验证码等便宜的服务来解决这个问题。 下面是NodeJS的一个示例： https://github.com/MoterHaker/bypass-captcha-examples/blob/main/geo.captcha-delivery.com.js

相关问题 更多 >

    编程相关推荐

    热门问题