擅长:python、mysql、java
<p>斯蒂芬C所说的,这可能是有问题的。未经同意进行刮擦通常是不明智的</p>
<p>话虽如此,我相信刮痧总是会发生的,打败那些试图阻止你的人是很有趣的</p>
<p>我不完全确定你提到的课程的要求是什么,但也许可以研究一下硒。这是一个python包,有一个很好的教程<a href="https://www.scrapingbee.com/blog/selenium-python/" rel="nofollow noreferrer">here</a>。它创建了一个真实的浏览器,可以用cookies模拟真实用户,并可能欺骗网站</p>
<p>或者,您可以查看是否可以将某些头添加到urllib.request以模拟实际的浏览器。我知道requests库添加了这些,但不确定urllib.requests是否有类似<code> headers = { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9", "Accept-Encoding": "gzip, deflate", "Accept-Language": "en-GB,en-US;q=0.9,en;q=0.8", "Dnt": "1", "Host": [INSERT SPECIFIC URLHOST], "Upgrade-Insecure-Requests": "1", "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36", }</code>的方法</p>
<p>资料来源:在一家搜集了大量公开数据的公司实习,有人试图拖我们的后腿。我的一个同事也用selenium打败了captchas</p>