擅长:python、mysql、java
<p>网站对爬行器有不同的规则,主要通过域的robots.txt文件进行总结。看穿<a href="https://www.continente.pt/robots.txt" rel="nofollow noreferrer">https://www.continente.pt/robots.txt</a>,以下是输出:</p>
<pre><code>User-agent: *
Disallow: */private
Disallow: */search
</code></pre>
<p>这可能意味着网站所有者不希望任何人对他们刮目相看。根据您的脚本和网站的不同,它们还可能阻止对spider的访问。您还可以使用不同的Web驱动程序进行检查,可能是Firefox</p>
<p>您还可以检查您的IP地址是否被阻止。如果是这种情况,请尝试重置具有动态IP地址的路由器,或者找到一个可与脚本一起使用的旋转IP提供商</p>