擅长:python、mysql、java
<p>sahae强调了一些优点,比如机器人、使用延迟等。但是,我也要强调用户代理和ip的使用。你知道吗</p>
<p>如果您从相同的IP和用户代理请求链接,某些网站/主机会有跟踪机制。如果你有一个VPN,你也可以在不同的IP之间切换,打破你的刮擦过程。但是,对于UserAgent部分,值得检查一下<a href="https://pypi.org/project/fake-useragent/" rel="nofollow noreferrer">fake-useragent</a>。代码块很容易与<a href="https://2.python-requests.org/en/master/" rel="nofollow noreferrer">requests</a>库集成。你知道吗</p>
<p>通过这种方式,您并没有消除但至少减少了目标主机认为是同一个人发送请求的可能性。如果你真的不想被禁止,或者至少尽你所能,延迟、用户代理和IP的组合可以帮助你。你知道吗</p>