擅长:python、mysql、java
<p>虽然在技术上可以模拟来自Python的所有调用,但在LinkedIn这样的动态页面上,我认为这将是非常乏味和脆弱的。在</p>
<p>不管怎样,在你打开LinkedIn之前,你应该先在浏览器中打开“开发者工具”,看看流量如何。您可以过滤来自Javascript的请求(在Firefox中,过滤器称为XHR)。在</p>
<p><a href="https://i.stack.imgur.com/2zNLH.png" rel="noreferrer"><img src="https://i.stack.imgur.com/2zNLH.png" alt="network tab in developer tools"/></a></p>
<p>然后在代码中模拟必要/有趣的请求。好处是服务器通常将结构化数据返回到Javascript,比如JSON。因此,您不需要做太多的HTML解析。在</p>
<p>如果您发现这种方式进展不大(这取决于特定的站点),那么您可能需要使用Selenium或其他替代方法,例如:</p>
<ul>
<li><a href="https://robotframework.org/" rel="noreferrer">https://robotframework.org/</a></li>
<li><a href="https://miyakogi.github.io/pyppeteer/" rel="noreferrer">https://miyakogi.github.io/pyppeteer/</a>(puppeter到Python的端口)</li>
</ul>