擅长:python、mysql、java
<p>我终于找到了一条很好的解决问题的途径。我在我的项目中使用了python3,我唯一的选择就是使用pycurl,因此我不得不将我的项目移植回python2.7系列。在</p>
<p>使用pycurl,我得到:
-对我的请求的一致响应(实际上我的脚本必须处理至少10k个URL)
-随着ThreadPool类的使用,我正在以我的系统最快的速度接收响应(接收到的数据将在稍后处理-因此在这里不太可能进行多处理)</p>
<p>我首先尝试了httplib2,通过切换到pycurl我失去了缓存支持,我意识到它并不像python2那样可靠。在</p>
<p>最后的结论是:当涉及到HTTP通信时,可能需要一个(py)curl这样的工具。它是一个救命稻草,尤其是当一个人在处理大量的url时(有时为了好玩,你会得到很多奇怪的响应)</p>
<p>谢谢你们的回复,伙计们。在</p>