为什么套接字实现比请求慢？

Question

我有一个python3.4脚本来获取多个web页面。起初，我使用请求库获取页面：

def get_page_requsets(url):
    r = requests.get(url)
    return r.content

上面的代码给出了每秒4.6个请求的平均速度。 为了提高速度，我重写了函数以使用套接字库：

^{pr2}$

平均速度下降到每秒4.04个请求。我不希望提高速度，但希望略有提高，因为插座是较低水平。 是图书馆的问题还是我做错了什么？在

Answer 1

requests使用^{}，它非常有效地处理HTTP连接。尽可能重复使用同一服务器的连接，从而节省套接字连接和拆卸成本：

• Re-use the same socket connection for multiple requests, with optional client-side certificate verification. See: HTTPConnectionPool and HTTPSConnectionPool

此外，urllib3和requests向服务器通告它们可以处理压缩的响应；通过压缩，您可以在相同的时间内传输更多的数据，从而导致每秒更多的请求。在

• Supports gzip and deflate decoding. See: decode_gzip() and decode_deflate()

urllib3也使用套接字（尽管是通过^{} module）；重新设计这个轮子没有什么意义。也许您应该考虑使用线程或多处理或eventlets并行获取url；requests作者有一个{a3}可以帮助您。在