来自http流的非阻塞读/日志

Question

我有一个客户端，它连接到一个HTTP流，并记录它使用的文本数据。

我给流媒体服务器发送了一个HTTP GET请求。。。服务器回复并持续发布数据。。。它将定期发布文本或发送ping（文本）消息。。。永远不会关闭连接。

我需要以非阻塞的方式读取和记录它使用的数据。

我正在做这样的事情：

import urllib2

req = urllib2.urlopen(url)    
for dat in req: 
    with open('out.txt', 'a') as f:        
        f.write(dat) 

我的问题是：
当溪流连续时，这会被阻塞吗？
每个块中读取了多少数据，可以指定/调整它吗？
这是读取/记录http流的最佳方式吗？

Answer 1

您使用的接口级别太高，无法很好地控制诸如阻塞和缓冲块大小之类的问题。如果您不愿意一直使用异步接口（在这种情况下，twisted，已经建议了，很难打败！），为什么不httplib，毕竟它在标准库中？HTTPResponse实例.read(amount)方法比urlopen返回的对象上的类似方法更可能阻塞不超过读取amount字节所需的时间（尽管不可否认，两个模块上都没有关于该方法的文档说明，hmmm…）。