Python中文
首页
教程
问答
标签
搜索
登录
注册
如何在Python中下载大文件而不会出现MemoryError?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我想以编程方式下载一些文件,但是对于较大的文件,我遇到了<code>MemoryError</code>异常。例如,当我试图下载<a href="ftp://ftp.ncbi.nlm.nih.gov/geo/platforms/GPL5nnn/GPL5162/soft/" rel="nofollow">small file</a>时,代码没问题,但当我试图下载<a href="ftp://ftp.ncbi.nlm.nih.gov/geo/platforms/GPL5nnn/GPL5293/soft/" rel="nofollow">larger file</a>时,我捕获了一个<code>MemoryError</code>。在</p> <p>这是我的代码:</p> <pre><code>def __download_gpl_file(accession): try: bin_string = __get_response(accession) if bin_string is None: return False string = __unzip(bin_string) except MemoryError: print 'Out of memory for: ' + accession return False if string: filename = DOWNLOADED + accession + '.txt' with open(filename, 'w+') as f: f.write(string) return True return False def __get_response(attempts=5): url = __construct_gpl_url(accession) # Not shown response = None while attempts > 0: try: response = urllib2.urlopen(url) if response and response.getcode() < 201: break else: attempts -= 1 except urllib2.URLError: print 'URLError with: ' + url return response.read() def __unzip(bin_string): f = StringIO(bin_string) decompressed = gzip.GzipFile(fileobj=f) return decompressed.read() </code></pre> <p>我能做些什么来下载更大的文件吗?提前谢谢。在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我没有足够的观点来评论黑客狂人的回答,所以我的回答只是他的第一个例子,但有一点修正。在</p> <pre><code>file = urllib2.urlopen('url') with open('filename','w') as f: for x in file: f.write(x) </code></pre> <p>我想他是偶然写的。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
为什么在使用strptime时会出现未进行转换的数据错误?
8 回答
为什么在使用strptim时会出现这个datetime日期错误
8 回答
为什么在使用StyleFrame时索引列的标题不显示sf.至excel()?
2 回答
为什么在使用sum()函数时会发生“int”对象不可调用的错误?
4 回答
为什么在使用sympy.dsolve时会得到“'list'对象没有属性'func'”?
7 回答
为什么在使用tabla时会得到一个空的数据帧?
1 回答
为什么在使用tensorboard时需要add_graph()的第二个参数?
10 回答
为什么在使用TensorFlow Lite转换YOLOv4时,推断时间/大小没有改进?有什么可能的改进吗?
6 回答
为什么在使用Tensorflow加载训练批时会出现内存泄漏?
1 回答
为什么在使用tensorflow时会收到警告/错误(使用函数API,但未实现错误)
3 回答
为什么在使用tetpyclient发出POST请求时出现403错误?
1 回答
为什么在使用TextBlob时会出现HTTP错误?
5 回答
为什么在使用TFIDF时出现错误“IndexError:list index out of range”pyspark.ml.feature?
4 回答
为什么在使用timedelta格式化之后,我在python中的日期是错误的?
7 回答
为什么在使用timeit或exec函数时,函数中的变量不会在提供的全局命名空间中搜索?
4 回答
为什么在使用tkinter时不能使用复选框?
2 回答
为什么在使用todoistpythonapi时会返回这个奇怪的ID?
7 回答
为什么在使用TQM时,在调整图像大小时,处理时间会有很大的差异?
6 回答
为什么在使用Tweepy下载用户时间线时收到错误消息
7 回答
为什么在使用twitter帐户登录Django应用程序时重定向127.0.0.1:8000?
6 回答