Python中文
首页
教程
问答
标签
搜索
登录
注册
通过公共HTTP自动检索大文件到googlecloudstorag
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>出于天气处理的目的,我希望在谷歌云存储中自动检索每日天气预报数据。在</p> <p>这些文件可以在公共httpurl(<a href="http://dcpc-nwp.meteo.fr/openwis-user-portal/srv/en/main.home" rel="nofollow noreferrer">http://dcpc-nwp.meteo.fr/openwis-user-portal/srv/en/main.home</a>)上找到,但是它们非常大(在30到300兆字节之间)。文件大小是主要问题。在</p> <p>在看过前面的stackoverflow主题之后,我尝试了两种不成功的方法:</p> <p><b>1/在谷歌应用引擎中通过urlphetch首次尝试</b></p> <pre> from google.appengine.api import urlfetch url = "http://dcpc-nwp.meteo.fr/servic..." result = urlfetch.fetch(url) [...] # Code to save in a Google Cloud Storage bucket </pre> <p>但是我在urlphetch行上收到以下错误消息:</p> <p><i>DeadlineExceededError:等待来自URL的HTTP响应时超过了截止日期</i></p> <p><b>通过云存储传输服务每秒尝试2次</b></p> <p>根据文档,可以通过云存储传输服务将HTTP数据直接检索到云存储中: <a href="https://cloud.google.com/storage/transfer/reference/rest/v1/TransferSpec#httpdata" rel="nofollow noreferrer">https://cloud.google.com/storage/transfer/reference/rest/v1/TransferSpec#httpdata</a></p> <p>但是在下载之前它需要文件的大小和md5。这个选项在我的案例中不起作用,因为网站没有提供这些信息。在</p> <p>有什么想法吗?</b></p> <p>你有没有看到任何解决方案可以自动检索HTTP上的大文件到我的云存储桶?在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>目前,Google的传输服务需要MD5和size;我们知道在像您这样的情况下,这可能很难处理,但不幸的是,我们今天没有一个好的解决方案。在</p> <p>除非你能通过自己下载文件(临时)来获得文件的大小和MD5,否则我想这是你能做的最好的了。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
无法使用Django/mongoengine连接到MongoDB(身份验证失败)
6 回答
无法使用Django\u mssql\u后端迁移到外部hos
3 回答
无法使用Django&Python3.4连接到MySql
1 回答
无法使用Django+nginx上载媒体文件
2 回答
无法使用Django1.6导入名称模式
9 回答
无法使用Django1.7和mongodb登录管理站点
6 回答
无法使用Djangoadmin创建项目,进程使用了错误的路径,因为我事先安装了错误的Python
2 回答
无法使用Djangockedi验证CBV中的字段
7 回答
无法使用Djangocketditor上载图像(错误400)
5 回答
无法使用Djangocron进行函数调用
6 回答
无法使用Djangofiler djang上载文件
7 回答
无法使用Djangokronos
6 回答
无法使用Djangomssql provid
3 回答
无法使用Djangomssql连接到带有Django 1.11的MS SQL Server 2016
3 回答
无法使用Djangomssq迁移Django数据库
1 回答
无法使用Djangonox创建用户
2 回答
无法使用Djangopyodb从Django查询SQL Server
3 回答
无法使用Djangopython3ldap连接到ldap
10 回答
无法使用Djangoredis连接到redis
2 回答
无法使用Django中的FK创建新表
6 回答