我最终说服了一位愿意免费共享他的full archival node5868GiB数据库的人(现在需要在ram中构建,因此需要价值100000美元的ram才能构建,但一旦构建完成,就可以在ssd上运行)
但是,他只想通过使用相当慢(400Mps)的连接通过原始tcp发送一个tar文件来发送此任务。
我需要把它放在dropbox上,因此,他不想使用https://www.dropbox.com/request/[my upload key here]
允许在没有dropbox帐户的情况下通过web浏览器上传文件(我谈到使用其他方法或将数据库压缩到他即将改变分享想法的地步,这让他非常恼火)。
因为在我这边,dropbox允许在30天内免费使用10Tib的存储空间,而我还没有收到所需的ssd(因此,一旦收到,我就可以以更快的速度下载)
我完全知道upload file to my dropbox from python script,但在我的情况下,该文件不适合内存缓冲区,甚至不适合磁盘。 在之前的api v1中,无法将数据附加到现有文件中(但我没有找到v2的答案)
要使用Dropbox Python SDK将一个大文件上载到Dropbox API,可以使用upload sessions将其分段上载。有a basic example here
请注意the Dropbox API only supports files up to 350 GB though
相关问题 更多 >
编程相关推荐