我需要创造一个“转台”平台。我的服务器必须能够从ftpa获取一个文件并将其发送到ftpbi。我做了很多文件传输系统,所以我对ftplib、aspera、s3和其他传输协议没有问题。在
问题是我在ftpa上有一个大文件(150G),而且许多传输将同时发生,从许多FTP服务器或其他服务器。在
我不希望我的平台实际存储这些文件以便将它们发送到另一个位置。我也不想把所有的东西都载入内存。。。我需要“流”二进制数据从A到B,在我的传输平台上收费最少。在
我正在查看带有ReadBuffer和WriteBuffer的https://docs.python.org/2/library/io.html,但我找不到示例,文档对我来说有点神秘。。。在
有人有起点吗?在
buff = io.open('/var/tmp/test', 'wb')
def loadbuff(data):
buff.write(data)
self.ftp.retrbinary('RETR ' + name, loadbuff, blocksize=8)
所以我的数据是buff,这是一个<_io.BufferedWritername='/var/tmp/test'>;对象,但是当ftplib继续下载时,我如何开始从中读取呢?在
希望我足够清楚,任何想法都欢迎。在
谢谢
目前没有回答
相关问题 更多 >
编程相关推荐