像单个文件对象一样读取分离和加密的s3文件
s3quer的Python项目详细描述
#s3query
s3query将文件或s3文件系统中的文件作为文本文件打开,将执行解压缩 如有必要。它还处理喜欢hadoop的part-*文件并处理所有文件 在一个目录中作为一个单独的文件。
#示例
>>> from s3query import s3open >>> import sys >>> >>> with s3open("s3://s3query/data/testgz/") as fgz: ... for line in fgz: ... sys.stdout.write(line) ... one two three four five six seven eight nine >>> with s3open("s3://s3query/data/test/") as fplain: ... for line in fplain: ... sys.stdout.write(line) ... one two three four five six seven eight nine