在不下载的情况下读取s3存储桶上的文件内容

Question

我对aws和s3还很陌生，所以如果这看起来像是我没有尝试过什么，请原谅。我想遍历目录和文件，读取文件并从可公开访问的s3存储桶中检索特定的行：s3://cgl-rnaseq-recompute-fixed/，而不下载它。我只想在文件内容上执行基本任务，比如grep/cat。在

例如，我应该能够从s3 bucket上的所有文件和文件夹中获取包含MYCN的行。在

最有效的方法是什么？在R/Python中有没有可以帮助遍历s3桶的包？在

谢谢！在

Answer 1

{a1}

conn = boto.s3.connection.S3Connection(
        aws_access_key_id='xxx',
        aws_secret_access_key='yyy'
)
for key in conn.list(prefix='logs/*.log'):
    print key