明确地说，如何让s3fs在AWS中打开gz文件？胶水/S3

Question

使用AWS-glue和AWS-s3和s3fs，我提出了以下内容（以及其他尝试）。我甚至在https://s3fs.readthedocs.io/en/latest/看到了这些例子，但它们并没有把我带到那里。你知道吗

key = 'https://s3.console.aws.amazon.com/s3/buckets/datalake-sbox-landing-55555-us-weast/cloudwatch_logs/prod-coarsair/dt%267D2019-09-11/144221-3837-462d-a2e6-ba300/coarsair-coarsair-144221-3837-462d-a2e6-ba300/000000.gz' s3 = s3fs.S3FileSystem() with s3.open(key, 'r') as f: args_gz_file = f

Answer 1

样本显示：

with fs.open('my-bucket/my-file.txt', 'rb') as f:

这表明第一个参数是BUCKET-NAME/KEY。你知道吗

但是，您的代码示例显示的是URL（https://s3.console.aws.amazon.com/s3/buckets/），而不是bucket名称。你知道吗

或许可以尝试：

key = 'datalake-sbox-landing-55555-us-weast/cloudwatch_logs/prod-coarsair/dt%267D2019-09-11/144221-3837-462d-a2e6-ba300/coarsair-coarsair-144221-3837-462d-a2e6-ba300/000000.gz'

旁注：建议使用官方的AWS SDK或AWS CLI访问amazons3，而不是使用s3fs。amazons3是一个对象存储服务，而不是一个文件系统。你知道吗