用python处理S3中的文件,列表中的最后一个文件在处理时抛出FileNotFound和拒绝访问

2024-06-25 23:04:00 发布

您现在位置:Python中文网/ 问答频道 /正文

我从我们拥有的一个应用程序运行导出,它按月将CSV文件转储到S3中。同一个过程一次删除所有文件,文件删除没有什么不同。我的IAM用户具有完全的S3访问权限。我明白了 FileNotFoundError: /mybucket/funnel-ad/raw/data/funnel_data_2020_04并且在处理上述异常期间拒绝访问。这个文件绝对存在,我已经在s3中手动检查过了,而且我正在通过从s3中提取来生成文件列表。这是我的密码

session = Session(aws_access_key_id=AK,
                  aws_secret_access_key=SAK)
s3 = session.resource('s3')
bucket = s3.Bucket('mybucket')

for file in bucket.objects.filter(Prefix='funnel-ad/raw/data'):
    if 'funnel_data' in file.key:
        readpath = 's3://mybucket/'+str(file.key)
        df = pd.read_csv(readpath,engine='python', error_bad_lines=False)
        df = df.reindex(sorted(df.columns), axis=1)
        dct = df.to_dict(orient = 'records')

Tags: 文件keyawsdfdataraws3bucket