在AW中将pickle文件写入s3存储桶

Question

我试图将pandas数据帧作为pickle文件写入AWS中的s3存储桶。我知道我可以将数据帧new_df作为csv写入s3存储桶，如下所示：

bucket='mybucket'
key='path'

csv_buffer = StringIO()
s3_resource = boto3.resource('s3')

new_df.to_csv(csv_buffer, index=False)
s3_resource.Object(bucket,path).put(Body=csv_buffer.getvalue())

我试过使用与上面相同的代码，to_pickle()，但没有成功。

Answer 1

我找到了解决方案，需要将BytesIO调用到pickle文件的缓冲区中，而不是StringIO（用于CSV文件）。

import io
pickle_buffer = io.BytesIO()
s3_resource = boto3.resource('s3')

new_df.to_pickle(pickle_buffer)
s3_resource.Object(bucket, key).put(Body=pickle_buffer.getvalue())