Python中文
首页
教程
问答
标签
搜索
登录
注册
通过S3_附加_Kwarg将Pandas数据帧加载到S3
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>请原谅我在这方面的无知/缺乏知识</p> <p>我想上传一个数据帧到S3,但我需要传递“ACL”:“bucket-owner-full-control”</p> <pre><code>import pandas as pd import s3fs fs = s3fs.S3FileSystem(anon=False, s3_additional_kwargs={'ACL': 'bucket-owner-full-control'}) df = pd.DataFrame() df['test'] = [1,2,3] df.head() df.to_parquet('s3://path/to/file/df.parquet', compression='gzip') </code></pre> <p>我通过将其加载到Pyarrow表和类似的加载方式来解决此问题:</p> <pre><code>import pyarrow.parquet as pq table = pa.Table.from_pandas(df) pq.write_to_dataset(table=table, root_path='s3://path/to/file/', filesystem=fs) </code></pre> <p>但这让人感觉很不舒服,在第一个例子中,我觉得一定有办法通过ACL</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>你可以这样做:</p> <pre><code>pd.to_parquet('name.parquet',storage_options={"key":xxxxx,"secret":gcp_secret_access_key,'xxxxx':{'ACL': 'bucket-owner-full-control'}}) </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何格式化凌乱的html源代码?python
3 回答
如何格式化列中的datetime值而不使用pandas中的to\datetime函数?
8 回答
如何格式化列表以将其作为输入提供给支持向量机训练()在opencv3.0中
6 回答
如何格式化列表和字典理解
8 回答
如何格式化刮板输出
7 回答
如何格式化包含不同表达式的原始字符串?
4 回答
如何格式化卷积(1D)keras神经网络的输入和输出形状?Python
5 回答
如何格式化参数的帮助输出?
1 回答
如何格式化双对数x轴刻度标签显示为10的幂?
2 回答
如何格式化可变数量的参数?
6 回答
如何格式化和加载4dr中的数组?
5 回答
如何格式化和合并单个CSV文件中的列
9 回答
如何格式化和打印仪表板到PDF?
4 回答
如何格式化和重写多个文件?
5 回答
如何格式化多变量LSTM(keras)的培训/测试数据,多个观察点和每个观察点的单一结果变量?
9 回答
如何格式化多维数组列表?
10 回答
如何格式化字典(最初来自数据帧)以供操作使用?
2 回答
如何格式化字典列表中的字典对象?
7 回答
如何格式化字符串以创建可编辑列表?
10 回答
如何格式化字符串和字符串一起使用
2 回答