如何用python从azuredatalake Gen2中的pandas dataframe编写分区拼花文件

2024-09-28 23:25:45 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试将Pandas数据帧直接写入到我的Datalake(Gen2)中,而不需要将其上载到本地系统。 我成功使用缓冲区上传一个拼花地板文件:

block_blob_service = BlockBlobService(account_name= name, account_key=secret)
buffer = BytesIO()
data.to_parquet(buffer)
block_blob_service.create_blob_from_bytes(container_name="container", blob_name="path/example.parquet", blob=buffer.getvalue())

我试图将partition_cols添加到.to_parquet()中,并将blob_name作为根目录,如下所示:

^{pr2}$

但我有个错误:

AttributeError: 'NoneType' object has no attribute '_isfilestore'

{cd4>文件系统似乎也不支持。。。在

如何将分区文件直接写入azuredatalake?在


Tags: 文件to数据namepandascontainer系统buffer