pandaps不将其拼凑到文件系统中,而是在variab中获取结果文件的内容

2024-05-20 09:39:00 发布

您现在位置:Python中文网/ 问答频道 /正文

从熊猫到拼花地板的转变有几种可能。例如。pyarrow.Table.from_pandas或者dataframe.to_拼花地板. 它们的共同点是,它们将文件路径作为参数,其中实木地板应该储存起来。在

我需要将写入的拼花板文件的内容转换为一个变量,但是还没有看到这个。主要是我想要和pandas.to\u csv如果没有提供路径,则返回字符串形式的结果。在

当然,我只需编写文件,然后使用标准的文件读取操作从python读取到字符串中。由于我要写大量的数据,这将在文件系统上产生大量的负载。在


Tags: 文件to字符串from路径内容dataframepandas
1条回答
网友
1楼 · 发布于 2024-05-20 09:39:00

你可以使用拜特西奥为此,apachearrow也提供了其本机实现BufferOutputStream。这样做的好处是,这样可以写入流,而不需要遍历Python。这样就减少了复制量,GIL得以发布。在

import pyarrow as pa
import pyarrow.parquet as pq

df = some pandas.DataFrame
table = pa.Table.from_pandas(df)
buf = pa.BufferOutputStream()
pq.write_table(table, buf)
# buf now contains the Parquet file in memory.

相关问题 更多 >