合并Parquet文件Pandas Meta模式不匹配

2024-07-04 05:45:48 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试将多个拼花地板文件合并为一个。它们的模式在字段方面是相同的,但是我的ParquetWriter抱怨它们不是。经过一番调查,我发现熊猫元在图式中是不同的,导致了这个错误。在

是否可以忽略/合并/删除pandas meta?我还需要熊猫梅塔吗?在

import pyarrow.parquet as pq

pq_tables=[]
for file_ in files:
    pq_table = pq.read_table(f'{MESS_DIR}/{file_}')
    pq_tables.append(pq_table)
    if writer is None:
        writer = pq.ParquetWriter(COMPRESSED_FILE, schema=pq_table.schema, use_deprecated_int96_timestamps=True)
    writer.write_table(table=pq_table)

确切的错误-

^{pr2}$

Tags: 文件pandastablesschema错误table模式meta

热门问题