使用Pyarrows的HdfsClien进行多处理我有一个顶层函数,它获取一个包含parquet文件路径和列名的元组。在 该函数只从文件中加载列,将其转换为pandas,然后将其打包/序列化为标准格式。比如: import pyarrow as pa ...2024-09-30 已阅读: n次