我的文件夹./my_file/*.parquet
中有一个拼花文件列表。
好的有一列“date\u time”,它应该是一个整数(unix epoch timestamp)。你知道吗
root
|-- date_time: integer (nullable = true)
但是其中一些有一个真正的时间戳字段。你知道吗
root
|-- date_time: timestamp (nullable = true)
问题是,所有这些文件都在同一个文件夹中,当我读取它们时,数据帧上的任何action
都会生成一个错误:
Column: [date_time], Expected: LongType, Found: INT96
你有什么好方法可以让我很容易地把“时间戳”文件和“整数”文件分开吗? 我的文件夹中有超过30k个文件,我只是不知道如何处理它们,因为任何操作都会产生错误。你知道吗
目前没有回答
相关问题 更多 >
编程相关推荐