将OffsetDateTimeUdt转换为日期或字符串

Question

我正在研究Pyspark。 我有一个专栏end_date，我想做一些工作。但我不能，因为他的类型：OffsetDateTimeUdt。在

是否可以在日期或字符串中转换此类型？在

值示例：2021-08-15T00:00:00.000Z

如果您有任何想法，请告诉我：）

提前谢谢

Answer 1

通过忽略如下所示的毫秒数转换为时间戳

x = spark.createDataFrame([("2021-08-15T00:00:00.000Z",)], ['date_str'])
x.select(x.date_str, from_unixtime(unix_timestamp(x.date_str,"yyyy-MM-dd'T'HH:mm:ss'.000Z'"))).show(truncate=False)

输出：

^{pr2}$