使用.saveAsTable()将表保存到配置单元元存储,如何重新加载?

2024-09-28 20:50:12 发布

您现在位置:Python中文网/ 问答频道 /正文

我在我的数据帧上使用了.saveAsTable,现在它被存储在我的HDFS配置单元仓库元存储中。如何将其加载回Spark SQL?我已经删除了我的集群(azurehdinsight)并创建了一个新的集群,确认了我的配置单元元存储位置是相同的,并且目录仍然存在。在

我需要再次将其作为持久表加载,而不是像使用PowerBI/Spark连接器那样作为临时表加载。到目前为止,我找到的唯一方法是将目录加载回DF,然后再次运行.saveAsTable。。它正在重新写入文件,并且需要很长时间来处理。我希望有更好的方法!!在


Tags: 文件数据方法目录dfsql集群hdfs