我在我的数据帧上使用了.saveAsTable
,现在它被存储在我的HDFS配置单元仓库元存储中。如何将其加载回Spark SQL?我已经删除了我的集群(azurehdinsight)并创建了一个新的集群,确认了我的配置单元元存储位置是相同的,并且目录仍然存在。在
我需要再次将其作为持久表加载,而不是像使用PowerBI/Spark连接器那样作为临时表加载。到目前为止,我找到的唯一方法是将目录加载回DF,然后再次运行.saveAsTable。。它正在重新写入文件,并且需要很长时间来处理。我希望有更好的方法!!在
Tags:
使用
.saveAsTable
之后,可以使用sql直接查询。在相关问题 更多 >
编程相关推荐