如何在GUI中显示Spark结果（Tkinter）

Question

我使用SPARK选择了不同的文件（.csv.json.txt…），然后将它们导入HADOOP（HDFS）。这是可行的，但当我将此函数与按钮关联时，结果将显示在GUI中，我得到： 该功能在终端中执行，不显示GUI。 我怎样才能解决这个问题。 代码如下：

def classifyCSV():
    spark = SparkSession.builder \
        .appName("SparkByExamples.com") \
        .getOrCreate()
    df = spark.read.csv("... /file3.csv")
    df.printSchema()
    df.show()
    df.write.save('hdfs://localhost:9000/mydata/csv', format='parquet',mode='append'
button1 = Button(gui1,text="Press for csv file" , commande=classifyCSV)
button1.place(x=120 , y=235)

注: 每个文件都有其功能

Answer 1

Spark不是在GUI中运行的，它是在后台运行的，应该分布在集群上

如果您想显示任何内容，您需要collect()将数据帧发送到活动的Spark驱动程序，然后您应该在Tkinter中创建一些表或列表小部件来填充该列表，因为打印模式和show()只会到达终端

如果您的数据集足够小，可以在一台机器的GUI上处理和显示，那么您可能不应该使用Spark