如何在停止时从已连接的JVM进程中分离PySpark?

2024-09-26 18:12:45 发布

您现在位置:Python中文网/ 问答频道 /正文

每当我从Python进程执行pyspark.sql.session.stop时,我都希望停止Spark-JVM进程

每当我在pyspark.sql.session.SparkSession上调用stop()方法时,SparkContext似乎被有效终止,但运行的JVM实例仍然存在

我已经调查过了,JVM端一直在运行PythonGatewayServer类的实例,该类打开一个无限期运行的服务器套接字,直到Python进程终止

from pyspark.sql.session import SparkSession
spark = SparkSession.builder.getOrCreate()
spark.stop()

# Now execute from a system shell
# ps aux | grep pyspark-shell

我希望JVM进程能够正常终止,而不是等待Python进程终止


Tags: 实例方法fromsql进程sessionjvmshell

热门问题