Spark会话问题：异常：Java网关进程在发送端口号之前退出

Question

我试图在Spark中开始一个会话。我下载的Java版本如下：

java version "17" 2021-09-14 LTS
Java(TM) SE Runtime Environment (build 17+35-LTS-2724)
Java HotSpot(TM) 64-Bit Server VM (build 17+35-LTS-2724, mixed mode, sharing)

我还安装了Pyspark

Python 3.8.5 (default, Sep  4 2020, 02:22:02) 
[Clang 10.0.0 ] :: Anaconda, Inc. on darwin

但当我尝试启动会话时，出现异常错误。代码：

#Creating a spark connection
from pyspark import SparkContext

sc = SparkContext(master = "local")

错误：

Exception: Java gateway process exited before sending its port number

你能帮忙吗？提前谢谢

Answer 1

您的java版本（17）对于spark来说太高了。 来自Sparkdocumentation

Spark runs on Java 8/11, Scala 2.12, Python 3.6+ and R 3.5+

因此，您需要将Java减少到11或8