我试图在Spark中开始一个会话。我下载的Java版本如下:
java version "17" 2021-09-14 LTS
Java(TM) SE Runtime Environment (build 17+35-LTS-2724)
Java HotSpot(TM) 64-Bit Server VM (build 17+35-LTS-2724, mixed mode, sharing)
我还安装了Pyspark
Python 3.8.5 (default, Sep 4 2020, 02:22:02)
[Clang 10.0.0 ] :: Anaconda, Inc. on darwin
但当我尝试启动会话时,出现异常错误。代码:
#Creating a spark connection
from pyspark import SparkContext
sc = SparkContext(master = "local")
错误:
Exception: Java gateway process exited before sending its port number
你能帮忙吗?提前谢谢
您的java版本(17)对于spark来说太高了。 来自Sparkdocumentation
因此,您需要将Java减少到11或8
我已经下载了Java版本11,并且知道它正在工作
要查看如何卸载现有Java版本:https://explainjava.com/uninstall-java-macos/
下载Java 11:https://www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html
相关问题 更多 >
编程相关推荐