Pyspark错误：Java网关进程在发送其端口号之前退出

Question

我正在使用Pyspark在Jupyter笔记本中运行一些命令，但它正在抛出错误。我尝试了此链接中提供的解决方案（Pyspark: Exception: Java gateway process exited before sending the driver its port number） 我尝试了这里提供的解决方案（例如将路径更改为C:Java、卸载Java SDK 10和重新安装Java 8），但它仍然向我抛出了相同的错误。

我试着卸载并重新安装pyspark，我试着从anaconda提示符下运行，但还是得到了同样的错误。我使用的是Python 3.7，pyspark版本是2.4.0。

如果我使用这段代码，就会得到这个错误。“异常：Java网关进程在发送其端口号之前退出”。

from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext() 
sqlContext = SQLContext(sc)
from pyspark.mllib.linalg import Vector, Vectors
from nltk.stem.wordnet import WordNetLemmatizer
from pyspark.ml.feature import RegexTokenizer, StopWordsRemover, Word2Vec

但是如果我从这段代码中删除sparkcontext运行良好，但是我需要spark上下文作为我的解决方案。下面没有spark上下文的代码不会抛出任何错误。

from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.mllib.linalg import Vector, Vectors
from nltk.stem.wordnet import WordNetLemmatizer
from pyspark.ml.feature import RegexTokenizer, StopWordsRemover, Word2Vec

如果能帮我解决这个问题，我将不胜感激。我正在使用Windows10 64位操作系统。

这是完整的错误代码图片。

Answer 1

在bash终端中键入此命令，它将被修复：

export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"

所有这些操作都是将pyspark-shell导出到shell环境变量PYSPARK_SUBMIT_ARGS。