Spark+Python-Java网关进程在向驱动程序发送其端口号之前退出？

Question

为什么我会在浏览器屏幕上看到这个错误

: Java gateway process exited before sending the driver its port number args = ('Java gateway process exited before sending the driver its port number',) message = 'Java gateway process exited before sending the driver its port number'

因为

#!/Python27/python
print "Content-type: text/html; charset=utf-8"
print

# enable debugging
import cgitb
cgitb.enable()

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME'] = "C:\Apache\spark-1.4.1"

# append pyspark to Python Path
sys.path.append("C:\Apache\spark-1.4.1\python")

from pyspark import SparkContext
from pyspark import SparkConf

print ("Successfully imported Spark Modules")

# Initialize SparkContext
sc = SparkContext('local')
words = sc.parallelize(["scala","java","hadoop","spark","akka"])
print words.count()

我跟着这个example。

有什么我能解决的吗？

Answer 1

我的朋友遇到了和你一样的问题。我检查了她的电脑，发现里面有两个版本的Java。我卸载了旧版本并重写了$JAVA_HOME值。问题解决了。

Answer 2

检查错误行前是否有任何额外信息，说明：

Error: Could not create the Java Virtual Machine.

在我的例子中，这是我在conf文件中设置的一个无效选项。内存（初始堆大小）不允许有逗号：例如，3.5g是不可接受的，而3500m是不可接受的。

Answer 3

我也遇到过类似的问题，最后当我查看测试的输出时，发现有来自$SPARK_HOME/bin/spark-class的带有行号的错误消息。

在跟踪受影响的行上发生的事情之后，发现我的环境变量中的$JAVA_HOME值周围有单引号，这导致了路径扩展的问题（出于某种原因，假设它是相对于我的主目录的，而不是绝对路径的）

虽然这可能不是您的确切问题，但值得检查输出的开头，以获得有助于缩小根本原因的额外信息。