在Windows和PyMalk中设置SPARKHOAD路径变量

2024-05-15 19:45:37 发布

您现在位置:Python中文网/ 问答频道 /正文

我是新手,尝试在Windows中使用它。我能够使用hadoop的预构建版本成功地下载并安装Spark1.4.1。在以下目录中:

/my/spark/directory/bin

我可以运行spark shell和pyspark.cmd,一切正常。我要处理的唯一问题是,当我在Pycharm中编码时,我想导入pyspark。现在,我正在使用以下代码使工作正常:

import sys
import os
from operator import add

os.environ['SPARK_HOME'] = "C:\spark-1.4.1-bin-hadoop2.6"
sys.path.append("C:\spark-1.4.1-bin-hadoop2.6/python")
sys.path.append("C:\spark-1.4.1-bin-hadoop2.6/python/build")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf

except ImportError as e:
    print ("Error importing Spark Modules", e)
    sys.exit(1)

我想知道是否有更简单的方法来做这件事。我使用的是Windows 8-Python 3.4和Spark 1.4.1


Tags: pathfromimport版本目录hadoopbinos