在Jupyter笔记本电脑窗口中运行pySpark

Question

我想从Jupyter笔记本运行pySpark。我下载并安装了有Juptyer的Python。我创建了以下行

 from pyspark import SparkConf, SparkContext
 conf = SparkConf().setMaster("local").setAppName("My App")
 sc = SparkContext(conf = conf)

我得到以下错误

^{pr2}$

根据Stackoverflowimporting pyspark in python shell中的答案，我尝试添加以下指向spark/python目录的环境变量PYTHONPATH

但这没用

Answer 1

这对我很有效：

import os
import sys

spark_path = "D:\spark"

os.environ['SPARK_HOME'] = spark_path
os.environ['HADOOP_HOME'] = spark_path

sys.path.append(spark_path + "/bin")
sys.path.append(spark_path + "/python")
sys.path.append(spark_path + "/python/pyspark/")
sys.path.append(spark_path + "/python/lib")
sys.path.append(spark_path + "/python/lib/pyspark.zip")
sys.path.append(spark_path + "/python/lib/py4j-0.9-src.zip")

from pyspark import SparkContext
from pyspark import SparkConf

sc = SparkContext("local", "test")

要验证：

^{pr2}$