安装了Anaconda3，jupyter笔记本错误输出没有名为“pyspark”的模块

Question

我一直在stackoverflow和其他地方搜索我现在看到的错误，并尝试了一些“答案”，这里没有一个是有效的（我将继续搜索，但在这里更新）：

我有一个新的Ubuntu，安装了Anaconda3，安装了Spark 2：

Python3:/家/rxie/Python Spark2:/home/rxie/Downloads/spark

我可以启动Jupyter笔记本，但无法创建SparkSession：

from pyspark.conf import SparkConf

ModuleNotFoundError Traceback (most recent call last) in () ----> 1 from pyspark.conf import SparkConf

ModuleNotFoundError: No module named 'pyspark'

以下是我在.bashrc中的环境：

^{pr2}$

jupyter笔记本中的导入SparkConf有什么问题？在

如果有人能给我一些启示，我将不胜感激，非常感谢。在

Answer 1

如果您使用python，则需要初始化spark会话

import os
import sys
spark_home = os.environ.get('SPARK_HOME', None)
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.10.4-src.zip'))
execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

以上是我的代码，您可能需要在spark安装中找到相应的库并替换上面的路径。在

如果你幸运的话，你会看到这样的东西

^{pr2}$

Answer 2

最终路径如下，笔记本将按预期开始工作：

$ echo $PATH
/usr/lib64/qt-.3/bin:/home/rxie/perl5/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin

以及：

^{pr2}$

Answer 3

由于某些原因，jupyter在与Python一起安装时无法正常工作。我也遇到了同样的问题，我在虚拟环境中重新安装jupyter包解决了这个问题。在

在虚拟环境中执行以下操作：

pip install jupyter