飞艇Pypark如何连接远程spark？

Question

我的齐柏林飞艇现在正在使用当地的火花。在

当我试图创建远程SparkContext时得到了ValueError: Cannot run multiple SparkContexts at once。在

跟随 multiple SparkContexts error in tutorial

写下代码：

from pyspark import SparkConf, SparkContext

sc.stop()
conf = SparkConf().setAppName('train_etl').setMaster('spark://xxxx:7077')
sc = SparkContext(conf=conf)

又有一个错误：

^{pr2}$

我该怎么办？在

Answer 1

默认情况下，当PySpark应用程序开始了。你呢必须在你的代码中使用以下行

sc = SparkContext.getOrCreate()

获取singleton SQLContext（如果存在）或使用给定的SparkContext创建一个新的SQLContext。 这个函数可以用来创建一个可以在JVM中共享的singleton SQLContext对象。在

如果当前线程有一个活动的SQLContext，它将被返回，而不是全局的。在

Answer 2

1. 输入http://zeppelin_host:zeppelin_port/#/interpreter
2. 将spark解释器（用于pyspark）的master配置到spark://xxxx:7077