下面的SOF问题How to run script in Pyspark and drop into IPython shell when done?告诉您如何启动pyspark脚本:
%run -d myscript.py
但是我们如何访问existin spark上下文呢?
仅仅创建一个新的不起作用:
----> sc = SparkContext("local", 1)
ValueError: Cannot run multiple SparkContexts at once; existing
SparkContext(app=PySparkShell, master=local) created by <module> at
/Library/Python/2.7/site-packages/IPython/utils/py3compat.py:204
但试图使用现有的。。什么是现有的?
In [50]: for s in filter(lambda x: 'SparkContext' in repr(x[1]) and len(repr(x[1])) < 150, locals().iteritems()):
print s
('SparkContext', <class 'pyspark.context.SparkContext'>)
也就是说,SparkContext实例没有变量
wordcount的独立python脚本:使用contextmanager编写可重用的spark上下文
启动:
从
pyspark.context
导入SparkContext
然后在
SparkContext
上调用静态方法:相关问题 更多 >
编程相关推荐