使用SparkCon创建SparkSession对象时出现问题

Question

我是新来的火花和需要一些指导，在下面的问题- 每当我试图使用SparkConf对象创建SparkSession对象时，都会出现以下错误-

AttributeError: 'SparkConf' object has no attribute '_get_object_id'

我在本地模式下使用spark2.3和python3.7。在

sconf=SparkConf.setAppName("test")
ss=SparkSession.builder.config(conf=sconf).getOrCreate()

我读过互联网上的一些解决方案，但没有一个能解决我的问题。在

即使我试图直接创建SparkSession对象，即没有显式的SparkConf对象，也会得到相同的错误-

^{pr2}$

Answer 1

你可以这样定义配置-

from pyspark.conf import SparkConf
from pyspark.sql import SparkSession

conf = spark.sparkContext._conf.setAll([('spark.app.name', 'Spark Test')])

spark = SparkSession.builder.config(conf=conf).getOrCreate()    

Answer 2

你可能漏了括号 sconf=SparkConf().setAppName("test") 如果它不起作用，我尝试了以下在本地有效的

from pyspark.sql import SparkSession
from pyspark import SparkConf
sconf=SparkConf().setAppName("test")
ss=SparkSession.builder.config(conf=sconf).getOrCreate()