我知道在Python中,可以使用反斜杠甚至括号将行分成多行。
但不知怎么的,在pyspark中,当我这样做的时候,我得到的下一行是红色的,哪种表示可能有问题。
(conf.setAppName('Learnfit_Recommender')
.set("spark.executor.memory", "10g")
.set("spark.executor.cores",5)
.set("spark.executor.instances",50)
.set("spark.yarn.executor.memoryOverhead",1024)
)
编辑1:我把括号改成了反斜杠。如果你看到图像,我几乎看不到红色的“.”,甚至sc变量也被标记为红色。
这是在pyspark中断线的正确方法吗?
在pyspark中,可以使用反斜杠或括号来打断行,就像在python中一样。
您可以在spark网站的spark python官方示例中找到它们here
在PySpark中,无需在反斜杠前添加空格。
可以使用斜线和括号
编辑:以及Spark提交作业中的一个示例
相关问题 更多 >
编程相关推荐