如何在Pysp中将行拆分成多行

Question

我知道在Python中，可以使用反斜杠甚至括号将行分成多行。

但不知怎么的，在pyspark中，当我这样做的时候，我得到的下一行是红色的，哪种表示可能有问题。

(conf.setAppName('Learnfit_Recommender')
 .set("spark.executor.memory", "10g")
 .set("spark.executor.cores",5)
 .set("spark.executor.instances",50)
 .set("spark.yarn.executor.memoryOverhead",1024)
)

编辑1：我把括号改成了反斜杠。如果你看到图像，我几乎看不到红色的“.”，甚至sc变量也被标记为红色。

这是在pyspark中断线的正确方法吗？

Answer 1

在pyspark中，可以使用反斜杠或括号来打断行，就像在python中一样。

您可以在spark网站的spark python官方示例中找到它们here

Answer 2

在PySpark中，无需在反斜杠前添加空格。

conf = SparkConf()

conf.setAppName('appName')\
.set("spark.executor.memory","10g")\
.set("spark.executor.cores",5) 

sc = sparkContext(conf=conf)

Answer 3

可以使用斜线和括号

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

编辑：以及Spark提交作业中的一个示例

./bin/spark-submit \
--master <yarn> \
--deploy-mode <cluster> \
--num-executors <2> \
--executor-cores <2> \