如何在python中获取sparksubmit命令中传递的参数

2024-05-20 17:09:31 发布

您现在位置:Python中文网/ 问答频道 /正文

我使用spark submit命令来运行pyspark的python代码。你知道吗

比如:

spark-submit --master yarn --num-executors 15 --executor-cores 6 test.py

有没有什么方法可以得到我在python的spark submit命令中使用的参数,例如get 15和6作为变量,如果我使用其他数字,就得到这些数字。你知道吗


Tags: 方法代码pytest命令master数字cores