SparkSubmitor操作员部署模式

Question

我正在使用SparkSubmitoOperator，但我没有看到任何与Spark的部署模式等效的东西。如何指定它是客户端还是群集

这是SparkSubmitor操作员的ctor的签名：

@apply_defaults
def __init__(self,
             application='',
             conf=None,
             conn_id='spark_default',
             files=None,
             py_files=None,
             archives=None,
             driver_class_path=None,
             jars=None,
             java_class=None,
             packages=None,
             exclude_packages=None,
             repositories=None,
             total_executor_cores=None,
             executor_cores=None,
             executor_memory=None,
             driver_memory=None,
             keytab=None,
             principal=None,
             proxy_user=None,
             name='airflow-spark',
             num_executors=None,
             status_poll_interval=1,
             application_args=None,
             env_vars=None,
             verbose=False,
             spark_binary="spark-submit",
             *args,
             **kwargs):

我在谷歌上搜索了几个小时，但什么也没找到

Answer 1

转到管理->；连接菜单：

在额外字段中编辑spark默认参数和

{“部署模式”：“集群”}