我正在使用python3.6.5boto3和spark2.2.1,在AWS上运行的emrv5.11.1集群中添加一个spark作业步骤:
myemr = boto3.client('emr',region_name=os.environ['AWS_DEFAULT_REGION'])
response = myemr.add_job_flow_steps(
JobFlowId=my_emr_id,
Steps=[
{
'Name': key,
'ActionOnFailure': 'CONTINUE',
'HadoopJarStep': {
'Jar': 'command-runner.jar',
'Args': [
'spark-submit',
'--deploy-mode', 'cluster',
'--master', 'yarn',
'--conf', 'spark.yarn.appMasterEnv.my_password=sensitive_value',
'--conf', 'spark.redaction.regex=password',
'--class', 'com.myApp', 's3a://myjarurl.jar',
'-c', 's3a://s3bucket_myconfig_location',
'-w', 'myconfig.json',
'-e', 'prod',
'-n', 'demo'
]
}
}
]
)
步骤运行正常,可以访问yarn环境变量。但敏感的_值不会从日志或AWS EMR控制台的步骤选项卡中编辑。我看到--conf
,spark.yarn.appMasterEnv.my_password=sensitive_value
显示在这两个文件中。在
我想要一个变量spark.yarn.appMasterEnv.my_密码将从日志和控制台中完全删除,或将敏感的_值替换为***。在
在阅读apachespark文档https://spark.apache.org/docs/2.2.1/configuration.html时,我认为这会起作用。谢谢你的建议。在
目前没有回答
相关问题 更多 >
编程相关推荐