擅长:python、mysql、java
<p>要创建Spark作业,必须将命令的名称命名为“glueetl”,如下所述,如果没有运行pythonshell作业,则不需要在命令参数中指定python版本</p>
<pre><code>response = client.create_job(
Name='mlxxxyu',
Role='Awsxxxx',
Command={
'Name': 'glueetl', # <—— mention the name as glueetl to create spark job
'ScriptLocation': 's3://aws-glue-scripts-xxxxx-us-west-2/xxxx'
},
Connections={
'Connections': [
'sxxxx',
'spxxxxxx',
]
},
Timeout=2880,
MaxCapacity=10
)
</code></pre>
<p>关于作业书签,默认情况下禁用作业书签,因此如果未为作业书签指定参数,则创建的作业将禁用书签。你知道吗</p>
<p>如果要显式禁用书签,则可以在默认参数[1]中指定相同的值,如下所示。你知道吗</p>
<pre><code>response = client.create_job(
Name='mlxxxyu',
Role='Awsxxxx',
Command={
'Name': 'glueetl',
'ScriptLocation': ‘s3://aws-glue-scripts-xxxxx-us-west-2/xxxx'
},
DefaultArguments={
' job-bookmark-option': 'job-bookmark-disable'
},
Timeout=2880,
MaxCapacity=10
)
</code></pre>