擅长:python、mysql、java
<p>对我有效的方法是不使用<code>--py-files</code>命令直接传入python文件。
看起来像这样:</p>
<pre><code>confLocation=../conf/my_config_file.conf &&
executors=8 &&
memory=2G &&
entry_function=my_function_in_python &&
dos2unix $confLocation &&
spark-submit \
--master yarn-client \
--num-executors $executors \
--executor-memory $memory \
/home/full/path/to/file/python/my_python_file.py $entry_function $confLocation
</code></pre>