我需要为pyspark脚本使用sbt scala包生成器吗？

Question

如果我想在python中使用spark而不是scala，我需要sbtscala构建工具来组装jar文件，以便在python脚本中使用这些包，还是需要其他工具？我对java几乎一无所知，所以进入spark有点复杂。在

谢谢。在

Answer 1

SBT是Scala构建工具。如果你不需要用火花。在

SBT（和maven）是编译和打包scala&java应用程序的构建工具。在

pyspark的python脚本不能使用jar文件。您可以直接提交.py、.zip或.egg文件。在

http://spark.apache.org/docs/latest/submitting-applications.html