将pyspark中的Python模块传送到其他节点

Question

如何将C编译的模块（例如，python Levenshtein）发送到Spark集群中的每个节点？

我知道我可以使用一个独立的Python脚本（下面的示例代码）在Spark中发布Python文件：

from pyspark import SparkContext
sc = SparkContext("local", "App Name", pyFiles=['MyFile.py', 'MyOtherFile.py'])

但在没有“.py”的情况下，如何运送模块？

Answer 1

如果您可以将模块打包成一个.egg或.zip文件，那么在构造SparkContext时，您应该能够将它列在pyFiles中（或者您可以稍后通过sc.addPyFile添加它）。

对于使用setuptools的Python库，可以运行python setup.py bdist_egg来构建egg发行版。

另一个选项是在集群范围内安装库，可以在每台计算机上使用pip/easy_install，也可以在集群范围内的文件系统（如NFS）上共享Python安装。

Answer 2

这里有两个主要选项：

• If it's a single file or a ^{}/^{}, pass it to ^{}。
• Insert ^{} into a bootstrap code for the cluster's machines。
  • Some cloud platforms (DataBricks in this case) have UI to make this easier。

人们还建议using ^{} to test if the module is present on the cluster。