"通过cgwin安装Python的Spark"

Question

尝试运行命令时：

sbt/sbt assembly

我收到如下信息：

^{pr2}$

通过cgwin运行此命令时，我已经在目录/cygdrive/c/Users/llll/Downloads/spark-1.5.2-bin-hadoop2.4/spark-1.5.2-bin-hadoop2.4中。要运行此命令，是否需要移动到其他目录？当我跑步时：

./bin/pyspark

我收到一条错误消息：

Error: Could not find or load main class org.apache.spark.launcher.Main

有什么办法解决这个问题吗？在

Answer 1

作为PySpark的原始作者之一，我不建议在Cygwin中使用它。根据Python和Cygwin在计算机上的设置方式，很可能会遇到与Windows和Cygwin路径处理相关的问题。简而言之，当不同的进程（spark-submitJVM、sparkshell/executorjvm、Python驱动程序和Python workers）在如何处理路径方面存在分歧时，您会遇到问题。有关我对这个问题最初调查的更多背景，请参阅https://mail-archives.us.apache.org/mod_mbox/spark-user/201402.mbox/%3CCAOEPXP5VhVfBC3xVrLDzX0PJuWSnN7sMtjBdg2qG88znw=oF+A@mail.gmail.com%3E

也就是说，（据我所知）PySpark应该可以在非Cygwin Windows环境下工作。在

对于sbt/sbt问题，从您的文件路径来看，您下载了hadoop2.4的spark1.5.2二进制发行版，它应该已经是预构建的；sbt/sbt assembly在本例中是不必要的，并且不起作用，因为源文件和构建脚本没有包含在二进制发行版中。如果您想从源代码构建，您需要通过Git获得源代码签出，或者从Spark网站下载源文件。在