有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

java我们可以在Yancluster上运行ApacheSpark1.1.0吗?

我在ubuntu上使用spark 1.1.0。当使用下面的命令提交到spark with纱线时

./bin/spark-submit --class path.to.your.Class --master yarn-cluster [options] [app options]

我发现了错误

Could not load YARN classes. This copy of Spark may not have been compiled with YARN support. Run with --help for usage help or --verbose for debug output

我找到的解决方案是运行另一个版本的spark,它是用纱线预编译的。将项目迁移到最新版本将花费大量精力。 我可以用同样的spark-1.1.0版本在纱线簇上运行我的罐子吗?如果是,如何进行


共 (1) 个答案

  1. # 1 楼答案

    要成功运行spark应用程序,您需要在Thread cluster和ubuntu中使用相同版本的spark

    在开发和部署期间使用不同的版本会产生问题