java无法连接到Spark Master：原因是：[已解除关联]

Question

我正试图从一个Eclipse丰富的平台应用程序连接到本地机器上的Spark群集，以创建Spark流媒体上下文。从spark shell连接可以完美地工作，但当我尝试运行我正在处理的类中的代码时，结果是：

 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://host:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].

很明显，主机与我在Spark Shell中使用的主机完全相同

这是我试图连接Spark的代码块

SparkConf conf = new SparkConf().setAppName("SparkNode")
        .setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");

JavaSparkContext sc = new JavaSparkContext(conf);
JavaStreamingContext ssc = new JavaStreamingContext(sc,Durations.seconds(3));
ssc.awaitTermination();

它会重试几次，然后终止

Answer 1

可能存在版本问题您的spark服务器可能是1.3，而pom文件中的依赖项是1.4如果使用maven或1.4的jar文件，请在代码中交叉引用它

SparkConf conf = new SparkConf().setAppName("SparkNode")
        .setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");

spark://host:7077 这个主机应该是主机名