使用Spark和Cassandra Java驱动程序时检测到番石榴问题#1635

Question

我在spark应用程序中使用spring-data-cassandra 1.5.1（它使用cassandra java driver 3.x）。当运行spark-submit命令时，我得到了下面的错误

Caused by: java.lang.IllegalStateException: Detected Guava issue #1635 which indicates that a version of Guava less than 16.01 is in use.  This introduces codec resolution issues and potentially other incompatibility issues in the driver.  Please upgrade to Guava 16.01 or later.
    at com.datastax.driver.core.SanityChecks.checkGuava(SanityChecks.java:62)
    at com.datastax.driver.core.SanityChecks.check(SanityChecks.java:36)
    at com.datastax.driver.core.Cluster.<clinit>(Cluster.java:68)
    ... 71 more

卡桑德拉司机似乎正在寻找番石榴版本>；16.0.1，由于找到了版本<；16.0.1. 我确保构建的spark uber jar只有Guava version 19.0。但当我执行spark-submit时，仍然会出现同样的错误

在进一步分析之后，我发现spark-2.0.1-bin-hadoop2.7/jars有Gava v14.0.1，当我执行spark-submit时，这会被加载，而不考虑spark application jar中的Guava v19.0

然后我更换了v14。0.1版本和v19版本。0在spark-2.0.1-bin-hadoop2.7/jars中，现在我没有收到任何错误，应用程序运行正常。但我认为这不是一个好方法，我不想在prod中这样做

如果我在eclipse中运行相同的spark作业（通过在代码中设置conf master=local并以Java程序的形式运行），它就可以正常工作

我在SO中发现了类似的问题，但没有找到任何解决方案。如果有人面临同样的问题并对此有解决方案，请告诉我

使用Datastax Enterprise Cassandra 5.x

谢谢大家