擅长:python、mysql、java
<p>问题似乎主要不在spark上,而是与Hadoop libs链接的版本有关。我在使用spark 1.3.0和Hadoop1时得到了这个结果,但是在使用Hadoop2时却看不到。如果您需要这个方法来使用s3,那么一定要安装一个spark版本链接到hadoop2libs。特别是,如果您使用spark-ec2脚本在AWS上设置集群,请确保包含选项hadoop major version=2</p>
<p>详细信息请参见:
<a href="https://issues.apache.org/jira/browse/SPARK-4414" rel="nofollow">https://issues.apache.org/jira/browse/SPARK-4414</a></p>