擅长:python、mysql、java
<p>在本地访问S3时,应该使用<code>s3a</code>协议。请确保先将密钥和密钥添加到<code>SparkContext</code>。像这样:</p>
<pre><code>sc = SparkContext(conf = conf)
sc._jsc.hadoopConfiguration().set('fs.s3a.access.key', 'awsKey')
sc._jsc.hadoopConfiguration().set('fs.s3a.secret.key', 'awsSecret')
inputFile = sparkContext.textFile("s3a://somebucket/file.csv")
</code></pre>