如何在pyspark的本地模式下读取S3？
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>我使用PyCharm 2018.1，使用python3.4，在virtualenv中通过pip安装spark2.3。本地主机上没有hadoop安装，因此没有Spark安装（因此没有Spark_HOME、hadoop_HOME等）</p>
<p>当我尝试这个：</p>
<pre><code>from pyspark import SparkConf
from pyspark import SparkContext
conf = SparkConf()\
.setMaster("local")\
.setAppName("pyspark-unittests")\
.set("spark.sql.parquet.compression.codec", "snappy")
sc = SparkContext(conf = conf)
inputFile = sparkContext.textFile("s3://somebucket/file.csv")
</code></pre>
<p>我得到：</p>
^{pr2}$
<p>在本地模式下运行pyspark而不在本地安装完整的Hadoop，如何读取s3？在</p>
<p>FWIW-当我在非本地模式下在EMR节点上执行它时，效果非常好。在</p>
<p>以下操作不起作用（相同的错误，尽管它确实解决并下载了依赖项）：</p>
<pre><code>import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages "org.apache.hadoop:hadoop-aws:3.1.0" pyspark-shell'
from pyspark import SparkConf
from pyspark import SparkContext
conf = SparkConf()\
.setMaster("local")\
.setAppName("pyspark-unittests")\
.set("spark.sql.parquet.compression.codec", "snappy")
sc = SparkContext(conf = conf)
inputFile = sparkContext.textFile("s3://somebucket/file.csv")
</code></pre>
<p>结果相同（不好）：</p>
<pre><code>import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars "/path/to/hadoop-aws-3.1.0.jar" pyspark-shell'
from pyspark import SparkConf
from pyspark import SparkContext
conf = SparkConf()\
.setMaster("local")\
.setAppName("pyspark-unittests")\
.set("spark.sql.parquet.compression.codec", "snappy")
sc = SparkContext(conf = conf)
inputFile = sparkContext.textFile("s3://somebucket/file.csv")
</code></pre>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 在python3中使用Scipy pearsonr函数 6 回答
- 在Python3中使用scipy对多个lorentzian进行数据拟合 10 回答
- 在Python3中使用Script=argv 3 回答
- 在python3中使用selenium webdriver进行未解析的回溯 5 回答
- 在python3中使用selenium和phantomjs的网页截图之前如何等待？ 7 回答
- 在Python3中使用Selenium和Requests模块从网页获取文件 9 回答
- 在python3中使用SIGINT终止函数 4 回答
- 在Python3中使用SIGTERM时，允许进程完成而不是中断 10 回答
- 在python3中使用smtplib发送XML内容 4 回答
- 在python3中使用socket库（RFCOMM模式）重新连接蓝牙设备？ 8 回答
- 在python3中使用sounddevice和numpy编写wav文件 10 回答
- 在python3中使用Sqlalchemy插入MySQL查找类型错误的原因 2 回答
- 在python3中使用sqlite、pandas和sqlalchemy很难让rollback工作 8 回答
- 在python3中使用SQLite的FTS3/4 4 回答
- 在Python3中使用struct.calcsize（）和len（）有区别吗？ 8 回答
- 在python3中使用substring函数时发生TypeError 6 回答
- 在Python3中使用Tkinter entry小部件写入串行设备 9 回答
- 在python3中使用tkinter时，如何在每次按下函数时获得运行该函数的按钮？ 4 回答
- 在python3中使用tkinter的子帧 4 回答
- 在Python3中使用tryexcept块时，如何避免使用未初始化的变量？ 7 回答
