Python中文
首页
教程
问答
标签
搜索
登录
注册
从一对RDD将文件保存到HDFS中
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>下面是我用HDFS编写的python脚本。RDD是一对RDD脚本工作正常,但它在HDFS.Is可以删除元组并在HDFS中创建逗号分隔的条目。在</p> <pre><code> import sys from pyspark import SparkContext if len(sys.argv) < 2: print 'Insufficient arguments' sys.exit() sc = SparkContext() initialrdd1 = sc.textFile(sys.argv[1]) finalRDD1 = initialrdd1.map(lambda x:x.split(',')).map(lambda x :(x[1],x[0])).sortByKey() print finalRDD1.getNumPartitions() finalRDD1.saveAsTextFile('/export_dir/result3/') </code></pre> <p>HDFS中的文件存储格式如下</p> ^{pr2}$
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>为什么不先将元组映射到字符串,然后保存它呢</p> <pre><code>finalRDD1.map(lambda x: ','.join(str(s) for s in x)).saveAsTextFile('/export_dir/result3/') </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何添加虚拟方法
1 回答
如何添加表示整数的擦边字符串?
7 回答
如何添加要在Bokeh中使用的新font.ttf文件?
4 回答
如何添加要显示的矩阵XY轴编号和XY轴
6 回答
如何添加计数?
8 回答
如何添加计数器函数?
6 回答
如何添加计数器列来计算数据帧中另一列中的特定值?
7 回答
如何添加计数器来跟踪while循环中的月份和年份?
7 回答
如何添加计数并删除countplot的顶部和右侧脊椎?
10 回答
如何添加计时器wx.应用程序更新窗口对象的主循环?
8 回答
如何添加评论到帖子?PostDetailVew,Django 2.1.5
2 回答
如何添加评论拉梅尔亚姆
3 回答
如何添加诸如矩阵Python/Pandas之类的数据帧?
9 回答
如何添加谷歌地点自动完成到Flask?
2 回答
如何添加超时、python discord bot
9 回答
如何添加超过1dp的检查
8 回答
如何添加距离方法
2 回答
如何添加跟随游戏的敌人精灵
3 回答
如何添加路径以便python可以找到程序?
4 回答
如何添加身份验证/安全性以使用happybase访问HBase?
1 回答