从一对RDD将文件保存到HDFS中

Question

下面是我用HDFS编写的python脚本。RDD是一对RDD脚本工作正常，但它在HDFS.Is可以删除元组并在HDFS中创建逗号分隔的条目。在

    import sys
from pyspark import SparkContext

if len(sys.argv) < 2:
    print 'Insufficient arguments'
    sys.exit()

sc = SparkContext()
initialrdd1 = sc.textFile(sys.argv[1])
finalRDD1 = initialrdd1.map(lambda x:x.split(',')).map(lambda x :(x[1],x[0])).sortByKey()
print finalRDD1.getNumPartitions()
finalRDD1.saveAsTextFile('/export_dir/result3/')

HDFS中的文件存储格式如下

^{pr2}$

Answer 1

finalRDD1 = initialrdd1.map(lambda x:x.split(',')).map(lambda x :(x[1],x[0])).sortByKey()

理解你的代码。在最初的RDD中，您将每个条目映射到一个元组。映射（λx:（x[1]，x[0]）

^{pr2}$

在sortByKey操作之后，直接将RDD保存为textfile。在

为了将条目另存为CSV，必须像这样显式地指定它-

def csv_format(data):
    return ','.join(str(d) for d in data)

# Rest of the code ...

finalRDD1.map(csv_format).saveAsTextFile('/export_dir/result3/')