PipelinedRDD和普通的RDD有什么区别？

Question

现在我试着用下面的代码从hdfs加载数据，我试图使用函数“jsonParse”将值连接到普通csv，这样我就可以根据需要获得正常的字符串RDD，但似乎这个方法不起作用，当我试图打印一些记录时，它告诉我'data'变量是一个PipelinedRDD不可编辑，任何人都可以告诉我如何才能得到想要的'data'（普通rdd），谢谢：

def jsonParse(x):
    s=json.loads(x)
    print "ssssssssssss"+s['age']+","+s['sex']+","+s['xueya']+","+s['danguchun']+","+s['na']+","+s['k']+","+s['yaowu']
    return s['age']+","+s['sex']+","+s['xueya']+","+s['danguchun']+","+s['na']+","+s['k']+","+s['yaowu']

conf = SparkConf()
sc = SparkContext(conf=conf)
hc = HiveContext(sc)
#json=sc.textFile('hdfs://hacluster/new')
json=hc.sql("select * from default.test_yj_200 limit 1000").toJSON()

data=json.map(jsonParse)

Answer 1

管道drdd

PipelinedRDD操作被流水线化并发送到worker；代码从上到下执行。它是RDD的一个子类。在

RDD

表示可以并行处理的常量、分区元素集合。在