如何在Python中从RDD中选择特定的列？

Question

我在Pyspark中读取了一个CSV文件

inputRDD1 = sc.textFile('a.csv')

数据：

a b
1 1
2 3

我想选择列“b”，这样我就可以像mean等那样对它进行操作，但是如何选择列呢？我查了很多家教找不到。

请告诉我

谢谢你。

我试图找到一个专栏的独特元素。

我试过这个：

newrdd = inputRDD1.map(lambda x: x[[2]) 

无法选择列“b”

Answer 1

请看拉吉的回答，因为它更完整。我提供了我的解决方案，因为对初学者来说可能更容易理解。

sc.textfile读取整行，因此inputRDD中只有一列。您需要首先使用定界字符（空格或制表符）拆分输入行。完成此操作后，可以选择要查找的相关列

inputRDD1 = sc.parallelize(['a b','1 1','2 3'])
newrdd = inputRDD1 .map(lambda x: x.split( )[1]) 
newrdd.collect()

给予

['b', '1', '3']