如何访问pyspark中RDD元组中的单个元素？

Question

假设我有一个

[(u'Some1', (u'ABC', 9989)), (u'Some2', (u'XYZ', 235)), (u'Some3', (u'BBB', 5379)), (u'Some4', (u'ABC', 5379))]

我使用map一次获取一个元组，但是如何访问元组的单个元素，比如查看元组是否包含某些字符。实际上我想过滤掉那些包含一些字符的。这里是包含ABC的元组

我想做这样的事，但没用

def foo(line):
     if(line[1]=="ABC"):
          return (line)


new_data = data.map(foo)

我是新来的火花和Python以及请帮助！！

Answer 1

RDD可以直接过滤。下面将给出在元组第二个元素的第0个位置包含“ABC”的所有记录。

new_data = data.filter(lambda x: x[1][0] == "ABC")