我在spark中有一个表,它有ID和numoreq属性。
在ID中,它介于1到100之间,而且不按顺序排列,每个ID可以在表中重复多次。我想提取ID为1、47、54和89的行。我可以使用类似以下伪代码的for循环:
temp = [None , None, None, None]
i = 0
for id in idList:
temp[i] = table.filter(table['ID'] == id)
i += 1
但这需要很长时间。
有没有什么过滤器或库可以做到这一点?我应该在代码中插入什么?我需要点东西在Pypark
Tags:
目前没有回答
相关问题 更多 >
编程相关推荐