如何在PySpark groupByKey（）中对迭代器中的值求和

Question

我在Spark（Python）上做我的第一步，我在一个groupByKey()中与迭代器做斗争。我无法对值求和：我的代码如下所示：

example = sc.parallelize([('x',1), ('x',1), ('y', 1), ('z', 1)])

example.groupByKey()

x [1,1]
y [1]
z [1]

如何在Iterator上求和？我试过下面这样的方法，但没用

example.groupByKey().map(lambda (x,iterator) : (x,sum(iterator))
example.groupByKey().map(lambda (x,iterator) : (x,list(sum(iterator)))

Answer 1

你也可以这样做：

wordCountsGrouped = wordsGrouped.groupByKey().map(lambda (x,y):(x,map(sum,y))).map(lambda (x,y):(x,y[0]))

有点晚了，但我刚找到解决办法

Answer 2

你可以简单地用sum来mapValues：

example.groupByKey().mapValues(sum)

尽管在这种特殊情况下reduceByKey更有效：

example.reduceByKey(lambda x, y: x + y)

或者

from operator import add

example.reduceByKey(add)

Answer 3

加上@zero323的答案，另一个解决方案是：

example.groupByKey().map(lambda (x,iterator) : (x,len(iterator)))