Pyspark RDD ReduceByKey多功能

Question

我有一个名为DF的PySpark数据帧，带有（K，V）对。 我想用ReduceByKey应用多个函数。 例如，我有以下三个简单的函数：

def sumFunc(a,b): return a+b

def maxFunc(a,b): return max(a,b)

def minFunc(a,b): return min(a,b)

当我只应用一个功能时，例如，以下三项工作：

^{pr2}$

但是，当我应用多个功能时，它不起作用，例如，以下功能不起作用。在

DF.reduceByKey(sumFunc, maxfunc, minFunc) #it does not work
DF.reduceByKey(sumFunc, maxfunc) #it does not work
DF.reduceByKey(maxfunc, minFunc) #it does not work
DF.reduceByKey(sumFunc, minFunc) #it does not work

我不想使用groupByKey，因为它会减慢计算速度。在

Answer 1

如果输入是DataFrame，只需使用agg：

import pyspark.sql.functions as sqlf

df = sc.parallelize([
   ("foo", 1.0), ("foo", 2.5), ("bar", -1.0), ("bar", 99.0)
]).toDF(["k", "v"])

df.groupBy("k").agg(sqlf.min("v"), sqlf.max("v"), sqlf.sum("v")).show()

## + -+   +   +   +
## |  k|min(v)|max(v)|sum(v)|
## + -+   +   +   +
## |bar|  -1.0|  99.0|  98.0|
## |foo|   1.0|   2.5|   3.5|
## + -+   +   +   +

对于RDD，您可以使用statcounter：

^{2}$

使用您的函数，您可以执行以下操作：

def apply(x, y, funs=[minFunc, maxFunc, sumFunc]):
    return [f(x_, y_) for f, x_, y_ in zip(*(funs, x, y))]

rdd.combineByKey(lambda x: (x, x, x), apply, apply).collect()
## [('bar', [-1.0, 99.0, 98.0]), ('foo', [1.0, 2.5, 3.5])]