在Python PySpark rdd中获取每个不同键的最大值和最小值的有效方法

Question

所以我有一些像rdd这样的数据，带有键值对

rdd1. = [('a', 5), ('b', 6), ('c', 1), ('c', 5), ('a', 2), ('b', 8), ('c', 7), ('b', 9), ('a', 3)]

对于像这样的每个不同的键，用max和min返回这样的内容最有效的方法是什么

rdd2 = [('a', (5, 2)), ('b', (6, 9)), ('c', (1, 7))]

Answer 1

您可以尝试使用groupByKey

rdd1.groupByKey().mapValues(lambda x:(max(x),min(x))).collect()

---

[('a', (5, 2)), ('b', (9, 6)), ('c', (7, 1))]