Python生成器表达式累积字典值

Question

生成器表达式正在丢弃大量元组对，例如以列表形式：

pairs = [(3, 47), (6, 47), (9, 47), (6, 27), (11, 27), (23, 27), (41, 27), (4, 67), (9, 67), (11, 67), (33, 67)]

对于成对的每一对，key=pair[0]和value=pair[1]，我想将这些成对的数据流输入字典，以累积地添加各个键的值。显而易见的解决方案是：

dict_k_v = {}
for pair in pairs:
    try:
        dict_k_v[pair[0]] += pair[1]
    except:
        dict_k_v[pair[0]] = pair[1]

>>> dict_k_v
{33: 67, 3: 47, 4: 67, 6: 74, 9: 114, 11: 94, 41: 27, 23: 27}

但是，这可以通过生成器表达式或不使用for循环的类似构造来实现吗？

编辑

为了澄清这一点，生成器表达式抛出了大量元组对：

（3，47），（6，47），（9，47），（6，27），（11，27），（23，27），（41，27），（4，67），（9，67），（11，67），（33，67）。。。

我想在生成每一对键值时，将每一对键值累积到一个字典中（参见Paul McGuire的答案）。pairs=list[]语句是不必要的，对此表示抱歉。对于每对（x，y），x是一个整数，y可以是一个整数或小数/浮点数。

我的生成器表达式的形式是：

((x,y) for y in something() for x in somethingelse())

并希望将每个（x，y）对累加为一个defaultdict。哦。

Answer 1

为了便于讨论，这里有一个简单的生成器函数来提供一些数据：

from random import randint
def generator1():
    for i in range(10000):
        yield (randint(1,10), randint(1,100))

下面是一个基本的解决方案，它使用Python for循环来使用生成器并统计每个键值对的计数

from collections import defaultdict

tally = defaultdict(int)
for k,v in generator1():
    tally[k] += v

for k in sorted(tally):
    print k, tally[k]

将打印如下内容：

1 49030
2 51963
3 51396
4 49292
5 51908
6 49481
7 49645
8 49149
9 48523
10 50722

但我们可以创建一个协程，它将接受发送给它的每个键值对，并将它们全部累加到传递给它的defaultdict中：

# define coroutine to update defaultdict for every
# key,value pair sent to it
def tallyAccumulator(t):
    try:
        while True:
            k,v = (yield)
            t[k] += v
    except GeneratorExit:
        pass

我们将使用tally defaultdict初始化协程，并通过向它发送一个None值来准备接受值：

# init coroutine
tally = defaultdict(int)
c = tallyAccumulator(tally)
c.send(None)

我们可以使用for循环或列表理解将所有生成器值发送到协同程序：

for val in generator1():
    c.send(val)

或者

[c.send(val) for val in generator1()]

但是，我们将使用大小为零的deque来处理生成器表达式的所有值，而不创建不必要的None临时列表：

# create generator expression consumer
from collections import deque
do_all = deque(maxlen=0).extend

# loop thru generator at C speed, instead of Python for-loop speed
do_all(c.send(val) for val in generator1())

现在我们再来看看这些价值观：

for k in sorted(tally):
    print k, tally[k]

我们得到了另一个与第一个类似的列表：

1 52236
2 49139
3 51848
4 51194
5 51275
6 50012
7 51875
8 46013
9 50955
10 52192

在David Beazley的页面上阅读更多关于协作的信息：http://www.dabeaz.com/coroutines/

Answer 2

您可以使用元组解构和^{}来大大缩短循环：

from collections import defaultdict
d = defaultdict(int)
for k,v in pairs: d[k] += v

这仍然使用for循环，但您不必处理以前从未见过密钥的情况。我认为这可能是最好的解决方案，无论是可读性方面还是性能方面。

使用groupby

证明概念

也就是说，你可以用^{}来做，但这有点麻烦：

import itertools
dict((k, sum(v for k,v in group)) for k, group 
     in itertools.groupby(sorted(pairs), lambda (k,v): k))

而且，这实际上应该比第一种方法性能更低，因为需要为排序创建所有对的内存中列表。

Answer 3

>>> dict((x[0], sum(y[1] for y in x[1])) for x in itertools.groupby(sorted(pairs, key=operator.itemgetter(0)), key=operator.itemgetter(0)))
{33: 67, 3: 47, 4: 67, 6: 74, 9: 114, 11: 94, 41: 27, 23: 27}