python如何像zlib.adler32一样快速地计算简单的校验和

Question

我想计算一个简单的校验和：只需添加所有字节的值。

我找到的最快的方法是：

checksum = sum([ord(c) for c in buf])

但是对于13mb的数据buf，需要4.4s：太长（在C语言中，需要0.5s）

如果我使用：

checksum = zlib.adler32(buf) & 0xffffffff

它需要0.8秒，但结果不是我想要的。

所以我的问题是：Python2.6中是否有任何函数、lib或C来计算简单的校验和？

提前谢谢你， 埃里克。

Answer 1

使用numpy.frombuffer(buf, "uint8").sum()，它似乎比您的示例快70倍：

In [9]: import numpy as np

In [10]: buf = b'a'*(13*(1<<20))

In [11]: sum(bytearray(buf))
Out[11]: 1322254336

In [12]: %timeit sum(bytearray(buf))
1 loops, best of 3: 253 ms per loop

In [13]: np.frombuffer(buf, "uint8").sum()
Out[13]: 1322254336

In [14]: %timeit np.frombuffer(buf, "uint8").sum()
10 loops, best of 3: 36.7 ms per loop

In [15]: %timeit sum([ord(c) for c in buf])
1 loops, best of 3: 2.65 s per loop