Scipy.stats.熵对熵公式给出了不同的结果

Question

我试图计算一个概率分布的信息熵，但是我得到了两个不同的答案，我不知道为什么或者哪个是正确的。在

1. 我试着用scipy.stats.熵. 在
2. 然后我查看了scipy.stats.熵，在源代码中，我使用scipy.special.entr，得到了不同的答案。在
3. 然后，我用在scipy.stats.熵佩奇，得到的答案和2一样。在

import numpy as np
from scipy.special import entr
from scipy.stats import entropy
np.random.seed(123)

data = np.random.rand(5)

e = entropy(data,base=2)          #this one is different, why?
f = np.sum(entr(data))/np.log(2)
g = -np.sum(data*np.log2(data))

知道错误在哪里吗？在

Answer 1

entropy自动规范化输入，使概率向量之和为1。您对f和g的计算没有。在

如果规范化data，例如

data = np.random.rand(5)
data /= data.sum()

结果将一致：

^{pr2}$