熵和散度的信息论测度
divergence的Python项目详细描述
发散
散度是一个Python包，用于从概率分布和样本计算熵和散度的统计度量。在
提供以下功能：
- （信息）熵[1]，[2]
- 交叉熵：[3]
- 相对熵或Kullback-Leibler（KL-）散度[4]，[5]
- 詹森-香农散度[6]
- 联合熵[7]
- 条件熵[8]
- 相互信息[9]
计算这些熵和散度度量的单位可以由用户指定。
这是通过将参数base设置为2.0、10.0或{
在贝叶斯上下文中，相对熵可以用来衡量通过移动获得的信息
从先验分布q到后验分布{
安装
示例
请参阅Jupyter笔记本Divergence。在
参考文献：
[1]https://en.wikipedia.org/wiki/Entropy_(information_theory)
[2]香农，克劳德·埃尔伍德（1948年7月）。”沟通的数学理论”。贝尔系统技术期刊。27（3）：379–423
[3]https://en.wikipedia.org/wiki/Cross_entropy
[4]https://en.wikipedia.org/wiki/Kullback–Leibler_divergence
[5]Kullback，S.；Leibler，R.A.（1951年）。“关于信息和充分性”。数理统计年鉴。22（1）：79–86
[6]https://en.wikipedia.org/wiki/Jensen–Shannon_divergence
[7]https://en.wikipedia.org/wiki/Joint_entropy
[8]https://en.wikipedia.org/wiki/Conditional_entropy
[9]https://en.wikipedia.org/wiki/Mutual_information
- 项目
标签：
欢迎加入QQ群-->： 979659372
