概率基础

朴素贝叶斯

朴素贝叶斯之所以被称为朴素: 是因为特征向量中, 每个维度都是相互独立的, 这种假设是朴素贝叶斯理论的思想基础.

信息与信息量

概率是对事件确定性的度量, 信息就是对事件不确定性的度量, 信息量化度量问题, 就是对不确定性进行度量的问题.

信息量定义为对不确定性的度量: $I(X)=-\log{P(X)}$

信息熵

信息熵为对平均不确定性的度量, 离散随机变量$X$的信息熵$H(X)$定义为

$H(X)=\sum\limits_{X}P(X)\log\frac{1}{P(X)}=-\sum\limits_{X}P(X)\log{P(X)}$

• 信息熵是信息量的期望

• 信息熵是对随机变量不确定性的度量. 熵越大, 不确定性越大. 定值的熵为0.

• 平均分布是不确定性最强的分布

互信息