# 概率基础

## 朴素贝叶斯

**朴素贝叶斯之所以被称为朴素**: 是因为**特征向量**中, 每个维度都是相互独立的, 这种假设是朴素贝叶斯理论的思想基础.

## 信息与信息量

概率是对事件**确定性**的度量, **信息**就是对事件**不确定性**的度量, 信息量化度量问题, 就是对不确定性进行度量的问题.

**信息量**定义为对不确定性的度量: $$I(X)=-\log{P(X)}$$

## 信息熵

**信息熵**为对**平均**不确定性的度量, 离散随机变量$$X$$的信息熵$$H(X)$$定义为

$$H(X)=\sum\limits\_{X}P(X)\log\frac{1}{P(X)}=-\sum\limits\_{X}P(X)\log{P(X)}$$

* 信息熵是**信息量**的**期望**
* 信息熵是对随机变量**不确定性**的度量. 熵越大, 不确定性越大. 定值的熵为0.
* **平均分布**是不确定性最强的分布

## 互信息