概率图模型概述

概率图模型概念

概率图模型(Probabilistic graphical models)在概率模型的基础上, 使用了基于图的方法来表示概率分布, 是一种通用化的不确定性知识的表示和处理方法.

在概率图模型的表达中, 结点表示变量, 结点之间直接相连的边表示相应变量之间的概率关系.

概率图模型分类

概率图模型分为两类:

• 生成式模型

• 区分式模型

两者的本质区别在于模型中观测序列$X$和状态序列$Y$之间的决定关系, 生成式模型状态$Y$决定观测$X$, 区分式模型观测$X$决定状态$Y$.

生成式模型

• 以状态(输出)序列$Y$按照一定的规律生成观测(输入)序列$X$为假设

• 针对联合分布$p(x,y)$进行建模, 通过估计使观测序列概率$p(x|\theta)$最大确定模型

• 模型的特征是事先给定的, 特征之间的关系直接体现在公式中

• 模型可以通过增量学习获得, 即新增样本直接训练进行补充, 不用再使用所有数据训练一遍, 弱点在于模型的推导和学习比较复杂

常见的生成式模型有:

• 朴素贝叶斯分类器

• HMM

判别式模型

• 认为状态(输出)序列$Y$由观测(输入)序列$X$决定, 符合传统的分类模型思想

• 直接对后验概率$p(y|x)$进行建模

• 从$X$中提取特征, 学习模型参数, 使得条件概率符合一定形式的最优

• 特征可以任意给定, 一般特征是通过函数表示的

• 处理多类问题或分辨某一类与其他类之间的差异时比较灵活

• 有监督学习方法, 模型简单, 容易建立和学习

常见的判别式模型有:

• 最大熵模型

• 条件随机场(CRF)

• 支持向量机(SVM)

• 感知机

研究划分

• 概率图模型表示理论

• 概率图模型推理理论

• 概率图模型学习理论