0x01 前置基础 高斯过程

随机过程

随机过程是许多或无限多个随机变量的集合. 通常研究多个随机变量时, 需要假设随机变量之间相互独立, 才能继续多个随机变量的研究, 但是随机过程是研究无穷多个相互不独立, 有一定相互关系的随机变量. 代表着某个随机系统, 随某个指示变量的变化而变化的过程.

一般来说, 常用时间变量$t$作为这个指示变量, 因此随机过程一般是研究随机系统随着时间推进而变化. 在每个时间点上, 都是一个随机变量, 因此随机过程是无穷多个随机变量按一定关系组成的集合. 当这个指示变量为连续数值时, 为连续型随机变量; 为离散数值时, 为离散型随机变量.

高斯过程

高斯过程(Gaussian Processes)的定义是: 对于任何一个指示变量的集合$S$(其中每个元素可以是标量值, 也可以是向量值), 其中的元素可以是有限多个, 也可以是无限多个. 加入为有限多共$n$个可能的取值$t_1,t_2,\cdots,t_n$, 高斯过程是每个指示变量对应的随机变量组成的序列$Z_{t_1},Z_{t_2},\cdots,Z_{t_n}$.

对于$S$中所有的指示变量$t_1,t_2,\cdots,t_n$, 随机变量序列$(Z_{t_1},Z_{t_2},\cdots,Z_{t_n})^T$是一个多维高斯分布, 即是一个多维随机变量, 维数为指示变量的数量. 这里多维高斯分布的参数是均值向量与协方差矩阵.

以上的GP是在指示变量集合$S​$状态有限的情况下得到的, 可以通过穷举的方法得到一个多维高斯随机变量. 任意某个指示变量对应于一个单维高斯变量, 任意两个(或多个)指示变量对应的高斯变量之间的关系也能很清晰(协方差子矩阵)的描述.

对于指示变量集合$S$是连续的情况, 即集合$S$中元素的个数是无限的, 则不能通过穷举的方法继续进行研究. 对于给定的指示变量的一个点, 仍然对应一个单维高斯变量. 但这时的无限维高斯分布的均值将是关于指示变量的函数, 衡量两个指示变量(两个时间点)之间协方差将是关于两个指示变量的函数, 通常是用核函数表示.

因此, 对于无限维的高斯过程, 可以用下面的式子来刻画:

$f\sim{GP(m,K)}$

其中, $f$就是高斯过程, $m$是均值函数, $K$是协方差函数, 一般使用核函数作为协方差函数. 均值函数是把一个指示变量映射成标量的函数, 协方差函数是把两个指示变量映射成标量的函数.

因此, 高斯过程可以看做多维高斯分布向无限维的扩展, 换句话说, $n$维的多维高斯分布可以看成高斯过程在$n​$个点上的采样得到的. 这里的采样也可以说是在连续的指示变量上的采样.