# 0x01 前置基础 高斯过程

## 随机过程

随机过程是**许多**或**无限多**个随机变量的集合. 通常研究多个随机变量时, 需要假设随机变量之间相互独立, 才能继续多个随机变量的研究, 但是**随机过程**是研究**无穷多个相互不独立**, **有一定相互关系的随机变量**. 代表着某个随机系统, 随某个**指示变量**的变化而变化的过程.

一般来说, 常用**时间变量**$$t$$作为这个指示变量, 因此随机过程一般是研究随机系统随着时间推进而变化. 在每个时间点上, 都是一个**随机变量**, 因此随机过程是无穷多个随机变量按一定关系组成的集合. 当这个**指示变量**为连续数值时, 为连续型随机变量; 为离散数值时, 为离散型随机变量.

## 高斯过程

**高斯过程**(Gaussian Processes)的定义是: 对于任何一个指示变量的集合$$S$$(其中每个元素可以是标量值, 也可以是向量值), 其中的元素可以是有限多个, 也可以是无限多个. 加入为有限多共$$n$$个可能的取值$$t\_1,t\_2,\cdots,t\_n$$, 高斯过程是每个指示变量对应的**随机变量**组成的序列$$Z\_{t\_1},Z\_{t\_2},\cdots,Z\_{t\_n}$$.

对于$$S$$中所有的指示变量$$t\_1,t\_2,\cdots,t\_n$$, **随机变量序列**$$(Z\_{t\_1},Z\_{t\_2},\cdots,Z\_{t\_n})^T$$是一个**多维高斯分布**, 即是一个**多维随机变量**, 维数为指示变量的数量. 这里多维高斯分布的参数是**均值向量**与**协方差矩阵**.

以上的GP是在指示变量集合$$S​$$状态有限的情况下得到的, 可以通过穷举的方法得到一个多维高斯随机变量. 任意某个指示变量对应于一个**单维高斯变量**, 任意两个(或多个)指示变量对应的高斯变量之间的关系也能很清晰(协方差子矩阵)的描述.

对于指示变量集合$$S$$是连续的情况, 即集合$$S$$中元素的个数是无限的, 则不能通过穷举的方法继续进行研究. 对于给定的指示变量的一个点, 仍然对应一个**单维高斯变量**. 但这时的**无限维高斯分布**的**均值**将是关于指示变量的函数, 衡量两个指示变量(两个时间点)之间**协方差**将是关于两个指示变量的函数, 通常是用**核函数**表示.

因此, 对于无限维的高斯过程, 可以用下面的式子来刻画:

$$f\sim{GP(m,K)}$$

其中, $$f$$就是高斯过程, $$m$$是均值函数, $$K$$是协方差函数, 一般使用**核函数**作为**协方差函数**. 均值函数是把一个**指示变量**映射成标量的函数, 协方差函数是把两个指示变量映射成标量的函数.

因此, **高斯过程**可以看做**多维高斯分布**向无限维的扩展, 换句话说, $$n$$维的**多维高斯分布**可以看成**高斯过程**在$$n​$$个点上的采样得到的. 这里的采样也可以说是在连续的**指示变量**上的采样.