0x03 双因素方差分析

双因素方差分析

当方差分析中涉及两个分类型自变量时, 称为双因素方差分析(two-way analysis of variance).

分析的内容为: 是其中一个因素起作用, 还是两个因素都起作用, 还是两个因素都不起作用. 此外, 如果两个因素之间相互独立, 此时的双因素方差分析称为无交互作用的双因素方差分析, 但如果两个因素搭配产生新的影响, 即两个因素结合后产生新效应, 此时的双因素方差分析称为有交互作用的双因素方差分析, 称为可重复双因素分析.

无交互作用的双因素方差分析

假设两个因素, 一个有$k$个水平, 一个有$r$个水平, 这样一共就有$kr$个分组, 每组取一个观测数据, 因此共有$kr$个观测数据. 并把一个定为行因素, 另一个为列因素, 定义:

• $\bar{x}_{i\cdot}$是行因素的第$i$个水平下的各个观测值的均值, 即$\bar{x}_{i\cdot}=\frac{\sum\limits_{j=1}^rx_{ij}}{r}$

• $\bar{x}_{\cdot j}$是列因素的第$j$个水平下的各个观测值的均值, 即$\bar{x}_{\cdot j}=\frac{\sum\limits_{i=1}^kx_{ij}}{k}$

• $\bar{\bar{x}}$是全部$kr$个样本数据的总平均值, 即$\bar{\bar{x}}=\frac{\sum\limits_{i=1}^k\sum\limits_{j=1}^rx_{ij}}{kr}$

双因素方差分析的步骤如下.

分析步骤

• 提出假设, 需要对两个因素分别提出假设, 即有两个假设:

  $H_0=\mu_1=\mu_2=\cdots=\mu_k$, 即行因素对因变量没有显著影响

  $H_0=\mu_1=\mu_2=\cdots=\mu_r$, 即列因素对因变量没有显著影响

• 构造检验统计量

  总平方和是全部样本观测值$x_{ij}$与总的样本均值$\bar{\bar{x}}$的误差平方和, 记为SST:

  $SST=\sum\limits_{i=1}^k\sum\limits_{j=1}^r(x_{ij}-\bar{\bar{x}})^2=\sum\limits_{i=1}^k\sum\limits_{j=1}^r(x_{i\cdot}-\bar{\bar{x}})^2+\sum\limits_{i=1}^k\sum\limits_{j=1}^r(x_{\cdot j}-\bar{\bar{x}})^2+\sum\limits_{i=1}^k\sum\limits_{j=1}^r(x_{ij}-x_{i\cdot}-x_{\cdot j}+\bar{\bar{x}})^2$

  $SST=SSR+SSC+SSE$

  SST可以分解为SSR, SSC, SSE. 三者对应上式中右侧因此的三项, 分别代表这行因素的影响, 列因素的影响和去掉行和列因素之外的剩余因素所产生的误差平方和, 三者的自由度分别为:

  • SST: $kr-1$

  • SSR: $k-1$

  • SSC: $r-1$

  • SSE: $(k-1)(r-1)$

  再计算各值对应的均方:

  • $MSR=\frac{SSR}{k-1}$

  • $MSC=\frac{SSC}{r-1}$

  • $MSE=\frac{SSE}{(k-1)(r-1)}$

  计算行因素对因变量是否显著的统计量:

  $F_R=\frac{MSR}{MSE} \sim F(k-1, (k-1)(r-1))$

  计算列因素对因变量是否显著的统计量:

  $F_C=\frac{MSC}{MSE} \sim F(r-1, (k-1)(r-1))$

• 统计决策

  计算出检验统计量后, 根据给定的显著性水平$\alpha$和两个自由度, 查$F$分布表得到相应的临界值$F_{\alpha}$, 然后将$F$与$F_{\alpha}$比较, 如果$F_R \gt F_{\alpha}$, 认为行因素对因变量有显著影响; 如果$F_C \gt F_{\alpha}$, 认为列因素对因变量有显著影响.

关系强度的测量

$R^2=\frac{SSR+SSC}{SST}$

将行平方和与列平方和加载一起, 度量了两个自变量对因变量的联合效应, 联合效应与总平方和的比值$R^2$, 其平方根$R$反映了两个自变量合起来与因变量之间的关系强度.

有交互作用的双因素方差分析

与无交互作用相比, 在进行分析时, 仍然分为$kr$组, 但是每组的观测值由之前的1个变为现在的$m$个, 即每组都有$m$个观测数据, 且所有组都有$m$个观测数据. 定义:

• $x_{ijl}$为行因素第$i$个水平, 列因素第$j$个水平, 对应组的第$l$个观测值

• $\bar{x}_{i\cdot}$是行因素的第$i$个水平下的各个观测值的均值

• $\bar{x}_{\cdot j}$是列因素的第$j$个水平下的各个观测值的均值

• $\bar{x}_{ij}$是行因素第$i$个水平, 列因素第$j$个水平对应组合的样本均值

• $\bar{\bar{x}}$是全部$kr$个样本数据的总平均值

现在构建统计量, 仍然从平方和开始:

• 总平方和: $SST=\sum\limits_{i=1}^k\sum\limits_{j=1}^r\sum\limits_{l=1}^m(x_{ijl}-\bar{\bar{x}})^2$

• 行变量平方和: $SSR=rm\sum\limits_{i=1}^k(\bar{x}_{i\cdot}-\bar{\bar{x}})^2$

• 列变量平方和: $SSL=km\sum\limits_{j=1}^r(\bar{x}_{\cdot j}-\bar{\bar{x}})^2$

• 交互作用平方和: $SSRC=m\sum\limits_{i=1}^k\sum\limits_{j=1}^r(\bar{x}_{ij}-\bar{x}_{\cdot j}-\bar{x}_{\cdot j}+\bar{\bar{x}})^2$

• 误差平方和: $SSE=SST-SSR-SSC-SSRC$

对应的自由度为:

• SST: $n-1$

• SSR: $k-1$

• SSC: $r-1$

• SSRC: $(k-1)(r-1)$

• SSE: $kr(m-1)$

然后计算得到对应的均方/方差: MSR, MSC, MSRC, MSE. 计算得到三个$F$值, 分别为行影响$F_R$, 列影响$F_C$, 行列交互影响$F_{RC}$, 然后分别于显著性水平$\alpha$对应的$F_{\alpha}$对比, 如果大于这个值, 就说明对应的影响是显著的.