Math-00.数学分布-30.多元正态分布

多元正态分布（Multivariate Normal distribution，MVN）是正态分布向 $d$ 维向量的推广，由均值向量 $\boldsymbol{\mu}$ 与协方差矩阵 $\boldsymbol{\Sigma}$ 完全刻画，是多变量统计、PCA 与多元回归的理论基础。

段末注释：协方差矩阵（covariance matrix）$\boldsymbol{\Sigma}$ 描述各分量方差及两两线性相关；正定对称。

读前说明：$d$ 维连续分布，下文给出 PDF。系列：00 规划 | 前置：20.正态。

1. 产生背景与直观

$图 1　多元正态直观$

一维正态是钟形曲线；二维 MVN 的等高线是椭圆（相关时倾斜）。直觉：

多基因表达联合波动
多指标 QC（浓度 + 纯度 + 活性）
独立正态分量 → 对角 $\boldsymbol{\Sigma}$；相关 → 非对角元非零

2. 定义与参数

$\mathbf{X} = (X_1,\ldots,X_d)^\top \sim \mathcal{N}_d(\boldsymbol{\mu}, \boldsymbol{\Sigma})$：

要素	内容
支撑集	$\mathbb{R}^d$
$\boldsymbol{\mu}$	$d$ 维均值向量
$\boldsymbol{\Sigma}$	$d \times d$ 对称正定协方差矩阵
$\boldsymbol{\Sigma}^{-1}$	精度矩阵（precision matrix）

3. PDF 与 CDF

$图 2　二维等高线椭圆$

3.1 PDF

$$
f(\mathbf{x}) = \frac{1}{(2\pi)^{d/2} |\boldsymbol{\Sigma}|^{1/2}} \exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right)
$$

马氏距离（Mahalanobis distance）：

$$
D_M^2 = (\mathbf{x}-\boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})
$$

3.2 CDF

$d>1$ 无闭式；用数值积分或 Monte Carlo。一维边缘 CDF 为正态。

4. 数字特征

量	公式
$\mathbb{E}[\mathbf{X}]$	$\boldsymbol{\mu}$
$\mathrm{Cov}(\mathbf{X})$	$\boldsymbol{\Sigma}$，$\Sigma_{ij}=\mathrm{Cov}(X_i,X_j)$
边缘	$X_i \sim \mathcal{N}(\mu_i, \Sigma_{ii})$
线性变换	$\mathbf{Y}=\mathbf{A}\mathbf{X}+\mathbf{b}$ → $\mathcal{N}(\mathbf{A}\boldsymbol{\mu}+\mathbf{b},, \mathbf{A}\boldsymbol{\Sigma}\mathbf{A}^\top)$

5. 与其他分布的关系

关系	说明
一元正态	$d=1$：$\mathcal{N}(\mu,\sigma^2)$
独立正态	$\boldsymbol{\Sigma}$ 对角 → 分量独立
$\chi^2$ / Hotelling $T^2$	$D_M^2 \sim \chi^2_d$（$\boldsymbol{\mu}$ 已知）
t / F	样本均值/协方差推断 → 31.抽样
PCA	$\boldsymbol{\Sigma}$ 特征分解 → 主成分
Wishart	样本协方差矩阵的分布（推广）

5.1 条件分布

分割 $\mathbf{X} = (\mathbf{X}_1^\top, \mathbf{X}_2^\top)^\top$，条件 $\mathbf{X}_2=\mathbf{x}_2$ 仍为 MVN（条件均值、条件协方差有闭式）。

6. 前提假设

假设	含义	违背时
联合正态	$\mathbf{X}\sim N_d(\boldsymbol\mu,\boldsymbol\Sigma)$	边缘正态 $\not\Rightarrow$ 联合正态
$\boldsymbol\Sigma$ 正定	协方差矩阵对称正定	奇异 → 降维/约束
线性结构	线性组合仍正态	非线性依赖 → copula 等
i.i.d. 样本（推断）	$n$ 个独立同多元正态向量	重复测量 → 混合/GEE

段末注释：马氏距离、Hotelling $T^2$ 检验均依赖多元正态与 $\boldsymbol\Sigma$ 估计。

7. 适用场景

$图 3　适用场景$

场景	示例
多元回归残差	$\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \sigma^2\mathbf{I})$
PCA / 白化	对 $\boldsymbol{\Sigma}$ 特征分解
异常检测	马氏距离阈值
PLM 嵌入联合 QC	多维 embedding 联合分布
Gaussian Process	有限维边际为 MVN

8. 局限与误用

$图 4　局限$

问题	说明
边缘正态 ≠ 联合正态	反例存在
仅二阶矩	无法刻画偏态/重尾联合结构
$d$ 大、$n$ 小	$\hat{\boldsymbol{\Sigma}}$ 奇异，需正则化
非线性相关	MVN 只刻画线性相关
高维密度估计	维度灾难

9. 参数估计与推断

9.1 MLE

样本 $\mathbf{x}_1,\ldots,\mathbf{x}_n$：

$$
\hat{\boldsymbol{\mu}} = \bar{\mathbf{x}}, \quad \hat{\boldsymbol{\Sigma}} = \frac{1}{n}\sum_{i=1}^n (\mathbf{x}_i-\bar{\mathbf{x}})(\mathbf{x}_i-\bar{\mathbf{x}})^\top
$$

9.2 Hotelling $T^2$

检验 $\boldsymbol{\mu}=\boldsymbol{\mu}_0$；与 t 分布一元情形对应。

10. 示例与代码

场景：二维数据，估计 $\boldsymbol{\mu},\boldsymbol{\Sigma}$，画等高线及马氏距离。

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

rng = np.random.default_rng(42)
mu = np.array([1.0, 2.0])
Sigma = np.array([[1.0, 0.8], [0.8, 1.5]])
data = rng.multivariate_normal(mu, Sigma, size=300)

mu_hat = data.mean(axis=0)
Sigma_hat = np.cov(data, rowvar=False)
print("mu_hat:", mu_hat)
print("Sigma_hat:\n", Sigma_hat)

# Mahalanobis for one point
x0 = np.array([3.0, 4.0])
diff = x0 - mu_hat
d2 = diff @ np.linalg.inv(Sigma_hat) @ diff
print(f"Mahalanobis^2 for x0: {d2:.2f} (chi2_2 approx)")

# contour (2D)
x1, x2 = np.meshgrid(np.linspace(-2, 4, 100), np.linspace(-1, 5, 100))
pos = np.dstack((x1, x2))
rv = stats.multivariate_normal(mu_hat, Sigma_hat)
plt.figure(figsize=(6, 5))
plt.contour(x1, x2, rv.pdf(pos), levels=8, cmap="Blues")
plt.scatter(data[:, 0], data[:, 1], s=8, alpha=0.4, c="gray")
plt.scatter(*x0, c="red", s=80, label="query point")
plt.xlabel("X1"); plt.ylabel("X2"); plt.legend()
plt.savefig("mvn_contour.png", dpi=150)

11. 小结

MVN($\boldsymbol{\mu},\boldsymbol{\Sigma}$)：多元统计基准；线性变换封闭，条件/边缘仍为 MVN。
马氏距离 → $\chi^2$；PCA 即 $\boldsymbol{\Sigma}$ 谱分解。
边缘正态不蕴含联合正态；高维需 $n \gg d$ 或正则化。

系列导航：20.正态 | 31.抽样

参考文献

scipy.stats.multivariate_normal