Math-07.贝叶斯推断-01.总论

本页为 Math-07 贝叶斯推断 子系列总论。贝叶斯方法把参数 $\theta$ 视为随机变量，用先验 + 数据得到后验，并自然给出不确定性。

段末注释：贝叶斯推断（Bayesian inference）依据 $p(\theta \mid D) \propto p(D \mid \theta),p(\theta)$ 更新信念；后验预测（posterior predictive）对未见数据积分掉参数不确定性。

系列入口：00.系列规划 | 前置：Math-00 分布、Math-01/01 总论

---

1. 频率派 vs 贝叶斯派（D1–D2）

视角	参数 $\theta$	核心输出	典型问题
频率派	固定未知常数	点估计 + 置信区间（重复抽样）	p 值、MLE
贝叶斯	随机变量	后验分布 $p(\theta \mid D)$	可信区间、预测分布

同一数据 $D$，贝叶斯回答：「给定数据后，$\theta$ 可能取哪些值、概率多大」。

---

2. 贝叶斯公式（D3）

$$
\underbrace{p(\theta \mid D)}{\text{后验}} \propto \underbrace{p(D \mid \theta)}{\text{似然}} \cdot \underbrace{p(\theta)}_{\text{先验}}
$$

后验预测（对新观测 $x_{\mathrm{new}}$）：

$$
p(x_{\mathrm{new}} \mid D) = \int p(x_{\mathrm{new}} \mid \theta), p(\theta \mid D), d\theta
$$

积分掉 $\theta$ → 预测带参数不确定性，小样本时尤为重要。

---

3. 跨领域应用（D7）

领域	任务示例	贝叶斯做法
A/B 测试	两版转化率谁更好	Beta 先验 + 二项似然 → 后验胜率
医学诊断	罕见病检测	先验患病率 + 灵敏度/特异度 → 后验概率
推荐系统	新用户冷启动	先验偏好 + 少量点击 → 后验兴趣
量化交易	波动率估计	GARCH + 贝叶斯更新
自动驾驶	感知不确定性	深度网络输出分布（Bayesian NN）
蛋白工程	突变体活性筛选	高斯过程 + 贝叶斯优化（见 20）
大模型对齐	RLHF 中 KL 约束	参考策略作隐式先验（Math-05/20）

---

4. 与 Math 系列衔接（D4–D6）

Math-00 分布（Beta/Gamma/正态）
    → 03 共轭先验（解析后验）
    → 02 MLE/MAP（点估计 ↔ 正则）
    → 05 VI / 06 MCMC（复杂后验近似）
    → 10 不确定性量化
    → Math-08 泛化（MAP = L2 正则）

贝叶斯	频率/ML 对照
高斯先验 + 线性似然	Ridge 回归（Math-08/03）
MAP	带正则的 MLE
边际似然	BIC / 模型选择（07）
后验预测区间	预测区间 + 校准（10）

---

5. 何时用贝叶斯（D7–D8）

适合	不太适合
小样本、需不确定性	仅需单点预测、数据极大
有领域先验可编码	先验难定且敏感
序贯决策（A/B、主动学习）	后验不可算且 VI/MCMC 太贵
共轭族可解析	超高维深网（除近似 BNN）

先验敏感性：弱信息先验（weakly informative）常作默认；报告时应做先验敏感性分析。

---

6. 极简 Beta-Binomial 示例（D12）

抛硬币 8 次 6 正面，先验 $\theta \sim \mathrm{Beta}(1,1)$（均匀）：

$$
\theta \mid D \sim \mathrm{Beta}(1+6,, 1+2) = \mathrm{Beta}(7, 3)
$$

后验均值 $= 7/10 = 0.7$；95% 可信区间约 $[0.39, 0.91]$（比单纯 $6/8$ 更保守）。详见 03 共轭。

from scipy import stats
a, b = 1 + 6, 1 + 2
post = stats.beta(a, b)
print("mean:", post.mean(), "95% CI:", post.interval(0.95))

---

7. 小结

贝叶斯 = 先验 + 似然 → 后验 → 预测。下一篇：02 MLE 与 MAP。

系列导航：00 规划 | 03 共轭先验