Math-07.贝叶斯推断-20.贝叶斯优化

本页讲解贝叶斯优化（Bayesian optimization，BO）——在评估代价高的黑盒函数 $f(x)$ 上，用少量试验找近似最优。

段末注释：BO 用 surrogate（常用高斯过程，Gaussian process，GP）拟合已观测 $(x, f(x))$，再用采集函数（acquisition function）选下一个 $x$；EI（expected improvement，期望改进）平衡探索与利用。

系列入口：00.系列规划 | 前置：10 不确定性、04 序贯

1. 问题设定（D1–D2）

$图 1　黑盒 + surrogate + 采集$

$$
x^* = \arg\max_{x \in \mathcal{X}} f(x)
$$

特点	说明
$f$ 无解析式	仅观测 $y = f(x) + \varepsilon$
评估贵	实验、仿真、超参训练
$n$ 小	通常 $< 100$ 次评估

不适合：低维易网格、评估极便宜的大规模超参（用 Math-08/10 随机搜索）。

2. 高斯过程 surrogate（D3）

$图 2　GP 均值与置信带$

$$
f(x) \sim \mathcal{GP}(m(x),, k(x, x’))
$$

观测后得后验均值 $\mu(x)$ 与后验方差 $\sigma^2(x)$。

常用核：RBF（径向基）、Matérn。超参数通过边际似然（07）优化。

3. 采集函数（D3–D4）

采集函数	公式思想	特点
EI	期望超过当前最优的改进	常用默认
UCB	$\mu(x) + \kappa \sigma(x)$	$\kappa$ 控探索
PI	改进概率	较贪心
Thompson	从 GP 后验抽 $f$，取 max	与 bandit 统一

探索：高 $\sigma(x)$ 区域；利用：高 $\mu(x)$ 区域。

4. 跨领域应用（D7）

$图 3　BO 应用场景$

领域	优化对象	单次评估代价
蛋白/酶工程	突变体活性、稳定性	湿实验高
材料科学	配方力学性能	合成+测试
药物发现	分子对接分数	计算/合成
AutoML	超参（中小模型）	一次训练
机器人	步态参数	实物试验
芯片设计	电路参数	仿真
农业	施肥方案	季级试验

与 04 序贯更新衔接：BO = surrogate + 主动选点。

5. 局限（D8）

$图 4　BO 局限$

问题	说明
高维 $\mathcal{X}$	GP 尺度差，需 embedding / 稀疏
噪声大	需 robust GP
批次并行	需 q-EI 等批量采集
非平稳	单一 GP 难刻画
深网超参	评估仍贵但维数高，BO 与 Hyperband 混合

6. 极简 1D BO 循环（D12）

import numpy as np
from scipy.stats import norm

def true_f(x):
    return np.sin(3 * x) + 0.1 * x  # 黑盒

# 已有 3 点 (示意: 手工 GP 省略，用 UCB 逻辑)
X_obs = np.array([0.1, 0.5, 0.9])
y_obs = true_f(X_obs)
x_grid = np.linspace(0, 1, 100)
# 下一候选: 最大 UCB (示意 mu=simple interp, sigma=dist to nearest obs)
mu = np.interp(x_grid, X_obs, y_obs)
sigma = np.min(np.abs(x_grid[:, None] - X_obs[None, :]), axis=1)
ucb = mu + 1.0 * sigma
x_next = x_grid[np.argmax(ucb)]
print(f"next x ~ {x_next:.3f}, true f={true_f(x_next):.3f}")

生产环境用 scikit-optimize、BoTorch、GPyOpt。

7. 小结

Math-07 贝叶斯推断 系列：从共轭解析到 VI/MCMC 近似，再到 UQ 与 BO 序贯决策，构成小样本与昂贵实验的数学工具链。

系列导航：00 规划 | 01 总论 | Math-08 泛化