← 上级：RL-07.应用实战
一、真实落地案例：生信分析集群异构调度
| 项 | 说明 |
|---|---|
| 业务背景 | 实验室/企业 HPC 集群运行 WGS 比对（CPU 为主）、RNA-seq 定量（GPU 加速）等 job；队列积压时 p99 等待时间 上升，SLA 违约影响交付 |
| MDP | 状态：队首 job 类型、队列长度、各节点 busy；动作：派到 node 0/1/2（CPU / GPU / 大内存 GPU） |
| 奖励 | $-\text{等待时间}$；GPU job 误派 CPU 节点额外惩罚 |
| 成功 KPI | 相对 FIFO，平均等待 ↓10%+；SLA 违反率 ↓ |
与 K8s 工作负载调度 的关系：K8s 声明资源与执行 Pod；本案例学习派单策略，可通过 scheduler extender 或上层队列系统落地。
二、配套 Notebook
📓 bioinfo_cluster_scheduling.ipynb
| 章节 | 内容 |
|---|---|
ClusterSim |
离散事件仿真：到达、排队、节点 busy |
| FIFO baseline | 选首个空闲节点 |
| Q-Learning | 表格调度策略 |
| 曲线对比 | 平均等待 vs FIFO |
1 | pip install numpy matplotlib jupyter |
纯 NumPy，模拟 600 步 约 1 分钟内完成。
三、落地主要难点与方案
难点 1：状态空间高、泛化差
| 方案 | 优势 | 局限 |
|---|---|---|
| 状态聚合（本 Notebook） | 表格 Q 可训 | 丢失细粒度信息 |
| 函数逼近 DQN | 可扩展 | 需大量仿真数据 |
| 规则 + RL 微调 | 安全下限 | 上限受规则约束 |
难点 2：作业到达非平稳
| 方案 | 优势 | 局限 |
|---|---|---|
| 历史 trace 回放 | 真实负载 | 需采集 pipeline |
| 定期重训 | 适应季节 | 部署 pipeline |
| 在线学习 | 自适应 | 稳定性难保证 |
难点 3：多目标（等待 vs 能耗 vs 公平性）
| 方案 | 优势 | 局限 |
|---|---|---|
| 标量 reward 加权 | 简单 | 权重难定，易被单一目标主导 |
| 约束 RL / Lagrangian | 显式 SLA | 实现复杂 |
| Pareto 多策略 | 灵活 | 运维选策略成本 |
难点 4：与 K8s / Slurm 集成
| 方案 | 优势 | 局限 |
|---|---|---|
| 二层调度（上层 RL 选队列优先级） | 不改 kube-scheduler | 仅间接控制 |
| Scheduler extender | 深度集成 | 延迟、一致性、维护 |
| 仿真闭环后再 shadow | 风险低 | 仍属 POC 阶段 |
难点 5：安全与可解释
| 方案 | 优势 | 局限 |
|---|---|---|
| RL 建议 + 人工 override | 可审计 | 非全自动 |
| 硬规则过滤非法动作 | 防 GPU job 进 CPU | 减少 RL 探索空间 |
| 纯 RL 自动 | 理论最优 | 生产风险高 |
四、落地路径建议
- 采集 1~2 周 job trace（到达、时长、资源）。
- 仿真 回放 + FIFO/SJF baseline。
- RL Q-Learning / PPO（本 Notebook 为 Q 入门）。
- Shadow：RL 只记录建议，与真实调度对比 p99。
- 小流量：部分队列启用 RL 策略。
五、小结
- 案例：生信集群异构 job 调度。
- Notebook：FIFO vs Q-Learning 可运行对比。
- 下一案例：Sim2Real