本页为 01.知识-02.Math 下 Math-06 矩阵微积分 子系列的索引与规划。前置:Math-03 线性代数、Math-04 优化。
段末注释:矩阵微积分(matrix calculus)统一标量、向量、矩阵间的求导记号;反向传播(backpropagation)是链式法则在计算图上的系统化实现。
一、系列定位
| 维度 | 说明 |
|---|---|
| 前置 | 多元微积分基础、Math-03(矩阵维度) |
| 目标 | 能读 DL 论文中的梯度公式、手写简单层 backward、理解 autograd |
| 与 Math-04 | $\nabla L$ 驱动所有优化器 |
| 与 Math-05 | Softmax+CE 的梯度联立 |
| 与存量 | 激活函数、损失函数 |
二、命名规范
1 | Math-06.矩阵微积分-{篇号}.{标题}.md |
| 篇号段 | 用途 |
|---|---|
| 00 | 系列规划(本文) |
| 01 | 总论(布局约定、分子/分母布局) |
| 02–09 | 求导规则、Jacobian、Hessian |
| 10–19 | 反向传播与计算图 |
| 20–29 | 框架 autograd 与自定义 Function |
三、篇目索引
| 篇号 | 文件名 | 状态 | 要点 |
|---|---|---|---|
| 00 | Math-06.矩阵微积分-00.系列规划.md |
本文 | — |
| 01 | Math-06.矩阵微积分-01.总论.md |
已发布 | 布局、梯度/雅可比关系 |
| 02 | Math-06.矩阵微积分-02.标量对向量求导.md |
已发布 | $\partial f/\partial \mathbf{x}$ |
| 03 | Math-06.矩阵微积分-03.Jacobian与链式法则.md |
已发布 | 复合函数、维度对齐 |
| 04 | Math-06.矩阵微积分-04.反向传播.md |
已发布 | 计算图、局部梯度 |
| 05 | Math-06.矩阵微积分-05.Hessian与二阶信息.md |
已发布 | 曲率、XGBoost 联系 |
| 06 | Math-06.矩阵微积分-06.常见层梯度手册.md |
已发布 | Linear、Conv、Softmax+CE |
| 10 | Math-06.矩阵微积分-10.PyTorch自动微分.md |
已发布 | autograd、自定义 backward |
| 20 | Math-06.矩阵微积分-20.注意力与LoRA梯度.md |
已发布 | Multi-head、低秩更新 |
四、单篇建议维度
- 符号约定(D2,全文统一)
- 核心公式与维度表(D3)
- 几何/计算图直观(D1)
- 与优化/实现的衔接(D7)
- 常见维度错误(D8)
- PyTorch 验证示例(D12)
五、推荐阅读路线
1 | Math-03/02 向量矩阵 |
六、小结
Math-06 矩阵微积分 规划内专篇已全部完成(01–06 + 10 + 20,共 8 篇 + 32 图)。下一步:Math-08 泛化与正则 或 Math-07 贝叶斯。
段末注释:Jacobian(雅可比矩阵)为向量值函数的一阶偏导矩阵;Hessian(海森矩阵)为标量函数的二阶偏导矩阵。