本页为 01.知识-02.Math 下 Math-09 特征预处理与变换 子系列的索引与规划。衔接 Math-03 线性代数、Math-08 泛化与正则、Math-01 显著性检验(正态性/变换前提)。
段末注释:特征预处理(feature preprocessing)在建模前对原始特征做缩放、编码、缺失处理等变换;标准化(standardization)通常指零均值单位方差的 $z$-score 变换。
一、系列定位
| 维度 | 说明 |
|---|---|
| 前置 | Math-00 分布(偏态)、Math-03 范数/PCA、Math-02 相关 |
| 目标 | 选对变换、避免泄漏、理解对优化与检验的影响 |
| 与 Math-08 | scaler 只在 train fit;CV Pipeline(08/06) |
| 与 Math-04 | 特征尺度影响条件数与 SGD(03/07) |
| 跨领域应用 | 各篇正文以表格给出 CV、NLP、基因组、金融、蛋白工程等例子(不链 Math 目录外文章) |
二、命名规范
1 | Math-09.特征预处理与变换-{篇号}.{标题}.md |
| 篇号段 | 用途 |
|---|---|
| 00 | 系列规划(本文) |
| 01 | 总论(预处理地图、何时变换) |
| 02–09 | 缩放、偏态、编码、缺失 |
| 10–19 | Pipeline、泄漏、与 ML 流程 |
| 20–29 | 领域特化(视觉/NLP/表格/组学) |
三、篇目索引
| 篇号 | 文件名 | 状态 | 要点 |
|---|---|---|---|
| 00 | Math-09.特征预处理与变换-00.系列规划.md |
本文 | — |
| 01 | Math-09.特征预处理与变换-01.总论.md |
已完成 | 预处理地图、选型 |
| 02 | Math-09.特征预处理与变换-02.标准化与归一化.md |
已完成 | z-score、MinMax、Robust |
| 03 | Math-09.特征预处理与变换-03.偏态与方差稳定变换.md |
已完成 | log、sqrt、Box-Cox |
| 04 | Math-09.特征预处理与变换-04.类别特征编码.md |
已完成 | One-Hot、Target、Ordinal |
| 05 | Math-09.特征预处理与变换-05.缺失值与异常值.md |
已完成 | 插补、Winsorize、IQR |
| 06 | Math-09.特征预处理与变换-06.缩放与距离PCA.md |
已完成 | 量纲、Whitening、PCA 前处理 |
| 10 | Math-09.特征预处理与变换-10.Pipeline与泄漏防范.md |
已完成 | sklearn Pipeline、CV |
| 20 | Math-09.特征预处理与变换-20.领域特化预处理.md |
已完成 | ImageNet norm、Token、组学 |
配图:每篇 fig01–fig04 共 32 张 PNG。
四、单篇建议维度
- 要解决的预处理问题(D1)
- 公式与变换定义(D3)
- 跨领域应用例子(D7)
- 误用与泄漏(D8)
- sklearn / NumPy 示例(D12)
五、推荐阅读路线
1 | Math-00/20 正态、/21 对数正态(偏态动机) |
存量文章:数据标准化-平方根转换 可对照 03 偏态变换。
六、小结
Math-09 特征预处理与变换 系列已全部发布:把「标准化/变换」从零散经验收束为可复用的 ML 数学与工程流程。
段末注释:Box-Cox 变换(Box-Cox transformation)通过幂参数 $\lambda$ 将正数变量映射到更接近正态的尺度;Yeo-Johnson 扩展至含零与负数。