困惑度（Perplexity）详解

困惑度（Perplexity，PPL）是语言模型领域最经典的整体拟合指标之一。它由平均交叉熵指数变换而来，可直观理解为：模型在每一步平均「等效于在多少个候选词里犹豫」。

段末注释：Perplexity 并非独立损失函数，而是 (\exp(\text{cross-entropy})) 的单调变换，便于人类解读模型置信度。

一、直观含义

若平均 token 交叉熵为 (\mathcal{L})，则：

$$
\mathrm{PPL} = e^{\mathcal{L}}
$$

直觉解释：

与 eval_loss 携带相同信息，只是换了一种刻度。

场景	适用性	说明
语言建模 / 继续预训练	高	业界惯例报告 test PPL
SFT 指令微调监控	中	Trainer 默认日志多为 loss；PPL 需自行 `exp(loss)`
分类 / 结构化生成任务	低	任务标签短，PPL 很快饱和，不如 F1
开放对话质量	低	无唯一 reference 时无法算标准 PPL

数据要求：与交叉熵相同——tokenized 文本序列，需明确哪些 token 参与 loss（如 completion_only 段）。

$$
\mathrm{PPL} = \exp\left( -\frac{1}{|\mathcal{T}|} \sum_{t \in \mathcal{T}} \log p_\theta(y_t \mid y_{<t}) \right)
$$

import math

eval_loss = trainer.evaluate()["eval_loss"]
perplexity = math.exp(eval_loss)
print(f"Perplexity: {perplexity:.2f}")

Hugging Face evaluate 库也提供 perplexity 指标模块，底层仍是交叉熵聚合后取 exp。

SFT 微调后期 loss 常落在 0.1～1.0，对应 PPL 约 1.1～2.7——对短 completion 任务，继续压 PPL 的收益递减。

同一实验内看趋势：微调后 PPL 应不高于（或略低于）基座在同一验证集上的 PPL；若反而升高，可能 catastrophic forgetting（灾难性遗忘）或验证集与训练目标不匹配。
与 loss 同步看：PPL 是单调变换，拐点与 eval_loss 完全一致。
不要跨词表比较：扩大词表通常抬高 PPL 下界，不同模型 PPL 不可直接排名。

指标	关系
eval_loss	(\mathrm{PPL} = e^{\text{eval_loss}})
mean_token_accuracy	高 accuracy 通常对应低 PPL，但非严格等价（错词也可能给次高概率）
BLEU / ROUGE	生成任务的外部质量指标；与 PPL 相关但优化目标不同