5004.大模型-优化部署模型

Distillation

用一个teacher模型来训练一个student模型

Quantization

将训练后的模型进行量化，降低数据的精度，从而降低模型的复杂度和对资源的需求。

Pruning

模型剪枝，删除冗余模型，或去除模型中权重很低，贡献不大的节点，

• Full model re-training 被保留参数进行重新训练
• PEFT/LoRA
• Post-training 训练以后在进行剪枝