👨⚕️ 主页： gis分享者
👨⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅!
👨⚕️ 收录于专栏：AI大模型原理和应用面试题
一、🍀回答重点
模型蒸馏是一种"以大教小"的模型压缩技术，用一个大模型（教师模型）的输出来训练一个小模型（学生模型），让小模型学到大模型的知识和推理能力。
为什么不直接训练小模型？因为大模型的输出比原始标签包含更丰富的信息。比如一个图片分类任务，原始标签只告诉你"这是猫"，但大模型的输出可能是"90% 猫、8% 狗、2% 狐狸"，这种概率分布叫软标签，里面编码了类别之间的相似性关系。小模型学习软标签，比直接学硬标签能获得更好的泛化能力。
在大模型时代，蒸馏最典型的用法是让强模型生成高质量训练数据，然后拿这些数据训练一个更小的模型。DeepSeek-R1 就开源了蒸馏版本，用 R1 生成的推理链数据去训练 Qwen 和 LLaMA 的小模型，1.5B 的蒸馏版在数学推理上跑出了接近 GPT-4o-mini 的分数。
蒸馏和量化目标都是"把模型变小变快"，但路径完全不同。蒸馏是训练一个全新的小模型，模型结构可以完全不一样；量化是把同一个模型的参数精度降低，比如从 FP16 降到 INT4，模型结构不变，只是数字的表示方式从高精度换成了低精度。
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/qq_28419035/article/details/162846676
