语言模型 on Coder_Studio

从 MSE 到交叉熵：一文搞懂损失函数

Sun, 21 Jun 2026 11:48:50 +0000

什么是损失函数？

机器学习模型究竟依靠什么完成"学习"？

它凭什么判断自身的表现是否达标、又该在哪些方面做出改进？

我们可以通过一个类比来理解——学生在完成课后作业时，老师会给出一个分数。无论是80分、90分还是不及格，学生都能通过这个分数发现自己哪里掌握得不够牢固，并据此调整后续的学习策略，争取下一次取得更好的成绩。

机器学习的模型同样具备类似的反馈机制，这个机制的名称就叫——损失函数。

损失函数在机器学习中占据着比较重要的位置。

如果无法理解损失函数的工作原理，就很难真正搞清楚模型是如何完成训练的。

因此，想要真正掌握机器学习的核心原理，损失函数是一个必须深入理解的基础概念。

从数学角度来讲，损失函数是用于衡量模型预测输出与真实标签之间差异的一种量化方法。

设想这样一个场景：

一个气象预报员，预测明天的气温是20℃，而实际观测值是22℃。

预测值与真实值之间的偏差是多少？

最直接的计算方式是用 20 减去 22 得到 -2，偏差为2℃。

但这里出现了一个问题：

如果有100次预报记录，将正偏差和负偏差直接相加会导致它们相互抵消，最终累加结果可能为零——意味着"零误差"，显然这与现实情况是不符的。

解决这一问题的方法是对每次偏差进行平方处理，使所有数值都变为正数，然后求取平均值。这就是"均方误差"（Mean Squared Error，简称 MSE）。

由此可见，损失函数的本质是一个"差距量化器"——它明确告诉模型：你的预测出现了偏差，偏差量为多少，需要做出调整。

然而，这种差距信号如何真正转化为模型的改进能力呢？

关键在于梯度。

具体而言，我们可以通过反向传播算法，利用链式法则逐层计算损失函数对各参数的梯度，得到的梯度方向指示了参数应该增大还是减小，梯度的大小则给出了调整的幅度。

模型根据这些梯度信息更新自身参数，持续缩小与真实值之间的距离。

这一优化过程被称为梯度下降。

需要明确的一个核心认知是：

驱动模型学习的根本动力，来源于损失函数所提供的梯度信号。

如果没有损失函数，就不会有梯度；

没有梯度，模型就只能在参数空间中盲目搜索。

因此，损失函数决定了模型能否有效学习，是整个学习过程的灵魂所在。

什么样的损失函数才算合格？

第一，可导性。

损失函数最好能够计算梯度，或者在不可导点存在次梯度（Subgradient），从而支持梯度优化算法。

第二，单调性。

模型的预测越接近真实值，损失值应当越小；

预测偏离真实值越远，损失值应当越大。

只有满足这一性质，模型才能形成明确的优化方向感，持续向最优解靠近。

第三，良好的优化性质。

理想情况下，损失函数及其对应优化目标具有良好的优化性质，能够帮助模型更稳定地收敛到低损失区域。

第四，计算高效。

在大规模数据集训练场景中，损失函数需要被频繁计算，因此计算效率十分重要。

在这四项特性中，前两项属于硬性约束，后两项则是理想层面的加分项。

具体损失函数分析

均方误差（MSE）

MSE 的全称为 Mean Squared Error，逐词拆解：Mean 表示"平均"，Squared 表示"平方"，Error 表示"误差"。

组合起来的含义即——误差平方的平均值。

其计算流程分为四个步骤：

对每个样本分别计算预测值与真实值之间的差值（也称为残差）。
对每个残差执行平方运算。
将所有平方后的残差累加求和。
除以样本总数 N，得到平均值。

为什么不直接使用残差的绝对值，而一定要选择平方？

第一个理由：消除符号干扰。

假设模型对样本 A 的预测偏高了 5 个单位，对样本 B 的预测偏低了 5 个单位。如果直接将两者相加，5 + (-5) = 0，表面上看起来误差为零，但实际上模型的两次预测都是错误的。

经过平方运算后，5² = 25，(-5)² = 25，两项均为正数相加，真实误差便无法被掩盖。

第二个理由：放大较大误差。

假设有三个样本的绝对误差分别为 1、2、3。

在不平方的情况下，误差总和为 6；

而经过平方后，1 + 4 + 9 = 14，其中误差为 3 的样本贡献了 9，占总损失的比重超过六成。

这说明平方机制天然地让模型更加重视那些预测严重失准的样本，尽量避免出现"离谱的错误"，这通常与实际需求相一致。

第三个理由：求导运算友好。

平方函数在其定义域内处处可导，导数形式为线性表达式 2x，结构简洁，使得梯度下降算法的运行非常顺畅。

第四个理由：拥有深厚的统计学根基。

在正态分布假设下，MSE 与最大似然估计在数学上是等价的。

它并非一种拍脑袋想出来的启发式技巧，而是建立在严格的概率论基础之上的。

MSE 的优势与局限

优势：

计算极为简洁——仅需减法、平方、加法和除法四步运算，即便面对千万级甚至亿级规模的数据也能快速处理。

在整个定义域内处处可导，梯度形式简洁干净，不存在任何断点或奇点来阻碍优化过程。

数学性质优良，许多优化算法的理论分析都建立在 MSE 这类凸函数的框架之上。

局限：

最突出的短板是对异常值（离群点）极度敏感。

平方的放大效应意味着一个极端异常值可能主导整个损失函数的值。

例如假设有 10 个样本的偏差均为 1，另有 1 个样本的偏差为 10。

前 10 个样本各自贡献 1，合计 10；

而异常样本贡献了 100，占总损失的约 91%。

模型因此可能被这一个异常样本带偏方向，从而忽略了大多数正常数据的分布特征。

另一个问题是量纲失真。

原始数据如果分布在 0 到 100 之间，MSE 的值域可能膨胀到 0 到 10000，损失值本身的直观含义变得模糊。

适用场景：

回归任务的首选方案——凡是预测连续型数值（如房价、气温、销量等），MSE 通常是最自然且最常用的选择。

但如果数据中存在较多异常值，建议考虑 MAE（平均绝对误差）或 Huber Loss，它们对噪声数据具有更强的鲁棒性。

梯度下降的训练循环

利用 MSE 的梯度来驱动模型参数更新，每一轮迭代包含以下四个步骤：

前向传播：使用当前参数对输入数据进行预测。
计算损失：通过 MSE 公式量化预测值与真实标签之间的差距。
反向传播：沿计算图从输出层向输入层逐层回溯，依次计算每个参数的梯度，明确每个参数应该朝哪个方向调整、调整的幅度有多大。
参数更新：沿着梯度的反方向对参数值进行微调——梯度为正值时减小参数，为负值时增大参数。

重复执行上述流程 50 次（或更多轮），模型便会在损失曲面上逐步滑动，不断逼近最优解。

交叉熵：分类问题的核心损失函数

接下来介绍第二个重要的损失函数——交叉熵（Cross Entropy），它是分类任务中最常用的损失函数。

设想这样一个应用场景：

向模型输入一张图片，要求它判断图片中的动物是猫、狗还是鸟。

有人可能会认为，模型直接输出一个整数编码即可——0 代表猫，1 代表狗，2 代表鸟，然后取最大值的对应类别就行了。

这种思路在逻辑上看似合理，但存在一个缺陷：

模型对自己的预测结果有多大把握？

这种确定性完全无法从单一整数编码中获知。

更为合理的方式是让模型输出一个概率向量。

例如：猫 0.7、狗 0.2、鸟 0.1，三个概率值之和为 1，构成一个完整的概率分布。

通过这种方式，我们不仅获得了模型的预测结果，还获得了衡量模型"自信程度"的依据。

在很多实际应用场景中，这种置信度信息至关重要。

例如医疗影像诊断：

模型 A 判定为恶性肿瘤，置信度 0.95。

模型 B 判定为恶性肿瘤，置信度 0.52。

虽然两者结论一致，但前者的预测可信度明显更高，因此更值得进一步关注。

那么问题就来了：

如何衡量模型输出的概率分布与真实标签之间的差异？

这就是交叉熵函数所要解决的问题。

交叉熵到底在计算什么？

交叉熵的核心思想其实非常简单：

如果模型把真实答案的概率预测得越高，那么损失就应该越小；

如果模型把真实答案的概率预测得越低，那么损失就应该越大。

例如有一个三分类任务：

真实答案是：

猫 = 1
狗 = 0
鸟 = 0

模型 A 的预测结果为：

猫：0.90
狗：0.05
鸟：0.05

由于模型给正确类别“猫”分配了 90% 的概率，说明模型非常有把握地预测正确，此时交叉熵损失会非常小。

而模型 B 的预测结果为：

猫：0.01
狗：0.98
鸟：0.01

虽然三个概率之和同样为 1，但模型几乎把全部概率都给了错误类别“狗”。

这意味着模型不仅预测错误，而且错得非常自信。

对于这种情况，交叉熵会给予极大的惩罚。

因此可以把交叉熵理解为一种专门衡量“预测概率质量”的损失函数。

它不仅关心模型有没有预测正确，更关心模型到底有多大的把握。

预测正确且越自信，损失越小；

预测错误且越自信，损失越大。

正因为这种特性，交叉熵能够为分类模型提供更加清晰有效的优化方向，因此成为分类任务中最主流的损失函数。

MSE 与交叉熵的核心差异

维度	MSE	交叉熵
适用任务	回归（预测连续值）	分类（预测离散类别）
输出形式	实数（如 3.5、-2.1）	概率（0~1 之间的值）
梯度特性	梯度受平方项影响较大，对异常敏感	梯度与误差成线性关系，传播更平稳
收敛行为	回归任务上收敛稳定	分类任务上收敛更快、更稳定

如何选择损失函数

判断任务类型

如果输出为连续数值 → 回归问题，如果输出为类别标签 → 分类问题。

回归任务看数据质量

如果数据包含较多异常值 → 选择 MAE 或 Huber Loss

如果数据较为干净、近似正态分布 → 选择 MSE

分类任务看类别数量

如果仅有两个类别 → 二元交叉熵（Binary Cross Entropy）

如果两个以上类别 → 多元分类交叉熵（Categorical Cross Entropy）

初学者常犯的三个错误

用 MSE 做分类任务。

这是新手最常犯的错误。

因为在分类任务中，当分类模型使用 sigmoid 或 softmax 输出概率时，如果再配合 MSE 作为损失函数，梯度在饱和区域会迅速衰减，导致训练速度明显变慢。

用交叉熵做回归任务。

交叉熵要求输出为合法的概率分布（非负且和为 1），回归任务的输出为任意实数，计算框架通常会直接报错；

即便绕过了框架检查，梯度也会完全失效，模型无法学到任何有效信息。

只监控训练损失，忽视验证损失。

许多初学者在训练过程中仅关注训练集损失持续下降这一现象便感到满意，却忽略了验证集损失可能已经开始反弹——这标志着过拟合正在发生。

正确的方法是同时监控训练损失和验证损失两条曲线，当验证损失不再下降甚至开始上升时，即使训练损失仍在降低，也应当停止训练或引入正则化手段来抑制过拟合。

为什么 temperature=0，模型输出依然不完全一致？

Sat, 06 Jun 2026 17:50:42 +0000

很多人会觉得：

temperature 设成 0，结果应该绝对稳定才对。

因为从数学上看，逻辑似乎很简单。

当 temperature 趋近于 0 时，概率分布会迅速向最大值集中，最终接近一个 One-Hot 分布：最高概率的 token 概率接近 1，其余 token 接近 0。

理论上，这时候不再需要随机采样，而是直接选择分数最高的 token，也就是：

谁最大，就选谁。

既然最大值是确定的，那么输出自然也应该是固定的。

但问题在于：

数学世界是理想化的，而模型推理发生在真实硬件上。

大模型真正运行时，底层依赖的是 GPU 的并行计算架构，而不是一台计算器按顺序一步一步算。

GPU 为了追求吞吐量，会把大量运算同时展开。

比如一串数值求和，它往往不是严格按固定顺序相加，而是拆成多个部分并行计算，再汇总结果。

看起来只是执行顺序不同，但这里会引出一个关键问题：浮点数计算并不严格满足结合律。

在数学里：(a+b)+c 与 a+(b+c)结果一定完全一致。

但在计算机里，尤其是 FP16、BF16 这样的半精度计算中，由于精度截断和舍入误差：同样一组数字，不同计算顺序，最后结果可能会出现极小偏差。

这种偏差通常小到几乎无法察觉，但对于大模型来说，有时候已经足够改变最终输出。

因为模型最后预测 token 时，会得到一整个词表的 logits 分数。

而词表规模往往有几万甚至几十万个 token。

很多情况下，Top-1 和 Top-2 的分数差距极其接近。

例如：Token A=10.55555，Token B=10.55554。

正常情况下，A 排第一。

但如果因为 GPU 并行计算、低精度累积误差，导致某一步出现微小抖动，使得Token A=10.55553，Token B=10.55556，那么排名就可能直接翻转。

虽然变化微乎其微，但对于自回归模型来说，第一个 token 一旦不同，后续生成路径就会迅速分叉。

于是你看到的现象就是temperature 已经设为 0，输出仍然偶尔不一致。

那该怎么提高稳定性？

1. 直接使用 Argmax

这是最直接、也最有效的方法。

如果 temperature=0，就不要再经过 sampling 逻辑，而是直接取 logits 最大值。

也就是跳过随机采样，强制选择 Top-1。

这样可以减少一部分实现层面的不确定性。

2. 固定随机种子

一些推理框架内部，可能仍然存在随机逻辑。

例如：

某些层没有完全关闭随机机制
Tie（分数相同）时采用随机选择
底层实现依赖随机状态

因此固定 seed，可以显著提高复现能力。

但需要注意，固定 seed ≠ 绝对确定。

因为硬件层面的非确定性依然可能存在。

3. 开启确定性模式（Deterministic Mode）

主流框架通常会提供 deterministic 模式。

本质上就是牺牲一部分性能，换取更稳定的结果。

它会尽量避免某些并行乱序计算方式，优先使用可复现的计算路径。

代价是推理速度可能下降。

所以是否开启，需要看业务更重视性能还是稳定性。

4. 提高计算精度

既然误差来自低精度计算，那么一种思路就是在关键计算阶段提高精度。

例如，中间过程使用 FP16/BF16，最后一层 logits 计算切换到 FP32，这样能减少数值误差带来的排序抖动。