机器学习 on Coder_Studio

从 MSE 到交叉熵：一文搞懂损失函数

Sun, 21 Jun 2026 11:48:50 +0000

什么是损失函数？

机器学习模型究竟依靠什么完成"学习"？

它凭什么判断自身的表现是否达标、又该在哪些方面做出改进？

我们可以通过一个类比来理解——学生在完成课后作业时，老师会给出一个分数。无论是80分、90分还是不及格，学生都能通过这个分数发现自己哪里掌握得不够牢固，并据此调整后续的学习策略，争取下一次取得更好的成绩。

机器学习的模型同样具备类似的反馈机制，这个机制的名称就叫——损失函数。

损失函数在机器学习中占据着比较重要的位置。

如果无法理解损失函数的工作原理，就很难真正搞清楚模型是如何完成训练的。

因此，想要真正掌握机器学习的核心原理，损失函数是一个必须深入理解的基础概念。

从数学角度来讲，损失函数是用于衡量模型预测输出与真实标签之间差异的一种量化方法。

设想这样一个场景：

一个气象预报员，预测明天的气温是20℃，而实际观测值是22℃。

预测值与真实值之间的偏差是多少？

最直接的计算方式是用 20 减去 22 得到 -2，偏差为2℃。

但这里出现了一个问题：

如果有100次预报记录，将正偏差和负偏差直接相加会导致它们相互抵消，最终累加结果可能为零——意味着"零误差"，显然这与现实情况是不符的。

解决这一问题的方法是对每次偏差进行平方处理，使所有数值都变为正数，然后求取平均值。这就是"均方误差"（Mean Squared Error，简称 MSE）。

由此可见，损失函数的本质是一个"差距量化器"——它明确告诉模型：你的预测出现了偏差，偏差量为多少，需要做出调整。

然而，这种差距信号如何真正转化为模型的改进能力呢？

关键在于梯度。

具体而言，我们可以通过反向传播算法，利用链式法则逐层计算损失函数对各参数的梯度，得到的梯度方向指示了参数应该增大还是减小，梯度的大小则给出了调整的幅度。

模型根据这些梯度信息更新自身参数，持续缩小与真实值之间的距离。

这一优化过程被称为梯度下降。

需要明确的一个核心认知是：

驱动模型学习的根本动力，来源于损失函数所提供的梯度信号。

如果没有损失函数，就不会有梯度；

没有梯度，模型就只能在参数空间中盲目搜索。

因此，损失函数决定了模型能否有效学习，是整个学习过程的灵魂所在。

什么样的损失函数才算合格？

第一，可导性。

损失函数最好能够计算梯度，或者在不可导点存在次梯度（Subgradient），从而支持梯度优化算法。

第二，单调性。

模型的预测越接近真实值，损失值应当越小；

预测偏离真实值越远，损失值应当越大。

只有满足这一性质，模型才能形成明确的优化方向感，持续向最优解靠近。

第三，良好的优化性质。

理想情况下，损失函数及其对应优化目标具有良好的优化性质，能够帮助模型更稳定地收敛到低损失区域。

第四，计算高效。

在大规模数据集训练场景中，损失函数需要被频繁计算，因此计算效率十分重要。

在这四项特性中，前两项属于硬性约束，后两项则是理想层面的加分项。

具体损失函数分析

均方误差（MSE）

MSE 的全称为 Mean Squared Error，逐词拆解：Mean 表示"平均"，Squared 表示"平方"，Error 表示"误差"。

组合起来的含义即——误差平方的平均值。

其计算流程分为四个步骤：

对每个样本分别计算预测值与真实值之间的差值（也称为残差）。
对每个残差执行平方运算。
将所有平方后的残差累加求和。
除以样本总数 N，得到平均值。

为什么不直接使用残差的绝对值，而一定要选择平方？

第一个理由：消除符号干扰。

假设模型对样本 A 的预测偏高了 5 个单位，对样本 B 的预测偏低了 5 个单位。如果直接将两者相加，5 + (-5) = 0，表面上看起来误差为零，但实际上模型的两次预测都是错误的。

经过平方运算后，5² = 25，(-5)² = 25，两项均为正数相加，真实误差便无法被掩盖。

第二个理由：放大较大误差。

假设有三个样本的绝对误差分别为 1、2、3。

在不平方的情况下，误差总和为 6；

而经过平方后，1 + 4 + 9 = 14，其中误差为 3 的样本贡献了 9，占总损失的比重超过六成。

这说明平方机制天然地让模型更加重视那些预测严重失准的样本，尽量避免出现"离谱的错误"，这通常与实际需求相一致。

第三个理由：求导运算友好。

平方函数在其定义域内处处可导，导数形式为线性表达式 2x，结构简洁，使得梯度下降算法的运行非常顺畅。

第四个理由：拥有深厚的统计学根基。

在正态分布假设下，MSE 与最大似然估计在数学上是等价的。

它并非一种拍脑袋想出来的启发式技巧，而是建立在严格的概率论基础之上的。

MSE 的优势与局限

优势：

计算极为简洁——仅需减法、平方、加法和除法四步运算，即便面对千万级甚至亿级规模的数据也能快速处理。

在整个定义域内处处可导，梯度形式简洁干净，不存在任何断点或奇点来阻碍优化过程。

数学性质优良，许多优化算法的理论分析都建立在 MSE 这类凸函数的框架之上。

局限：

最突出的短板是对异常值（离群点）极度敏感。

平方的放大效应意味着一个极端异常值可能主导整个损失函数的值。

例如假设有 10 个样本的偏差均为 1，另有 1 个样本的偏差为 10。

前 10 个样本各自贡献 1，合计 10；

而异常样本贡献了 100，占总损失的约 91%。

模型因此可能被这一个异常样本带偏方向，从而忽略了大多数正常数据的分布特征。

另一个问题是量纲失真。

原始数据如果分布在 0 到 100 之间，MSE 的值域可能膨胀到 0 到 10000，损失值本身的直观含义变得模糊。

适用场景：

回归任务的首选方案——凡是预测连续型数值（如房价、气温、销量等），MSE 通常是最自然且最常用的选择。

但如果数据中存在较多异常值，建议考虑 MAE（平均绝对误差）或 Huber Loss，它们对噪声数据具有更强的鲁棒性。

梯度下降的训练循环

利用 MSE 的梯度来驱动模型参数更新，每一轮迭代包含以下四个步骤：

前向传播：使用当前参数对输入数据进行预测。
计算损失：通过 MSE 公式量化预测值与真实标签之间的差距。
反向传播：沿计算图从输出层向输入层逐层回溯，依次计算每个参数的梯度，明确每个参数应该朝哪个方向调整、调整的幅度有多大。
参数更新：沿着梯度的反方向对参数值进行微调——梯度为正值时减小参数，为负值时增大参数。

重复执行上述流程 50 次（或更多轮），模型便会在损失曲面上逐步滑动，不断逼近最优解。

交叉熵：分类问题的核心损失函数

接下来介绍第二个重要的损失函数——交叉熵（Cross Entropy），它是分类任务中最常用的损失函数。

设想这样一个应用场景：

向模型输入一张图片，要求它判断图片中的动物是猫、狗还是鸟。

有人可能会认为，模型直接输出一个整数编码即可——0 代表猫，1 代表狗，2 代表鸟，然后取最大值的对应类别就行了。

这种思路在逻辑上看似合理，但存在一个缺陷：

模型对自己的预测结果有多大把握？

这种确定性完全无法从单一整数编码中获知。

更为合理的方式是让模型输出一个概率向量。

例如：猫 0.7、狗 0.2、鸟 0.1，三个概率值之和为 1，构成一个完整的概率分布。

通过这种方式，我们不仅获得了模型的预测结果，还获得了衡量模型"自信程度"的依据。

在很多实际应用场景中，这种置信度信息至关重要。

例如医疗影像诊断：

模型 A 判定为恶性肿瘤，置信度 0.95。

模型 B 判定为恶性肿瘤，置信度 0.52。

虽然两者结论一致，但前者的预测可信度明显更高，因此更值得进一步关注。

那么问题就来了：

如何衡量模型输出的概率分布与真实标签之间的差异？

这就是交叉熵函数所要解决的问题。

交叉熵到底在计算什么？

交叉熵的核心思想其实非常简单：

如果模型把真实答案的概率预测得越高，那么损失就应该越小；

如果模型把真实答案的概率预测得越低，那么损失就应该越大。

例如有一个三分类任务：

真实答案是：

猫 = 1
狗 = 0
鸟 = 0

模型 A 的预测结果为：

猫：0.90
狗：0.05
鸟：0.05

由于模型给正确类别“猫”分配了 90% 的概率，说明模型非常有把握地预测正确，此时交叉熵损失会非常小。

而模型 B 的预测结果为：

猫：0.01
狗：0.98
鸟：0.01

虽然三个概率之和同样为 1，但模型几乎把全部概率都给了错误类别“狗”。

这意味着模型不仅预测错误，而且错得非常自信。

对于这种情况，交叉熵会给予极大的惩罚。

因此可以把交叉熵理解为一种专门衡量“预测概率质量”的损失函数。

它不仅关心模型有没有预测正确，更关心模型到底有多大的把握。

预测正确且越自信，损失越小；

预测错误且越自信，损失越大。

正因为这种特性，交叉熵能够为分类模型提供更加清晰有效的优化方向，因此成为分类任务中最主流的损失函数。

MSE 与交叉熵的核心差异

维度	MSE	交叉熵
适用任务	回归（预测连续值）	分类（预测离散类别）
输出形式	实数（如 3.5、-2.1）	概率（0~1 之间的值）
梯度特性	梯度受平方项影响较大，对异常敏感	梯度与误差成线性关系，传播更平稳
收敛行为	回归任务上收敛稳定	分类任务上收敛更快、更稳定

如何选择损失函数

判断任务类型

如果输出为连续数值 → 回归问题，如果输出为类别标签 → 分类问题。

回归任务看数据质量

如果数据包含较多异常值 → 选择 MAE 或 Huber Loss

如果数据较为干净、近似正态分布 → 选择 MSE

分类任务看类别数量

如果仅有两个类别 → 二元交叉熵（Binary Cross Entropy）

如果两个以上类别 → 多元分类交叉熵（Categorical Cross Entropy）

初学者常犯的三个错误

用 MSE 做分类任务。

这是新手最常犯的错误。

因为在分类任务中，当分类模型使用 sigmoid 或 softmax 输出概率时，如果再配合 MSE 作为损失函数，梯度在饱和区域会迅速衰减，导致训练速度明显变慢。

用交叉熵做回归任务。

交叉熵要求输出为合法的概率分布（非负且和为 1），回归任务的输出为任意实数，计算框架通常会直接报错；

即便绕过了框架检查，梯度也会完全失效，模型无法学到任何有效信息。

只监控训练损失，忽视验证损失。

许多初学者在训练过程中仅关注训练集损失持续下降这一现象便感到满意，却忽略了验证集损失可能已经开始反弹——这标志着过拟合正在发生。

正确的方法是同时监控训练损失和验证损失两条曲线，当验证损失不再下降甚至开始上升时，即使训练损失仍在降低，也应当停止训练或引入正则化手段来抑制过拟合。

零基础看懂机器学习：不用数学，只要生活经验

Thu, 04 Jun 2026 21:56:12 +0000

小时候，爸爸是怎么教你认动物的？

爸爸会指着笼子里的家伙告诉你，这是老虎，身上有条纹；

然后又指着树上的说，那是猴子，尾巴老长。

看多了以后，下次去动物园，就算看到没见过的品种，你也能猜个八九不离十。

这就是机器学习的核心思想：

爸爸给你看的动物是训练数据，他说的名字是标签，你脑子里长出来的判断能力就是模型，你能认出新品那就是预测。

所有的学习都得有人教吗？

当然不是。

比如你第一次搬新家，打开衣柜，衣服扔得乱七八糟，没人帮你整理。

你会怎么办？

你可能会自己琢磨：

这几件都是厚外套，归一块儿；

那几件是短袖T恤，放一起；

这些全是运动裤，也堆一起。

没人告诉你该怎么分，是你自己看着像的放一堆。

这就引出了机器学习的两大类别：监督学习和无监督学习。

监督学习就像爸爸带你逛动物园，有老师有答案，数据带着标签，机器知道对错。

比如，判断快递包裹是不是易碎品，每个包裹事先都标好了，是易碎还是普通。

无监督学习就像你自己收拾衣柜，没老师没答案，数据没标签，机器自己找规律。

比如，把看视频的人分成几拨，机器自己发现哪些人爱好相似。

监督学习是有人教，有标准答案；

无监督学习是自己悟，没有标准答案。

监督学习能干啥

案例1——快递站怎么知道哪个包裹要轻拿轻放

其实是工作人员先收集了几万个包裹，人工标注这个易碎，那个不易碎。

机器从这些标好的包裹里学习。

如果箱子上贴着"玻璃"“瓷器"这些字，或者包装上有向上箭头的标识，大概率就是易碎件；

如果发货地是某个工艺品集中地，也要小心。

学完后，新包裹一到，机器就能自己判断要不要贴"轻放"标签。

案例2——外卖预估送达时间

你点了一份奶茶，距离3公里，中午高峰期，下雨天，骑手手上还有两单，你肯定想知道几点能送到？

以前是靠站长凭经验估算，但经验也常有偏差。

机器学习怎么做？它先看历史订单。

比如：

上周一，同样3公里、雨天、午高峰，送了35分钟；

上周三，2公里、晴天、平峰期，送了20分钟……

学完几千单规律后，你刚下单，它就能预测：这次大概需要38分钟。

无监督学习能干啥

案例1——视频平台用户分群

假设你是某短视频平台的运营，手里有800万用户的观看记录，点赞记录、停留时长、关注列表都有。

问题是，这800万人怎么运营？

你跑一遍无监督算法，机器自动发现，用户居然能分成这么几类：

第一类，专看搞笑段子，每天刷两小时，属于纯娱乐型；

第二类，只看知识科普和纪录片，属于学习型；

第三类，天天看美食和做饭视频，应该是生活爱好者；

第四类，刷的都是穿搭和美妆，大概率是时尚人群。

机器自己就把人分好了，不需要你提前说分几类、按什么分。

然后你就可以给不同人群推不同的内容。

案例2——音乐App自动建歌单

某音乐软件曲库里有上千万首歌，不可能靠编辑一首首归类。

这时候用无监督学习，机器自动分析歌曲。

这一批歌里都有强烈的鼓点和吉他，应该是摇滚；

那一批都是钢琴和弦乐，节奏舒缓，应该是轻音乐；

还有一批全是方言说唱，应该是嘻哈类。

整个过程没人教它什么是摇滚、什么是轻音乐，都是它自己听出来的规律。

这就是无监督学习的厉害之处，让机器自己从数据里挖模式。

怎么做一个机器学习项目

数据收集

首先，没数据就没机器学习。

而且，数据质量比数量更重要。

假设你想训练一个识别狗的模型，结果你找的照片里，狗全是柯基，那训练出来的模型看到哈士奇就不认识了。

所以数据得够多、够杂、够有代表性。

数据预处理

数据收回来就能直接用吗？

不能。

为啥？

因为真实数据一般都是乱糟糟的。

什么叫乱糟糟？

比如：

外卖订单里有一条记录，配送距离写了0.01公里，这显然不对；

有的重量单位是千克，有的是斤，得统一；

有的订单没填楼层信息，这也不行。

所以这一步要清洗数据，删掉明显瞎填的，处理缺信息的，要么删了，要么补上，把所有数据转成统一的标准。

特征工程

预测外卖送达时间的时候，哪些信息有用？

距离有用、天气有用、时段有用，但骑手的手机号有用吗？

没用，订单编号也没啥用。

所以咱们得挑出对预测有帮助的信息，扔掉那些没用的。

这还不够，有时候还得造新特征。

比如我们有店铺出餐速度和配送距离，能不能组合一下？

比如"每公里所需时间"这个指标，可能比单独的两个数字更有用，因为它能反映这段路到底堵不堵。

训练模型

这一步就是让机器开始学。

你要选个合适的算法，比如线性回归、决策树、随机森林，然后把训练数据喂给它：这是1万单历史数据，你好好学学，看看距离、天气、时段跟配送时间到底啥关系。

机器就开始疯狂计算，不断调整内部参数，试图找到最好的对应关系。

这就像学生刷题，刷得越多，理解越深，考试时发挥越好。

模型评估

模型练完了能直接上线吗？

不能，得先考试。

咱们得留一部分数据不给它看，专门用来测它，这叫测试集。

如果考得不好怎么办？

那就回头检查，是不是数据不够？

是的话再去多收点数据。

是不是特征没选好？

是的话重新做特征工程。

是不是算法不合适？

是的话换一个试试。

这就是个不断试错、不断优化的过程。

模型部署

这一步就是把模型放到真实业务里去跑。

比如把外卖预估模型接到点餐App里，用户一下单，系统就实时显示"预计38分钟送达”。

但上线不是结束，而是新的开始。

为什么这么说？

因为路况在变，今天和去年同时段的路况不一样，如果一直用老模型，预测就不准了。所以要持续盯着模型表现，定期拿新订单数据重新训练，这叫模型更新。

什么是特征？

简单说，特征就是描述一件事的各种属性，是模型的输入。

预测外卖时间时，距离、天气、时段就是特征；

判断快递时，包装文字、重量、发货地就是特征；

人脸识别时，眼睛大小、鼻子高低、脸型轮廓就是特征。

特征的类型

数值型

能用数字表示的，比如年龄25岁、价格35块、温度30度。

类别型

离散的类别。

比如：

性别，男、女；

城市，北京、广州；

布尔型

是或否。

比如：

是否雨天；

是否VIP；

是否有电梯；

其实，布尔型可以看作特殊的类别型。

什么是标签？

标签就是咱们想预测的结果，是模型的输出。

机器学习里：

预测外卖时间，标签就是"38分钟"；

判断快递，标签就是"易碎"或"普通"；

诊断疾病，标签就是"健康"或"生病"；

需要注意的是，标签只在监督学习里有。

什么是模型？

其实它就是一个函数。

啥函数？

从特征到标签的映射函数，数学上写成 y = f(x)。x是输入的特征，y是输出的标签，f就是模型这个映射关系。

模型就像一个送了十年外卖的老骑手，机器学习就是让机器通过大量订单积累这种经验，然后用到新订单上。

不同的算法就是不同的积累经验的方式。

怎么评估模型？

评估就是检验模型好不好，但用啥指标，得看任务类型。

分类任务

比如判断快递是不是易碎，最常用的是准确率，看预测对了多少。

比如100个包裹，你猜对了95个，准确率就是95%。

但有时候光看准确率不够。

比如做疾病筛查，1000个人里只有1个真的有病，模型偷懒，全预测成健康，准确率还有99.9%，但那个真有病的人被漏了，这能行吗？

所以还得看召回率，真正有病的人里，你找出来了多少？

这就是为啥需要多种指标一起看。

回归任务

比如预测外卖时间，常用的是平均绝对误差（MAE），预测时间和真实时间平均差多少？

比如：

预测时间平均误差3分钟，说明还挺靠谱；

如果平均误差20分钟，那就差太远了。

还有，R²系数取值通常在0到1之间，越接近1说明模型越好。