小小程序员
2021-05-14 15:40:59
Huber损失——平滑平均绝对误差
Huber损失相比于平方损失来说对于局外点不敏感，但它同样保持了可微的特性。它基于绝对误差但在误差很小的时候变成了平方误差。我们可以使用超参数δ来调节这一误差的阈值。当δ趋向于0时它就退化成了MAE,而当δ趋向于无穷时则退化为了MSE，其表达式如下，是一个连续可微的分段函数：
对于Huber损失来说，δ的选择十分重要，它决定了模型处理局外点的行为。当残差大于δ时使用L1损失，很小时则使用更为合适的L2损失来进行优化。
Huber损失函数克服了MAE和MSE的缺点，不仅可以保持损失函数具有连续的导数，同时可以利用MSE梯度随误差减小的特性来得到更精确的最小值，也对局外点具有更好的鲁棒性。
但Huber损失函数的良好表现得益于精心训练的超参数δ。
5
条内容
机器学习中的所有算法都依靠最小化或最大化函数，我们将其称为“目标函数”。被最小化的函数就被称为“损失函数”。损失函数也能衡量预测模型在预测期望结果方面的性能。找到函数的最小值点的最常用方法是“梯度下降”。如果把损失函数比作连绵起伏的山峦，那么梯度下降就好比愚公一样尽力削低山脉，让山达到最低点。
损失函数，并非只有一种。根据不同的因素，包括是否存在异常值，所选机器学习算法，梯度下降的的时效，找到预测的置信度和导数的难易度，我们可以选择不同的损失函数。本文就带领大家学习不同的损失函数，以及它们如何在数据科学和机器学习中帮助我们。
损失函数，并非只有一种。根据不同的因素，包括是否存在异常值，所选机器学习算法，梯度下降的的时效，找到预测的置信度和导数的难易度，我们可以选择不同的损失函数。本文就带领大家学习不同的损失函数，以及它们如何在数据科学和机器学习中帮助我们。