小小程序员
2021-05-14 15:42:53
Log-Cosh损失函数
对数双曲余弦是一种比L2更为平滑的损失函数，利用双曲余弦来计算预测误差：
其优点在于对于很小的误差来说log(cosh(x))与（x**2）/2很相近，而对于很大的误差则与abs(x)-log2很相近。这意味着logcosh损失函数可以在拥有MSE优点的同时也不会受到局外点的太多影响。它拥有Huber的所有优点，并且在每一个点都是二次可导的。二次可导在很多机器学习模型中是十分必要的，例如使用牛顿法的XGBoost优化模型（Hessian矩阵）。
但是Log-cosh损失并不是完美无缺的，它还是会在很大误差的情况下梯度和hessian变成了常数。
5
条内容
机器学习中的所有算法都依靠最小化或最大化函数，我们将其称为“目标函数”。被最小化的函数就被称为“损失函数”。损失函数也能衡量预测模型在预测期望结果方面的性能。找到函数的最小值点的最常用方法是“梯度下降”。如果把损失函数比作连绵起伏的山峦，那么梯度下降就好比愚公一样尽力削低山脉，让山达到最低点。
损失函数，并非只有一种。根据不同的因素，包括是否存在异常值，所选机器学习算法，梯度下降的的时效，找到预测的置信度和导数的难易度，我们可以选择不同的损失函数。本文就带领大家学习不同的损失函数，以及它们如何在数据科学和机器学习中帮助我们。
损失函数，并非只有一种。根据不同的因素，包括是否存在异常值，所选机器学习算法，梯度下降的的时效，找到预测的置信度和导数的难易度，我们可以选择不同的损失函数。本文就带领大家学习不同的损失函数，以及它们如何在数据科学和机器学习中帮助我们。