逻辑回归为什么使用交叉熵而不用均方差?

逻辑回归为什么使用交叉熵而不用均方差?或者说逻辑回归的损失函数为什么不用最小二乘?

下面主要从两个角度进行阐述:

  • 从逻辑回归的角度出发,逻辑回归的预测值是一个概率,而交叉熵又表示真实概率分布与预测概率分布的相似程度,因此选择使用交叉熵
  • 从均方差(MSE)的角度来说,预测值概率与欧式距离没有任何关系,并且在分类问题中,样本的值不存在大小比较关系,与欧式距离更无关系,因此不适用MSE

    1、损失函数的凸性(使用MSE可能会陷入局部最优)

    前面我们在介绍线性回归时,我们用到的损失函数是误差(残差)平方和

    L = ∑ i = 1 m ( y i − y ^ i ) 2 = ∑ i = 1 m ( y i − x i ω ) 2 L=\sum_{i=1}^m(y_i-\hat y_i)^2=\sum_{i=1}^m(y_i-x_i\omega)^2 L=i=1∑m​(yi​−y^​i​)2=i=1∑m​(yi​−xi​ω)2

    这是一个凸函数,有全局最优解

    如果逻辑回归也使用误差平方和,由于逻辑回归假设函数的外层函数是Sigmoid函数,Sigmoid函数是一个复杂的非线性函数,这就使得我们将逻辑回归的假设函数代入上式时,即

    L = ∑ i = 1 m ( y i − 1 1 + e − x i ω ) 2 L=\sum_{i=1}^m\left(y_i-\frac{1}{1+e^{-x_i\omega}}\right)^2 L=i=1∑m​(yi​−1+e−xi​ω1​)2

    那么,我们得到的 L L L是一个非凸函数,不易优化,容易陷入局部最优解。所以逻辑回归的损失函数使用的是对数损失函数(Log Loss Function)

    在逻辑回归(详见:传送门)一文中,我们已经给出了KL散度与交叉熵的关系

    交叉熵 = K L 散度 + 信息熵 交叉熵=KL散度+信息熵 交叉熵=KL散度+信息熵

    即交叉熵等于KL散度加上信息熵。而信息熵是一个常数,并且在计算的时候,交叉熵相较于KL散度更容易,所以我们直接使用了交叉熵作为损失函数

    因此,我们在最小化交叉熵的时候,实际上就是在最小化 KL散度,也就是在让预测概率分布尽可能地与真实概率分布相似

    2、MSE的损失小于交叉熵的损失(导致对分类错误点的惩罚不够)

    逻辑回归的数学表达式如下

    h θ ( x ) = g ( θ T x ) = 1 1 + e − θ T x h_\theta(x)=\rm g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}} hθ​(x)=g(θTx)=1+e−θTx1​

    对于一元逻辑回归,其预测值为

    y ^ = σ ( ω x + b ) \hat y = \sigma(\omega x+b) y^​=σ(ωx+b)

    其中, σ \sigma σ为Sigmoid函数

    如果使用均方差作为损失函数,我们以一个样本为例,为方便计算,我们给均方差除以2(不改变函数的单调性)

    C = 1 2 ( y − y ^ ) 2 C=\frac{1}{2}(y-\hat y)^2 C=21​(y−y^​)2

    其中 y ^ \hat y y^​= σ ( z ) \sigma(z) σ(z)= 1 1 + e − z \frac{1}{1+e^{-z}} 1+e−z1​, z z z= ω x + b \omega x+b ωx+b,使用梯度下降法对 ω \omega ω进行更新,那么就需要将损失函数对 ω \omega ω进行求偏导数

    ∂ C ∂ ω = ( y − y ^ ) σ ′ ( z ) x = ( y − y ^ ) y ^ ( 1 − y ^ ) x \frac{\partial C}{\partial \omega}=(y-\hat y)\sigma'(z)x=(y-\hat y)\hat y(1-\hat y)x ∂ω∂C​=(y−y^​)σ′(z)x=(y−y^​)y^​(1−y^​)x

    具体计算过程可参考如下或文末参考文章

    可以看到,均方差损失函数的梯度与激活函数(Sigmoid函数)的梯度成正比,当预测值接近于1或0时,梯度会变得非常小,几乎接近于0,这样会导致当真实值与预测值差距很大时,损失函数收敛的很慢,无法进行有效学习,与我们的期望不符合

    因此,如果使用均方差损失,训练的时候可能看到的情况是预测值和真实值之间的差距越大,参数调整的越小,训练的越慢

    如果使用交叉熵作为损失函数,对于二分类问题,交叉熵的形式是由极大似然估计下概率的连乘然后取对数得到的(推导见文章:传送门)

    C = − [ y ln ⁡ y ^ + ( 1 − y ) ln ⁡ ( 1 − y ^ ) ] C=-[y\ln \hat y +(1-y)\ln (1-\hat y)] C=−[ylny^​+(1−y)ln(1−y^​)]

    关于 ω \omega ω求偏导数得

    ∂ C ∂ ω = ( σ ( z ) − y ) x \frac{\partial C}{\partial \omega}=(\sigma(z)-y)x ∂ω∂C​=(σ(z)−y)x

    可以看到,交叉熵损失函数的梯度和当前预测值与真实值之间的差是有关的,没有受到Sigmoid函数的梯度的影响,且真实值与预测值的差越大,损失函数的梯度就越大,更新的速度也就越快,这正是我们想要的

    参考文章:https://zhuanlan.zhihu.com/p/453411383?login=from_csdn