交叉熵损失函数

交叉熵损失函数的梯度是不仅包含正样本的梯度信息,也包含负样本的梯度信息

虽然交叉熵损失函数在计算loss时,只计算正样本的-log,但是由于经过了softmax,softmax的分母中存在负样本的概率值,所以在梯度计算时对负样本也有相应的梯度。