Cross-Entropy Loss

释义 Definition（中文）

交叉熵损失：机器学习中常用的损失函数，用来衡量模型预测的概率分布与真实标签分布之间的差异；在分类任务里常表现为对“真实类别概率”的惩罚（预测越偏离真实类别，损失越大）。也常被称为 log loss（对数损失） 或与 负对数似然密切相关。

发音 Pronunciation（IPA）

/ˌkrɔːs ˈɛntrəpi lɔːs/

例句 Examples

The model achieved a low cross-entropy loss after training.
训练后，模型的交叉熵损失变得很低。

To stabilize training, we minimized cross-entropy loss with softmax outputs and used regularization to reduce overfitting.
为稳定训练，我们对 softmax 输出最小化交叉熵损失，并使用正则化来减少过拟合。

词源 Etymology（中文）

cross-entropy 来自信息论术语：entropy（熵） 表示不确定性；在比较两个概率分布时，交叉熵用于度量“用一个分布去编码另一个分布”所需的平均信息量。loss 在机器学习里指训练时要最小化的目标值，因此 cross-entropy loss 就是“以交叉熵作为训练目标的损失函数”。

相关词 Related Words

• Classification
• Entropy
• Gradient Descent
• KL Divergence
• Log-Loss
• Loss Function
• Maximum Likelihood
• Negative Log-Likelihood
• Softmax

文学与著作中的用例 Literary Works

• Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning（《深度学习》）：在分类与神经网络训练章节中系统使用交叉熵损失。
• Christopher M. Bishop, Pattern Recognition and Machine Learning（《模式识别与机器学习》）：以概率视角讨论对数似然/交叉熵与分类模型。
• Thomas M. Cover & Joy A. Thomas, Elements of Information Theory（《信息论基础》）：介绍交叉熵等信息论概念及其意义。
• Kevin P. Murphy, Machine Learning: A Probabilistic Perspective（《机器学习：概率视角》）：在概率建模与分类损失部分频繁出现。