Batchnorm

释义 Definition

Batchnorm 是 batch normalization（批量归一化） 的常用简称，指在训练神经网络时，对每一批（batch）数据的中间激活值进行标准化（并带可学习的缩放与平移），以稳定分布、加速收敛并提升训练效果。（在不同语境下也可能泛指该层/该操作。）

例句 Examples

We added batchnorm after each convolution layer to make training more stable.
我们在每个卷积层后加入了 batchnorm，使训练更稳定。

Although batchnorm can speed up convergence, it may behave differently when batch sizes are very small, so we tuned the settings carefully.
尽管 batchnorm 能加快收敛，但在 batch 很小时表现可能不同，因此我们仔细调整了相关设置。

发音 Pronunciation

/ˈbætʃ nɔːrm/

词源 Etymology

Batchnorm 来自短语 batch normalization 的口语/书面缩写：batch（一批数据）+ norm（normalization 的缩写，表示“归一化/规范化”）。该术语在深度学习论文与工程实践中常被简化使用。

相关词 Related Words

• Normalization
• Batch
• Layer
• Activation
• Regularization
• Dropout
• Convergence
• Gradient
• Residual
• Inference

文献/作品 Notable Works

• **Ioffe & Szegedy (2015)**：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift（提出 Batch Normalization 的经典论文）
• Ian Goodfellow, Yoshua Bengio, Aaron Courville：Deep Learning（系统介绍归一化等训练技巧）
• Aurélien Géron：Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow（工程实践中常讨论 BatchNorm/BatchNormalization 层）