Skip Connection

释义 Definition（中文）

跳跃连接 / 残差连接：在神经网络中，把较早层的输出绕过若干中间层，直接与后面层的输出相加或拼接（常见为相加），以改善梯度传播、缓解深层网络训练困难，并帮助信息更直接地流动。常用于 ResNet、Transformer 等架构。（也常写作 skip-connection 或称 shortcut connection / residual connection。）

发音 Pronunciation（IPA）

/skɪp kəˈnɛkʃən/

例句 Examples

A skip connection helps a deep network train more easily.
跳跃连接能让深层网络更容易训练。

In this model, we add a skip connection so the input can be combined with the output after several nonlinear layers, improving gradient flow and stability.
在这个模型中，我们加入跳跃连接，使输入能在经过多层非线性变换后与输出合并，从而改善梯度流动与训练稳定性。

词源 Etymology（中文）

skip 意为“跳过”，connection 意为“连接”。合起来直观表达其结构：数据流在网络图中“跳过”一些层，直接建立一条额外的连接通路。该术语在深度学习文献中随残差网络（Residual Networks）的普及而广为使用。

相关词 Related Words

• Residual
• Shortcut
• Identity
• Gradient
• Backpropagation
• Normalization
• Transformer
• Resnet

文学与名著作品 Literary & Notable Works

• Deep Residual Learning for Image Recognition（Kaiming He 等）：系统推广残差结构与（shortcut/skip）连接思想。
• Attention Is All You Need（Vaswani 等）：Transformer 中广泛使用残差（skip）连接与层归一化。
• Dive into Deep Learning（《动手学深度学习》）：在讲解 ResNet/Transformer 等章节中使用并解释 skip/residual connections。