Tied Weights

Definition 定义

Tied weights（权重绑定/共享权重）：在机器学习/神经网络中，指多个位置（如编码器与解码器、不同层或不同分支）使用同一组参数（权重），从而减少参数量、加强结构约束，常见于自编码器（autoencoder）与某些语言模型/序列模型的设计中。也常叫 weight tying / parameter tying。

Pronunciation 发音（IPA）

/taɪd weɪts/

Examples 例句

In this autoencoder, we use tied weights to reduce the number of parameters.
在这个自编码器里，我们使用权重绑定来减少参数数量。

By constraining the decoder to reuse the encoder’s matrix through tied weights, the model often generalizes better and avoids overfitting on small datasets.
通过让解码器通过权重绑定复用编码器的矩阵，模型通常能更好地泛化，并在小数据集上降低过拟合风险。

Etymology 词源

tied 来自动词 tie（“绑、系、连接”），表示“被绑定在一起的”；weights 原指“重量”，在神经网络里借喻为“权重参数”。tied weights 直译是“被绑在一起的权重”，引申为“多处共享同一组权重参数”。

Related Words 相关词

• Weight Sharing
• Shared Parameters
• Parameter Tying
• Autoencoder
• Encoder
• Decoder
• Regularization
• Siamese Network

Literary Works 出处（常见于学术/教材）

• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville，2016）：讨论参数共享/权重绑定等结构性约束。
• “Reducing the Dimensionality of Data with Neural Networks”（Hinton & Salakhutdinov，2006）：自编码器相关内容中常涉及编码器/解码器权重共享（tied weights）这一设计。
• 多篇关于自编码器（autoencoders）与表示学习（representation learning）的论文与课程讲义中，“tied weights”作为常见术语出现。