Language Model

释义 Definition

语言模型：一种用来表示和预测自然语言中词/字符出现概率的模型，常用于生成文本、语音识别、机器翻译与信息检索等。（也常泛指各类用于处理语言的统计或神经网络模型。）

发音 Pronunciation

/ˈlæŋɡwɪdʒ ˈmɑːdəl/

例句 Examples

I built a small language model for my class project.
我为课堂项目做了一个小型语言模型。

Modern translation systems rely on a language model to score how natural a sentence sounds, not just whether words match.
现代翻译系统不仅看词是否对应，还依赖语言模型来给句子“自然程度”打分。

词源 Etymology

language model 是由 language（语言） + model（模型） 组合而成的技术术语。早期在信息论与计算语言学中常与“用概率描述语言”的思想相关；此后在语音识别、统计机器翻译中广泛使用，近年来又常指基于深度学习的大规模神经网络语言模型。

相关词 Related Words

• Language
• Model
• Corpus
• Token
• N-gram
• Perplexity
• Transformer
• Neural Network
• Machine Translation
• Speech Recognition

文献与著作 Notable Works

• Claude E. Shannon (1948), A Mathematical Theory of Communication（以信息论视角讨论对语言序列的概率建模思想）
• Fred Jelinek (1976/1990s, 多篇论文与专著相关内容)，语音识别领域中语言模型的经典工作
• Peter F. Brown et al. (1990), A Statistical Approach to Machine Translation（统计机器翻译中语言模型的重要早期文献）
• Daniel Jurafsky & James H. Martin, Speech and Language Processing（教材中系统讲解 language model 的概念与方法）