关于统计语言模型和神经网络语言模型

[mikezhang0515]

统计语言模型好理解，根据语料库计算整句话的概率，即可根据进行判断

那么神经网络语言模型如何对整句话的类别进行判断？这个想不清楚啊。

我已理解单个词 的 词向量，但是不知道词向量怎么运用到整句话的类别判断上

[glennq]

类别判断？语言模型的目的本来就只是给句子一个概率啊

[chlx]

推荐下这个系列，写得非常棒：

http://www.flickering.cn/ads/2015/02/%E8%AF%AD%E4%B9%89%E5%88%86%E6%9E%90%E7%9A%84%E4%B8%80%E4%BA%9B%E6%96%B9%E6%B3%95%E4%B8%80/

http://www.flickering.cn/author/vincentyao/

[mikezhang0515]

@glennq 是这样的，我们需要做文章进行分类，只要收集一些类别进行建模，就可以按照概率进行类别划分，对吧。

但是如果使用神经网络模型，里面都是词向量，我实在想不出来这个该如何进行文章分类

[mikezhang0515]

@chlx 谢谢，这个看过，但还是不太理解，可能在自然语言模型上的惯性太大了。。老想着概率该如何计算

[snnn]

好专业！！！！

[glennq]

@mikezhang0515 首先“语言模型(Language Model)”是一个专有名词，主要目的是给定一个句子，能估算出其在这门语言中的出现概率。传统做法一般是 n-gram ，而神经网络一般是用 RNN+LSTM 。
文本分类又是另一个自然语言处理中的问题，一般做法是从每个文本中提取特征，然后就可以用任何有监督学习的方法来做了。至于词向量，你可以认为是给每个词的特征，想办法把这些组合起来变成整个文本的特征，之后就是同一个套路了

[mikezhang0515]

@glennq 对于词向量间，通过夹角能够得出同义词，那么通过什么可以得到相关性呢？看了很多文章，没有人这么提。

[mikezhang0515]

@glennq 可能相关性不是很明确，固定短语间，词向量会存在什么联系呢？