@elfive
官方的说明是这样的。
Data collection.
Our training data contains large-scale text collected from news, webpages, and novels. Text data from diverse domains enables the coverage of various types of words and phrases. Moreover, the recently collected webpages and news data enable us to learn the semantic representations of fresh words.

Vocabulary building. To enrich our vocabulary, we involve phrases in Wikipedia and Baidu Baike. We also apply the phrase discovery approach in Corpus-based Semantic Class Mining: Distributional vs. Pattern-Based Approaches, which enhances the coverage of emerging phrases.

大概是说用了新闻、网页、小说、维基百科、百度百科的数据。
没提到聊天数据，不过新闻网页都有评论数据，可能也是数据来源之一。

@DEANHZED emmmmmmmmmmmm

@devallin 降重可能有其他的方法，这个模型计算词与词之间的相似度好用。句子和句子之间不好直接用。

@nieyujiang 搞错了，重来。
{
"top_similar_words":[
[
"烤串儿",
0.927384614944458
],
[
"羊肉串",
0.894095778465271
],
[
"肉串",
0.8555537462234497
],
[
"烤腰子",
0.8516057729721069
],
[
"撸串",
0.8469321727752686
],
[
"涮串",
0.8465385437011719
],
[
"大肉串",
0.8420960903167725
],
[
"烤肉串",
0.838364839553833
],
[
"牛肉串",
0.8371975421905518
],
[
"烤海鲜",
0.8364357948303223
],
[
"烧烤摊",
0.8351374864578247
],
[
"炸串",
0.8339198231697083
],
[
"烧烤",
0.831093430519104
],
[
"烤羊肉串",
0.8277176022529602
],
[
"各种烤串",
0.8274507522583008
],
[
"烤鱿鱼",
0.8235615491867065
],
[
"烤羊腿",
0.8228681683540344
],
[
"烤猪蹄",
0.8225207328796387
],
[
"烤生蚝",
0.8220213055610657
],
[
"吃串",
0.820912778377533
]
],
"word":"烤串"
}

@nieyujiang
还有呢，烤串相似词：
```json
{
"top_similar_words":[
[
"我觉得 ok",
0.6393940448760986
],
[
"emmmmmmm",
0.6306545734405518
],
[
"hhhh",
0.6229800581932068
],
[
"hhhhh",
0.6225401163101196
],
[
"不存在的",
0.6077110767364502
],
[
"溜了溜了",
0.603063702583313
],
[
"hhhhhhh",
0.6008774638175964
],
[
"emmmm",
0.6002634167671204
],
[
"emmm",
0.5958442687988281
],
[
"emmmmm",
0.592516303062439
],
[
"阿喵",
0.5918310880661011
],
[
"哈哈哈",
0.590988039970398
],
[
"略略略",
0.590296745300293
],
[
"hhhhhh",
0.5870903730392456
],
[
"微笑脸",
0.5860881209373474
],
[
"tan90°",
0.5825910568237305
],
[
"没毛病",
0.5802331566810608
],
[
"233333",
0.5794929265975952
],
[
"我觉得不行",
0.5762011408805847
],
[
"就酱",
0.5751103162765503
]
],
"word":"ojbk"
}
```

@nieyujiang 哈哈 不知道晚上吃啥就用这个模型推荐

群还在。😄

爱莫能助，赞楼主。

very funny

同病相怜，早点接受 or 攒钱植发。

@yinzhili 发现全部的 repo 已经在 public 组里了，更正了一下配置，已经可以下载了，不过特别慢（可能依赖的 jar 比较多）。

@Aruforce
@lc7029
感谢，这样发布代码的时候会有问题吗
不同 type 的 repo，如: group hosted proxy 也可以加到一组中吗

@quietnight 简单了解了一下，tf serving 应该是足够满足需求的，不过 tf 会比较重。
@littleylv 没关系哈 握抓。


总体来说，大家都推荐用创建多个服务，服务间用 http/rpc 通信。
简单总结一下可能的方案：

1. python web 框架（ flask / django ）+python 机器学习框架 （ sklearn ） + [可选] Java web 框架（ spring boot ）

2. java 机器学习库(dl4j、weka)/自己实现库 + Java web 框架（ spring boot ）

3. tensorflow serving + [可选] Java web 框架（ spring boot ）

4. php + php mod 用 C/C++ 扩展机器学习库


相关的参考：
1. [flask + sklearn]( https://towardsdatascience.com/a-flask-api-for-serving-scikit-learn-models-c8bcdaa41daa)
2. [tensorflow serving]( https://www.tensorflow.org/tfx/serving/serving_basic)

@lihongjie0209 rpc+1，不过可能这里涉及另外一个问题，rpc 还是 http+json
@secsilm +1
@luozic +1
@littleylv 可否详细说说？
@liuxu php 虽然最好还不懂，😄。用 c 做 php 扩展直接实现算法库？

bug

@mxT52CRuqR6o5 会减少一些造轮子！不过又会加一套开发语言以及一堆框架过来。😄。


@Raymon111111 可能我没表述清晰，不是这个问题。

@ayase252 感谢，我也是这么想的。

@dswyzx 感谢，明白，就是再启一个子服务，用 python 实现。


@ml1344677 感谢回复，java 机器学习库有没有一些推荐？
「 python 的优势就是库多呗」，对的就是想利用这一点。
其实本质是想了解一下实现这样一个算法 API，后台的大致架构是怎么样的？
怎么解决算法库的问题，自己实现还是复用现有的库，如果算法库和后台实现跨语言的话怎么解决呢？


@MinQ 感谢，真的可以这样哈哈。


@sadfQED2 感谢，原来真的是这样，之前只是猜测！


@LeeSeoung 感谢，dl4j 好评。大致理解实现方式了！

已经沦为网上吹牛群，欢迎来啊。😂😂😂。

手动点赞，文章清晰易懂。