求扩展思路。曹政@caoz 的开发工程师招聘问题三：如何实现一个快速有效的，基于自定义词典精确匹配的分词系统？
jason52 · 2014-08-10 14:59:31 +08:00 · 2448 次点击这是一个创建于 3540 天前的主题，其中的信息可能已经有所发展或是发生改变。
一个典型问题，目前政府有屏蔽词表，每个网站都要遵守，发帖的时候会自动替换屏蔽词；另一个场景是诸如新浪新闻等媒体往往有商业词表，发新闻的时候会自动建立关键词铆接。这个相当于一个简单的基于词典的分词系统，下面的问题就是，如何实现一个快速有效的，基于自定义词典精确匹配的分词系统，一是要满足每天几万篇，几十万篇文章发布的要求；另一个必须的要求是，当词库倍增扩展时（比如10万词），效率的影响不允许是线性降低的。
 |
1
beordle 2014-08-10 20:40:24 +08:00 via Android
用树呗
|
|
2
beordle 2014-08-10 20:41:22 +08:00 via Android
根本不需要分词啊
|
 |
3
n0rmrx 2014-08-11 08:45:46 +08:00 via iPhone
trie
|
Select Language