最好多多推荐一些对中国本土的一些互联网用词——比如说“卧槽,给力,牛逼,好六,六六六,水贴,爆吧,女票,男票,蓝孩子,孩纸”之类的俚语也能有很好的分词能力的中文分词api就好了。
回复内容:稍微体验过的,简单收录下
哈工大:语言云(语言技术平台云 ltp-cloud)东北大学niutrans统计机器翻译系统:东北大学自然语言处理实验室中科院张华平博士ictclas :nlpir汉语分词系统波森科技:首页 - bosonnlp
结巴:fxsjy/jieba · githubansj分词:中国自然语言开源组织没有特别对比,2和3貌似没有api楼上暴君说得很详细了,我就贴一个我觉得分词最准确的一个吧
http://bosonnlp.com/
总的来说很准确,当然也不是任何时候都管用...... 233333333
结巴分词。项目地址:fxsjy/jieba · github
>>>seg_list = jieba.cut(他来到了网易杭研大厦) >>>print , .join(seg_list)他, 来到, 了, 网易, 杭研, 大厦
pullword在线分词服务__api服务_api服务_api store除了jieba补充两个,一个是哈工大的语言云,另一个是波森科技的nlp api。不过我没有对这三者进行横向测评过。我用过jieba效果还阔以,用的不多。 不过听说stanfordnlp也支持中文分词,容我崇洋媚外一把 也许stanford更牛逼一点张华平博士的东西什么都好,就是要定期更新用户授权我用过腾讯文智的api觉得还行,简单,分词效果不错。可以试一试词云的制作方法以前用的庖丁解牛分词器 ,不过是潜入到lucene里面用的。对中文分词 挺不错的