游客

标题:当前几个主要的Lucene中文分词器的比较
正文:
1. 基本介绍：paoding ：Lucene中文分词“庖丁解牛” Paoding Analysisimdict ：imdict智能词典所采用的智能中文分词程序mmseg4j ： 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理器分析模式2. 开发者及开发活跃度：paoding ：qieqie.wang， google code 上最后一次代码提交：2008-06-12，svn 版本号 132imdict ：XiaoPingGao， 进入了 lucene contribute，lucene trunk 中 contrib/analyzers/smartcn/ 最后一次提交：2009-07-24，mmseg4j ：chenlb2008，google code 中 2009-08-03 （昨天），版本号 57，log为：mmseg4j-1.7 创建分支ik ：linliangyi2005，google code 中 2009-07-31，版本号 413. 用户自定义词库：paoding ：支持不限制个数的用户自定义词库，纯文本格式，一行一词，使用后台线程检测词库的更新，自动编译更新过的词库到二进制版本，并加载imdict ：暂时不支持用户自定义词库。但 原版 ICTCLAS 支持。支持用户自定义 stop wordsmmseg4j ：自带sogou词库，支持名为 wordsxxx.dic， utf8文本格式的用户自定义词库，一行一词。不支持自动检测。 -Dmmseg.dic.pathik ： 支持api级的用户词库加载，和配置级的词库文件指定，无 BOM 的 UTF-8 编码，rn 分割。不支持自动检测。4. 速度（基于官方介绍，非自己测试）paoding ：在PIII 1G内存个人机器上，1秒 可准确分词 100万 汉字imdict ：483.64 (字节/秒)，259517(汉字/秒)mmseg4j ：
[<<][[1]][2][3][>>]

查看评论(0)
发表评论



首页