注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

网事

备忘录

 
 
 

日志

 
 

基于LUCENE的中分分词器对比  

2010-12-04 10:09:03|  分类: Java |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
针对目前基于lucene的中文切词器,我做了一个测试。下面将测试结果报上来,请大家思量:

进行测试的文本大小:3.18 MB (3,341,520 字节)


IK3.1.5GA最细粒切分:
最快:5140ms 最慢:5203ms 平均得分:5176.7ms

IK3.1.5GA最大切分
最快:5125ms 最慢:5250ms 平均得分:5203ms

paoding-analysis-2.0.4-beta
最快:2375ms 最慢:2516ms 平均得分:2401.7ms

mmseg4j-all-1.8.2-with-dic
最快:2204ms 最慢:2234ms 平均得分:2224ms

je-analyzer-1.5.1
最快:6375ms 最慢:6468ms 平均得分:6400.3ms

也许大家看了这样的一个结果就认为最好的是: mmseg,但是其实不然。这里没有最好的说法,只有最适合你自己的。而且,衡量这个测试结果的有很多,这里的IK是词典最丰富的一个切词器,所以加载词典占用的时间就比较长了,然后je却有辨别歧义的能力。

附上各个切词结果:

范文:"11月16日下午13时,美国总统奥巴马在上海科技馆发表演讲,并回答中国青年学生的提问。在演讲中,奥巴马谈到中美关系时,引用中国古话“温故而知新”。"

IK3.1.5GA最细粒切分:
11/月/16/日下/日/下午/13/时/美国总统/美国/总统/奥/巴马/在上/上海/科技馆/科技/发表/表演/演讲/并回/回答/中国青年/中国 /青年学生/青年学/青年/学生/提问/在演/演讲/中/奥/巴马/谈到/中美关系/中美/关系/时/引用/中国古/中国/古话/温故而知新/温故/故而 /而知

IK3.1.5GA最大切分:
11/月/16/日下/日/下午/13/时/美国总统/奥/巴马/在上/上海/科技馆/发表/表演/演讲/并回/回答/中国青年/青年学生/提问/在演/演讲/中/奥/巴马/谈到/中美关系/时/引用/中国古/古话/温故而知新

paoding-analysis-2.0.4-beta:
11/月/16/日/下午/13/时/美国/总统/奥/巴马/在上/上海/科技/科技馆/发表/表演/演讲/并回/回答/中国/青年/青年学/学生/生的/提问/在演/演讲/中/奥/巴马/谈到/中美/关系/时/引用/中国/古话/温故/故而/而知/温故而知新

mmseg4j-all-1.8.2-with-dicComplexAnalyzer)
11/月/16/日/下午/13/时/美国总统/奥/巴/马/在/上海/科技馆/发表/演讲/并/回答/中国青年/学生/的/提问/在/演讲/中/奥/巴/马/谈到/中美关系/时/引用/中国/古话/温故而知新

mmseg4j-all-1.8.2-with-dicMaxWordAnalyzer)
11/月/16/日/下午/13/时/美国/总统/奥/巴/马/在/上海/科技/馆/发表/演讲/并/回答/中国/青年/学生/的/提问/在/演讲/中/奥/巴/马/谈到/中美/关系/时/引用/中国/古话/温故/故而/而知/新

mmseg4j-all-1.8.2-with-dicMMSegAnalyzer)
11/月/16/日/下午/13/时/美国/总统/奥/巴/马/在/上海/科技/馆/发表/演讲/并/回答/中国/青年/学生/的/提问/在/演讲/中/奥/巴/马/谈到/中美/关系/时/引用/中国/古话/温故/故而/而知/新

mmseg4j-all-1.8.2-with-dicSimpleAnalyzer)
11/月/16/日/下午/13/时/美国总统/奥/巴/马/在上/海/科技馆/发表/演讲/并/回答/中国青年/学生/的/提问/在演/讲/中/奥/巴/马/谈到/中美关系/时/引用/中国古/话/温故而知新

je-analyzer-1.5.1:
11月/16日/下午/13时/美国总统/奥巴马/上海/科技馆/发表/演讲/回答/中国青年/学生/提问/演讲/中/奥巴马/谈到/中美关系/时/引用/中国/古话/温故而知新

imdict-chinese-analyzer-java5(SmartChineseAnalyzer-true):
11/月/16/日/下午/13/时/美国/总统/奥/巴马/在/上海/科技馆/发表/演讲/并/回答/中国/青年/学生/的/提问/在/演讲/中/奥/巴马/谈/到/中/美/关系/时/引用/中国/古话/温/故而/知/新

imdict-chinese-analyzer-java5(SmartChineseAnalyzer-false):
11/月/16/日/下午/13/时/,/美国/总统/奥/巴马/在/上海/科技馆/发表/演讲/,/并/回答/中国/青年/学生/的/提问/,/在/演讲/中/,/奥/巴马/谈/到/中/美/关系/时/,/引用/中国/古话/,/温/故而/知/新/,/,

imdict-chinese-analyzer-java5(ChineseAnalyzer):
月/日/下/午/时/美/国/总/统/奥/巴/马/在/上/海/科/技/馆/发/表/演/讲/并/回/答/中/国/青/年/学/生/的/提/问/在/演/讲/中/奥/巴/马/谈/到/中/美/关/系/时/引/用/中/国/古/话/温/故/而/知/新

imdict-chinese-analyzer-java5(CJKAnalyzer):
11/月/16/日下/下午/13/时/美国/国总/总统/统奥/奥巴/巴马/马在/在上/上海/海科/科技/技馆/馆发/发表/表演/演讲/并回/回答 /答中/中国/国青/青年/年学/学生/生的/的提/提问/在演/演讲/讲中/奥巴/巴马/马谈/谈到/到中/中美/美关/关系/系时/引用/用中/中国 /国古/古话/温故/故而/而知/知新

请大家仔细分析切词后的结果,选择适合自己的。
  评论这张
 
阅读(603)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018