frisoC 語(yǔ)言開(kāi)源高性能中文分詞器
Friso是使用c語(yǔ)言開(kāi)發(fā)的一款開(kāi)源的高性能中文分詞器,使用流行的mmseg算法實(shí)現(xiàn)。完全基于模塊化設(shè)計(jì)和實(shí)現(xiàn),可以很方便的植入其他程序中,例如:MySQL,PHP,源碼無(wú)需修改就能在各種平臺(tái)下編譯使用,加載完20萬(wàn)的詞條,內(nèi)存占用穩(wěn)定為14.5M.
1、目前最高版本:friso 1.6.1,同時(shí)支持對(duì)UTF-8/GBK編碼的切分,綁定了php擴(kuò)展和sphinx token插件
2、三種切分模式:
(1).簡(jiǎn)易模式:FMM算法,適合速度要求場(chǎng)合。
(2).復(fù)雜模式-MMSEG四種過(guò)濾算法,具有較高的岐義去除,分詞準(zhǔn)確率達(dá)到了98.41%。
(3).(!New)檢測(cè)模式:只返回詞庫(kù)中已有的詞條,很適合某些應(yīng)用場(chǎng)合。(1.6.1版本開(kāi)始)
請(qǐng)參考本算法的原作:http://technology.chtsai.org/mmseg/。
3、支持自定義詞庫(kù)。在dict文件夾下,可以隨便添加/刪除/更改詞庫(kù)和詞庫(kù)詞條,并且對(duì)詞庫(kù)進(jìn)行了分類(lèi)。
4、簡(jiǎn)體/繁體/簡(jiǎn)繁體混合支持, 詞庫(kù)使用了friso的Java版本jcseg的簡(jiǎn)化詞庫(kù)。
5、支持中英/英中混合詞的識(shí)別(維護(hù)詞庫(kù)可以識(shí)別任何一種組合)。例如:卡拉ok, 漂亮mm, c語(yǔ)言,IC卡,哆啦a夢(mèng)。
7、很好的英文支持,英文標(biāo)點(diǎn)組合詞識(shí)別, 例如c++, c#, 電子郵件,網(wǎng)址,小數(shù),分?jǐn)?shù),百分?jǐn)?shù)。
8、(!New)自定義保留標(biāo)點(diǎn):你可以自定義保留在切分結(jié)果中的標(biāo)點(diǎn),這樣可以識(shí)別出一些復(fù)雜的組合,例如:c++, k&r,code.google.com。
9、(!New)復(fù)雜英文切分的二次切分:默認(rèn)Friso會(huì)保留數(shù)字和字母的原組合,開(kāi)啟此功能,可以進(jìn)行二次切分提高檢索的命中率。例如:qq2013會(huì)被切分成:qq/ 2013/ qq2013。
10、支持阿拉伯?dāng)?shù)字/小數(shù)基本單字單位的識(shí)別,例如2012年,1.75米,5噸,120斤,38.6℃。
11、自動(dòng)英文圓角/半角,大寫(xiě)/小寫(xiě)轉(zhuǎn)換。
12、自動(dòng)中英文同義詞追加/同義詞匹配. (需要在friso.ini中開(kāi)啟friso.add_syn選項(xiàng))
13、自動(dòng)中英文停止詞過(guò)濾。(需要在friso.ini中開(kāi)啟friso.clr_stw選項(xiàng))
14、多配置支持, 安全的應(yīng)用在多進(jìn)程/多線程的情況下.
15、提供friso.ini配置文件, 可以依據(jù)你的需求輕松打造適合于你的應(yīng)用的分詞,請(qǐng)查看Friso開(kāi)發(fā)幫助文檔來(lái)了解詳細(xì)的配置。
二、分詞速度
測(cè)試環(huán)境:2.8GHZ/2G/Ubuntu
簡(jiǎn)單模式:3.8M/秒
復(fù)雜模式:1.8M/秒
三、分詞測(cè)試:
文本:
歧義和同義詞:研究生命起源,混合詞: 做B超檢查身體,x射線本質(zhì)是什么,今天去奇都ktv唱卡拉ok去,哆啦a夢(mèng)是一個(gè)動(dòng)漫中的主角,單位和全角: 2009年8月6日開(kāi)始大學(xué)之旅,岳陽(yáng)今天的氣溫為38.6℃, 也就是101.48℉, 英文數(shù)字: bug report [email protected] or visit http://code.google.com/p/jcseg, we all admire the hacker spirit!特殊數(shù)字: ① ⑩ ⑽ ㈩.
分詞結(jié)果:
歧義 和 同義詞 : 研究 琢磨 研討 鉆研 生命 起源 , 混合詞 : 做 b超 檢查 身體 , x射線 本質(zhì) 是 什么 , 今天 去 奇都ktv 唱 卡拉ok 去 , 哆啦a夢(mèng) 是 一個(gè) 動(dòng)漫 中 的 主角 , 單位 和 全角 : 2009年 8月 6日 開(kāi)始 大學(xué) 之旅 , 岳陽(yáng) 今天 的 氣溫 為 38.6℃ , 也就是 101.48℉ , 英文 英語(yǔ) 數(shù)字 : bug report chenxin 619315 gmail com [email protected] or visit http : / / code google com code.google.com / p / jcseg , we all admire appreciate like love enjoy the hacker spirit mind ! 特殊 數(shù)字 : ① ⑩ ⑽ ㈩ .
