中文詞語分析一體化系統(tǒng)(編輯修改稿)
2025-08-31 13:18 本頁面
【文章內(nèi)容簡介】 )|),((m axar g),(CTWPTW13 基于多層 HMM的一體化方法 III ? 利用隱馬模型展開 P(T)P(W|T),并引入共現(xiàn)概率 P((W,T)|C) =Π P(ti|ti1)P(wi|ti).……………………………. (1) P*(W,T)=lnP(W,T) =ln Π P(wi|ti) =Σ ln P(ti|ti1) + Σ ln P(wi|ti) ……………………. (2) ∴ 評價函數(shù)或者決策函數(shù)如下： (W,T)*= [Σ ln P(ti|ti1) + Σ ln P(wi|ti)] TW ,m a xa rg14 基于多層 HMM的一體化方法 IV ? 一體化需要解決的主要問題 – 排歧問題 – 未登錄詞的概率問題 P(wi|ti) P(張華平 |nr)? P(奧斯特羅夫斯基 |nr)? P(大石頭村 |ns)? 15 基于 N最短路徑的詞語粗分 ? 基本思想 根據(jù)詞典，建立字串詞語切分有向無環(huán)圖。每個詞對應(yīng)圖中的一條有向邊，并賦給相應(yīng)的邊長（權(quán)值）。然后針對該切分圖，在起點(diǎn)到終點(diǎn)的所有路徑中，求出長度值按嚴(yán)格升序排列（任何兩個不同位置上的值一定不等，下同）依次為第 1， 第 2， … ，第 i， … ， 第 N的路徑集合作為相應(yīng)的粗分結(jié)果集。如果兩條或兩條以上路徑長度相等，那么他們的長度并列第 i， 都要列入粗分結(jié)果集，而且不影響其他路徑的排列序號，最后的粗分結(jié)果集合大小大于或等于 N。 16 基于 N最短路徑的詞語粗分 II ? 出發(fā)點(diǎn) – 實(shí)際上是最短路徑方法和全切分的有機(jī)結(jié)合。一方面避免了最短路徑分詞方法大量舍棄正確結(jié)果的可能，另一方面又大大解決了全切分搜索空間過大，運(yùn)行效率差的弊端。 – “ 求同存異，保留爭端 ” 。即：解決在切詞階段能解決的大部分問題；而對歧義、未登錄詞等問題盡量保留下來，留給后續(xù)過程處理。 ? 統(tǒng)計與非統(tǒng)計方法 17 基于 N最短路徑的詞語粗分 III ? 測試結(jié)果 ? 說明： – 統(tǒng)計 N最短路徑 – 句子總數(shù)為： 185,192 N 句子召回率 1 % 2 % 3 % 4 % 5 % 6 % 8 % 10 % 18 基于 N最短路徑的詞語粗分 IV 對比測試實(shí)驗(yàn) [召回率 /結(jié)果數(shù) ] %%%%%%%%%%%MM SP MP FS 2SP 10SSP050
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1