張華平劉群zhanghp@softwareictaccn中科院計算技術(shù)研究(編輯修改稿)
2025-08-15 01:50 本頁面
【文章內(nèi)容簡介】 ) (字串 C出現(xiàn)的概率 P(C)為一 常數(shù) ,不影響結(jié)果，可以忽略 )(W,T)*= …….…………………… (0)13基于多層 HMM的一體化方法 III? 利用隱馬模型展開 P(T)P(W|T),并引入共現(xiàn)概率P((W,T)|C) =Π P(ti|ti1)P(wi|ti).……………………………. (1)P*(W,T)=lnP(W,T) =ln Π P(wi|ti) =Σ ln P(ti|ti1) + Σ ln P(wi|ti) ……………………. (2)∴ 評價函數(shù)或者決策函數(shù)如下： (W,T)*= [Σ ln P(ti|ti1) + Σ ln P(wi|ti)]14基于多層 HMM的一體化方法 IV? 一體化需要解決的主要問題– 排歧問題– 未登錄詞的概率問題 P(wi|ti) P(張華平 |nr)? P(奧斯特羅夫斯基 |nr)? P(大石頭村 |ns)?15基于 N最短路徑的詞語粗分? 基本思想 根據(jù)詞典，建立字串詞語切分有向無環(huán)圖。每個詞對應圖中的一條有向邊，并賦給相應的邊長（權(quán)值）。然后針對該切分圖，在起點到終點的所有路徑中，求出長度值按嚴格升序排列（任何兩個不同位置上的值一定不等，下同）依次為第 1， 第 2， … ，第 i， … ， 第 N的路徑集合作為相應的粗分結(jié)果集。如果兩條或兩條以上路徑長度相等，那么他們的長度并列第 i， 都要列入粗分結(jié)果集，而且不影響其他路徑的排列序號，最后的粗分結(jié)果集合大小大于或等于 N。16基于 N最短路徑的詞語粗分 II? 出發(fā)點– 實際上是最短路徑方法和全切分的有機結(jié)合。一方面避免了最短路徑分詞方法大量舍棄正確結(jié)果的可能，另一方面又大大解決了全切分搜索空間過大，運行效率差的弊端。– “ 求同存異，保留爭端 ” 。即：解決在切詞階段能解決的大部分問題；而對歧義、未登錄詞等問題盡量保留下來，留給后續(xù)過程處理。? 統(tǒng)計與非統(tǒng)計方法17基于 N最短路徑的詞語粗分 III? 測試結(jié)果? 說明：– 統(tǒng)計 N最短路徑– 句子總數(shù)為： 185,192 N 句子召回率 1 %2 %3 %4 %5
法律信息相關(guān)推薦
鄂ICP備17016276號-1