張華平劉群zhanghp@softwareictaccn中科院計(jì)算技術(shù)研究(編輯修改稿)
2025-08-15 01:50 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 ) (字串 C出現(xiàn)的概率 P(C)為一 常數(shù) ,不影響結(jié)果，可以忽略 )(W,T)*= …….…………………… (0)13基于多層 HMM的一體化方法 III? 利用隱馬模型展開(kāi) P(T)P(W|T),并引入共現(xiàn)概率P((W,T)|C) =Π P(ti|ti1)P(wi|ti).……………………………. (1)P*(W,T)=lnP(W,T) =ln Π P(wi|ti) =Σ ln P(ti|ti1) + Σ ln P(wi|ti) ……………………. (2)∴ 評(píng)價(jià)函數(shù)或者決策函數(shù)如下： (W,T)*= [Σ ln P(ti|ti1) + Σ ln P(wi|ti)]14基于多層 HMM的一體化方法 IV? 一體化需要解決的主要問(wèn)題– 排歧問(wèn)題– 未登錄詞的概率問(wèn)題 P(wi|ti) P(張華平 |nr)? P(奧斯特羅夫斯基 |nr)? P(大石頭村 |ns)?15基于 N最短路徑的詞語(yǔ)粗分? 基本思想 根據(jù)詞典，建立字串詞語(yǔ)切分有向無(wú)環(huán)圖。每個(gè)詞對(duì)應(yīng)圖中的一條有向邊，并賦給相應(yīng)的邊長(zhǎng)（權(quán)值）。然后針對(duì)該切分圖，在起點(diǎn)到終點(diǎn)的所有路徑中，求出長(zhǎng)度值按嚴(yán)格升序排列（任何兩個(gè)不同位置上的值一定不等，下同）依次為第 1， 第 2， … ，第 i， … ， 第 N的路徑集合作為相應(yīng)的粗分結(jié)果集。如果兩條或兩條以上路徑長(zhǎng)度相等，那么他們的長(zhǎng)度并列第 i， 都要列入粗分結(jié)果集，而且不影響其他路徑的排列序號(hào)，最后的粗分結(jié)果集合大小大于或等于 N。16基于 N最短路徑的詞語(yǔ)粗分 II? 出發(fā)點(diǎn)– 實(shí)際上是最短路徑方法和全切分的有機(jī)結(jié)合。一方面避免了最短路徑分詞方法大量舍棄正確結(jié)果的可能，另一方面又大大解決了全切分搜索空間過(guò)大，運(yùn)行效率差的弊端。– “ 求同存異，保留爭(zhēng)端 ” 。即：解決在切詞階段能解決的大部分問(wèn)題；而對(duì)歧義、未登錄詞等問(wèn)題盡量保留下來(lái)，留給后續(xù)過(guò)程處理。? 統(tǒng)計(jì)與非統(tǒng)計(jì)方法17基于 N最短路徑的詞語(yǔ)粗分 III? 測(cè)試結(jié)果? 說(shuō)明：– 統(tǒng)計(jì) N最短路徑– 句子總數(shù)為： 185,192 N 句子召回率 1 %2 %3 %4 %5
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1