基于隱馬爾科夫的詞性標(biāo)注講稿_by于江德-全文預(yù)覽
【正文】 察者的角度，只能看到觀察值，不像馬爾可夫鏈模型中的觀察值和狀態(tài)一一對(duì)應(yīng)，因此不能直接看到狀態(tài)，而是通過一個(gè)隨機(jī)過程去感知狀態(tài)的存在及其特性。 P(C|W)為給定 Ｗ 條件下 Ｃ 出現(xiàn)的概率 。 對(duì)于 P(C)， 我們使用了二元語法 Bigram近似 ， 得到： (3) )()|()()|(WPCWPCPWCP ?????niii ccPcPCP211 )|()()(基于 HMM進(jìn)行詞性標(biāo)注（ 4） 而對(duì) P(W|C)， 只考慮每個(gè)詞依賴于它本身的詞類的情況，可以得到： (4) 綜合 (1), (2), (3), (4)，最終得到： (5) 其中 此模型的兩組參數(shù)可以從對(duì)正確標(biāo)注詞類的語料的參數(shù)訓(xùn)練中得到 ??? niii cwPCWP1)|()|(?????niiiii cwPccPC11 )|()|(m a xa r g)()|( 101 cPccP ?基于 HMM進(jìn)行詞性標(biāo)注（ 5） 其中最簡(jiǎn)單的參數(shù)估計(jì)法為最大似然估計(jì) MLE(Maximum Likelihood Estimation)， 即令： (6) (7) 其中 f(ci,cj)是語料庫中 ci和 cj相鄰出現(xiàn)的頻度 ， f(w,c)是語料庫中詞 ｗ 取詞類 ｃ 的頻度 ， f(c)為語料庫中詞類標(biāo)記 ｃ 出現(xiàn)的次數(shù) ， Ｎ 為語料庫詞總數(shù) 。 計(jì)算所分詞系統(tǒng) 功能模塊圖 ICTCLAS 結(jié)果生成 HMM詞性標(biāo)注 未登錄詞識(shí)別 N最短路
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1