基于隱馬爾科夫的詞性標(biāo)注講稿_by于江德(編輯修改稿)
2025-06-07 00:54 本頁面
【文章內(nèi)容簡介】 行詞性標(biāo)注（ 2） ? 首先，構(gòu)造如下的統(tǒng)計(jì)計(jì)算模型： 令 W=w1w2…wn為一多詞類詞串 ， C=c1c2…為可能的詞類標(biāo)注結(jié)果串 。 P(C|W)為給定 Ｗ 條件下 Ｃ 出現(xiàn)的概率 。 如果不考慮更大的上下文 ， 我們可以認(rèn)為使得 P(C|W)的值取得最大時的 Ｃ 出現(xiàn)的可能性最大 。 這樣就把詞類標(biāo)注問題轉(zhuǎn)化為尋找一組標(biāo)記串 Ｃ ′ ， 使得： Ｃ ′ = arg max P(C|W) (1) 基于 HMM進(jìn)行詞性標(biāo)注（ 3） 根據(jù)貝葉斯定律，可以得到： (2) 其中 P(W)為常量 ， 不需要考慮 ， 關(guān)鍵在于對 P(C)和P(W|C)的計(jì)算 。 由于兩者的參數(shù)估計(jì)極為復(fù)雜 ， 在實(shí)際應(yīng)用中 ， 往往需進(jìn)行簡化 。 對于 P(C)， 我們使用了二元語法 Bigram近似 ， 得到： (3) )()|()()|(WPCWPCPWCP ?????niii ccPcPCP211 )|()()(基于 HMM進(jìn)行詞性標(biāo)注（ 4） 而對 P(W|C)， 只考慮每個詞依賴于它本身的詞類的情況，可以得到： (4) 綜合 (1), (2), (3), (4)，最終得到： (5) 其中 此模型的兩組參數(shù)可以從對正確標(biāo)注詞類的語料的參數(shù)訓(xùn)練中得到 ??? niii cwPCWP1)|()|(?????niiiii cwPccPC11 )|()|(m a xa r g)()|( 101 cPccP ?基于 HMM進(jìn)行詞性標(biāo)注（ 5） 其中最簡單的參數(shù)估計(jì)法為最大似然估計(jì) MLE(Maximum Likelihood Estimation)， 即令：
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1