基于隱馬爾科夫的詞性標(biāo)注講稿_by于江德-預(yù)覽頁
【正文】 徑切分 人名識別 其他 譯名識別 地名識別 其他 規(guī)范 重疊詞 計算所分詞系統(tǒng) 程序流程 原始字串 原子切分 粗切分 切分詞圖 語料庫 語料庫訓(xùn)練 概率詞典 未登錄詞識別 識別詞典 切分標(biāo)注選擇 N優(yōu) 輸出結(jié)果 基于規(guī)則的詞性標(biāo)注 基本思想 ? Eric Brill (1995)Transformationbased errordriven part of speech tagging ? 基本思想： （ 1）正確結(jié)果是通過不斷修正錯誤得到的 （ 2）修正錯誤的過程是有跡可循的 （ 3）讓計算機學(xué)習(xí)修正錯誤的過程，這個過程可以用轉(zhuǎn)換規(guī)則（ transformation） 形式記錄下來，然后用學(xué)習(xí)得到轉(zhuǎn)換規(guī)則進行詞性標(biāo)注 基于規(guī)則的詞性標(biāo)注 轉(zhuǎn)換規(guī)則的形式 ? 轉(zhuǎn)換規(guī)則由兩部分組成 ? 改寫規(guī)則（ rewriting rule） ? 激活環(huán)境（ triggering environment） ? 一個例子：轉(zhuǎn)換規(guī)則 T1 改寫規(guī)則：將一個詞的詞性從動詞（ v） 改為名詞（ n）； 激活環(huán)境：該詞左邊第一個緊鄰詞的詞性是量詞（ q）， 第二個詞的詞性是數(shù)詞（ m） S0: 他 /r 做 /v 了 /u 一 /m 個 /q 報告 /v S1: 他 /r 做 /v 了 /u 一 /m 個 /q 報告 /n 參考文獻 ? 翁富良，王野翊 .計算語言學(xué)導(dǎo)論 .北京 :中國社會科學(xué)出版社 ,1998 ? 苑春法等（譯） .統(tǒng)計自然語言處理基礎(chǔ) .北京 :電子工業(yè)出版社 ,2021 ? 馮志偉 .計算語言學(xué)基礎(chǔ) .北京 :商務(wù)印書館 ,2021 ? 姚天順 .自然語言理解 .北京 :清華大學(xué)出版社 ,1995 ? 王小捷，常寶寶 .自若語言處理技術(shù)基礎(chǔ) .北京 :北京郵電 大學(xué)出版社 ,2021 ? 林紅，苑春法 .基于最大熵方法的漢語詞性標(biāo)注 [J].計算機應(yīng)用 .2021,24(1):1416 ? 詹衛(wèi)東的計算語言學(xué)概論講義 ? 宗成慶的隱馬模型講義 謝謝！ 問題或討論
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1