基于隱馬爾科夫的詞性標注講稿_by于江德-預覽頁
【正文】 徑切分 人名識別 其他 譯名識別 地名識別 其他 規(guī)范 重疊詞 計算所分詞系統(tǒng) 程序流程 原始字串 原子切分 粗切分 切分詞圖 語料庫 語料庫訓練 概率詞典 未登錄詞識別 識別詞典 切分標注選擇 N優(yōu) 輸出結果 基于規(guī)則的詞性標注 基本思想 ? Eric Brill (1995)Transformationbased errordriven part of speech tagging ? 基本思想： （ 1）正確結果是通過不斷修正錯誤得到的 （ 2）修正錯誤的過程是有跡可循的 （ 3）讓計算機學習修正錯誤的過程，這個過程可以用轉換規(guī)則（ transformation） 形式記錄下來，然后用學習得到轉換規(guī)則進行詞性標注 基于規(guī)則的詞性標注 轉換規(guī)則的形式 ? 轉換規(guī)則由兩部分組成 ? 改寫規(guī)則（ rewriting rule） ? 激活環(huán)境（ triggering environment） ? 一個例子：轉換規(guī)則 T1 改寫規(guī)則：將一個詞的詞性從動詞（ v） 改為名詞（ n）； 激活環(huán)境：該詞左邊第一個緊鄰詞的詞性是量詞（ q）， 第二個詞的詞性是數(shù)詞（ m） S0: 他 /r 做 /v 了 /u 一 /m 個 /q 報告 /v S1: 他 /r 做 /v 了 /u 一 /m 個 /q 報告 /n 參考文獻 ? 翁富良，王野翊 .計算語言學導論 .北京 :中國社會科學出版社 ,1998 ? 苑春法等（譯） .統(tǒng)計自然語言處理基礎 .北京 :電子工業(yè)出版社 ,2021 ? 馮志偉 .計算語言學基礎 .北京 :商務印書館 ,2021 ? 姚天順 .自然語言理解 .北京 :清華大學出版社 ,1995 ? 王小捷，常寶寶 .自若語言處理技術基礎 .北京 :北京郵電 大學出版社 ,2021 ? 林紅，苑春法 .基于最大熵方法的漢語詞性標注 [J].計算機應用 .2021,24(1):1416 ? 詹衛(wèi)東的計算語言學概論講義 ? 宗成慶的隱馬模型講義 謝謝！ 問題或討論
教學課件相關推薦
鄂ICP備17016276號-1