基于隱馬爾科夫的詞性標(biāo)注講稿_by于江德-資料下載頁(yè)
2025-05-02 00:54本頁(yè)面
【正文】 N最短路徑切分 人名識(shí)別 其他 譯名識(shí)別 地名識(shí)別 其他 規(guī)范 重疊詞 計(jì)算所分詞系統(tǒng) 程序流程 原始字串 原子切分 粗切分 切分詞圖 語(yǔ)料庫(kù) 語(yǔ)料庫(kù)訓(xùn)練 概率詞典 未登錄詞識(shí)別 識(shí)別詞典 切分標(biāo)注選擇 N優(yōu) 輸出結(jié)果 基于規(guī)則的詞性標(biāo)注 基本思想 ? Eric Brill (1995)Transformationbased errordriven part of speech tagging ? 基本思想： （ 1）正確結(jié)果是通過(guò)不斷修正錯(cuò)誤得到的 （ 2）修正錯(cuò)誤的過(guò)程是有跡可循的 （ 3）讓計(jì)算機(jī)學(xué)習(xí)修正錯(cuò)誤的過(guò)程，這個(gè)過(guò)程可以用轉(zhuǎn)換規(guī)則（ transformation） 形式記錄下來(lái)，然后用學(xué)習(xí)得到轉(zhuǎn)換規(guī)則進(jìn)行詞性標(biāo)注 基于規(guī)則的詞性標(biāo)注 轉(zhuǎn)換規(guī)則的形式 ? 轉(zhuǎn)換規(guī)則由兩部分組成 ? 改寫(xiě)規(guī)則（ rewriting rule） ? 激活環(huán)境（ triggering environment） ? 一個(gè)例子：轉(zhuǎn)換規(guī)則 T1 改寫(xiě)規(guī)則：將一個(gè)詞的詞性從動(dòng)詞（ v） 改為名詞（ n）； 激活環(huán)境：該詞左邊第一個(gè)緊鄰詞的詞性是量詞（ q）， 第二個(gè)詞的詞性是數(shù)詞（ m） S0: 他 /r 做 /v 了 /u 一 /m 個(gè) /q 報(bào)告 /v S1: 他 /r 做 /v 了 /u 一 /m 個(gè) /q 報(bào)告 /n 參考文獻(xiàn) ? 翁富良，王野翊 .計(jì)算語(yǔ)言學(xué)導(dǎo)論 .北京 :中國(guó)社會(huì)科學(xué)出版社 ,1998 ? 苑春法等（譯） .統(tǒng)計(jì)自然語(yǔ)言處理基礎(chǔ) .北京 :電子工業(yè)出版社 ,2021 ? 馮志偉 .計(jì)算語(yǔ)言學(xué)基礎(chǔ) .北京 :商務(wù)印書(shū)館 ,2021 ? 姚天順 .自然語(yǔ)言理解 .北京 :清華大學(xué)出版社 ,1995 ? 王小捷，常寶寶 .自若語(yǔ)言處理技術(shù)基礎(chǔ) .北京 :北京郵電 大學(xué)出版社 ,2021 ? 林紅，苑春法 .基于最大熵方法的漢語(yǔ)詞性標(biāo)注 [J].計(jì)算機(jī)應(yīng)用 .2021,24(1):1416 ? 詹衛(wèi)東的計(jì)算語(yǔ)言學(xué)概論講義 ? 宗成慶的隱馬模型講義 謝謝！ 問(wèn)題或討論
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1