hmm在短語識別上之應(yīng)用(更新版)
【正文】 使用 Viterbi Algorithm 解決 Literatures Review(5/5) ?中文斷詞與名詞辨識： ? 林一中、洪鵬翔 (2020)Probabilistic named entity verification ? 在中文裡每個最小的單位是「字」，因此在中文文章中只有字的界線而無詞的界線 ? 文章內(nèi)的人名、時間、地名 …等標(biāo)示出來，將會有效提升標(biāo)示準(zhǔn)確度 Materials amp。 Rationale ? Purpose ? Literatures Review ? Materials amp。 (三 ) 語料庫標(biāo)注 (1/2) ? 利用 CKIP(中文斷詞系統(tǒng) )斷詞 ? 將輸入的句子分成詞串 ? 利用之前所訂定的短語規(guī)則來做人工標(biāo)注 ? 標(biāo)注為 (O)是不屬於規(guī)則裡面的詞 (三 ) 語料庫標(biāo)注 (2/2) (四 ) HMM 計算機率 ? 統(tǒng)計詞出現(xiàn)的機率，經(jīng)過計算後，可得到詞性的HMM 初始機率 、詞性與詞性間前後的關(guān)係機率，也可稱為轉(zhuǎn)移矩陣 A ? 條件機率公式： Pij( m ,m+n)=P{Xm+n = aj|Xm = ai} ? 在時刻 m 處於狀態(tài) ai 條件下，在時刻 m+n 轉(zhuǎn)移到狀態(tài) aj 的轉(zhuǎn)移機率 ? 每個詞與其詞性在文章中所出現(xiàn)的機率 B。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1