【正文】 詞網(wǎng)格 Viterbi解碼算法 ? 定義向前變量： ? 計算第一列 ? 計算第 t列 ? 選擇最優(yōu)路徑 ? 路徑回朔 )|,(m a x)( ?? ittTit tTPt ?? ?21011????)()|()()( 1iiiiittwPtTPt?? 　　)|()|()(m a xa r g)()|()|()(m a x)(11jjijitttjtjjijitttjttwPttPtttwPttPttii??????????11????列列)(m a xa r g* iTTtTtxi?列第??)( ** 11 ??? ttt xx ?Viterbi搜索 ——例子 小結(jié) 謝謝！ 本課件參考了哈工大關(guān)毅教授和劉挺教授的課件 。 ? 計算相關(guān)概率時，取 log對數(shù)形式，目的是將乘法運算變成加法運算。 ? 完全無指導的學習是不可能的 ? 至少要知道： ? 詞性集 ? 每個詞可能的詞性（根據(jù)詞典） ? 使用 BaumWelch算法 詞網(wǎng)格 ? 詞網(wǎng)格： ? 對于輸入的詞序列，根據(jù)語法詞典，列出每個詞可能的詞性候選，構(gòu)成詞網(wǎng)格，即狀態(tài)空間。 ? 數(shù)學推導 )()(),|()()()(iiOsxOp|sx,OP|sx,O,OP|sxO,Ptttittittitttit??????????????????P(A,B|C) = P(A|B,C)P(B|C) ?? X XB,PBP )()(????? N 1j titt jiOsxPi ),(),|()( ??? 　??????? N1ittttitittiiiiOPOsxPOsxPi)()()()()|()|,(),|()(???????? 　E 步驟 —— 期望值 ? 可觀察到 ??? ?11 ),(Tt jit ssji 轉(zhuǎn)移的期望次數(shù)到狀態(tài)從狀態(tài)?????11)(Ttit si 出發(fā)的轉(zhuǎn)移的期望次數(shù)從狀態(tài)?的概率初始狀態(tài)為 i1 si ?)(????Ttitt ksikO1的期望次數(shù)輸出符號狀態(tài))(),( ??M 步驟 —— 重估公式 ???????1111,)(),(?TttTttjiijia??)(? 1 ii ?p ??????TttTtttkiiikob11,)()(),(????詞性標注 詞性 (Part of Speech) ? 詞的句法類別 ? 詞性集合： ? 名詞、動詞、形容詞、副詞、介詞、助動詞 ? 開放詞類 (Open Class)和封閉詞類 (Closed Class) ? 可稱為：語法類、句法類、 POS標記、詞類等 ? 詞的兼類現(xiàn)象 ? 例如 ? 打 人 = 動詞 ? 一 打 襯衫 = 量詞 ? 詞性標注 ? 確定每個詞在特定的句子中詞性 POS舉例 Penn Treebank詞性集 POS歧義 (在 Brown語料庫中 ) 目前的性能 ? 容易評價，只需計算標注正確的詞性數(shù)量 ? 目前準確率大約在 97%左右 ? Baseline也可以達到 90% ? Baseline算法 : ?對每一個詞用它的最高頻的詞性進行標注 ?未登錄詞全部標為名詞 詞性標注的常用方法 ? 詞性標注（ PartofSpeech tagging） ? 回顧： ?作用：句法分析的前期步驟 ?難點：兼類詞處理 ? 基于規(guī)則的詞性標注 ? 基于轉(zhuǎn)換的錯誤驅(qū)動的詞性標注 ? 基于 HMM的詞性標注 基于 HMM的詞性標注 ? HMM模型 ? 五元組 (S, V, p ,A,B) ? S： 狀態(tài)集合；詞性集合 S={t1,.., tm}. ? V ：輸出符號集；詞典 V={w1,..,wv}. ? 模型參數(shù) μ= (A,B,p) ? pi : P(x1 = ti) 詞性 ti的初始概率 ? aij : P(tj|ti) 從詞性 ti到詞性 tj的轉(zhuǎn)移概率 ? bjk: P(wk| tj) 從詞性 tj到詞 wk的輸出概率 ? 序列 ? 觀察序列：詞匯序列： W = w1,w2…wn ? 狀態(tài)序列：詞性序列： T = t1,t2…tn 基于 HMM的詞性標注 ? 詞性標注 ? 屬于 HMM的解碼問題 ? 給定觀察序列和模型，求解最佳的狀態(tài)序列。 old?old?new?new? old?預定的值?? )|()|( oldn e w OPOP ??E 步驟 —— 定義一組概率 ? 狀態(tài)轉(zhuǎn)移概率： ? 定義：給定了整個觀察序列 O，在 t時刻從狀態(tài) si到狀態(tài) sj轉(zhuǎn)移的概率。 ? BaumWelch算法（向前 向后算法） ? 是一種 EM (ExpectationMaximization)算法的特例 ? EM算法： ? 初始化模型參數(shù) ? E 步驟：根據(jù) ，遍歷所有可能的狀態(tài)序列，計算期望值。換言之，由于缺少人工標注的狀態(tài)數(shù)據(jù)，實際上很難用 MLE直接估計模型參數(shù)。 )(jt?ttOjijtNitOjijtNitbaijbaij,11,11])([m a xa r g)(])([m a x)(????????????問題 3： HMM模型參數(shù)訓練 ? 根據(jù)： ? 可觀察序列 ? 初始的模型 ? 優(yōu)化模型參數(shù)： ? 尋找更好的模型 ，滿足 ? 優(yōu)化三種模型參數(shù) ? 初始狀態(tài)概率分布： ? 狀態(tài)轉(zhuǎn)移概率： ? 輸出符號概率： ),( p?