最大熵模型與自然語言處理maxentmodelnlp-資料下載頁
2025-07-19 19:16本頁面
【正文】 o g,是常數(shù)，可以忽略 ? ? ? ? ? ?? ??yxxypxpyxp,|log,最大似然率 Maximum Likelihood ? 在 NLP里面，要估計的是： ? ?語法標(biāo)注上下文::|yxxyp? 似然率可以定義為： ? ? ? ? ? ???yxp xypyxppL,|log,? 通過求值可以發(fā)現(xiàn)，如果 p(y|x)的形式是最大熵模型的形式的話，最大熵模型與最大似然率模型一致。 最大似然率 ? ? ? ? ? ?? ?? ?? ?? ?? ?? ?? ?? ? ? ? ? ? ? ?? ?????????????yx xyxyxyxyxyxpxZxpyxyxpxZeyxpxZeyxpxypyxppL,,l o g,l o gl o g,l o g,|l o g,? ? ? ?????kiii yxfyx1, ?為書寫方便，令： ? ? ? ?? ?? ?xZyxexZxyp,1|??最大似然率 ? ? ? ? ? ? ? ? ? ? ? ?? ?? ? ? ? ? ? ? ?? ? ? ? ? ?? ?? ? ? ? ? ? ? ? ? ?? ?? ? ? ?? ? ? ? ? ? ? ? ? ?? ?? ? ? ? ? ? ? ??????? ????????????????????????????????????xyxyxyxyxki yxiixZxpyxyxpyxyxpxZxypxpyxyxpyxxZyxxypxpyxyxpyxxypxypxpyxpxypxpyxfpHpLl o g,l o g|,l o g,|,|l o g|,|,*,,1 ,??最大似然率 Maximum Likelihood ? ? ? ? ? ? ? ? ? ? ? ??*,l o g,pLxZxpyxyxppLxyxp ????? ??? ? ? ?? ? ? ??? *,m i n*,m a xm a x pLpLpL p ????? 結(jié)論：最大熵的解（無偏見地對待不確定性）同時是最吻合樣本數(shù)據(jù)分布的解。進一步證明了最大熵模型的合理性。 偶然？必然？ “It so happens that…” ??? 熵：不確定度 似然率：與知識的吻合度 最大熵：對不確定度的無偏見分配 最大似然率：對知識的無偏見理解 知識＝不確定度的補集 滿足約束條件的模型集合P 指數(shù)模型集合Q （最大熵）最大似然率方向（滿足約束條件）最大熵方向特征選取問題 問題： ? 所有知識可信嗎？所有知識都有用嗎？ ? 太多知識怎么辦？ 在 NLP里面： ? 上下文信息可以很多很多種，那些是有用呢？ 特征選取問題 Remind: “ 熵是描述不確定度的 ” “ 知識是不確定度的補集 ” －－不確定度越小，模型越準(zhǔn)確。 直觀的過程： ? 什么特征都不限定：熵最大 ? 加一個特征：熵少一點（ .） ? 加的特征越多，熵越少 …… 特征選取算法 ? 目標(biāo)：選擇最有用的Ｋ個特征（知識） ? “ 最 ” ？－－全局的最優(yōu)解幾乎不可能 ? 可行的方法：逐步選擇最有用的信息。 ? 每一步用 “ 貪心 ” 原則：挑選 “ 現(xiàn)在看來 ” 最有用的那個特征。 ? “ 有用？ ” 使到走這一步后熵減少最多 算法步驟 ? 有效特征集合 E={} //這個時候 p均勻分布 ? 計算最大熵 H(p*)。顯然： ? 對以下步驟循環(huán) K次： ?對每個不在 E里面的特征 fi，把 E+{fi}作為有效特征，計算最大熵 Hi(pi*)； ?假設(shè) Hm(pm*)最小，則： E=E+{fm}。 ? ? ? ?pHpH ?*敏感度分析與特征提取 Sensitivity ? How to work on insufficient data set? 最終結(jié)論應(yīng)該是約束條件越確定（ _p(x)越大）， lambda越大。 應(yīng)用實例 Adwait Ratnaparkhi’s “Learning to Parse Natural Language with Maximum Entropy Models” 創(chuàng)新點： 用 MaxEnt模型輔助 Shiftreduce Parsing 應(yīng)用實例 Parser的特點： ?三層 Parser ?KBFS搜索 ——每層只搜索最好的 K個方案 (derivations) ?“最好 ” ：概率最大 ?概率：最大熵模型得到的概率分布 應(yīng)用實例 數(shù)據(jù)流： 標(biāo)注Part ofSpeach標(biāo)注ChunkB u i l d 或者Check原始文本P O S原始文本POSC h u n k 標(biāo)注：S t a r t X / J o i n X / O t h e r原始文本 最終的語塊應(yīng)用實例 ?概率：最大熵模型得到的概率分布 ?事先對每類 Parsing都訓(xùn)練一個最大熵模型。 ?得到概率分布： pX*(a|c)。 a是 action， c是上下文。 X可能是： ? TAG, CHUNK, BUILD/CHECK ?最優(yōu)解求法： GIS（ General Iterative Scaling Algorithm “一般梯度算法 ” ？） ?特征選取：只取出現(xiàn)次數(shù)大于等于 5的所有特征（比較簡單，但因此計算量也少多了） 應(yīng)用實例 ? 實驗結(jié)果： ?Upenn的 Corpus作為訓(xùn)練集合 ?Wall Street Journal上的句子作為測試對象 ?準(zhǔn)確率： 90%左右 應(yīng)用實例 分析： ?三層 Parser功不可沒（上層 Parser看到的是下層 Parser的所有信息 —包括處理點之前和之后的信息） ?MaxEnt模型提供了比較準(zhǔn)確的評價模型（不然三層 Parser會比單層 Parser引起更大的誤差累積， “ 失之毫厘謬以千里 ” ） 相關(guān)項目 ? CMU: Adam Berger ? U Penn: Adwait Ratnaparkhi ? Source Fe: opennlp. MAXENT ? …… 總結(jié)與啟發(fā) ? MaxEnt已經(jīng)是比較成功的一個 NLP模型，并獲得廣泛應(yīng)用 ? 從信息論獲得啟發(fā)（ 1948）：自然語言處理也是信息處理的一種。語法標(biāo)注也可以看作一種編碼的過程 ? ? 對偶問題： 從另一個角度看問題 ? 可能從不同領(lǐng)域獲得的啟發(fā)。（概率論與隨機過程、最優(yōu)化問題、圖形學(xué) …… ） “All Models are wrong. Some are useful.” 參考文獻 1. A maximum entropy approach to natural language processing (Adam Berger) 2. A Brief MaxEnt Tutorial (Adam Berger) 3. Learning to parse natural language with maximum entropy models (Adwait Ratnaparkhi) 4. A simple Introduction to Maximum Entropy Models for Natural Language Processing (Adwait Ratnaparkhi) 參考文獻 (Cont) ? Elements of Information Theory (Cover amp。 Thomas) ? Linear and Nonlinear Programming (Nash amp。 Sofer) ? 《 高等數(shù)學(xué) 》 ? 《 運籌學(xué) 》 ? 《 數(shù)據(jù)結(jié)構(gòu) 》 Qamp。A？ Thank you!
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1