最大熵模型與自然語(yǔ)言處理maxentmodelnlp(編輯修改稿)
2025-08-15 19:16 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 xfyxpyxfxpxypfxypP1|:),(,),(|:|,NLP模型： ? ? ? ? ? ?? ????yxPp xypxpxypp, |1l og|* m a xa rg最大熵模型的解決 ?問題： 已知若干條件，要求若干變量的值使到目標(biāo)函數(shù) （熵）最大 ?數(shù)學(xué)本質(zhì)： 最優(yōu)化問題（ Optimization Problem） ? 條件：線性、等式 ? 目標(biāo)函數(shù)：非線性 非線性規(guī)劃（線性約束） (nonlinear programming with linear constraints) 非線性規(guī)劃基本概念 Nonlinear Programming ? 解決的思路： 非線性規(guī)劃問題（帶約束） （拉格朗日法） 非線性規(guī)劃問題（不帶約束 Unconstrained Problem） （求偏導(dǎo)數(shù)法） 解決不帶約束求解問題 （解方程） 求出原問題的解法 非線性規(guī)劃基本概念 Nonlinear Programming p: m維向量； H(p): 關(guān)于 p的非線性函數(shù) A: n*m常數(shù)矩陣； b: n維向量 bAppH?)(m a x如何去掉約束？抽象問題： 假設(shè)： A的行向量線性無(wú)關(guān)。 bAp ? 確定了 m維空間里面 n個(gè)方向上（就是與Ap=b確定的 mn個(gè)方向 “ 垂直 ” 的 n個(gè)方向）的取值。 p只能在剩下的 r=mn個(gè)方向上面移動(dòng)。 非線性規(guī)劃基本概念 Nonlinear Programming bAp ?假設(shè) Z是跟 Ap=b垂直的方向量。 ? Z: m*(mn)常數(shù)矩陣 ) bpAZvpp???就是 p能夠自由活動(dòng)的所有空間了。 ? v: mn維變量 于是有： ? ?? ?00:???????AZZvAbZvpAv非線性規(guī)劃基本概念 Nonlinear Programming p: m維向量； H(p): 關(guān)于 p的非線性函數(shù) A: n*m常數(shù)矩陣； b: n維向量 bAppH?)(m a x如何去掉約束？抽象問題： 0????AZbpAZvpp)(m a x ZvpH ?Z: m*(mn)常數(shù)矩陣 v: mn維變量 極值條件 )(m a x ZvpH ?Z: m*(mn)常數(shù)矩陣 v: mn維變量 是正定矩陣而且 0)(0)( *2* ???? vHvH0????AZbpAZvpp極值條件： ZpHZvHpHZvH TT )()()。()( *2*2** ??????把 分解成 Z方向向量和 A方向向量： )( *pH??TAZvpH ??? 39。)( * 極值條件 Z: m*(mn)常數(shù)矩陣 v: mn維變量 0???? AZ bpAZvpp039。039。0039。??????????ZvZvZAZAZZvZ TTTT ?039。0)()(39。)(***??????????????? TTTTTAZZvZpHZvHAZvpH?? TTAxHZvAZvpH??????????)(039。39。)( ** 極值條件 0)()( ** ????? pLApH T ?? p: m維向量； H(p): 關(guān)于 p的非線性函數(shù) ? A: n*m常數(shù)矩陣； b: n維向量 bAppH?)(m a x令： 假設(shè)： A的行向量線性無(wú)關(guān)。 ?AppHpL ?? )()(?? *)()()( ** AppHApH T ??????拉格朗日算子 Lagrange Multiplier ? 一般地，對(duì)于 k個(gè)限制條件的Constrained Optimization問題： )(m a x pH ? ? ii bpCki ??? :1? 拉格朗日函數(shù)為： ? ? ? ? ? ?? ??????kiiii bpCpHpL1, ??? 其中引入的拉格朗日算子： ? ?Tk??? , . . . ,1?拉格朗日算子 Lagrange Multiplier ? ?Tk??? ,...,1?bAppH?)(m a x? ? ? ? ? ?? ??????kiiiii bpCpHpL1, ??0??? pL拉格朗日函數(shù) ? ?? ? ????????????? ??1|),()()|(),()|(1l o g)()|(0),(),(yi yxiiyxxypyxpxpxypyxfxypxpxypL??? ?? ? ? ?? ?? ?? ?? ? ??????????????????????yyxiyxiixypxyxfyxpyxfxpxypfxypP1|:),(,),(|:|,? ? ? ? ? ?? ????yxPp xypxpxypp, |1log|* m a xa rg可能的最優(yōu)解（ Exponential） ? ?? ? ????????????? ???1|),()()|(),()|(1l o g)()|(01 ),(),(yki yxiiyxxypyxpxpxypyxfxypxpxypL??? ????? ?iii yxfxpxypxpxypL0),()()1)|(1) ( l o g()|( ??1)(),( 0)|(*???? xpyxfiiiexyp??最優(yōu)解的存在性 0),()()1)|( 1) ( l o g()|( 0 ?????? ? ?iii yxfxpxypxpxypL ??1)(),( 0)|(*???? xpyxfiiiexyp??0)|( )()|(22???? ? xyp xpxyp L一階導(dǎo)數(shù)為零， 二階導(dǎo)數(shù)小于零， 所得到的是最大值！ 最優(yōu)解形式（ Exponential） 1)(),( 0)|(*???? xpyxfiiiexyp???? iii yxfcexyp),()|(*????yyxfiiiec),(1????yyxfiiice 1),(?最優(yōu)解（ Exponential） ?? iii yxfcexyp),()|(*????yyxfiiiec),(1??? iii yxfexZxyp),()(1)|(* ????yyxfiiiexZ),()(??i?最優(yōu)解（ Exponential） ? 能不能找到另一種逼近？比如 …… 等價(jià)成求某個(gè)函數(shù) 的最大 /最小值？ ??? 幾乎不可能有解析解（包含指數(shù)函數(shù)） ? 近似解不代表接近駐點(diǎn)。 )(?f對(duì)偶問題 Duality 對(duì)偶問題的引入。 Alice和 Bob的游戲： ?有一個(gè) 2*2的矩陣Ｃ。每次 Alice挑一個(gè)數(shù) x (x=1或者 2)， Bob也挑一個(gè)數(shù) y (y=1或者 2)。兩人同時(shí)宣布所挑的數(shù)字。然后看 Cx,y是多少， Bob要付 Alice Cx,y塊錢。（如果 Cx,y 是負(fù)數(shù)， Alice 給Bob錢）。矩陣Ｃ如下： ?????? ??3421C對(duì)偶問題 Alice vs Bob 假設(shè)： Alice和 Bob都是聰明而貪
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1