機(jī)器學(xué)習(xí)中用到的數(shù)值分析(編輯修改稿)
2025-07-14 04:49 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 陣，定義為：高維情況依然可以用牛頓迭代求解，但是問(wèn)題是Hessian矩陣引入的復(fù)雜性，使得牛頓迭代求解的難度大大增加，但是已經(jīng)有了解決這個(gè)問(wèn)題的辦法就是QuasiNewton methond，不再直接計(jì)算hessian矩陣，而是每一步的時(shí)候使用梯度向量更新hessian矩陣的近似。QuasiNewton method的詳細(xì)情況我還沒(méi)完全理解，且聽(tīng)下回分解吧。首先得明確，牛頓法是為了求解函數(shù)值為零的時(shí)候變量的取值問(wèn)題的，具體地，當(dāng)要求解 f(θ)=0時(shí)，如果 f可導(dǎo)，那么可以通過(guò)迭代公式來(lái)迭代求得最小值。通過(guò)一組圖來(lái)說(shuō)明這個(gè)過(guò)程。當(dāng)應(yīng)用于求解最大似然估計(jì)的值時(shí)，變成?′(θ)=0的問(wèn)題。這個(gè)與梯度下降不同，梯度下降的目的是直接求解目標(biāo)函數(shù)極小值，而牛頓法則變相地通過(guò)求解目標(biāo)函數(shù)一階導(dǎo)為零的參數(shù)值，進(jìn)而求得目標(biāo)函數(shù)最小值。那么迭代公式寫作：當(dāng)θ是向量時(shí)，牛頓法可以使用下面式子表示：其中H叫做海森矩陣，其實(shí)就是目標(biāo)函數(shù)對(duì)參數(shù)θ的二階導(dǎo)數(shù)。通過(guò)比較牛頓法和梯度下降法的迭代公式，可以發(fā)現(xiàn)兩者及其相似。海森矩陣的逆就好比梯度下降法的學(xué)習(xí)率參數(shù)alpha。牛頓法收斂速度相比梯度下降法很快，而且由于海森矩陣的的逆在迭代中不斷減小，起到逐漸縮小步長(zhǎng)的效果。牛頓法的缺點(diǎn)就是計(jì)算海森矩陣的逆比較困難，消耗時(shí)間和計(jì)算資源。因此有了擬牛頓法。最優(yōu)化問(wèn)題中，牛頓法為什么比梯度下降法求解需要的迭代次數(shù)更少？牛頓法是二階收斂，梯度下降是一階收斂，所以牛頓法就更快。如果更通俗地說(shuō)的話，比如你想找一條最短的路徑走到一個(gè)盆地的最底部，梯度下降法每次只從你當(dāng)前所處位置選一個(gè)坡度最大的方向走一步，牛頓法在選擇方向時(shí)，不僅會(huì)考慮坡度是否夠大，還會(huì)考慮你走了一步之后，坡度是否會(huì)變得更大。所以，可以說(shuō)牛頓法比梯度下降法看得更遠(yuǎn)一點(diǎn)，能更快地走到最底部。根據(jù)wiki上的解釋，從幾何上說(shuō)，牛頓法就是用一個(gè)二次曲面去擬合你當(dāng)前所處位置的局部曲面，而梯度下降法是用一個(gè)平面去擬合當(dāng)前的局部曲面，通常情況下，二次曲面的擬合會(huì)比平面更好，所以牛頓法選擇的下降路徑會(huì)更符合真實(shí)的最優(yōu)下降路徑。wiki上給的圖很形象，我就直接轉(zhuǎn)過(guò)來(lái)了：紅色的牛頓法的迭代路徑，綠色的是梯度下降法的迭代路徑。利普希茨連續(xù)在在數(shù)學(xué)中，特別是實(shí)分析，利普希茨連續(xù)（Lipschitz continuity）以德國(guó)數(shù)學(xué)家魯?shù)婪蚶障４拿?，是一個(gè)比通常連續(xù)更強(qiáng)的光滑性條件。直覺(jué)上，利普希茨連續(xù)函數(shù)限制了函數(shù)改變的速度，符合利普希茨條件的函數(shù)的斜率，必小于一個(gè)稱為利普希茨常數(shù)的實(shí)數(shù)（該常數(shù)依函數(shù)而定）。在微分方程中，利普希茨連續(xù)是皮卡林德洛夫定理中確保了初值問(wèn)題存在唯一解的核心條件。一種特殊的利普希茨連續(xù)，稱為壓縮應(yīng)用于巴拿赫不動(dòng)點(diǎn)定理。利普希茨連續(xù)可以定義在度量空間上以及賦范向量空間上；利普希茨連續(xù)的一種推廣稱為赫爾德連續(xù)。定義對(duì)于在實(shí)數(shù)集的子集的函數(shù)，若存在常數(shù)K，使得，則稱f符合利普希茨條件，對(duì)于f最小的常數(shù)K稱為f的利普希茨常數(shù)。[1]若K 1，f稱為收縮映射。利普希茨條件也可對(duì)任意度量空間的函數(shù)定義：給定兩個(gè)度量空間若對(duì)于函數(shù)，存在常數(shù)K使得則說(shuō)它符合利普希茨條件。[2]若存在K≥ 1使得則稱f為雙李普希茨(biLipschitz)的。深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT條件在求取有約束條件的優(yōu)化問(wèn)題時(shí)，拉格朗日乘子法（Lagrange Multiplier) 和KKT條件是非常重要的兩個(gè)求取方法，對(duì)于等式約束的優(yōu)化問(wèn)題，可以應(yīng)用拉格朗日乘子法去求取最優(yōu)值；如果含有不等式約束，可以應(yīng)用KKT條件去求取。當(dāng)然，這兩個(gè)方法求得的結(jié)
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1