機(jī)器學(xué)習(xí)中用到的數(shù)值分析-文庫(kù)吧資料
2025-06-23 04:49本頁(yè)面
【正文】 德洛夫定理中確保了初值問(wèn)題存在唯一解的核心條件。利普希茨命名，是一個(gè)比通常連續(xù)更強(qiáng)的光滑性條件。wiki上給的圖很形象，我就直接轉(zhuǎn)過(guò)來(lái)了：紅色的牛頓法的迭代路徑，綠色的是梯度下降法的迭代路徑。所以，可以說(shuō)牛頓法比梯度下降法看得更遠(yuǎn)一點(diǎn)，能更快地走到最底部。最優(yōu)化問(wèn)題中，牛頓法為什么比梯度下降法求解需要的迭代次數(shù)更少？牛頓法是二階收斂，梯度下降是一階收斂，所以牛頓法就更快。牛頓法的缺點(diǎn)就是計(jì)算海森矩陣的逆比較困難，消耗時(shí)間和計(jì)算資源。海森矩陣的逆就好比梯度下降法的學(xué)習(xí)率參數(shù)alpha。那么迭代公式寫(xiě)作：當(dāng)θ是向量時(shí)，牛頓法可以使用下面式子表示：其中H叫做海森矩陣，其實(shí)就是目標(biāo)函數(shù)對(duì)參數(shù)θ的二階導(dǎo)數(shù)。當(dāng)應(yīng)用于求解最大似然估計(jì)的值時(shí)，變成?′(θ)=0的問(wèn)題。首先得明確，牛頓法是為了求解函數(shù)值為零的時(shí)候變量的取值問(wèn)題的，具體地，當(dāng)要求解 f(θ)=0時(shí)，如果 f可導(dǎo)，那么可以通過(guò)迭代公式來(lái)迭代求得最小值。高維情況依然可以用牛頓迭代求解，但是問(wèn)題是Hessian矩陣引入的復(fù)雜性，使得牛頓迭代求解的難度大大增加，但是已經(jīng)有了解決這個(gè)問(wèn)題的辦法就是QuasiNewton methond，不再直接計(jì)算hessian矩陣，而是每一步的時(shí)候使用梯度向量更新hessian矩陣的近似。此時(shí)上式等價(jià)與：求解：得出迭代公式：一般認(rèn)為牛頓法可以利用到曲線本身的信息，比梯度下降法更容易收斂（迭代更少次數(shù)），如下圖是一個(gè)最小化一個(gè)目標(biāo)方程的例子，紅色曲線是利用牛頓法迭代求解，綠色曲線是利用梯度下降法求解。=0的根，把f（x）的泰勒展開(kāi)，展開(kāi)到2階形式：這個(gè)式子是成立的，當(dāng)且僅當(dāng)剩下的問(wèn)題就和第一部分提到的牛頓法求解很相似了。=0的問(wèn)題，這樣求可以把優(yōu)化問(wèn)題看成方程求解問(wèn)題（f39。整個(gè)過(guò)程如下圖：牛頓法用于最優(yōu)化在最優(yōu)化的問(wèn)題中，線性最優(yōu)化至少可以使用單純行法求解，但對(duì)于非線性優(yōu)化問(wèn)題，牛頓法提供了一種求解的辦法。(x0)處并不是完全相等，而是近似相等，這里求得的x1并不能讓f（x）=0，只能說(shuō)f(x1)的值比f(wàn)(x0)更接近f（x）=0，于是乎，迭代求解的想法就很自然了，可以進(jìn)而推出x(n+1)=x(n)－f(x(n))/f39。x1=x0－f(x0)/f39。(x0)求解方程f(x)=0，即f(x0)+(xx0)*f39。解決辦法：將alpha設(shè)定為隨著迭代次數(shù)而不斷減小的變量，但是也不能完全減為零。3. 如果更新參數(shù)后，當(dāng)前參數(shù)值到了極值點(diǎn)的左邊，然后計(jì)算斜率會(huì)發(fā)現(xiàn)是負(fù)的，這樣經(jīng)過(guò)再一次更新后就會(huì)又向著極值點(diǎn)的方向更新。每次迭代的過(guò)程是這樣：1. 首先計(jì)算目標(biāo)函數(shù)在當(dāng)前參數(shù)值的斜率（梯度），然后乘以步長(zhǎng)因子后帶入更新公式，如圖點(diǎn)所在位置（極值點(diǎn)右邊），此時(shí)斜率為正，那么更新參數(shù)后參數(shù)減小，更接近極小值對(duì)應(yīng)的參數(shù)。為了更形象地理解，也為了和牛頓法比較，這里我用一個(gè)二維圖來(lái)表示：懶得畫(huà)圖了直接用這個(gè)展示一下。迭代過(guò)程為：可以看出，梯度下降法更新參數(shù)的方式為目標(biāo)函數(shù)在當(dāng)前參數(shù)取值下的梯度值，前面再加上一個(gè)步長(zhǎng)控制參數(shù)alpha。梯度下降法梯度下降法用來(lái)求解目標(biāo)函數(shù)的極值。由于兩種方法有些相似，我特地拿來(lái)簡(jiǎn)單地對(duì)比一下。(x)0恒成立,那么在區(qū)間I上f(x)的圖象上的任意兩點(diǎn)連出的一條線段,這兩點(diǎn)之間的函數(shù)圖象都在該線段的下方,反之在該線段的上方.機(jī)器學(xué)習(xí)中梯度下降法和牛頓法的比較在機(jī)器學(xué)習(xí)的優(yōu)化問(wèn)題中，梯度下降法和牛頓法是常用的兩種凸函數(shù)求極值的方法，他們都是為了求得目標(biāo)函數(shù)的近似解。(x)（即二階導(dǎo)數(shù)）0恒成立,那么對(duì)于區(qū)間I上的任意x,y,總有：f(
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1