機(jī)器學(xué)習(xí)學(xué)術(shù)報(bào)告-閱讀頁(yè)
2025-01-28 18:05本頁(yè)面
【正文】 建模誤差的平方和能夠最小的模型參數(shù) 。這個(gè)函數(shù)也 叫費(fèi)用函數(shù)。 那么 f(x)長(zhǎng)什么樣？它的形式需要我們來(lái)指定，算法只幫我們訓(xùn)練出其中的參數(shù)。于是 對(duì)于一 個(gè)訓(xùn)練集， 總的誤差 函數(shù)（參考代價(jià)函數(shù)） 可以 定義如下 ： 其中 分別表示第 i個(gè)樣本和其對(duì)應(yīng)的值（房?jī)r(jià)）。因?yàn)閾p失最小，代表模擬出的函數(shù) f(x) 越準(zhǔn)確 。 1 思考 梯度下降 梯度 所指的方向就是函數(shù)增長(zhǎng)最快的方向（負(fù)梯度則指向函數(shù)下降最快的方向 ），故對(duì) 參數(shù) (θ1,θ2,θ3) 求 偏 導(dǎo) 為 ： 1 思考 梯度下降 我們 先隨機(jī)取一組參數(shù)值，接下來(lái)讓參數(shù)沿著負(fù)梯度方向走，也就是每個(gè)分量沿著對(duì)應(yīng)的梯度反方向的分量走，因此參數(shù)在每次迭代的更新規(guī)則如下： η 是 學(xué)習(xí)率，一般取值為0到 1之間，它可以控制參數(shù)每步調(diào)整的大小，太大的話 ，有 可能走到臨近極佳點(diǎn)時(shí)，下一步就跨過(guò)去了，這樣就不收斂了，走得太慢的話 ，會(huì) 迭代很多次才收斂。在先前未觀測(cè)到的輸入上表現(xiàn)良好的能力被 稱為 泛化 。 機(jī)器學(xué)習(xí) 和優(yōu)化不同的地方在于， 我們 也希望 泛化 誤差也 被稱為 測(cè)試 誤差很 低。在這個(gè)過(guò)程中，測(cè)試誤差期望會(huì)大于或等于訓(xùn)練誤差期望。 2. 縮小訓(xùn)練誤差和測(cè)試誤差的差距。欠 擬合是指模型不能在訓(xùn)練集上獲得足夠低的誤差。 1 思考 容量、過(guò)擬合、欠擬合 通過(guò) 調(diào)整模型 的 容量 ， 我們 可以控制模型是否偏向于 過(guò)擬合 或者 欠擬合 。容量 低的模型可能很難 擬合 訓(xùn)練集 。 一 種控制訓(xùn)練算法容量的方法是 選擇 假設(shè)空間 ，即 學(xué)習(xí)算法 可以選擇為解決方案的 函數(shù)集 。廣義線性回歸的假設(shè)空間包括多項(xiàng)式函數(shù)，而非僅有線性函數(shù)。 1 思考 容量、過(guò)擬合、欠擬合 一 次多項(xiàng)式提供了我們已經(jīng)熟悉的線性回歸模型，其預(yù)測(cè)如下 ： 通過(guò) 引入 作為 線性回歸模型的另一個(gè)特征，我們能夠?qū)W習(xí) 關(guān)于 的 二次函數(shù) 模型 ： 9次 多項(xiàng)式： 1 思考 容量、過(guò)擬合、欠擬合 容量 高的模型能夠 解決復(fù)雜 的任務(wù)，但是當(dāng)其容量高于任務(wù)所需時(shí)，有可能會(huì)過(guò)擬合。 一次 函數(shù) 無(wú)法刻畫(huà)真實(shí)函數(shù)的曲率，所以欠擬合。 二 次模型非常符合任務(wù)的真實(shí)結(jié)構(gòu)，因此它可以 很好地 泛化到新數(shù)據(jù) 上。這是 欠 擬合 (underfitting)機(jī)制。最終，這個(gè)間距的大小超過(guò)了訓(xùn)練誤差的 下降 ，我們進(jìn)入到了 過(guò) 擬合 (overfitting)機(jī)制，其中 容量過(guò)大，超過(guò)了 最佳容量（ optimal capacity)。一個(gè)小規(guī)模的測(cè)試集意味著平均測(cè)試誤差估計(jì)的統(tǒng)計(jì)不確定性，使得 很難 判斷算法 A 是否比算法 B 在給定的任務(wù)上做得更好。當(dāng)數(shù)據(jù)集 太 小時(shí)，也有替代方法允許我們使用所有的樣本估計(jì)平均測(cè)試誤差，代價(jià)是增加了 計(jì)算 量。常見(jiàn)的有兩種方法： 簡(jiǎn)單交叉 驗(yàn)證 (simple cross validation) k折交叉 驗(yàn)證 (kfold cross validation) 1 交叉驗(yàn)證 簡(jiǎn)單 交叉 驗(yàn)證 : 最 簡(jiǎn)單，將數(shù)據(jù) 集隨機(jī)分成 兩部分，一部分作為訓(xùn)練集， 一 部分作為 驗(yàn)證集，由于分法不同，驗(yàn)證集上的結(jié)果也會(huì)有差異 。 驗(yàn)證集 測(cè)試集 一般 情況 下，驗(yàn)證集 取數(shù)據(jù)集的 70%,測(cè)試集取 30%。具體方法如下 ： S劃分成 k個(gè)不相交的子集 ， 每個(gè)子集中樣本數(shù)量為 m/k個(gè) ， 這些子集分別記 作 ： K折交叉驗(yàn)證 : 1 交叉驗(yàn)證 ， 進(jìn)行如下操作： for j=1 to k： 將 作 作 為 訓(xùn)練集 ， 訓(xùn)練模型 ， 得到相應(yīng)的假設(shè)函數(shù) 。 K折交叉驗(yàn)證 : 1 交叉驗(yàn)證 K折交叉驗(yàn)證方法，每次留作驗(yàn)證的為總樣本量的1/k(通常取 k=10)，因此每次用于訓(xùn)練的樣本量相應(yīng)增加了，然而 K折交叉驗(yàn)證對(duì)于每個(gè)模型都需要運(yùn)行 k次，他的計(jì)算成本還是較高的。 以上 介紹的各種交叉驗(yàn)證的方法，可用于模型的選擇，但也可以針對(duì)單個(gè)算法和模型進(jìn)行評(píng)價(jià)。因此不僅考慮了訓(xùn)練誤差，同時(shí)也考慮了泛化誤差。 1 機(jī)遇與挑戰(zhàn) 當(dāng)前機(jī)器學(xué)習(xí)在處理 高維數(shù)據(jù)時(shí)在新樣本上泛化特別困難 ，而且傳統(tǒng) 機(jī)器學(xué)習(xí)中實(shí)現(xiàn)泛化的機(jī)制不適合學(xué)習(xí)高維空間中復(fù)雜的函數(shù)。其次當(dāng)前 的機(jī)器學(xué)習(xí)算法在很多不同的重要問(wèn)題上效果都良好。 由此促使了 深度學(xué)習(xí) 的發(fā)展。 演講完畢，謝謝觀看！
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1