機器學(xué)習(xí)學(xué)術(shù)報告-資料下載頁
2025-01-18 18:05本頁面
【正文】 ，但是因為訓(xùn)練參數(shù)比訓(xùn)練樣本還多，所以它也能夠表示無限多 個剛好 穿越訓(xùn)練樣本點的很多其他 函數(shù) 。 二 次模型非常符合任務(wù)的真實結(jié)構(gòu)，因此它可以 很好地 泛化到新數(shù)據(jù) 上。（見下圖） 1 思考 容量、過擬合、欠擬合 二次函數(shù)的擬合情況： 擬合 函數(shù)： 一次 二次 9次 1 思考 容量、過擬合、欠擬合 對于一般情況， 在圖的左端， 訓(xùn)練 誤差 和泛化誤差都非常高。這是 欠 擬合 (underfitting)機制。 當(dāng)我們增加容量時 ，訓(xùn)練 誤差 減小 ，但是訓(xùn)練誤差和泛化誤差之間的間距卻不斷擴大。最終，這個間距的大小超過了訓(xùn)練誤差的 下降 ，我們進入到了 過 擬合 (overfitting)機制，其中 容量過大，超過了 最佳容量（ optimal capacity)。 1 思考 小樣本學(xué)習(xí) 將 數(shù)據(jù)集分成固定的訓(xùn)練集和固定的測試集后，若測試集的誤差很小，這將 是有問題 的。一個小規(guī)模的測試集意味著平均測試誤差估計的統(tǒng)計不確定性，使得 很難 判斷算法 A 是否比算法 B 在給定的任務(wù)上做得更好。 當(dāng) 數(shù)據(jù)集有十萬計或者更多的樣本時，這不會是一個嚴(yán)重的問題。當(dāng)數(shù)據(jù)集 太 小時，也有替代方法允許我們使用所有的樣本估計平均測試誤差，代價是增加了 計算 量。 1 思 考 小樣本學(xué)習(xí) 這些 過程是基于在原始數(shù)據(jù)上隨機采樣或分離出的不同數(shù)據(jù)集上重復(fù)訓(xùn)練 和測試 的想法 。常見的有兩種方法： 簡單交叉 驗證 (simple cross validation) k折交叉 驗證 (kfold cross validation) 1 交叉驗證 簡單 交叉 驗證 : 最 簡單，將數(shù)據(jù) 集隨機分成 兩部分，一部分作為訓(xùn)練集， 一 部分作為 驗證集，由于分法不同，驗證集上的結(jié)果也會有差異 。 本質(zhì)上 不能稱為交叉驗證，因為沒有涉及數(shù)據(jù)的交叉使用，只 劃 分了一 次。 驗證集 測試集 一般 情況 下，驗證集 取數(shù)據(jù)集的 70%,測試集取 30%。 1 交叉驗證 k折交叉驗證將樣本集隨機劃分為 k份， k1份作為訓(xùn)練集， 1份作為驗證集，依次輪換訓(xùn)練集和驗證集 k次，驗證誤差最小的模型為所求模型。具體方法如下 ： S劃分成 k個不相交的子集 ， 每個子集中樣本數(shù)量為 m/k個 ， 這些子集分別記 作 ： K折交叉驗證 : 1 交叉驗證 ， 進行如下操作： for j=1 to k： 將 作 作 為 訓(xùn)練集 ， 訓(xùn)練模型 ， 得到相應(yīng)的假設(shè)函數(shù) 。 再 將 作為 驗證集 ， 計算泛化 誤差 ； ，選擇泛化誤差最小的模型 。 K折交叉驗證 : 1 交叉驗證 K折交叉驗證方法，每次留作驗證的為總樣本量的1/k(通常取 k=10)，因此每次用于訓(xùn)練的樣本量相應(yīng)增加了，然而 K折交叉驗證對于每個模型都需要運行 k次，他的計算成本還是較高的。 還有 一種 k折交叉驗證的極端形式，當(dāng) k=m時，即把樣本集 S劃分為 m個子集，其中的 m1個樣本作為訓(xùn)練集，剩下 1個樣本作為驗證集，如此循環(huán) m次，選取驗證誤差最小的模型 。 以上 介紹的各種交叉驗證的方法，可用于模型的選擇，但也可以針對單個算法和模型進行評價。 1 交叉驗證 小結(jié) ：交叉驗證是一種模型選擇方法，其將樣本的一部分用于訓(xùn)練，另一部分用于驗證。因此不僅考慮了訓(xùn)練誤差，同時也考慮了泛化誤差。從這里可以看出機器學(xué)習(xí)、數(shù)據(jù)挖掘與傳統(tǒng)統(tǒng)計學(xué)的一個重要差別：傳統(tǒng)統(tǒng)計學(xué)更注重理論，追求理論的完整性和模型的精確性，在對樣本建立某個特定模型后，用理論去對模型進行各種驗證；而機器學(xué)習(xí) /數(shù)據(jù)挖掘則注重經(jīng)驗，如交叉驗證，就是通過不同模型在同一樣本上的誤差表現(xiàn)好壞，來選擇適合這一樣本的模型，而不去糾結(jié)理論上是否嚴(yán)謹(jǐn)。 1 機遇與挑戰(zhàn) 當(dāng)前機器學(xué)習(xí)在處理 高維數(shù)據(jù)時在新樣本上泛化特別困難 ，而且傳統(tǒng) 機器學(xué)習(xí)中實現(xiàn)泛化的機制不適合學(xué)習(xí)高維空間中復(fù)雜的函數(shù)。這些空間經(jīng)常涉及巨大的計算 代價，稱為 維度爆炸 問題。其次當(dāng)前 的機器學(xué)習(xí)算法在很多不同的重要問題上效果都良好。但是它們不能成功解決人工智能中的核心問題，如語音識別或者對象識別 深度 學(xué)習(xí)旨在克服這些以及其他一些難題 。 由此促使了 深度學(xué)習(xí) 的發(fā)展。深度 學(xué)習(xí)發(fā)展動機的一部分原因是傳統(tǒng)學(xué)習(xí)算法在這類人工智能問題上泛化 能力不足。 演講完畢，謝謝觀看！
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1