機器學(xué)習(xí)學(xué)術(shù)報告(文件)
【正文】 太大。容量 高的模型可能會過擬合，因為記住了不適用于測試集的訓(xùn)練集性質(zhì) 。 這樣 做就增加了模型的 容量。 9 次 函數(shù) 能夠表示 正確的函數(shù)，但是因為訓(xùn)練參數(shù)比訓(xùn)練樣本還多，所以它也能夠表示無限多 個剛好 穿越訓(xùn)練樣本點的很多其他 函數(shù) 。 當(dāng)我們增加容量時 ，訓(xùn)練 誤差 減小 ，但是訓(xùn)練誤差和泛化誤差之間的間距卻不斷擴大。 當(dāng) 數(shù)據(jù)集有十萬計或者更多的樣本時，這不會是一個嚴(yán)重的問題。 本質(zhì)上 不能稱為交叉驗證，因為沒有涉及數(shù)據(jù)的交叉使用，只 劃 分了一 次。 再 將 作為 驗證集 ， 計算泛化 誤差 ； ，選擇泛化誤差最小的模型 。 1 交叉驗證 小結(jié) ：交叉驗證是一種模型選擇方法，其將樣本的一部分用于訓(xùn)練，另一部分用于驗證。這些空間經(jīng)常涉及巨大的計算 代價，稱為 維度爆炸 問題。深度 學(xué)習(xí)發(fā)展動機的一部分原因是傳統(tǒng)學(xué)習(xí)算法在這類人工智能問題上泛化 能力不足。但是它們不能成功解決人工智能中的核心問題，如語音識別或者對象識別 深度 學(xué)習(xí)旨在克服這些以及其他一些難題 。從這里可以看出機器學(xué)習(xí)、數(shù)據(jù)挖掘與傳統(tǒng)統(tǒng)計學(xué)的一個重要差別：傳統(tǒng)統(tǒng)計學(xué)更注重理論，追求理論的完整性和模型的精確性，在對樣本建立某個特定模型后，用理論去對模型進行各種驗證；而機器學(xué)習(xí) /數(shù)據(jù)挖掘則注重經(jīng)驗，如交叉驗證，就是通過不同模型在同一樣本上的誤差表現(xiàn)好壞，來選擇適合這一樣本的模型，而不去糾結(jié)理論上是否嚴(yán)謹(jǐn)。 還有 一種 k折交叉驗證的極端形式，當(dāng) k=m時，即把樣本集 S劃分為 m個子集，其中的 m1個樣本作為訓(xùn)練集，剩下 1個樣本作為驗證集，如此循環(huán) m次，選取驗證誤差最小的模型 。 1 交叉驗證 k折交叉驗證將樣本集隨機劃分為 k份， k1份作為訓(xùn)練集， 1份作為驗證集，依次輪換訓(xùn)練集和驗證集 k次，驗證誤差最小的模型為所求模型。 1 思 考 小樣本學(xué)習(xí) 這些 過程是基于在原始數(shù)據(jù)上隨機采樣或分離出的不同數(shù)據(jù)集上重復(fù)訓(xùn)練 和測試 的想法 。 1 思考 小樣本學(xué)習(xí) 將 數(shù)據(jù)集分成固定的訓(xùn)練集和固定的測試集后，若測試集的誤差很小，這將 是有問題 的。（見下圖） 1 思考 容量、過擬合、欠擬合 二次函數(shù)的擬合情況： 擬合 函數(shù)： 一次 二次 9次 1 思考 容量、過擬合、欠擬合 對于一般情況， 在圖的左端， 訓(xùn)練 誤差 和泛化誤差都非常高。 我們 比較 了 一次 ， 二次和 9 次預(yù)測器擬合 真實 二次函數(shù)的效果 。例如 ，線性回歸 算法將關(guān)于其輸入的所有線性 函數(shù) 作為假設(shè)空間。通俗地，模型的容量是指其擬合各種函數(shù)的能力 。 這 兩個因素對應(yīng)機器學(xué)習(xí)的兩個主要挑戰(zhàn) ： 欠擬合 和 過擬合 。 1 思考 容量、過擬合、欠擬合 當(dāng) 我們只能觀測到訓(xùn)練集時，我們?nèi)绾尾拍苡绊憸y試集的性能呢 ？在樣本數(shù)據(jù)獨立同分布 （ iid） 的假設(shè) 下 ， 我們采樣得到訓(xùn)練集，然后挑選參數(shù)去降低訓(xùn)練集誤差，然后采樣得到 測試 集。 1 思考 梯度下降 ps:網(wǎng)上 總是說，大部分人做機器學(xué)習(xí)，都是調(diào)參工程師，說的一個參，就是這個η （ 超參數(shù) ） 此處有視頻 1 思考 容量、過擬合、欠擬合 機器學(xué)習(xí) 的主要挑戰(zhàn)是我們的算法必須能夠在先前未觀測的新輸入上表現(xiàn)良好 ，而 不只是在訓(xùn)練集上表現(xiàn)良好。 1 思考 梯度下降 現(xiàn)在的目標(biāo)是，找到最優(yōu)參數(shù) (θ1,θ2,θ3)， 使得 函 數(shù) L(θ) 取得最小值。 1 思考 代價 函數(shù) 也就是 意味著得出 θ0 和 θ1 這兩個參數(shù)，使得假設(shè)函數(shù)表示 的紅色直線 盡量與 下面的數(shù)據(jù) 點很好的 擬合： f(x)=θ1x1+θ2x2+θ3 思考 梯度下降 我們希望能學(xué)習(xí)出一個函數(shù) f(x)，使得 f(x)能夠盡可能準(zhǔn)確地描述這些數(shù)據(jù)，如果能求出這個 f(x)，那么任給一組數(shù)據(jù)，就能預(yù)測出 房價 。 1 思考 代價函數(shù) 我們 選擇的參數(shù)決定了我們得到的直線相對于我們的 訓(xùn)練集的準(zhǔn)確程度，模型所預(yù)測的值與訓(xùn)練集中實際值之間的差距 （下圖中藍(lán)線所指）就是建模 誤差。 本例樣本較為充足，若樣本不易搜集怎么辦，怎樣高效利用小樣本來訓(xùn)練算法（ 小樣本學(xué)習(xí) 問題）。 這就好像是你已經(jīng)知道了數(shù)學(xué)測試題的答案，但是算式中的運算符號都被擦去了： 1 牛刀小試 線性回歸 在監(jiān)督式學(xué)習(xí)中，你讓計算機為你算出這種關(guān)系。 這就是 監(jiān)督 式學(xué)習(xí) 。 1 牛
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1