機(jī)器學(xué)習(xí)學(xué)術(shù)報(bào)告(完整版)
【正文】 行走。常見算法 包括 （ Q learning） 以及 時(shí)間差學(xué)習(xí) （ Temporal difference learning） — — 學(xué)習(xí)型算法 機(jī)器學(xué)習(xí)可以讓我們解決一些人為設(shè)計(jì)和使用確定性程序很 難解決的問題。當(dāng)學(xué)習(xí)完畢并經(jīng)測(cè)試后，也可以將之應(yīng)用到新的案例上。 半監(jiān)督學(xué)習(xí) Unsupervised learning 自動(dòng)駕駛汽車 他 編寫 程序 讓電腦自己和自己下了 成千上萬 局國際象棋。 我們稱之為 從數(shù)據(jù)中學(xué)習(xí)。常見算法有邏輯 回歸 （ Logistic Regression） 和反向傳遞神經(jīng)網(wǎng)絡(luò) （ Back Propagation Neural Network） 1 無監(jiān)督學(xué)習(xí) 無 監(jiān)督式 學(xué)習(xí)的目的 是去對(duì)原始資料進(jìn)行分類，以便了解資料內(nèi)部 結(jié)構(gòu)（概率密度等）。 應(yīng)用 場景 包括 分類和回歸，算法包括一些對(duì)常用監(jiān)督式學(xué)習(xí)算法的延伸，這些算法首先 試圖對(duì) 未標(biāo)識(shí)數(shù)據(jù)進(jìn)行建模，在此基礎(chǔ)上再對(duì)標(biāo)識(shí)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。 1 任務(wù) T 從“任務(wù)”的 相對(duì)正式的定義上說，學(xué)習(xí)過程本身不能算是任務(wù)。 1 任務(wù) T分類 機(jī)器學(xué)習(xí) 可以解決很多類型的任務(wù)。為了解決 這個(gè)務(wù) ，學(xué)習(xí)算法需要輸出 函數(shù) f 。 谷歌街景以這種方式使用深度 學(xué)習(xí) 處理街道編號(hào) (Goodfellow et al., 2023d)。例如，如果我們通過密度估計(jì)得到了概率分布 p(x)，我們 可以用該 分布解決 缺失值填補(bǔ) 任務(wù)（轉(zhuǎn)化為條件概率）。在一個(gè)特定的樣本上，如果結(jié)果是對(duì)的，那么 0 1損失 是 0；否則是 1。在深度學(xué)習(xí)中，我們通常要學(xué)習(xí) 生成 數(shù)據(jù)集的整個(gè)概率分布，顯式地，比如密度估計(jì)，或是隱式地，比如合成或去噪 。每個(gè)樣本的特征是該植物不同部分的測(cè)量結(jié)果：萼片長度、萼片 寬度 、花瓣長度和花瓣寬度。 2023 ??? 1 牛刀小試 線性回歸 為了編寫你的軟件，你將包含每一套房產(chǎn)的訓(xùn)練數(shù)據(jù)輸入到你的機(jī)器學(xué)習(xí)算法當(dāng)中去。而我們的假設(shè)函數(shù)，也就是用來進(jìn)行預(yù)測(cè)的函數(shù)，是這樣的線性函數(shù)形式： 接下來 為型選擇合適的參數(shù) θ0 和 θ1 ，這兩個(gè)參數(shù) 稱為 模型參數(shù) 。為方便講解，我設(shè) f(x)為下面的形式，也就是一個(gè)線性的函數(shù)（一般來說，非線性的要比線性的函數(shù)的擬合能力要強(qiáng)，這里暫不討論線性與非線性的問題）： 1 思考 梯度下降 我們 希望 f(x)能夠盡可能準(zhǔn)確地 描述訓(xùn)練集中 的 樣本， 但 畢竟是猜的，不可能百分百準(zhǔn)確，肯定或多或少會(huì)有 誤 差。 通常 情況下，當(dāng)我們訓(xùn)練機(jī)器學(xué)習(xí)模型時(shí)，我們可以使用某個(gè)訓(xùn)練集，在 訓(xùn)練集 上計(jì)算一些被 稱為訓(xùn)練誤差的 度量誤差，目標(biāo) 是降低訓(xùn)練誤差。而過擬合是指 訓(xùn)練 誤差和和測(cè)試誤差之間的差距太大。 這樣 做就增加了模型的 容量。 當(dāng)我們?cè)黾尤萘繒r(shí) ，訓(xùn)練 誤差 減小 ，但是訓(xùn)練誤差和泛化誤差之間的間距卻不斷擴(kuò)大。 本質(zhì)上 不能稱為交叉驗(yàn)證，因?yàn)闆]有涉及數(shù)據(jù)的交叉使用，只 劃 分了一 次。 1 交叉驗(yàn)證 小結(jié) ：交叉驗(yàn)證是一種模型選擇方法，其將樣本的一部分用于訓(xùn)練，另一部分用于驗(yàn)證。深度 學(xué)習(xí)發(fā)展動(dòng)機(jī)的一部分原因是傳統(tǒng)學(xué)習(xí)算法在這類人工智能問題上泛化 能力不足。從這里可以看出機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘與傳統(tǒng)統(tǒng)計(jì)學(xué)的一個(gè)重要差別：傳統(tǒng)統(tǒng)計(jì)學(xué)更注重理論，追求理論的完整性和模型的精確性，在對(duì)樣本建立某個(gè)特定模型后，用理論去對(duì)模型進(jìn)行各種驗(yàn)證；而機(jī)器學(xué)習(xí) /數(shù)據(jù)挖掘則注重經(jīng)驗(yàn)，如交叉驗(yàn)證，就是通過不同模型在同一樣本上的誤差表現(xiàn)好壞，來選擇適合這一樣本的模型，而不去糾結(jié)理論上是否嚴(yán)謹(jǐn)。 1 交叉驗(yàn)證 k折交叉驗(yàn)證將樣本集隨機(jī)劃分為 k份， k1份作為訓(xùn)練集， 1份作為驗(yàn)證集，依次輪換訓(xùn)練集和驗(yàn)證集 k次，驗(yàn)證誤差最小的模型為所求模型。 1 思考 小樣本學(xué)習(xí) 將 數(shù)據(jù)集分成固定的訓(xùn)練集和固定的測(cè)試集后，若測(cè)試集的誤差很小，這將 是有問題 的。 我們 比較 了 一次 ， 二次和 9 次預(yù)測(cè)器擬合 真實(shí) 二次函數(shù)的效果 。通俗地，模型的容量是指其擬合各種函數(shù)的能力 。 1 思考 容量、過擬合、欠擬合 當(dāng) 我們只能觀測(cè)到訓(xùn)練集時(shí)，我們?nèi)绾尾拍苡绊憸y(cè)試集的性能呢 ？在樣本數(shù)據(jù)獨(dú)立同分布 （ iid） 的假設(shè) 下 ， 我們采樣得到訓(xùn)練集，然后挑選參數(shù)去降低訓(xùn)練集誤差，然后采樣得到 測(cè)試 集。 1 思考 梯度下降 現(xiàn)在的目標(biāo)是，找到最優(yōu)參數(shù) (θ1,θ2,θ3)， 使得 函 數(shù) L(θ) 取得最小值。 1 思考 代價(jià)函數(shù) 我們 選擇的參數(shù)決定了我們得到的直線相對(duì)于我們的 訓(xùn)練集的準(zhǔn)確程度，模型所預(yù)測(cè)的值
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1