機(jī)器學(xué)習(xí)學(xué)術(shù)報告-預(yù)覽頁
【正文】 是圖片（通常由一組像素亮度值表示）， 輸出是 表示圖片物體的數(shù)字碼。 除了返回結(jié)果的形式不一樣外，這 類問題 和分類問題是很像的。這通常適用于自然語言，如將英語譯 成法語 。另一個例子是語音識別， 計算機(jī)程序 輸入一段音頻波形，輸出一序列音頻記錄中所說的字符或單詞 ID 的編碼。算法必須知道什么情況下樣本聚集出現(xiàn)，什么情況下不太 可能 出現(xiàn) 。 1 性能度量 P 為了 評估機(jī)器學(xué)習(xí)算法的能力，我們必須設(shè)計其性能的定量度量。我們也可以通過 錯誤率（ error rate）得到相同的信息。 1 性能度量 P 通常 ， 我們在 訓(xùn)練集（ train set)上學(xué)習(xí)算法，但我們更加 關(guān)注機(jī)器學(xué)習(xí)算法在未觀測數(shù)據(jù)上的性能如何，因為這將 決定 其在實際應(yīng)用中的性能。例如，在執(zhí)行轉(zhuǎn)錄任務(wù)時， 我們 是應(yīng)該度量系統(tǒng)轉(zhuǎn)錄整個序列的準(zhǔn)確率，還是應(yīng)該用一個更細(xì)粒度的指標(biāo)，對 序列 中正確的部分元素以正面評價？在執(zhí)行回歸任務(wù)時，我們應(yīng)該更多地懲罰頻繁 犯一些 中等錯誤的系統(tǒng)，還是較少犯錯但是犯很大錯誤的系統(tǒng)？這些設(shè)計的選擇 取決于 應(yīng)用。還 有一些其他類型的無監(jiān)督學(xué)習(xí)任務(wù)，例如聚類，將數(shù)據(jù)集分成相似樣本的集合。 注： Iris（鳶尾花卉） 數(shù)據(jù)集 (Fisher, 1936) 是統(tǒng)計學(xué)家和機(jī)器學(xué)習(xí)研究者使用了很久 的數(shù)據(jù)集。這個數(shù)據(jù)集也記錄了每個植物屬于什么品種，其中 共有三 個不同的品種。（為簡化模型，只取一個特征） 2104 400 1600 330 2400 369 1416 232 3000 540 1 牛刀小試 線性回歸 使用 這些訓(xùn)練數(shù)據(jù)，我們要來編寫一個能夠估算該地區(qū)其他房屋價值的程序： 我們希望使用這些訓(xùn)練數(shù)據(jù)來預(yù)測其他房屋的價格。算法會嘗試找出需要做哪些數(shù)學(xué)運(yùn)算來得出價格。 本例使用一次函數(shù)訓(xùn)練，若改為二次函數(shù)，告辭函數(shù)，結(jié)果如何（ 容量、過擬合、欠擬合問題 ）。在房價問題這個例子中便是直線的斜率和在 y軸上 的 截距 。這個函數(shù)也 叫費(fèi)用函數(shù)。于是 對于一 個訓(xùn)練集， 總的誤差 函數(shù)（參考代價函數(shù)） 可以 定義如下 ： 其中 分別表示第 i個樣本和其對應(yīng)的值（房價）。 1 思考 梯度下降 梯度 所指的方向就是函數(shù)增長最快的方向（負(fù)梯度則指向函數(shù)下降最快的方向 ），故對 參數(shù) (θ1,θ2,θ3) 求 偏 導(dǎo) 為 ： 1 思考 梯度下降 我們 先隨機(jī)取一組參數(shù)值，接下來讓參數(shù)沿著負(fù)梯度方向走，也就是每個分量沿著對應(yīng)的梯度反方向的分量走，因此參數(shù)在每次迭代的更新規(guī)則如下： η 是 學(xué)習(xí)率，一般取值為0到 1之間，它可以控制參數(shù)每步調(diào)整的大小，太大的話 ，有 可能走到臨近極佳點(diǎn)時，下一步就跨過去了，這樣就不收斂了，走得太慢的話 ，會 迭代很多次才收斂。 機(jī)器學(xué)習(xí) 和優(yōu)化不同的地方在于， 我們 也希望 泛化 誤差也 被稱為 測試 誤差很 低。 2. 縮小訓(xùn)練誤差和測試誤差的差距。 1 思考 容量、過擬合、欠擬合 通過 調(diào)整模型 的 容量 ， 我們 可以控制模型是否偏向于 過擬合 或者 欠擬合 。 一 種控制訓(xùn)練算法容量的方法是 選擇 假設(shè)空間 ，即 學(xué)習(xí)算法 可以選擇為解決方案的 函數(shù)集 。 1 思考 容量、過擬合、欠擬合 一 次多項式提供了我們已經(jīng)熟悉的線性回歸模型，其預(yù)測如下 ： 通過 引入 作為 線性回歸模型的另一個特征，我們能夠?qū)W習(xí) 關(guān)于 的 二次函數(shù) 模型 ： 9次 多項式： 1 思考 容量、過擬合、欠擬合 容量 高的模型能夠 解決復(fù)雜 的任務(wù)，但是當(dāng)其容量高于任務(wù)所需時，有可能會過擬合。 二 次模型非常符合任務(wù)的真實結(jié)構(gòu)，因此它可以 很好地 泛化到新數(shù)據(jù) 上。最終，這個間距的大小超過了訓(xùn)練誤差的 下降 ，我們進(jìn)入到了 過 擬合 (overfitting)機(jī)制，其中 容量過大，超過了 最佳容量（ optimal capacity)。當(dāng)數(shù)據(jù)集 太 小時，也有替代方法允許我們使用所有的樣本估計平均測試誤差，代價是增加了 計算 量。 驗證集 測試集 一般 情況 下，驗證集 取數(shù)據(jù)集的 70%,測試集取 30%。 K折交叉驗證 : 1 交叉驗證 K折交叉驗證方法，每次留作驗證的為總樣本量的1/k(通常取 k=10)，因此每次用于訓(xùn)練的樣本量相應(yīng)增加了，然而 K折交叉驗證對于每個模型都需要運(yùn)行 k次，他的計算成本還是較高的。因此不僅考慮了訓(xùn)練誤差，同時也考慮了泛化誤差。其次當(dāng)前 的機(jī)器學(xué)習(xí)算法在很多不同的重要問題上效果都良好。 演講完畢，謝謝觀看！
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1