機器學(xué)習(xí)：基于實例的學(xué)習(xí)-文庫吧資料
2025-08-07 15:04本頁面
【正文】 學(xué)習(xí) 基于實例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 21 局部加權(quán)線性回歸（ 3） ? 準則 2或許最令人滿意，但所需的計算量隨著訓(xùn)練樣例數(shù)量線性增長 ? 準則 3很好地近似了準則 2，并且具有如下優(yōu)點：計算開銷獨立于訓(xùn)練樣例總數(shù)，僅依賴于最近鄰數(shù) k ? 對應(yīng)準則 3的梯度下降法則是 ?? ??? 個近 鄰的 kxx jqi q xaxfxfxxdKw )())(?)())(,((? 機器學(xué)習(xí) 基于實例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 22 局部加權(quán)回歸的說明 ? 大多數(shù)情況下，通過一個常量、線性函數(shù)或二次函數(shù)來局部逼近目標函數(shù)，更復(fù)雜的函數(shù)形式不太常見，原因是： –對每個查詢實例用更復(fù)雜的函數(shù)來擬合，其代價十分高昂 –在足夠小的實例空間子域上，使用這些簡單的近似已能很好地模擬目標函數(shù) 機器學(xué)習(xí) 基于實例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 23 徑向基函數(shù) ? 徑向基函數(shù)是另一種實現(xiàn)函數(shù)逼近的方法，它與距離加權(quán)回歸和人工神經(jīng)網(wǎng)絡(luò)都有著緊密聯(lián)系 ? 待學(xué)習(xí)的假設(shè)是一個以下形式的函數(shù) xu是 X中一個實例，核函數(shù) Ku(d(xu,x))被定義為隨距離d(xu,x)的增加而減小， k是用戶提供的常量，用來指定要包含的核函數(shù)的數(shù)量 ? 盡管 是對 f(x)的全局逼近，但來自每個 Ku(d(xu,x))項的貢獻被局部化到點 xu附近的區(qū)域 ? 一種很常見的做法是選擇每個核函數(shù) Ku(d(xu,x))為高斯函數(shù)（表示正態(tài)分布的函數(shù)） ???? ku uuu xxdKwwxf 10 )),(()(?)(?xf),(2 1 22)),(( xxduu uuexxdK ??? 機器學(xué)習(xí) 基于實例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 24 徑向基函數(shù)（ 2） ? Hartman et ，式子 意小的誤差逼近任何函數(shù)，只要以上高斯核的數(shù)量足夠大，并且可以分別指定每個核的寬度 ? 圖 82徑向基函數(shù)網(wǎng)絡(luò)（ RBF），式子 以看作是描述了一個兩層的網(wǎng)絡(luò)，第一層計算不同的Ku(d(xu,x))，第二層計算第一層單元值的線性組合 ? 給定了目標函數(shù)的訓(xùn)練樣例集合，一般分兩個階段來訓(xùn)練 RBF網(wǎng)絡(luò) – 決定隱藏單元的數(shù)量 k，并通過定義核函數(shù)中心點和方差來定義每個隱藏單元 – 使用式子 wu，使網(wǎng)絡(luò)擬合訓(xùn)練數(shù)據(jù)程度最大化 機器學(xué)習(xí) 基于實例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 25 徑向基函數(shù)（ 3） ? 已經(jīng)提出了幾種方法來選取適當(dāng)?shù)碾[藏單元或核函數(shù)的數(shù)量 – 為每一個訓(xùn)練樣例 xi, f(xi)分配一個高斯核函數(shù)，中心點設(shè)為 xi，所有高斯函數(shù)的寬度可被賦予同樣的值 ? RBF網(wǎng)絡(luò)學(xué)習(xí)目標函數(shù)的全局逼近，其中每個訓(xùn)練樣例xi,f(xi)都只在 xi的鄰域內(nèi)影響 的值 ? 這種核函數(shù)的一個優(yōu)點是允許 RBF網(wǎng)絡(luò)精確地擬合訓(xùn)練數(shù)據(jù) ? 對于任意 m個訓(xùn)練樣例集合，合并 m個高斯核函數(shù)的權(quán)值w0...wm，可以被設(shè)置為使得對于每個訓(xùn)練樣例 xi,f(xi)都滿足 )(? ixf)()(? ii xfxf ? 機器學(xué)習(xí) 基于實例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 26 徑向基函數(shù)（ 4） – 選取一組數(shù)量少于訓(xùn)練樣例數(shù)量的核函數(shù)，這種方法更有效，特別是訓(xùn)練樣例數(shù)量巨大時 ? 核函數(shù)分布在整個實例空間 X上，它們中心之間有均勻的間隔 ? 或者也可以非均勻地分布核函數(shù)中心，特別是在實例本身在 X上非均勻分布的時候 – 可以隨機選取訓(xùn)練樣例的一個子集作為核函數(shù)的重心，從而對實例的基準分布進行采樣 – 或者可以標識出實例的原始聚類，然后以每個聚類為中心加入一個核函數(shù) 187。這種圖稱為訓(xùn)練樣例集合的 Voronoi圖 機器學(xué)習(xí) 基于實例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 10 k近鄰算法（ 4） ? 離散的 k近鄰算法作簡單修改后可用于逼近連續(xù)值的目標函數(shù)。 ? ??? ?? nr jrirji xaxaxxd 1 2)()(),( 機器學(xué)習(xí) 基于實例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 8 k近鄰算法（ 2） ? 考慮離散目標函數(shù) f: Rn?V， V={v1,...,vs} ? 表 81逼近離散值函數(shù) f: Rn?V的 k近鄰算法 – 訓(xùn)練算法 ? 將每個訓(xùn)練樣例 x,f(x)加入到列表 training_examples – 分類算法 ? 給定一個要分類的查詢實例 xq – 在 training_examples中選出最靠近 xq的 k個實例，并用 x1...xk表示
電大資料相關(guān)推薦
鄂ICP備17016276號-1