機(jī)器學(xué)習(xí)：基于實(shí)例的學(xué)習(xí)(編輯修改稿)
2025-08-28 15:04 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 函數(shù) f(x) ? 局部加權(quán)回歸是上面方法的推廣，它在環(huán)繞 xq的局部區(qū)域內(nèi)為目標(biāo)函數(shù) f建立明確的逼近 ? 局部加權(quán)回歸使用附近的或距離加權(quán)的訓(xùn)練樣例來(lái)形成對(duì) f的局部逼近 ? 例如，使用線性函數(shù)、二次函數(shù)、多層神經(jīng)網(wǎng)絡(luò)在環(huán)繞 xq的鄰域內(nèi)逼近目標(biāo)函數(shù) ? 局部加權(quán)回歸的名稱解釋 – 局部：目標(biāo)函數(shù)的逼近僅僅根據(jù)查詢點(diǎn)附近的數(shù)據(jù) – 加權(quán)：每個(gè)訓(xùn)練樣例的貢獻(xiàn)由它與查詢點(diǎn)間的距離加權(quán)得到 – 回歸：表示逼近實(shí)數(shù)值函數(shù)的問(wèn)題 機(jī)器學(xué)習(xí) 基于實(shí)例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 18 局部加權(quán)回歸（ 2） ? 給定一個(gè)新的查詢實(shí)例 xq，局部加權(quán)回歸的一般方法是： –建立一個(gè)逼近 ，使 擬合環(huán)繞 xq的鄰域內(nèi)的訓(xùn)練樣例 –用 計(jì)算 的值 –刪除 的描述 f? f?f?)(? qxff? 機(jī)器學(xué)習(xí) 基于實(shí)例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 19 局部加權(quán)線性回歸 ? 使用如下形式的線性函數(shù)來(lái)逼近 xq鄰域的目標(biāo)函數(shù) f ? 第 4章我們討論了梯度下降方法，在擬合以上形式的線性函數(shù)到給定的訓(xùn)練集合時(shí)，它被用來(lái)找到使誤差最小化的系數(shù) w0...wn，當(dāng)時(shí)我們感興趣的是目標(biāo)函數(shù)的全局逼近，即 得到的梯度下降訓(xùn)練法則是 )(...)()(? 110 xawxawwxf nn?????? ?? Dx xfxfE 2))(?)((21?? ??? Dx jj xaxfxfw )())(?)((? 機(jī)器學(xué)習(xí) 基于實(shí)例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 20 局部加權(quán)線性回歸（ 2） ? 三種重新定義誤差準(zhǔn)則 E，以著重于擬合局部訓(xùn)練樣例，記為 E(xq) – 只對(duì)在 k個(gè)近鄰上的誤差平方最小化 – 使整個(gè)訓(xùn)練樣例集合 D上的誤差平方最小化，但對(duì)每個(gè)訓(xùn)練樣例加權(quán)，權(quán)值為關(guān)于相距 xq距離的某個(gè)遞減函數(shù) K – 綜合 1和 2 ?? ?? 個(gè)近 鄰的 kxxqqxfxfxE 21 ))(?)((21)(?? ?? Dx qq xxdKxfxfxE )),(())(?)((21)( 22?? ?? 個(gè)近 鄰的 kxx qqqxxdKxfxfxE )),(())(?)((21)( 22 機(jī)器學(xué)習(xí) 基于實(shí)例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 21 局部加權(quán)線性回歸（ 3） ? 準(zhǔn)則 2或許最令人滿意，但所需的計(jì)算量隨著訓(xùn)練樣例數(shù)量線性增長(zhǎng) ? 準(zhǔn)則 3很好地近似了準(zhǔn)則 2，并且具有如下優(yōu)點(diǎn)：計(jì)算開(kāi)銷獨(dú)立于訓(xùn)練樣例總數(shù)，僅依賴于最近鄰數(shù) k ? 對(duì)應(yīng)準(zhǔn)則 3的梯度下降法則是 ?? ??? 個(gè)近 鄰的 kxx jqi q xaxfxfxxdKw )())(?)())(,((? 機(jī)器學(xué)習(xí) 基于實(shí)例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 22 局部加權(quán)回歸的說(shuō)明 ? 大多數(shù)情況下，通過(guò)一個(gè)常量、線性函數(shù)或二次函數(shù)來(lái)局部逼近目標(biāo)函數(shù)，更復(fù)雜的函數(shù)形式不太常見(jiàn)，原因是： –對(duì)每個(gè)查詢實(shí)例用更復(fù)雜的函數(shù)來(lái)擬合，其代價(jià)十分高昂 –在足夠小的實(shí)例空間子域上，使用這些簡(jiǎn)單的近似已能很好地模擬目標(biāo)函數(shù) 機(jī)器學(xué)習(xí) 基于實(shí)例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 23 徑向基函數(shù) ? 徑向基函數(shù)是另一種實(shí)現(xiàn)函數(shù)逼近的方法，它與距離加權(quán)回歸和人工神經(jīng)網(wǎng)絡(luò)都有著緊密聯(lián)系 ? 待學(xué)習(xí)的假設(shè)是一個(gè)以下形式的函數(shù) xu是 X中一個(gè)實(shí)例，核函數(shù) Ku(d(xu,x))被定義為隨距離d(xu,x)的增加而減小， k是用戶提供的常量，用來(lái)指定要包含的核函數(shù)的數(shù)量 ? 盡管 是對(duì) f(x)的全局逼近，但來(lái)自每個(gè) Ku(d(xu,x))項(xiàng)的貢獻(xiàn)被局部化到點(diǎn) xu附近的區(qū)域 ? 一種很常見(jiàn)的做法是選擇每個(gè)核函數(shù) Ku(d(xu,x))為高斯函數(shù)（表示正態(tài)分布的函數(shù)） ???? ku uuu xxdKwwxf 10 )),(()(?)(?xf),(2 1 22)),(( xxduu uuexxdK ??? 機(jī)器學(xué)習(xí) 基于實(shí)例的學(xué)習(xí) 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 24 徑向基函數(shù)（ 2） ? Hartman et ，式子 意小的誤差逼近任何函數(shù)，只要以上高斯核的數(shù)量足夠大，并且可以分別指定每個(gè)核的寬度 ? 圖 82徑向基函數(shù)網(wǎng)絡(luò)（ RBF），式子 以看作是描述了一個(gè)兩層的網(wǎng)絡(luò)，第一層計(jì)算不同的Ku(d(xu,x))，第二層計(jì)算第一層單元值的線性組合 ? 給定了目標(biāo)函數(shù)的訓(xùn)練樣例集合，一般分兩個(gè)階段來(lái)訓(xùn)練 RBF網(wǎng)絡(luò) – 決定隱藏單元的數(shù)量 k，并通過(guò)定義核函數(shù)中心點(diǎn)和方差來(lái)定義每個(gè)隱藏單元 – 使用式子 w
電大資料相關(guān)推薦
鄂ICP備17016276號(hào)-1