【正文】 Kq6WBh)Nt9ZFl1Qwc$I o4UAf *Lr7X Dj+OuaGm2Sye%Jp5VBh) Ns8YE k0Qwc$Hn3T zf*Lr6WCiOuaGl1Rxd%Jp5UAg( Ms8YE k+Pvb!Hn3Ty eamp。Kq5VBh)Nt9ZE k0Qwc $Io4T zf *Lr7X DiOua Gm2Sxd%Jp5VBh( Ms8YE k0Qwb! Hn3T zf*Kq6WCiOu9ZFl1Rxd%Jo4UAg( Ms8XDj+Pvb!Hn2Syeamp。Kq6WCiNt9Z Fl1Rxc $Io4U Ag(Mr7XDj+PvbGm2Syeamp。Kq6WBh)Nt9ZFl1Q wc$Io4UAf*Lr7XDj+PuaGm2Sye%Jp5VBh)Nt8YE k0Q wc$Hn3T zf*Lr7WCi OuaGl1Rxd%Jp5V Ag(Ms8YE k+Pvb!Hn3T zeamp。Kq5VBh)Nt9ZFk0Q wc$Io4T zf*Lr aGm2Rxd%Jp5VBh( Ms8YE k0Qvb!Hn3T zf*Kq6WCiOu9ZFl1Rxd%Jo4UAg(Ms8XDj+Pvb!Hn2Syeamp。Kq6WCiNt9ZFl1Rxd$Io4UAg(Mr7XDj+PvbGm2Syeamp。Kq6WBh)Nt9Z Fl1Qw c$Io4U Af*Lr7XDj+PuaGm2Sye%Jp5VBh)Nt8Y E k0Qw c$Hn3T zf*Lr7WCiO uaGl1Rxd%Jp5UAg(Ms8Y E k+Pvb!Hn3Tyeamp。Kq5VBh)Nt9ZEk0Q wc$Io4T zf*Lr 7XDi OuaGm2Sxd% Jp5VBh(Ms8YE k0Q wb!Hn3T zf*K q6WCi OuaZFl1Rxd% Jo4UA g(Ms8YDj+Pvb!Hn2Syeamp。Kq6WCiNt9ZFl1Rxc$Io4UA g(Mr7X Dj+PvbGm2Syeamp。Kq6WCh)Nt9ZFl1Qwc $Io4UA g*Lr7XDj+PuaGm2Sye%Jp5VBh)Nt8YE k0Qwc $Hn3T z f*Lr7WCiO uaGl1Rxd%Jp5VAg( Ms8YE k+Pvb!Hn3T zeamp。Kq5VBh)Nt9ZEk0Qwc$Io4T zf *Lr7X DiOuaGm2Sxd%Jp5VBh(Ms8YE k0Qwb! Hn3T zf *Kq6W CiOua ZFl1Rxd%Jo4UAg(Ms8YDj+Pvb!Hn2Syeamp。Kq6WCiNt9ZFl1Rxd$Io4UAg(Mr7XDj+Pvb!Gm2Syeamp。Kq6WBh)Nt9ZFl1Q wc$Io4UAf*Lr7XDj+PuaGm2Sye%Jp5VBh)Nt8YE k0Q wc$Hn3T zf*Lr7WCi OuaGl1Rxd%Jp5V Ag(Ms8YE k+Pvb!Hn3T zeamp。Kq5VBh)Nt9ZE k0Qw c$Io4T zf*Lr7XDiOuaGm2Sxd%Jp5VBh( Ms8Y E k0Qw b!Hn3T zf*Kq6WCiOu9ZFl1Rxd%Jo4UAg(Ms8XDj+Pvb!Hn2Syeamp。 Vazirani1994提供了計(jì)算學(xué)習(xí)理論中許多結(jié)論的優(yōu)秀的闡述 ? 會(huì)議：計(jì)算學(xué)習(xí)理論年會(huì) COLT ? 雜志：機(jī)器學(xué)習(xí)的特殊欄目 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 55 Nt9ZFl1Rxd$Io4UAg(Mr7XDj+Pvb!Gm2Syeamp。令 M代表加權(quán)多數(shù)算法對(duì)訓(xùn)練序列 D的總出錯(cuò)次數(shù)，那么最終的總權(quán) W最多為 n(3/4)M – 由 ，得 ? 意義：加權(quán)多數(shù)算法的出錯(cuò)數(shù)量不會(huì)大于算法池中最佳算法出錯(cuò)數(shù)量，加上一個(gè)隨著算法池大小對(duì)數(shù)增長的項(xiàng)，再乘以一常數(shù)因子 ??? ni iwW 1W43Mk n ????????????? 4321)l o g()43(l o g)l o g(222 nknkM ????? 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 50 小結(jié) ? 可能近似正確模型（ PAC）針對(duì)的算法從某概念類 C中學(xué)習(xí)目標(biāo)概念，使用按一個(gè)未知但固定的概念分布中隨機(jī)抽取的訓(xùn)練樣例，它要求學(xué)習(xí)器可能學(xué)習(xí)到一近似正確的假設(shè)，而計(jì)算量和訓(xùn)練樣例數(shù)都只隨著 1/?、 1/?、實(shí)例長度和目標(biāo)概念長度的多項(xiàng)式級(jí)增長 ? 在 PAC學(xué)習(xí)模型的框架下，任何使用有限假設(shè)空間 H的一致學(xué)習(xí)器，將以 1?的概率輸出一個(gè)誤差在 ?內(nèi)的假設(shè)，所需的訓(xùn)練樣例數(shù) m滿足 ? ?||ln)/1ln(1 Hm ?? ?? 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 51 小結(jié)（ 2） ? 不可知學(xué)習(xí)考慮更一般的問題：學(xué)習(xí)器不假定目標(biāo)概念所在的類別，學(xué)習(xí)器從訓(xùn)練數(shù)據(jù)中輸出 H中有最小誤差率的假設(shè)。如果一算法誤分類一個(gè)樣例，那么它的權(quán)值變小 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 48 加權(quán)多數(shù)算法（ 3） ? ai代表算法池 A中第 i個(gè)預(yù)測算法， wi代表與 ai相關(guān)聯(lián)的權(quán)值 ? 對(duì)所有 i，初始化 wi?1 ? 對(duì)每個(gè)訓(xùn)練樣例 x, c(x)做： – 初始化 q0和 q1為 0 – 對(duì)每個(gè)預(yù)測算法 ai ? 如果 ai(x)=0，那么 q0?q0+wi ? 如果 ai(x)=1，那么 q1?q1+wi – 如果 q1q0，那么預(yù)測 c(x)=1 – 如果 q0q1，那么預(yù)測 c(x)=0 – 如果 q0=q1，那么對(duì) c(x)隨機(jī)預(yù)測為 0或 1 – 對(duì)每個(gè)預(yù)測算法 ai ? 如果 ai(x)?c(x)，那么 wi?βwi 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 49 加權(quán)多數(shù)算法（ 4） ? 定理 ：加權(quán)多數(shù)算法的相對(duì)誤差界限 – 令 D為任意的訓(xùn)練樣例序列，令 A為任意 n個(gè)預(yù)測算法集合，令 k為 A中任意算法對(duì)樣例序列 D的出錯(cuò)次數(shù)的最小值。存在一個(gè)分布 D以及 C中一個(gè)目標(biāo)概念，當(dāng) L觀察到的樣例數(shù)目小于下式時(shí)： L將以至少 ?的概率輸出一假設(shè) h，使 errorD(h)? ? ?)/13(l og)(8)/2(l og41 22 ??? HVCm ???????? ???? 32 1)(),/1log (1m a x CVC 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 35 樣本復(fù)雜度和 VC維（ 2） ? 定理 ，若訓(xùn)練樣例的數(shù)目太少，那么沒有學(xué)習(xí)器能夠以 PAC模型學(xué)習(xí)到任意非平凡的 C中每個(gè)目標(biāo)概念 ? 式子 ，而定理 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 36 神經(jīng)網(wǎng)絡(luò)的 VC維 ? 本節(jié)給出一般性的結(jié)論，以計(jì)算分層無環(huán)網(wǎng)絡(luò)的 VC維。問題： C是可 PAC學(xué)習(xí)的嗎？ ? 若假設(shè)空間 H定義為 n個(gè)布爾文字的合取，則假設(shè)空間 |H|的大小為 3n，得到關(guān)于 n布爾文字合取學(xué)習(xí)問題的樣本復(fù)雜度 ? ? ? ? 140)( 1)/1l n(3ln1 ????? ?? nm 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 25 布爾文字的合取是 PAC可學(xué)習(xí)的（ 2） ? 定理 ：布爾合取式的 PAC可學(xué)習(xí)性 –布爾文字合取的類 C是用 FindS算法 PAC可學(xué)習(xí)的 ? 證明： –式 n、 1/?和 1/?的多項(xiàng)式級(jí)，而且獨(dú)立于 size(c)。當(dāng)且僅當(dāng) k個(gè)假設(shè)中至少有一個(gè)恰好與所有 m個(gè)獨(dú)立隨機(jī)抽取樣例一致時(shí)，不能使變型空間 ?詳盡化。當(dāng)對(duì)所有 c?C， X上的分布 D， ?和 ?滿足 0?, ?1/2，學(xué)習(xí)器 L將以至少 1?輸出一假設(shè) h?H，使 errorD(h)??，這時(shí)稱 C是使用 H的 L可 PAC學(xué)習(xí)的，所使用的時(shí)間為 1/?， 1/?，n以及 size(c)的多項(xiàng)式函數(shù) ? 上面定義要求學(xué)習(xí)器 L滿足兩個(gè)條件 – L必須以任意高的概率（ 1 ?）輸出一個(gè)錯(cuò)誤率任意低（ ?）的假設(shè) – 學(xué)習(xí)過程必須是高效的，其時(shí)間最多以多項(xiàng)式方式增長 ? 上面定義的說明 – 1/?和 1/?表示了對(duì)輸出假設(shè)要求的強(qiáng)度， n和 size(c)表示了實(shí)例空間 X和概念類別 C中固有的復(fù)雜度 – n為 X中實(shí)例的長度， size(c)為概念 c的編碼長度 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 14 PAC可學(xué)習(xí)性（ 3） ? 在實(shí)踐中，通常更關(guān)心所需的訓(xùn)練樣例數(shù)， – 如果 L對(duì)每個(gè)訓(xùn)練樣例需要某最小處理時(shí)間，那么為了使 c是 L可 PAC學(xué)習(xí)的， L必須從多項(xiàng)式數(shù)量的訓(xùn)練樣例中進(jìn)行學(xué)習(xí) – 實(shí)際上，為了顯示某目標(biāo)概念類別 C是可 PAC學(xué)習(xí)的，一個(gè)典型的途徑是證明 C中每個(gè)目標(biāo)概念可以從多項(xiàng)式數(shù)量的訓(xùn)練樣例中學(xué)習(xí)到，且處理每個(gè)樣例的時(shí)間也是多項(xiàng)式級(jí) ? PAC可學(xué)習(xí)性的一個(gè)隱含的條件：對(duì) C中每個(gè)目標(biāo)概念 c，假設(shè)空間 H都包含一個(gè)以任意小誤差接近 c的假設(shè) 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 15 有限假設(shè)空間的樣本復(fù)雜度 ? PAC可學(xué)習(xí)性很大程度上由所需的訓(xùn)練樣例數(shù)確定 ? 隨著問題規(guī)模的增長所帶來的所需訓(xùn)練樣例的增長稱為該學(xué)習(xí)問題的樣本復(fù)雜度 ? 我們把樣本復(fù)雜度的討論限定于一致學(xué)習(xí)器（輸出完美擬合訓(xùn)練數(shù)據(jù)的學(xué)習(xí)器） ? 能夠獨(dú)立于特定算法，推導(dǎo)出任意一致學(xué)習(xí)器所需訓(xùn)練樣例數(shù)的界限 ? 變型空間：能正確分類訓(xùn)