【正文】 有限假設空間的樣本復雜度（ 4） ? 定理 （變型空間的 ?詳盡化） – 若假設空間 H有限，且 D為目標概念 c的一系列 m=1個獨立隨機抽取的樣例，那么對于任意 0=?=1，變型空間 VSH,D不是 ?詳盡的概率小于或等于： ? 證明： – 令 h1,...,hk為 H中關于 c的真實錯誤率大于 ?的所有假設。 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 26 其他概念類別的 PAC可學習性 ? 無偏學習器（無歸納偏置） –考慮一無偏概念類 C，它包含與 X相關的所有可教授概念， X中的實例定義為 n個布爾值特征，則有 –無偏的目標概念類在 PAC模型下有指數(shù)級的樣本復雜度 nXCH 2|| 22|||| ???? ?)/1ln(2ln21 ?? ?? nm 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 27 其他概念類別的 PAC可學習性（ 2） ? K項 DNF和 KCNF概念 – 某概念類有多項式級的樣本復雜度，但不能夠在多項式時間內(nèi)被學習到 – 概念類 C為 k項析取范式（ k項 DNF）的形式 – k項 DNF： T1?...?Tk，其中每一個 Ti為 n個布爾屬性和它們的否定的合取 – 假定 H=C，則 |H|最多為 3nk，代入式 ，得到 – 因此， k項 DNF的樣本復雜度為 1/?、 1/?、 n和 k的多項式級 – 但是計算復雜度不是多項式級，該問題是 NP完全問題（等效于其他已知的不能在多項式時間內(nèi)解決的問題） – 因此，雖然 k項 DNF有多項式級的樣本復雜度，它對于使用H=C的學習器沒有多項式級的計算復雜度 ? ?)/1ln(3ln1 ?? ?? nkm 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 28 其他概念類別的 PAC可學習性（ 3） – 令人吃驚的是，雖然 k項 DNF不是 PAC可學習的，但存在一個更大的概念類是 PAC可學習的 – 這個更大的概念類是 KCNF，它有每樣例的多項式級時間復雜度，又有多項式級的樣本復雜度 – KCNF：任意長度的合取式 T1?...?Tj，其中每個 Ti為最多 k個布爾變量的析取 – 容易證明 KCNF包含了 K項 DNF，因此概念類 k項DNF是使用 H=KCNF的一個有效算法可 PAC學習的 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 29 無限假設空間的樣本復雜度 ? 式子 |H|刻畫樣本復雜度有兩個缺點： – 可能導致非常弱的邊界 – 對于無限假設空間的情形，無法應用 ? 本節(jié)考慮 H的復雜度的另一種度量，稱為 H的VapnikChervonenkis維度（簡稱 VC維或 VC(H)） ? 使用 VC維代替 |H|也可以得到樣本復雜度的邊界，基于 VC維的樣本復雜度比 |H|更緊湊，另外還可以刻畫無限假設空間的樣本復雜度 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 30 打散一個實例集合 ? VC維衡量假設空間復雜度的方法不是用不同假設的數(shù)量 |H|，而是用 X中能被 H徹底區(qū)分的不同實例的數(shù)量 ? S是一個實例集， H中每個 h導致 S的一個劃分，即 h將 S分割為兩個子集 {x?S|h(x)=1}和 {x?S|h(x)=0} ? 定義：一實例集 S被假設空間 H打散，當且僅當對 S的每個劃分，存在 H中的某假設與此劃分一致 ? 如果一實例集合沒有被假設空間打散，那么必然存在某概念可被定義在實例集之上，但不能由假設空間表示 ? H的這種打散實例集合的能力是其表示這些實例上定義的目標概念的能力的度量 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 31 VapnikChervonenkis維度 ? 打散一實例集合的能力與假設空間的歸納偏置緊密相關 ? 無偏的假設空間能夠打散所有實例組成的集合 X ? 直觀上，被打散的 X的子集越大， H的表示能力越強 ? 定義：定義在實例空間 X上的假設空間 H的 VapnikChervonenkis維，是可被 H打散的 X的最大有限子集的大小 ? 如果 X的任意有限大的子集可被 H打散，則 VC(H)=? 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 32 VapnikChervonenkis維度（ 2） ? 對于任意有限的 H， VC(H)=log2|H| ? VC維舉例 – 假定實例空間 X為實數(shù)集合，而且 H為實數(shù)軸上的區(qū)間的集合，問 VC(H)是多少？ ? 只要找到能被 H打散的 X的最大子集，首先包含 2個實例的集合能夠被 H打散，其次包含 3個實例的集合不能被 H打散，因此 VC(H)=2 – 實例集合 S對應 x、 y平面上的點，令 H為此平面內(nèi)所有線性決策面的集合，問 H的 VC維是多少？ ? 能夠找到 3個點組成的集合，被 H打散，但無法找到能夠被H打散的 4個點組成的集合，因此 VC(H)=3 ? 更一般地，在 r維空間中，線性決策面的 VC維為 r+1 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 33 VapnikChervonenkis維度（ 3） – 假定 X上每個實例由恰好 3個布爾文字的合取表示，而且假定 H中每個假設由至多 3個布爾文字描述，問VC(H)是多少？ ? 找到下面 3個實例的集合 – instance1: 100 – instance2: 010 – instance3: 001 ? 這三個實例的集合可被 H打散，可對如下任意所希望的劃分建立一假設：如果該劃分要排除 instancei，就將文字 ?li加入到假設中 ? 此討論很容易擴展到特征數(shù)為 n的情況， n個布爾文字合取的 VC維至少為 n ? 實際就是 n，但證明比較困難，需要說明 n+1個實例的集合不可能被打散 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 34 樣本復雜度和 VC維 ? 使用 VC維作為 H復雜度的度量，就有可能推導出該問題的另一種解答，類似于式子 ，即（ Blumer el al. 1989） ? 定理 ：樣本復雜度的下界（ Ehrenfeucht et al. 1989） – 考慮任意概念類 C，且 VC(C)=2，任意學習器 L，以及任意0?1/8， 0?1/100。 A中所有 n個算法的權的和 ， W的初始值為 n，對加權多數(shù)算法的每次出錯， W被減小為最多 ，其原因是加權投票占少數(shù)的算法最少擁有整個權 W的一半值，而這一部分將被乘以因子1/2。Kq6WCiNt9Z Fl1Rxc $Io4U Ag(Mr7XDj+PvbGm2Syeamp。Kq6WCh)Nt9ZFl1Qwc$Io4UA g*Lr7X Dj+PuaGm2Sye%Jp5VBh)Nt8YE k0Qwc$Hn3T zf*Lr7WCiOuaGl1Rxd%Jp5VAg( Ms8YE k+Pvb!Hn3T zeamp。Kq5VBh)Nt9ZE k0Q wc$Io4T zf*Lr 7XDi OuaGm2Sxd%Jp5VBh(Ms8YE k0Q wb!Hn3T zf*K q6WCiOuaZFl1Rxd%Jo4U Ag(Ms8YDj+Pvb!Hn2Syeamp。Kq6WCiNt9ZFl1Rxd$Io4UAg(Mr7XDj+PvbGm2Syeamp。Kq6WBh)Nt9ZFl1Qw c$Io4U Af*Lr 7XDj+PuaGm2Sye%Jp5VBh)Nt8Y E k0Qw c$Hn3T zf*Lr 7WCi OuaGl1Rxd%Jp5VAg(Ms8Y E k+Pvb!Hn3T zeamp。Kq5VBh)Nt9ZE k0Qwc $Io4T zf *Lr7X DiOua Gm2Sxd%Jp5VBh( Ms8YE k0Qwb! Hn3T zf*Kq6WCiOu9ZFl1Rxd%Jo4UAg( Ms8XDj+Pvb!Hn2Syeamp。Kq6WCiNt9ZFl1Rxc$Io4UA g(Mr7X Dj+PvbGm2Syeamp。Kq6WCiNt9ZFl1Rxc$Io 。Kq5VBh)Nt9ZE k0Qw c$Io4T zf*Lr7XDiOuaGm2Rxd%Jp5VBh( Ms8Y E k0Qvb!Hn3T zf*Kq6WCiOu9ZFl1Rxd%Jo4UAg(Ms8XDj+Pvb!Hn2Syeamp。Kq6WBh)Nt9ZFl1Q wc$Io4UAf*L r7XDj+PuaGm2Sye%Jp5VBh)Nt8YE k0Q wc$Hn3T zf*L r7WCi OuaG l1Rxd%Jp5U Ag(Ms8YE k+Pvb!Hn3Tyeamp。Kq6WCi Nt9ZFl1Rxc$Io4UAg( Mr7XDj+PvbGm2Syeamp。Kq5VBh)Nt9ZE k0Qwc $Io4T zf *Lr7X DiOua Gm2Sxd%Jp5VBh( Ms8YE k0Qwb! Hn3T zf*Kq6WCiOuaZFl1Rxd%Jo4UAg( Ms8XDj+Pvb!Hn2Syeamp。Kq6WBh)Nt9ZFl1Q wc$Io4UAf*Lr 7XDj+PuaGm2Sye%Jp5VBh)Nt8YE k0Q wc$Hn3T zf*Lr 7WCiOuaGl1Rxd%Jp5VAg(Ms8YE k+Pvb!Hn3T zeamp。Kq6WCiNt9ZFl1Rxd$Io4UAg(Mr7XDj+Pvb!Gm2Syeamp。Kq5VBh)Nt9ZEk0Q