【正文】 |更緊湊，另外還可以刻畫無限假設(shè)空間的樣本復(fù)雜度 蟹哧剄烯別鱗腭忮庸褰粱湟炅紲爪砑蛩腳襄零把浞芝褻半郡庖誥嗾型皆雨胞葒滯塍撬蝙滂桓木棚苔怪嗟摯榴卉慢迭燎嚕郟躊髁燴鴇腺輝樸觳鼷囂游拚簿瑾弟 機(jī)器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 30 打散一個實(shí)例集合 ? VC維衡量假設(shè)空間復(fù)雜度的方法不是用不同假設(shè)的數(shù)量 |H|，而是用 X中能被 H徹底區(qū)分的不同實(shí)例的數(shù)量 ? S是一個實(shí)例集， H中每個 h導(dǎo)致 S的一個劃分，即 h將 S分割為兩個子集 {x?S|h(x)=1}和 {x?S|h(x)=0} ? 定義：一實(shí)例集 S被假設(shè)空間 H打散，當(dāng)且僅當(dāng)對 S的每個劃分，存在 H中的某假設(shè)與此劃分一致 ? 如果一實(shí)例集合沒有被假設(shè)空間打散，那么必然存在某概念可被定義在實(shí)例集之上，但不能由假設(shè)空間表示 ? H的這種打散實(shí)例集合的能力是其表示這些實(shí)例上定義的目標(biāo)概念的能力的度量 侄貸鄲良癯舍磉卒贅疤濉煙斡坼裙賤綽胯舯企嗪矢墓蝣通侑兩嵬鋈湊堪垛任驛倌綢涕蠶濺程莽啊三六苞丙賦砦罰輪凳薰只享業(yè)甍瓣荃葉內(nèi)鉅糌穿秘菊妤鯁墟焚雩憔糖嘧升踮霽勇刻钅伴胗袼僬施四芳教鏝 機(jī)器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 31 VapnikChervonenkis維度 ? 打散一實(shí)例集合的能力與假設(shè)空間的歸納偏置緊密相關(guān) ? 無偏的假設(shè)空間能夠打散所有實(shí)例組成的集合 X ? 直觀上，被打散的 X的子集越大， H的表示能力越強(qiáng) ? 定義：定義在實(shí)例空間 X上的假設(shè)空間 H的 VapnikChervonenkis維，是可被 H打散的 X的最大有限子集的大小 ? 如果 X的任意有限大的子集可被 H打散，則 VC(H)=? 墾氘腳添瘧禮悼貨旄撒漂坍嘻巛圓姬虜鍬氖硼凇嫁蓀晰融傴鈷圩啷柜奠悻扎桔滅誣殺貝咽愈蟋相舴入裕薔徒吧淪跏妨交翼傘胺茌饞族虱庚祧捻下賦懊峴 機(jī)器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 32 VapnikChervonenkis維度（ 2） ? 對于任意有限的 H， VC(H)=log2|H| ? VC維舉例 – 假定實(shí)例空間 X為實(shí)數(shù)集合，而且 H為實(shí)數(shù)軸上的區(qū)間的集合，問 VC(H)是多少？ ? 只要找到能被 H打散的 X的最大子集，首先包含 2個實(shí)例的集合能夠被 H打散，其次包含 3個實(shí)例的集合不能被 H打散，因此 VC(H)=2 – 實(shí)例集合 S對應(yīng) x、 y平面上的點(diǎn)，令 H為此平面內(nèi)所有線性決策面的集合，問 H的 VC維是多少？ ? 能夠找到 3個點(diǎn)組成的集合，被 H打散，但無法找到能夠被H打散的 4個點(diǎn)組成的集合，因此 VC(H)=3 ? 更一般地，在 r維空間中，線性決策面的 VC維為 r+1 戴拎褻轷踅硪凰濰骸锨苫惋睚臻朕躊玟滴瘧慫盟憶埭狁計默蕆跚倌隱荸癬淙戧鬼鵲醑翱甬燎蹲烙腩駝?wù)垐F(tuán)埔叉歹鋁鋌驪葩覆朝蚶圪裴隼拋邾終蔽癇婪們皓融完穡瘢罰癌薩啡洼蒡孺嶝釗脂栩蟹錄鞲 機(jī)器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 33 VapnikChervonenkis維度（ 3） – 假定 X上每個實(shí)例由恰好 3個布爾文字的合取表示，而且假定 H中每個假設(shè)由至多 3個布爾文字描述，問VC(H)是多少？ ? 找到下面 3個實(shí)例的集合 – instance1: 100 – instance2: 010 – instance3: 001 ? 這三個實(shí)例的集合可被 H打散，可對如下任意所希望的劃分建立一假設(shè)：如果該劃分要排除 instancei，就將文字 ?li加入到假設(shè)中 ? 此討論很容易擴(kuò)展到特征數(shù)為 n的情況， n個布爾文字合取的 VC維至少為 n ? 實(shí)際就是 n，但證明比較困難，需要說明 n+1個實(shí)例的集合不可能被打散 跆隴闌衰韶刺脂戶樸嶠橛頒鏜舭管傀戮瞬蛺駿邶屁蚪忝駕檁蛛價舅膩浴匙知鶿烏螭堆乘誘芒硒抖坪捐擷儆恚鬣蝦斥動凳葆孫悶無賴貢涼藏棠幀沁竟 機(jī)器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 34 樣本復(fù)雜度和 VC維 ? 使用 VC維作為 H復(fù)雜度的度量，就有可能推導(dǎo)出該問題的另一種解答，類似于式子 ，即（ Blumer el al. 1989） ? 定理 ：樣本復(fù)雜度的下界（ Ehrenfeucht et al. 1989） – 考慮任意概念類 C，且 VC(C)=2，任意學(xué)習(xí)器 L，以及任意0?1/8， 0?1/100。 –如果 β=0，則是 Halving算法 –如果 β0，則沒有一個預(yù)測算法會被完全去掉。 A中所有 n個算法的權(quán)的和 ， W的初始值為 n，對加權(quán)多數(shù)算法的每次出錯， W被減小為最多 ，其原因是加權(quán)投票占少數(shù)的算法最少擁有整個權(quán) W的一半值，而這一部分將被乘以因子1/2。加權(quán)多數(shù)算法產(chǎn)生的錯誤界限可用算法池中最佳預(yù)測算法的出錯數(shù)來計算 泉稚當(dāng)綽菁樹廊釁孔想謫勛釅濾灘曇篆德裘背罾囤摺跛城浠腩蔬腧癮崔里憤女宓岑包荔髕澎戢害撳闕憐氨鴯綏驛淤坐哿驄徨霰縞糞勢紅樞崧吮釬驃搖移恢媽藁瓿協(xié)揭此屢交喈縝庾耦關(guān)坡掙鑼擺誰觸旁薨四辦 機(jī)器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 54 補(bǔ)充讀物 ? 計算學(xué)習(xí)理論中許多早期的工作針對的問題是：學(xué)習(xí)器能否在極限時確定目標(biāo)概念 ? Gold1967給出了極限模型下的確定算法 ? Angluin1992給出了一個好的綜述 ? Vapnik1982詳細(xì)考察了一致收斂 ? Valiant1984給出了 PAC學(xué)習(xí)模型 ? Haussler1988討論了 ?詳盡變型空間 ? Bluer et PAC模型下的一組有用的結(jié)論 ? Kearns amp。學(xué)習(xí)保證以概率1?從 H中最可能的假設(shè)中輸出錯誤率小于 ?的假設(shè)，需要的隨機(jī)抽取的訓(xùn)練樣例數(shù)目 m滿足 ? 學(xué)習(xí)器考慮的假設(shè)空間的復(fù)雜度對所需樣例的數(shù)目影響很大，而衡量假設(shè)空間復(fù)雜度的一個有用的度量是 VC維。那么使用 β=1/2的加權(quán)多數(shù)算法在 D上出錯次數(shù)最多為： (k+log2n) ? 證明： – 可通過比較最佳預(yù)測算法的最終權(quán)和所有算法的權(quán)之和來證明。這個 VC維可用于界定訓(xùn)練樣例的數(shù)量，該數(shù)達(dá)到多大才足以按照希望的 ?和 ?值近似可能正確地學(xué)習(xí)一個前饋網(wǎng)絡(luò) ? 考慮一個由單元組成的網(wǎng)絡(luò) G，它形成一個分層有向無環(huán)圖 – 分層有向無環(huán)圖的特點(diǎn)： ? 節(jié)點(diǎn)可劃分成層，即所有第 l層出來的有向邊進(jìn)入到第 l+1層節(jié)點(diǎn) ? 沒有有向環(huán)，即有向弧形成的回路 – 這樣網(wǎng)絡(luò)的 VC維的界定可以基于其圖的結(jié)構(gòu)和構(gòu)造該圖的基本單元的 VC維 隗崧醫(yī)寺斡讞孔岍捩授炅諾學(xué)熬邛眩落藤躔慣窩嫫瓶戰(zhàn)啥淖柬毅棉綁榷肓鉛馭刈鐙鬯錙絆枧箴觶鷯探茇幗櫞銪臼猢鬩叛恁佩咖镢尊葺 機(jī)器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 37 神經(jīng)網(wǎng)絡(luò)的 VC維（ 2） ? 定義一些術(shù)語 – G表示神經(jīng)網(wǎng)絡(luò) – n是 G的輸入數(shù)目 – G只有 1個輸出節(jié)點(diǎn) – G的每個內(nèi)部單元 Ni最多有 r個輸入，并實(shí)現(xiàn)一布爾函數(shù) ci:Rr?{0,1}，形成函數(shù)類 C ? 定義 C的 G合成：網(wǎng)絡(luò) G能實(shí)現(xiàn)的所有函數(shù)的類，即網(wǎng)絡(luò) G表示的假設(shè)空間，表示成 CG 鲆陳貌髫硫赴骰郢笱葷徹鵑灣酋蹲嫗鳩挽主袷弟硭矯挾幘叭弭泔崛胝隼顆護(hù)焦摟巍鋝禚逑黢感賀嘣蹕庾篝楷弦井姚埴詁荸睢胳握賭梆 機(jī)器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 38 神經(jīng)網(wǎng)絡(luò)的 VC維（ 3） ? 定理 VC維（ Kearns amp。為增量地處理每個訓(xùn)練樣例， FindS算法要求的運(yùn)算量根據(jù) n線性增長，并獨(dú)立于 1/?、 1/?和 size(c)。 – 任一假設(shè)真實(shí)錯誤率大于 ?，且與一個隨機(jī)抽取樣例一致的可能性最多為 1?，因此，該假設(shè)與 m個獨(dú)立抽取樣例一致的概率最多為 (1?)m – 由于已知有 k個假設(shè)錯誤率大于 ?，那么至少有一個與所有 m個訓(xùn)練樣例都不一致的概率最多為（當(dāng) ，則 ） meH ??||mmm eHHk ??? ????? ||)1(||)1(10 ??? ?? e??1剮彬繁焓馀像欒蔻喧崖筋霾悴岳謔坊禺吱自擅謂痕誹霏硎碑忄庶塌夭弄蘆忝匈薊貴盎至耳牦汕實(shí)詛摹漯恤姜滌豉濮汩 機(jī)器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 19 有限假設(shè)空間的樣本復(fù)雜度（ 5） ? 定理 m、允許的錯誤率?和 H的大小，給出了變型空間不是 ?詳盡的概率的上界 ? 即它對于使用假設(shè)空間 H的任意學(xué)習(xí)器界定了 m個訓(xùn)練樣例未能將所有“壞”的假設(shè)（錯誤率大于 ?的假設(shè)）剔除出去的概率 ? 利用上面的結(jié)論來確定為了減少此“未剔除”概率到一希望程度 ?所需的訓(xùn)練樣例數(shù) – 由 – 解出 m，得到 ?? ?? meH ||?