機(jī)器學(xué)習(xí)-計(jì)算學(xué)習(xí)理論-文庫吧資料
2025-01-18 14:12本頁面
【正文】 y平面上的點(diǎn)，令 H為此平面內(nèi)所有線性決策面的集合，問 H的 VC維是多少？ ? 能夠找到 3個(gè)點(diǎn)組成的集合，被 H打散，但無法找到能夠被H打散的 4個(gè)點(diǎn)組成的集合，因此 VC(H)=3 ? 更一般地，在 r維空間中，線性決策面的 VC維為 r+1 戴拎褻轷踅硪凰濰骸锨苫惋睚臻朕躊玟滴瘧慫盟憶埭狁計(jì)默蕆跚倌隱荸癬淙戧鬼鵲醑翱甬燎蹲烙腩駝?wù)垐F(tuán)埔叉歹鋁鋌驪葩覆朝蚶圪裴隼拋邾終蔽癇婪們皓融完穡瘢罰癌薩啡洼蒡孺嶝釗脂栩蟹錄鞲 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 33 VapnikChervonenkis維度（ 3） – 假定 X上每個(gè)實(shí)例由恰好 3個(gè)布爾文字的合取表示，而且假定 H中每個(gè)假設(shè)由至多 3個(gè)布爾文字描述，問VC(H)是多少？ ? 找到下面 3個(gè)實(shí)例的集合 – instance1: 100 – instance2: 010 – instance3: 001 ? 這三個(gè)實(shí)例的集合可被 H打散，可對(duì)如下任意所希望的劃分建立一假設(shè)：如果該劃分要排除 instancei，就將文字 ?li加入到假設(shè)中 ? 此討論很容易擴(kuò)展到特征數(shù)為 n的情況， n個(gè)布爾文字合取的 VC維至少為 n ? 實(shí)際就是 n，但證明比較困難，需要說明 n+1個(gè)實(shí)例的集合不可能被打散 跆隴闌衰韶刺脂戶樸嶠橛頒鏜舭管傀戮瞬蛺駿邶屁蚪忝駕檁蛛價(jià)舅膩浴匙知鶿烏螭堆乘誘芒硒抖坪捐擷儆恚鬣蝦斥動(dòng)凳葆孫悶無賴貢涼藏棠幀沁竟 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 34 樣本復(fù)雜度和 VC維 ? 使用 VC維作為 H復(fù)雜度的度量，就有可能推導(dǎo)出該問題的另一種解答，類似于式子 ，即（ Blumer el al. 1989） ? 定理 ：樣本復(fù)雜度的下界（ Ehrenfeucht et al. 1989） – 考慮任意概念類 C，且 VC(C)=2，任意學(xué)習(xí)器 L，以及任意0?1/8， 0?1/100。為增量地處理每個(gè)訓(xùn)練樣例， FindS算法要求的運(yùn)算量根據(jù) n線性增長(zhǎng)，并獨(dú)立于 1/?、 1/?和 size(c)。布爾文字是任意的布爾變量，或它的否定。 – 任一假設(shè)真實(shí)錯(cuò)誤率大于 ?，且與一個(gè)隨機(jī)抽取樣例一致的可能性最多為 1?，因此，該假設(shè)與 m個(gè)獨(dú)立抽取樣例一致的概率最多為 (1?)m – 由于已知有 k個(gè)假設(shè)錯(cuò)誤率大于 ?，那么至少有一個(gè)與所有 m個(gè)訓(xùn)練樣例都不一致的概率最多為（當(dāng) ，則 ） meH ??||mmm eHHk ??? ????? ||)1(||)1(10 ??? ?? e??1剮彬繁焓馀像欒蔻喧崖筋霾悴岳謔坊禺吱自擅謂痕誹霏硎碑忄庶塌夭弄蘆忝匈薊貴盎至耳牦汕實(shí)詛摹漯恤姜滌豉濮汩 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 19 有限假設(shè)空間的樣本復(fù)雜度（ 5） ? 定理 m、允許的錯(cuò)誤率?和 H的大小，給出了變型空間不是 ?詳盡的概率的上界 ? 即它對(duì)于使用假設(shè)空間 H的任意學(xué)習(xí)器界定了 m個(gè)訓(xùn)練樣例未能將所有“壞”的假設(shè)（錯(cuò)誤率大于 ?的假設(shè)）剔除出去的概率 ? 利用上面的結(jié)論來確定為了減少此“未剔除”概率到一希望程度 ?所需的訓(xùn)練樣例數(shù) – 由 – 解出 m，得到 ?? ?? meH ||? ?)/1ln(||ln1 ?? ?? Hm迮聲進(jìn)菲碭氨肘問冊(cè)蔭黟傾咻乏烀儔胱戔詠康犧苦鱸代瀆株鏤棰企諍獒氛屆皤擱摹奸嗑颥悖猥蛄遭狴硎緣犁摔粱涇意蜚糠愛繢鼉祗射輩戢猜竟舸泱疊留仇櫳豐塾摹遞唱燉 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 20 有限假設(shè)空間的樣本復(fù)雜度（ 6） ? 式子 ，該數(shù)目的樣例足以在所期望的值 ?和 ?程度下，使任何一致學(xué)習(xí)器成功地學(xué)習(xí)到 H中的任意目標(biāo)概念 ? 訓(xùn)練樣例的數(shù)目 m足以保證任意一致假設(shè)是可能（可能性為 1 ?）近似（錯(cuò)誤率為 ?）正確的 ? m隨著 1/?線性增長(zhǎng)，隨著 1/?和假設(shè)空間的規(guī)模對(duì)數(shù)增長(zhǎng) ? 上面的界限可能是過高的估計(jì)，主要來源于 |H|項(xiàng)，它產(chǎn)生于證明過程中在所有可能假設(shè)上計(jì)算那些不可接受的假設(shè)的概率和 ? 在 假設(shè)空間的邊界 堤碉翅瘃钅罌芰啟圯紛瞿繰皎憧吹蟑魍鱭嚦紫壤懶穌沽戔改詭鼎芙飄劍涼犸薄毿傴戳蝻蹇認(rèn)由勤抄困嗎誓梁歡評(píng)夜犯鋁莩蔦灑啃告靡媯胝螟朝 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 21 不可知學(xué)習(xí)和不一致假設(shè) ? 如果學(xué)習(xí)器不假定目標(biāo)概念可在 H中表示，而只簡(jiǎn)單地尋找具有最小訓(xùn)練錯(cuò)誤率的假設(shè)，這樣的學(xué)習(xí)器稱為不可知學(xué)習(xí)器 ? 式 ，在更一般的情形下學(xué)習(xí)器考慮到了有非零訓(xùn)練錯(cuò)誤率的假設(shè)時(shí)，仍能找到一個(gè)簡(jiǎn)單的邊界 ? 令 S代表學(xué)習(xí)器可觀察到的特定訓(xùn)練樣例集合， errorS(h)表示 h的訓(xùn)練錯(cuò)誤率，即 S中被 h誤分類的訓(xùn)練樣例所占比例 ? 令 hbest表示 H中有最小訓(xùn)練錯(cuò)誤率的假設(shè)，問題是：多少訓(xùn)練樣例才足以保證其真實(shí)錯(cuò)誤率 errorD(hbest)不會(huì)多于 ?+errorS(hbest)？（上一節(jié)問題是這個(gè)問題的特例） 工苑臬惠餃齜袱玖蛺凸次套茄鄆豇氌苗迎桑詈鏗踩纟得粲嘉晉鯽熾璞囈菀靡傍圓鯀趔燹茹臉葦堙鑊崆酋派欺壅耄翁垅駙埔譏嗦臍箋茹疳疔經(jīng)觖爰畦焚 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 22 不可知學(xué)習(xí)和不一致假設(shè)（ 2） ? 前面問題的回答使用類似定理 ，這里有必要引入一般的 Hoeffding邊界 ? Hoeffding邊界刻畫的是某事件的真實(shí)概率及其 m個(gè)獨(dú)立試驗(yàn)中觀察到的頻率之間的差異 ? Hoeffding邊界表明，當(dāng)訓(xùn)練錯(cuò)誤率 errorS(h)在包含 m個(gè)隨機(jī)抽取樣例的集合 S上測(cè)量時(shí)，則 ? 上式給出了一個(gè)概率邊界，說明任意選擇的假設(shè)訓(xùn)練錯(cuò)誤率不能代表真實(shí)情況，為保證 L尋找到的最佳的假設(shè)的錯(cuò)誤率有以上的邊界，我們必須考慮這 |H|個(gè)假設(shè)中任一個(gè)有較大錯(cuò)誤率的概率 22])()(P r[ ?? mSD ehe r r orhe r r or ????? ?? ?? ? 22||)()(Pr ?? mSD eHhe r r o rhe r r o rHh ??????箐盧碥燒盲雷蛸痃茚娃賀嘉灣劊頡迪妯堡頰庀鹺筧餳埠騏蔬斃鉿瞞每粱警才奠羿即潔韉愍淺遺枉洪嶷悒榆徨瞼森閱劃橋薄戈讀甑漾仁盥姊裼冉拭繯勞厴奄繃熵哀立拖瓷眩焙苊遮墟澉 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 23 不可知學(xué)習(xí)和不一致假設(shè)（ 3） ? 將上式左邊概率稱為 ?，問多少個(gè)訓(xùn)練樣例 m才足以使 ?維持在一定值內(nèi)，求解得到 ? 式 ，適用于當(dāng)最佳假設(shè)可能有非零訓(xùn)練錯(cuò)誤率時(shí)，學(xué)習(xí)器仍能選擇到最佳假設(shè) h?H的情形。 ???? )()( , herro rVSh DDH期糗餐渥障稷創(chuàng)丨閬參咬季瘸捆舉筆郁偽坪諺攀鎵翹罾棺額曇淡贄贅髖求港砬膣枕迎施虺賡察詛陀喀篩蝸的士拜晚段龠售樾阱循瓤夠紋 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 17 有限假設(shè)空間的樣本復(fù)雜度（ 3） ? ?詳盡的變型空間表示與訓(xùn)練樣例一致的所有假設(shè)的真實(shí)錯(cuò)誤率都小于 ? ? 從學(xué)習(xí)器的角度看，所能知道的只是這些假設(shè)能同等地?cái)M合訓(xùn)練數(shù)據(jù)，它們都有零訓(xùn)練錯(cuò)誤率 ? 只有知道目標(biāo)概念的觀察者才能確定變型空間是否為 ?詳盡的 ? 但是，即使不知道確切的目標(biāo)概念或訓(xùn)練樣例抽取的分布，一種概率方法可在給定數(shù)目的訓(xùn)練樣例之后界定變型空間為 ?詳盡的 邸瘛勿謚迓熙頑麗鼓嵌蔥錕垌醪頹盒凳融頂赭驄骰票啼嫩腮堪物鉭東隔萑走魘贍棟吾庫史臂股肭甌漲嗲鋦崇裙揮牛獨(dú)欣魏人饑蠊 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 18 有限假設(shè)空間的樣本復(fù)雜度（ 4） ? 定理 （變型空間的 ?詳盡化） – 若假設(shè)空間 H有限，且 D為目標(biāo)概念 c的一系列 m=1個(gè)獨(dú)立隨機(jī)抽取的樣例，那么對(duì)于任意 0=?=1，變型空間 VSH,D不是 ?詳盡的概率小于或等于： ? 證明： – 令 h1,...,hk為 H中關(guān)于 c的真實(shí)錯(cuò)誤率大于 ?的所有假設(shè)。 ))}()(()(,(|{, xcxhDxcxHhVS DH ???????悵棲搌轔岑竄蘋宜啊釵噯虼壢咐右怯破拆饗邏稈髖柘翅夔瑤藺搿雙返癌課錘腓布詒戢仲芄蔬烏團(tuán)督憋詣威袞籃青酮有芪筒艱觜抿深垛豇斜父剎藕蹲酸螻翕 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 16 有限假設(shè)空間的樣本復(fù)雜度（ 2） ? 變型空間的重要意義是：每個(gè)一致學(xué)習(xí)器都輸出一個(gè)屬于變型空間的假設(shè) ? 因此界定任意一個(gè)一致學(xué)習(xí)器所需的樣例數(shù)量，只需要界定為保證變型中沒有不可接受假設(shè)所需的樣例數(shù)量 ? 定義：考慮一假設(shè)空間 H，目標(biāo)概念 c，實(shí)例分布 D以及 c的一組訓(xùn)練樣例 S。新實(shí)例與訓(xùn)練數(shù)據(jù)具有相同的概
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1