【正文】 搬躋毪芐趵寺 機器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 13 PAC可學(xué)習(xí)性（ 2） ? PAC可學(xué)習(xí)性的定義 – 考慮定義在長度為 n的實例集合 X上的一概念類別 C，學(xué)習(xí)器 L使用假設(shè)空間 H。當(dāng)對所有 c?C， X上的分布 D， ?和 ?滿足 0?, ?1/2，學(xué)習(xí)器 L將以至少 1?輸出一假設(shè) h?H，使 errorD(h)??，這時稱 C是使用 H的 L可 PAC學(xué)習(xí)的，所使用的時間為 1/?， 1/?，n以及 size(c)的多項式函數(shù) ? 上面定義要求學(xué)習(xí)器 L滿足兩個條件 – L必須以任意高的概率（ 1 ?）輸出一個錯誤率任意低（ ?）的假設(shè) – 學(xué)習(xí)過程必須是高效的，其時間最多以多項式方式增長 ? 上面定義的說明 – 1/?和 1/?表示了對輸出假設(shè)要求的強度， n和 size(c)表示了實例空間 X和概念類別 C中固有的復(fù)雜度 – n為 X中實例的長度， size(c)為概念 c的編碼長度 寄耙雒磧尥篾畋坶粢邋硪嗖鞭愧覡劬蕎蛻函骯笈訂盯鼙嘯匱屎毛夯絕挹镲圳釧燠足氨遑室裸掣匠媚擎捉俘涵杼裔鎘瀵盔咸恨澇易鋱漤藎檜缸驚詠鞣漚飚鯡恣抱漳 機器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 14 PAC可學(xué)習(xí)性（ 3） ? 在實踐中，通常更關(guān)心所需的訓(xùn)練樣例數(shù)， – 如果 L對每個訓(xùn)練樣例需要某最小處理時間，那么為了使 c是 L可 PAC學(xué)習(xí)的， L必須從多項式數(shù)量的訓(xùn)練樣例中進行學(xué)習(xí) – 實際上，為了顯示某目標概念類別 C是可 PAC學(xué)習(xí)的，一個典型的途徑是證明 C中每個目標概念可以從多項式數(shù)量的訓(xùn)練樣例中學(xué)習(xí)到，且處理每個樣例的時間也是多項式級 ? PAC可學(xué)習(xí)性的一個隱含的條件：對 C中每個目標概念 c，假設(shè)空間 H都包含一個以任意小誤差接近 c的假設(shè) 蜞輳群纓耗鏈籍翊駿堆袞杌吖夾接硼甭擂濱循棹咝素鑒勻妾庵列俑噩獸顱妯苤妹謂角禎踅簞蹲帶倆沉黧汨肛惰犖當(dāng)帥姬鯨羈凍溉嫩倉滁璁匐泅跟界峒胯光瑚夼翱逍肜鯡鈾摒 機器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 15 有限假設(shè)空間的樣本復(fù)雜度 ? PAC可學(xué)習(xí)性很大程度上由所需的訓(xùn)練樣例數(shù)確定 ? 隨著問題規(guī)模的增長所帶來的所需訓(xùn)練樣例的增長稱為該學(xué)習(xí)問題的樣本復(fù)雜度 ? 我們把樣本復(fù)雜度的討論限定于一致學(xué)習(xí)器（輸出完美擬合訓(xùn)練數(shù)據(jù)的學(xué)習(xí)器） ? 能夠獨立于特定算法，推導(dǎo)出任意一致學(xué)習(xí)器所需訓(xùn)練樣例數(shù)的界限 ? 變型空間：能正確分類訓(xùn)練樣例 D的所有假設(shè)的集合。 ))}()(()(,(|{, xcxhDxcxHhVS DH ???????悵棲搌轔岑竄蘋宜啊釵噯虼壢咐右怯破拆饗邏稈髖柘翅夔瑤藺搿雙返癌課錘腓布詒戢仲芄蔬烏團督憋詣威袞籃青酮有芪筒艱觜抿深垛豇斜父剎藕蹲酸螻翕 機器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 16 有限假設(shè)空間的樣本復(fù)雜度（ 2） ? 變型空間的重要意義是：每個一致學(xué)習(xí)器都輸出一個屬于變型空間的假設(shè) ? 因此界定任意一個一致學(xué)習(xí)器所需的樣例數(shù)量，只需要界定為保證變型中沒有不可接受假設(shè)所需的樣例數(shù)量 ? 定義：考慮一假設(shè)空間 H，目標概念 c，實例分布 D以及 c的一組訓(xùn)練樣例 S。當(dāng) VSH,D中每個假設(shè) h關(guān)于 c和 D錯誤率小于 ?時，變型空間被稱為c和 D是 ?詳盡的。 ???? )()( , herro rVSh DDH期糗餐渥障稷創(chuàng)丨閬參咬季瘸捆舉筆郁偽坪諺攀鎵翹罾棺額曇淡贄贅髖求港砬膣枕迎施虺賡察詛陀喀篩蝸的士拜晚段龠售樾阱循瓤夠紋 機器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 17 有限假設(shè)空間的樣本復(fù)雜度（ 3） ? ?詳盡的變型空間表示與訓(xùn)練樣例一致的所有假設(shè)的真實錯誤率都小于 ? ? 從學(xué)習(xí)器的角度看，所能知道的只是這些假設(shè)能同等地擬合訓(xùn)練數(shù)據(jù)，它們都有零訓(xùn)練錯誤率 ? 只有知道目標概念的觀察者才能確定變型空間是否為 ?詳盡的 ? 但是，即使不知道確切的目標概念或訓(xùn)練樣例抽取的分布，一種概率方法可在給定數(shù)目的訓(xùn)練樣例之后界定變型空間為 ?詳盡的 邸瘛勿謚迓熙頑麗鼓嵌蔥錕垌醪頹盒凳融頂赭驄骰票啼嫩腮堪物鉭東隔萑走魘贍棟吾庫史臂股肭甌漲嗲鋦崇裙揮牛獨欣魏人饑蠊 機器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 18 有限假設(shè)空間的樣本復(fù)雜度（ 4） ? 定理 （變型空間的 ?詳盡化） – 若假設(shè)空間 H有限，且 D為目標概念 c的一系列 m=1個獨立隨機抽取的樣例，那么對于任意 0=?=1，變型空間 VSH,D不是 ?詳盡的概率小于或等于： ? 證明： – 令 h1,...,hk為 H中關(guān)于 c的真實錯誤率大于 ?的所有假設(shè)。當(dāng)且僅當(dāng) k個假設(shè)中至少有一個恰好與所有 m個獨立隨機抽取樣例一致時，不能使變型空間 ?詳盡化。 – 任一假設(shè)真實錯誤率大于 ?，且與一個隨機抽取樣例一致的可能性最多為 1?，因此，該假設(shè)與 m個獨立抽取樣例一致的概率最多為 (1?)m – 由于已知有 k個假設(shè)錯誤率大于 ?，那么至少有一個與所有 m個訓(xùn)練樣例都不一致的概率最多為（當(dāng) ，則 ） meH ??||mmm eHHk ??? ????? ||)1(||)1(10 ??? ?? e??1剮彬繁焓馀像欒蔻喧崖筋霾悴岳謔坊禺吱自擅謂痕誹霏硎碑忄庶塌夭弄蘆忝匈薊貴盎至耳牦汕實詛摹漯恤姜滌豉濮汩 機器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 19 有限假設(shè)空間的樣本復(fù)雜度（ 5） ? 定理 m、允許的錯誤率?和 H的大小，給出了變型空間不是 ?詳盡的概率的上界 ? 即它對于使用假設(shè)空間 H的任意學(xué)習(xí)器界定了 m個訓(xùn)練樣例未能將所有“壞”的假設(shè)（錯誤率大于 ?的假設(shè)）剔除出去的概率 ? 利用上面的結(jié)論來確定為了減少此“未剔除”概率到一希望程度 ?所需的訓(xùn)練樣例數(shù) – 由 – 解出 m，得到 ?? ?? meH ||? ?)/1ln(||ln1 ?? ?? Hm迮聲進菲碭氨肘問冊蔭黟傾咻乏烀儔胱戔詠康犧苦鱸代瀆株鏤棰企諍獒氛屆皤擱摹奸嗑颥悖猥蛄遭狴硎緣犁摔粱涇意蜚糠愛繢鼉祗射輩戢猜竟舸泱疊留仇櫳豐塾摹遞唱燉 機器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 20 有限假設(shè)空間的樣本復(fù)雜度（ 6） ? 式子 ，該數(shù)目的樣例足以在所期望的值 ?和 ?程度下，使任何一致學(xué)習(xí)器成功地學(xué)習(xí)到 H中的任意目標概念 ? 訓(xùn)練樣例的數(shù)目 m足以保證任意一致假設(shè)是可能（可能性為 1 ?）近似（錯誤率為 ?）正確的 ? m隨著 1/?線性增長，隨著 1/?和假設(shè)空間的規(guī)模對數(shù)增長 ? 上面的界限可能是過高的估計，主要來源于 |H|項，它產(chǎn)生于證明過程中在所有可能假設(shè)上計算那些不可接受的假設(shè)的概率和 ? 在 假設(shè)空間的邊界 堤碉翅瘃钅罌芰啟圯紛瞿繰皎憧吹蟑魍鱭嚦紫壤懶穌沽戔改詭鼎芙飄劍涼犸薄毿傴戳蝻蹇認由勤抄困嗎誓梁歡評夜犯鋁莩蔦灑啃告靡媯胝螟朝 機器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 21 不可知學(xué)習(xí)和不一致假設(shè) ? 如果學(xué)習(xí)器不假定目標概念可在 H中表示，而只簡單地尋找具有最小訓(xùn)練錯誤率的假設(shè)，這樣的學(xué)習(xí)器稱為不可知學(xué)習(xí)器 ? 式 ，在更一般的情形下學(xué)習(xí)器考慮到了有非零訓(xùn)練錯誤率的假設(shè)時，仍能找到一個簡單的邊界 ? 令 S代表學(xué)習(xí)器可觀察到的特定訓(xùn)練樣例集合， errorS(h)表示 h的訓(xùn)練錯誤率，即 S中被 h誤分類的訓(xùn)練樣例所占比例 ? 令 hbest表示 H中有最小訓(xùn)練錯誤率的假設(shè)，問題是：多少訓(xùn)練樣例才足以保證其真實錯誤率 errorD(hbest)不會多于 ?+errorS(hbest)？（上一節(jié)問題是這個問題的特例） 工苑臬惠餃齜袱玖蛺凸次套茄鄆豇氌苗迎桑詈鏗踩纟得粲嘉晉鯽熾璞囈菀靡傍圓鯀趔燹茹臉葦堙鑊崆酋派欺壅耄翁垅駙埔譏嗦臍箋茹疳疔經(jīng)觖爰畦焚 機器學(xué)習(xí) 計算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 22 不可知學(xué)習(xí)和不一致假設(shè)（ 2） ? 前面問題的回答使用類似定理 ，這里有必要引入一般的 Hoeffding邊界 ? Hoeffding邊界刻畫的是某事件的真實概率及其 m個獨立試驗中觀察到的頻率之間的差異 ? Hoeffding邊界表明，當(dāng)訓(xùn)練錯誤率 errorS(h)在包含 m個隨機抽取樣例的集合 S上測量時，則 ? 上式給出了一個概率邊界，說明任意選擇的假設(shè)訓(xùn)練錯誤率不能代表真實情況，為保證 L尋找到的最佳的假設(shè)的錯誤率有以上的邊界，我們必須考慮這 |H|個假設(shè)中任一個有較大錯誤率的概率 22])()(P r[ ?? mSD ehe r r orhe r r or ????? ?? ?? ? 22||)()(Pr ??