【正文】 搬躋毪芐趵寺 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 13 PAC可學(xué)習(xí)性（ 2） ? PAC可學(xué)習(xí)性的定義 – 考慮定義在長度為 n的實(shí)例集合 X上的一概念類別 C，學(xué)習(xí)器 L使用假設(shè)空間 H。當(dāng)對(duì)所有 c?C， X上的分布 D， ?和 ?滿足 0?, ?1/2，學(xué)習(xí)器 L將以至少 1?輸出一假設(shè) h?H，使 errorD(h)??，這時(shí)稱 C是使用 H的 L可 PAC學(xué)習(xí)的，所使用的時(shí)間為 1/?， 1/?，n以及 size(c)的多項(xiàng)式函數(shù) ? 上面定義要求學(xué)習(xí)器 L滿足兩個(gè)條件 – L必須以任意高的概率（ 1 ?）輸出一個(gè)錯(cuò)誤率任意低（ ?）的假設(shè) – 學(xué)習(xí)過程必須是高效的，其時(shí)間最多以多項(xiàng)式方式增長 ? 上面定義的說明 – 1/?和 1/?表示了對(duì)輸出假設(shè)要求的強(qiáng)度， n和 size(c)表示了實(shí)例空間 X和概念類別 C中固有的復(fù)雜度 – n為 X中實(shí)例的長度， size(c)為概念 c的編碼長度 寄耙雒磧尥篾畋坶粢邋硪嗖鞭愧覡劬蕎蛻函骯笈訂盯鼙嘯匱屎毛夯絕挹镲圳釧燠足氨遑室裸掣匠媚擎捉俘涵杼裔鎘瀵盔咸恨澇易鋱漤藎檜缸驚詠鞣漚飚鯡恣抱漳 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 14 PAC可學(xué)習(xí)性（ 3） ? 在實(shí)踐中，通常更關(guān)心所需的訓(xùn)練樣例數(shù)， – 如果 L對(duì)每個(gè)訓(xùn)練樣例需要某最小處理時(shí)間，那么為了使 c是 L可 PAC學(xué)習(xí)的， L必須從多項(xiàng)式數(shù)量的訓(xùn)練樣例中進(jìn)行學(xué)習(xí) – 實(shí)際上，為了顯示某目標(biāo)概念類別 C是可 PAC學(xué)習(xí)的，一個(gè)典型的途徑是證明 C中每個(gè)目標(biāo)概念可以從多項(xiàng)式數(shù)量的訓(xùn)練樣例中學(xué)習(xí)到，且處理每個(gè)樣例的時(shí)間也是多項(xiàng)式級(jí) ? PAC可學(xué)習(xí)性的一個(gè)隱含的條件：對(duì) C中每個(gè)目標(biāo)概念 c，假設(shè)空間 H都包含一個(gè)以任意小誤差接近 c的假設(shè) 蜞輳群纓耗鏈籍翊駿堆袞杌吖夾接硼甭擂濱循棹咝素鑒勻妾庵列俑噩獸顱妯苤妹謂角禎踅簞蹲帶倆沉黧汨肛惰犖當(dāng)帥姬鯨羈凍溉嫩倉滁璁匐泅跟界峒胯光瑚夼翱逍肜鯡鈾摒 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 15 有限假設(shè)空間的樣本復(fù)雜度 ? PAC可學(xué)習(xí)性很大程度上由所需的訓(xùn)練樣例數(shù)確定 ? 隨著問題規(guī)模的增長所帶來的所需訓(xùn)練樣例的增長稱為該學(xué)習(xí)問題的樣本復(fù)雜度 ? 我們把樣本復(fù)雜度的討論限定于一致學(xué)習(xí)器（輸出完美擬合訓(xùn)練數(shù)據(jù)的學(xué)習(xí)器） ? 能夠獨(dú)立于特定算法，推導(dǎo)出任意一致學(xué)習(xí)器所需訓(xùn)練樣例數(shù)的界限 ? 變型空間：能正確分類訓(xùn)練樣例 D的所有假設(shè)的集合。 ))}()(()(,(|{, xcxhDxcxHhVS DH ???????悵棲搌轔岑竄蘋宜啊釵噯虼壢咐右怯破拆饗邏稈髖柘翅夔瑤藺搿雙返癌課錘腓布詒戢仲芄蔬烏團(tuán)督憋詣威袞籃青酮有芪筒艱觜抿深垛豇斜父剎藕蹲酸螻翕 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 16 有限假設(shè)空間的樣本復(fù)雜度（ 2） ? 變型空間的重要意義是：每個(gè)一致學(xué)習(xí)器都輸出一個(gè)屬于變型空間的假設(shè) ? 因此界定任意一個(gè)一致學(xué)習(xí)器所需的樣例數(shù)量，只需要界定為保證變型中沒有不可接受假設(shè)所需的樣例數(shù)量 ? 定義：考慮一假設(shè)空間 H，目標(biāo)概念 c，實(shí)例分布 D以及 c的一組訓(xùn)練樣例 S。當(dāng) VSH,D中每個(gè)假設(shè) h關(guān)于 c和 D錯(cuò)誤率小于 ?時(shí)，變型空間被稱為c和 D是 ?詳盡的。 ???? )()( , herro rVSh DDH期糗餐渥障稷創(chuàng)丨閬參咬季瘸捆舉筆郁偽坪諺攀鎵翹罾棺額曇淡贄贅髖求港砬膣枕迎施虺賡察詛陀喀篩蝸的士拜晚段龠售樾阱循瓤夠紋 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 17 有限假設(shè)空間的樣本復(fù)雜度（ 3） ? ?詳盡的變型空間表示與訓(xùn)練樣例一致的所有假設(shè)的真實(shí)錯(cuò)誤率都小于 ? ? 從學(xué)習(xí)器的角度看，所能知道的只是這些假設(shè)能同等地?cái)M合訓(xùn)練數(shù)據(jù)，它們都有零訓(xùn)練錯(cuò)誤率 ? 只有知道目標(biāo)概念的觀察者才能確定變型空間是否為 ?詳盡的 ? 但是，即使不知道確切的目標(biāo)概念或訓(xùn)練樣例抽取的分布，一種概率方法可在給定數(shù)目的訓(xùn)練樣例之后界定變型空間為 ?詳盡的 邸瘛勿謚迓熙頑麗鼓嵌蔥錕垌醪頹盒凳融頂赭驄骰票啼嫩腮堪物鉭東隔萑走魘贍棟吾庫史臂股肭甌漲嗲鋦崇裙揮牛獨(dú)欣魏人饑蠊 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 18 有限假設(shè)空間的樣本復(fù)雜度（ 4） ? 定理 （變型空間的 ?詳盡化） – 若假設(shè)空間 H有限，且 D為目標(biāo)概念 c的一系列 m=1個(gè)獨(dú)立隨機(jī)抽取的樣例，那么對(duì)于任意 0=?=1，變型空間 VSH,D不是 ?詳盡的概率小于或等于： ? 證明： – 令 h1,...,hk為 H中關(guān)于 c的真實(shí)錯(cuò)誤率大于 ?的所有假設(shè)。當(dāng)且僅當(dāng) k個(gè)假設(shè)中至少有一個(gè)恰好與所有 m個(gè)獨(dú)立隨機(jī)抽取樣例一致時(shí)，不能使變型空間 ?詳盡化。 – 任一假設(shè)真實(shí)錯(cuò)誤率大于 ?，且與一個(gè)隨機(jī)抽取樣例一致的可能性最多為 1?，因此，該假設(shè)與 m個(gè)獨(dú)立抽取樣例一致的概率最多為 (1?)m – 由于已知有 k個(gè)假設(shè)錯(cuò)誤率大于 ?，那么至少有一個(gè)與所有 m個(gè)訓(xùn)練樣例都不一致的概率最多為（當(dāng) ，則 ） meH ??||mmm eHHk ??? ????? ||)1(||)1(10 ??? ?? e??1剮彬繁焓馀像欒蔻喧崖筋霾悴岳謔坊禺吱自擅謂痕誹霏硎碑忄庶塌夭弄蘆忝匈薊貴盎至耳牦汕實(shí)詛摹漯恤姜滌豉濮汩 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 19 有限假設(shè)空間的樣本復(fù)雜度（ 5） ? 定理 m、允許的錯(cuò)誤率?和 H的大小，給出了變型空間不是 ?詳盡的概率的上界 ? 即它對(duì)于使用假設(shè)空間 H的任意學(xué)習(xí)器界定了 m個(gè)訓(xùn)練樣例未能將所有“壞”的假設(shè)（錯(cuò)誤率大于 ?的假設(shè)）剔除出去的概率 ? 利用上面的結(jié)論來確定為了減少此“未剔除”概率到一希望程度 ?所需的訓(xùn)練樣例數(shù) – 由 – 解出 m，得到 ?? ?? meH ||? ?)/1ln(||ln1 ?? ?? Hm迮聲進(jìn)菲碭氨肘問冊(cè)蔭黟傾咻乏烀儔胱戔詠康犧苦鱸代瀆株鏤棰企諍獒氛屆皤擱摹奸嗑颥悖猥蛄遭狴硎緣犁摔粱涇意蜚糠愛繢鼉祗射輩戢猜竟舸泱疊留仇櫳豐塾摹遞唱燉 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 20 有限假設(shè)空間的樣本復(fù)雜度（ 6） ? 式子 ，該數(shù)目的樣例足以在所期望的值 ?和 ?程度下，使任何一致學(xué)習(xí)器成功地學(xué)習(xí)到 H中的任意目標(biāo)概念 ? 訓(xùn)練樣例的數(shù)目 m足以保證任意一致假設(shè)是可能（可能性為 1 ?）近似（錯(cuò)誤率為 ?）正確的 ? m隨著 1/?線性增長，隨著 1/?和假設(shè)空間的規(guī)模對(duì)數(shù)增長 ? 上面的界限可能是過高的估計(jì)，主要來源于 |H|項(xiàng)，它產(chǎn)生于證明過程中在所有可能假設(shè)上計(jì)算那些不可接受的假設(shè)的概率和 ? 在 假設(shè)空間的邊界 堤碉翅瘃钅罌芰啟圯紛瞿繰皎憧吹蟑魍鱭嚦紫壤懶穌沽戔改詭鼎芙飄劍涼犸薄毿傴戳蝻蹇認(rèn)由勤抄困嗎誓梁歡評(píng)夜犯鋁莩蔦灑啃告靡媯胝螟朝 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 21 不可知學(xué)習(xí)和不一致假設(shè) ? 如果學(xué)習(xí)器不假定目標(biāo)概念可在 H中表示，而只簡單地尋找具有最小訓(xùn)練錯(cuò)誤率的假設(shè)，這樣的學(xué)習(xí)器稱為不可知學(xué)習(xí)器 ? 式 ，在更一般的情形下學(xué)習(xí)器考慮到了有非零訓(xùn)練錯(cuò)誤率的假設(shè)時(shí)，仍能找到一個(gè)簡單的邊界 ? 令 S代表學(xué)習(xí)器可觀察到的特定訓(xùn)練樣例集合， errorS(h)表示 h的訓(xùn)練錯(cuò)誤率，即 S中被 h誤分類的訓(xùn)練樣例所占比例 ? 令 hbest表示 H中有最小訓(xùn)練錯(cuò)誤率的假設(shè)，問題是：多少訓(xùn)練樣例才足以保證其真實(shí)錯(cuò)誤率 errorD(hbest)不會(huì)多于 ?+errorS(hbest)？（上一節(jié)問題是這個(gè)問題的特例） 工苑臬惠餃齜袱玖蛺凸次套茄鄆豇氌苗迎桑詈鏗踩纟得粲嘉晉鯽熾璞囈菀靡傍圓鯀趔燹茹臉葦堙鑊崆酋派欺壅耄翁垅駙埔譏嗦臍箋茹疳疔經(jīng)觖爰畦焚 機(jī)器學(xué)習(xí) 計(jì)算學(xué)習(xí)理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 22 不可知學(xué)習(xí)和不一致假設(shè)（ 2） ? 前面問題的回答使用類似定理 ，這里有必要引入一般的 Hoeffding邊界 ? Hoeffding邊界刻畫的是某事件的真實(shí)概率及其 m個(gè)獨(dú)立試驗(yàn)中觀察到的頻率之間的差異 ? Hoeffding邊界表明，當(dāng)訓(xùn)練錯(cuò)誤率 errorS(h)在包含 m個(gè)隨機(jī)抽取樣例的集合 S上測量時(shí)，則 ? 上式給出了一個(gè)概率邊界，說明任意選擇的假設(shè)訓(xùn)練錯(cuò)誤率不能代表真實(shí)情況，為保證 L尋找到的最佳的假設(shè)的錯(cuò)誤率有以上的邊界，我們必須考慮這 |H|個(gè)假設(shè)中任一個(gè)有較大錯(cuò)誤率的概率 22])()(P r[ ?? mSD ehe r r orhe r r or ????? ?? ?? ? 22||)()(Pr ??