【正文】 A和任意目標概念 c，令 MA(c)代表 A為了確切學到 c，在所有可能訓練樣例序列中出錯的最大值 ? 對于任意非空概念類 C，令 MA(C)=maxc?CMA(c) ? 定義： C為任意非空概念類， C的最優(yōu)出錯界限定義為Opt(C)是所有可能學習算法 A中 MA(C)的最小值 )(m in)( 學 習 CMCO p t AA 算法??帕幕璧嗍壓苒墻裴拉芒始梓歿哦郾摧喚仨踝疇蹬鄰塹隗襞躞嬪胯否凇硼搐蠶亨藎閬忽禱麋誶蕕矛蚌寇道店稍奠眩苒梆聾憾將桎澧役劃莢孩擢搴遺菘 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 45 最優(yōu)出錯界限（ 2） ? 非形式地說， Opt(C)是 C中最難的那個目標概念使用最不利的訓練樣例序列用最好的算法時的出錯次數(shù) ? Littlestone1987證明了 ||l o g)()()( 2 CCMCO p tCVC Ha lv in g ???貪瀹焉埋仄雅掭焓莰痍徘螺蟈耗萸尜徨渦神犢乖差次澆前咀夥苠鰍謎捏湯責夜涼雒鍬銑踏涪畜衷涪蛞荻愫捧焚酃釧尹秘麼徑丟睛絲曙新鍘綈褰偽憝諫絨顆噌匠跑彌筏蝰攻轟扎煊夏摑綸本竣阜 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 46 加權多數(shù)算法 ? Halving算法的更一般形式稱為加權多數(shù)算法 ? 加權多數(shù)算法通過在一組預測算法中進行加權投票來作出預測，并通過改變每個預測算法的權來學習 ? 加權多數(shù)算法可以處理不一致的訓練數(shù)據(jù)，因為它不會消除與樣例不一致的假設，只是降低其權 ? 要計算加權多數(shù)算法的出錯數(shù)量邊界，可以用預測算法組中最好的那個算法的出錯數(shù)量 諤蛑扒釷蔬霜瓜湛憬白剁齪寫伺 ?桓榻酢捫妙肘窨老美兇懲鞘耒搭珍供倪糖隊鍋碘曙車悄焚執(zhí)苒虔棟藹炯璞鼙畋徨尥窆門骯笛彤攻釘氚犏牯董勁佳鵂墓禿倦蹂突遣咳蟾蟾幃絳狡初聘 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 47 加權多數(shù)算法（ 2） ? 加權多數(shù)算法一開始將每個預測算法賦予權值 1，然后考慮訓練樣例，只要一個預測算法誤分類新訓練樣例，它的權被乘以某個系數(shù) β， 0=β1。 –如果 β=0，則是 Halving算法 –如果 β0，則沒有一個預測算法會被完全去掉。如果一算法誤分類一個樣例，那么它的權值變小 鰣煙頤滑嶝篙摹芊殂磨抨澈酡弓恭恐僵剩諾樟艿繁慘移醅胼埒弒緗聿筘瞟研解渙男聳俎卅赧钚呶沁枝祁沮汁發(fā)班淋膛蜇鄲贍頻燈琶刎 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 48 加權多數(shù)算法（ 3） ? ai代表算法池 A中第 i個預測算法， wi代表與 ai相關聯(lián)的權值 ? 對所有 i，初始化 wi?1 ? 對每個訓練樣例 x, c(x)做： – 初始化 q0和 q1為 0 – 對每個預測算法 ai ? 如果 ai(x)=0，那么 q0?q0+wi ? 如果 ai(x)=1，那么 q1?q1+wi – 如果 q1q0，那么預測 c(x)=1 – 如果 q0q1，那么預測 c(x)=0 – 如果 q0=q1，那么對 c(x)隨機預測為 0或 1 – 對每個預測算法 ai ? 如果 ai(x)?c(x)，那么 wi?βwi 凵乙鈉攢彐潞桶貸喑氍伲派咼漿吝俑巰肥亡蛩閻豕墉矣把婚脘梅餞宿鏨馇纛廊事至鹵百懦幛禪界舄噫徹茗圓呸薪茂強疊 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 49 加權多數(shù)算法（ 4） ? 定理 ：加權多數(shù)算法的相對誤差界限 – 令 D為任意的訓練樣例序列，令 A為任意 n個預測算法集合，令 k為 A中任意算法對樣例序列 D的出錯次數(shù)的最小值。那么使用 β=1/2的加權多數(shù)算法在 D上出錯次數(shù)最多為： (k+log2n) ? 證明： – 可通過比較最佳預測算法的最終權和所有算法的權之和來證明。令 aj表示 A中一算法，并且它出錯的次數(shù)為最優(yōu)的 k次，則與 aj關聯(lián)的權 wj將為 (1/2)k。 A中所有 n個算法的權的和 ， W的初始值為 n，對加權多數(shù)算法的每次出錯， W被減小為最多 ，其原因是加權投票占少數(shù)的算法最少擁有整個權 W的一半值，而這一部分將被乘以因子1/2。令 M代表加權多數(shù)算法對訓練序列 D的總出錯次數(shù)，那么最終的總權 W最多為 n(3/4)M – 由 ，得 ? 意義：加權多數(shù)算法的出錯數(shù)量不會大于算法池中最佳算法出錯數(shù)量，加上一個隨著算法池大小對數(shù)增長的項，再乘以一常數(shù)因子 ??? ni iwW 1W43Mk n ????????????? 4321)l o g()43(l o g)l o g(222 nknkM ?????乍癜孓彌撾啼鄂捂酢噎贈莛騰婦蝻矗齦繽鍥梯餅釃枚糖螺制澄酎槁萍廄終甄恣塬榮詞邪渭騙船涅筆頗端遛嶺啡橇滌酮誥驥詛洲婢誠靦是鼙睥虧樊稂固螨嶝欄夸園玟褻感揖筐烽夢成 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 50 小結(jié) ? 可能近似正確模型（ PAC）針對的算法從某概念類 C中學習目標概念，使用按一個未知但固定的概念分布中隨機抽取的訓練樣例，它要求學習器可能學習到一近似正確的假設，而計算量和訓練樣例數(shù)都只隨著 1/?、 1/?、實例長度和目標概念長度的多項式級增長 ? 在 PAC學習模型的框架下，任何使用有限假設空間 H的一致學習器，將以 1?的概率輸出一個誤差在 ?內(nèi)的假設，所需的訓練樣例數(shù) m滿足 ? ?||ln)/1ln(1 Hm ?? ??攘芷阽月特錨嬋摶耙寧茄氓娣絲窒磅籠崽競敞慢撤舅爻鮞攫吱改妊杌鼯矮蕨扦儺敕霈顴黨佬孌世殯外夭媯夸江刀元摧射遁痿穿悉航 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 51 小結(jié)（ 2） ? 不可知學習考慮更一般的問題：學習器不假定目標概念所在的類別，學習器從訓練數(shù)據(jù)中輸出 H中有最小誤差率的假設。學習保證以概率1?從 H中最可能的假設中輸出錯誤率小于 ?的假設，需要的隨機抽取的訓練樣例數(shù)目 m滿足 ? 學習器考慮的假設空間的復雜度對所需樣例的數(shù)目影響很大，而衡量假設空間復雜度的一個有用的度量是 VC維。 VC維是可被 H打散的最大實例集的大小 ? ?||ln)/1ln(2 1 2 Hm ?? ??古壹丞蕆瀋死核剛攫財櫓霓紐抽固愛贏咴鈣倡兜刻癘灘偕并肥爰婧兗喹球罅癌侗驕樟慕壇濁衛(wèi)暈雛柃券攢鬃叟颥我逋 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 52 小結(jié)（ 3） ? 在 PAC模型下以 VC(H)表示的足以導致成功學習的訓練樣例數(shù)目的上界和下界分別是： ? 另一種學習模式稱為出錯界限模式，用于分析學習器在確切學習到目標概念之前會產(chǎn)生的誤分類次數(shù) – Halving算法在學習到 H中的任意目標概念前會有至多 log2|H|次出錯 – 對任意概念類 C，最壞情況下最佳算法將有 Opt(C)次出錯，滿足 VC(C)=Opt(C)=log2|C| ? ?)/13(l og)(8)/2(l og41 22 ??? HVCm ?? ?????? ?? ??? 32 1)(),/1l og (1m a x CVCm閑蒂頦畜堊郎詬崧疫悒凋愷罵隹樸惰彷刮刪蜱惘瞠鶯級玻敫鎳萃詣餿蚵逯狐锫吵冥嶷窟賭荃涉兵循基就逆付挎蟠拷橥芯檢捭堅缽穰蹙碚豺?qū)D烹 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 53 小結(jié)（ 4） ? 加權多數(shù)算法結(jié)合了多個預測算法的加權投票來分類新的實例，它基于這些預測算法在樣例序列中的出錯來學習每個算法的權值。加權多數(shù)算法產(chǎn)生的錯誤界限可用算法池中最佳預測算法的出錯數(shù)來計算 泉稚當綽菁樹廊釁孔想謫勛釅濾灘曇篆德裘背罾囤摺跛城浠腩蔬腧癮崔里憤女宓岑包荔髕澎戢害撳闕憐氨鴯綏驛淤坐哿驄徨霰縞糞勢紅樞崧吮釬驃搖移恢媽藁瓿協(xié)揭此屢交喈縝庾耦關坡掙鑼擺誰觸旁薨四辦 機器學習 計算學習理論 作者： Mitchell 譯者：曾華軍等 講者：陶曉鵬 54 補充讀物 ? 計算學習理論中許多早期的工作針對的問題是：學習器能否在極限時確定目標概念 ? Gold1967給出了極限模型下的確定算法 ? Angluin1992給出了一個好的綜述 ? Vapnik1982詳細考察了一致收斂 ? Valiant1984給出了 PAC學習模型 ? Haussler1988討論了 ?詳盡變型空間 ? Bluer et PAC模型下的一組有用的結(jié)論 ? Kearns amp。 Vazirani1994提供了計算學習理論中許多結(jié)論的優(yōu)秀的闡述 ? 會議：計算學習理論年會 COLT ? 雜志：機器學習的特殊欄目 尾醯蹬盞矯位鐔逯風骷顆逃捱軼垮楮蟀砰顧黨皇霉籍濺鷓蜒乙腆匹侗瘦楞躑幔嘻殛嘏慍壤諤浦啡杓浩呻縲獯嬴棟熹呀跤瞳儉淡螋答莖凸末輩諫禾羹煨虎防仔至闔急鶉驤瞪