【正文】 ? 這意味著，這個理論可以僅以樣本集 (數(shù)據(jù) )為基礎(chǔ) 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 57 要求“線性算法”的原因 ? 對計算，非線性算法一般是 NP完全的。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 58 非線性問題的數(shù)學(xué)方法 ? 尋找一個映射，將非線性問題映射到線性空間，以便其可以在線性空間中線性表述。 ? 這樣，線性可分問題變?yōu)橛嬎銉蓚€閉凸集的最大邊緣問題。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 62 SVM ? 線性可分為基礎(chǔ)。由此，可以獲得支持向量。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 63 存在問題 ? SVM只從存在上解決了劃分問題，并沒有真正在劃分上解決核函數(shù)的構(gòu)造問題。這意味著，需要在滿足線性劃分的核函數(shù)中選擇一個滿足最大邊緣的核函數(shù) (模型選擇 )。 ? 使用多個容易設(shè)計的簡單 PAC弱分類器代替一個較難設(shè)計的 PAC強分類器。Valiant’88] open problem of finding a boosting algorithm ? [Schapire’89], [Freund’90] first polynomialtime boosting algorithms ? [Drucker, Schapireamp。Schapire ’95] – introduced AdaBoost algorithm – strong practical advantages over previous boosting algorithms ? experiments using AdaBoost: [Druckeramp。Singer ’98] [Jacksonamp。Opitz ’97] [Freundamp。Kohavi ’97] [Quinlan ’96] [Schwenkamp。 algorithms: [Schapire,Freund,Bartlettamp。Singer ’98] [Breiman ’97] [Mason, Bartlettamp。Tibshirani ’98] ? …… 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 68 集成機器學(xué)習(xí) ? 1990年 Shapire證明，如果將多個 PAC弱分類器集成在一起，它將具有 PAC強分類器的泛化能力。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 69 弱分類器 ? 如果一個分類器的分類能力 (泛化 )稍大于 50%，這個分類器稱為弱分類器。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 70 集成 ? 在分類時，采用投票的方式?jīng)Q定新樣本屬于哪一類。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 71 集成分類器 Classifier ensemble Σαihi hn h2 h1 Input vector Classifier 1 Classifier 2 …… Classifier N Combine Classifiers Output 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 72 為什么吸引人 ? 弱分類器比強分類器設(shè)計簡單。 ? 典型方法：加權(quán)多數(shù)算法，Bootstrap, ADABOOST 等。Schapire ’97] ? constructing Dt: ? ? given Dt and ht: where: Zt = normalization constant ? final hypothesis: ))(e x p ( itittt xhyZD ????? ???????? ?? )(if)(if1itiitittt xhyexhyeZDDtt??miD1)(1 ?01ln21 ????????? ??ttt ?????????? ?ttt xhxH )(s gn)(f i n a l ?返回 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 74 增強機器學(xué)習(xí) ? 增強機器學(xué)習(xí)最早提出是考慮“從變化環(huán)境中”學(xué)習(xí)蘊含在環(huán)境中知識，其本質(zhì)是對環(huán)境的適應(yīng) ? 開始的動機主要是為了解決機器人規(guī)劃、避障與在環(huán)境中適應(yīng)的學(xué)習(xí)問題 ? 1975年， Holland首先將這個概念引入計算機科學(xué)。 返回 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 76 機器學(xué)習(xí)面臨的挑戰(zhàn) ?隨著應(yīng)用的不斷深入 ,出現(xiàn)了很多被傳統(tǒng)機器學(xué)習(xí)研究忽視、但非常重要的問題（下面將以醫(yī)療和金融為代表來舉幾個例子） ?機器學(xué)習(xí)正與眾多學(xué)科領(lǐng)域產(chǎn)生了交叉，交叉領(lǐng)域越多 ,問題也越多 ,也正是大有可為處 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 77 醫(yī)療： 以癌癥診斷為例 ， “ 將病人誤診為健康人的代價 ”與 “ 將健康人誤診為病人的代價 ” 是不同的 金融： 以信用卡盜用檢測為例 ， “ 將盜用誤認(rèn)為正常使用的代價 ” 與 “ 將正常使用誤認(rèn)為盜用的代價 ” 是不同的 傳統(tǒng)的 ML技術(shù)基本上只考慮同一代價 如何處理代價敏感性 ？ 在教科書中找不到現(xiàn)成的答案 。 ? Web信息的有效獲取 (新一代搜索引擎 )。 ? 蛋白質(zhì)功能分析 , DNA數(shù)據(jù)分析 , SNP數(shù)據(jù)分析 ? ……. 它們需要使用各種不同方法，解決實際問題。這需要根據(jù)數(shù)據(jù)中已知類別標(biāo)號的樣本與領(lǐng)域知識來推測這些樣本的類別標(biāo)號，并建立問題世界的模型，這就是半監(jiān)督學(xué)習(xí) ? 這類問題直接來自于實際應(yīng)用： 例如，大量醫(yī)學(xué)影像，醫(yī)生把每張片子上的每個病灶都標(biāo)出來再進(jìn)行學(xué)習(xí)，是不可能的，能否只標(biāo)一部分，并且還能利用未標(biāo)的部分？ 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 87 多示例機器學(xué)習(xí) ? 傳統(tǒng)的機器學(xué)習(xí)中，一個對象有一個描述，而在一些實際問題中，一個對象可能同時有多個描述，到底哪個描述是決定對象性質(zhì) (例如類別 )的，卻并不知道。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 89 數(shù)據(jù)流機器學(xué)習(xí) ? 在網(wǎng)絡(luò)數(shù)據(jù)分析與處理中，有一類問題，從一個用戶節(jié)點上流過的數(shù)據(jù)，大多數(shù)是無意義的，由于數(shù)據(jù)量極大，不能全部存儲，因此，只能簡單判斷流過的文件是否有用，而無法細(xì)致分析 ? 如何學(xué)習(xí)一個模型可以完成這個任務(wù)，同時可以增量學(xué)習(xí)，以保證可以從數(shù)據(jù)流中不斷改善 (或適應(yīng) )用戶需求的模型 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 90 研究現(xiàn)狀 ? 主要以任務(wù)為驅(qū)動力 ,學(xué)習(xí)方法有待創(chuàng)新 ? 以上這些機器學(xué)習(xí)方式還處于實驗觀察階段，缺乏堅實的理論基礎(chǔ) ? 實際應(yīng)用效果仍有待研究 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 91 存在的理論問題 ? 統(tǒng)計類機器學(xué)習(xí)需要滿足獨立同分布條件，嚴(yán)厲！ ? 尋找問題線性表示的空間，沒有一般的原則。 ? 機器學(xué)習(xí)沒有一勞永逸的解決方案。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 92 研究趨勢 ? 盡管“學(xué)習(xí)機制”還是研究的動力，然而， “煩惱網(wǎng)絡(luò)”的危機，使得更為重要的推動力來自“有效利用”信息。 ? 應(yīng)用驅(qū)動的機器學(xué)習(xí)方法層出不窮。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進(jìn)展 93 結(jié)束語 當(dāng)前，機器學(xué)習(xí)所面臨情況是： 數(shù)據(jù)復(fù)雜、海量 ， 用戶需求多樣