【正文】 ? 應(yīng)用驅(qū)動的機器學(xué)習(xí)方法層出不窮。這需要根據(jù)數(shù)據(jù)中已知類別標(biāo)號的樣本與領(lǐng)域知識來推測這些樣本的類別標(biāo)號，并建立問題世界的模型，這就是半監(jiān)督學(xué)習(xí) ? 這類問題直接來自于實際應(yīng)用： 例如，大量醫(yī)學(xué)影像，醫(yī)生把每張片子上的每個病灶都標(biāo)出來再進行學(xué)習(xí)，是不可能的，能否只標(biāo)一部分，并且還能利用未標(biāo)的部分？ 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 87 多示例機器學(xué)習(xí) ? 傳統(tǒng)的機器學(xué)習(xí)中，一個對象有一個描述，而在一些實際問題中，一個對象可能同時有多個描述，到底哪個描述是決定對象性質(zhì) (例如類別 )的，卻并不知道。Schapire ’97] ? constructing Dt: ? ? given Dt and ht: where: Zt = normalization constant ? final hypothesis: ))(e x p ( itittt xhyZD ????? ???????? ?? )(if)(if1itiitittt xhyexhyeZDDtt??miD1)(1 ?01ln21 ????????? ??ttt ?????????? ?ttt xhxH )(s gn)(f i n a l ?返回 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 74 增強機器學(xué)習(xí) ? 增強機器學(xué)習(xí)最早提出是考慮“從變化環(huán)境中”學(xué)習(xí)蘊含在環(huán)境中知識，其本質(zhì)是對環(huán)境的適應(yīng) ? 開始的動機主要是為了解決機器人規(guī)劃、避障與在環(huán)境中適應(yīng)的學(xué)習(xí)問題 ? 1975年， Holland首先將這個概念引入計算機科學(xué)。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 69 弱分類器 ? 如果一個分類器的分類能力 (泛化 )稍大于 50%，這個分類器稱為弱分類器。Kohavi ’97] [Quinlan ’96] [Schwenkamp。Valiant’88] open problem of finding a boosting algorithm ? [Schapire’89], [Freund’90] first polynomialtime boosting algorithms ? [Drucker, Schapireamp。由此，可以獲得支持向量。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 55 研究趨勢 ? 算法的理論研究已經(jīng)基本完成， ? 目前主要集中在下述兩個問題上： (1)泛化不等式需要樣本集滿足獨立同分布，這個條件太嚴厲，可以放寬這個條件？ (2)如何根據(jù)領(lǐng)域需求選擇核函數(shù)，有基本原則嗎？ 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 56 有限樣本統(tǒng)計理論的優(yōu)點 ? 所需滿足的條件相對較少，盡管需要滿足獨立同分布，但無需考慮問題世界的先驗分布 ? 這意味著，這個理論可以僅以樣本集 (數(shù)據(jù) )為基礎(chǔ) 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 57 要求“線性算法”的原因 ? 對計算，非線性算法一般是 NP完全的。 ? 機器學(xué)習(xí)以最小經(jīng)驗風(fēng)險與期望風(fēng)險之差為統(tǒng)計基礎(chǔ)，稱為泛化誤差。 ? 可以證明：覆蓋算法和分治算法與 Reduct理論等價。 返回 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 39 機器學(xué)習(xí)方法的現(xiàn)代分類 1997年， Dietterich的分類 ? 符號機器學(xué)習(xí) ? 統(tǒng)計機器學(xué)習(xí) ? 集成機器學(xué)習(xí) ? 增強機器學(xué)習(xí) 返回 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 40 符號機器學(xué)習(xí) ? 1959年 Solomonoff關(guān)于文法歸納的研究應(yīng)該是最早的符號機器學(xué)習(xí)。 其學(xué)習(xí)目的是提高系統(tǒng)性能，而不是修改領(lǐng)域理論。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 32 機器學(xué)習(xí) 學(xué)科 ? 1983年， . Michalski等人撰寫《機器學(xué)習(xí)：通往人工智能的途徑》一書 ? 1986年， Machine Learning雜志創(chuàng)刊 ? 1997年 以 Tom Mitchell的 經(jīng)典教科書（ McGraw Hill Press， 1997）中 都沒有貫穿始終的 基礎(chǔ) 體系， 只不個是 不同方法和技術(shù)的 羅列 ? 機器學(xué)習(xí)還非常年輕、很不成熟 返回 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 33 機器學(xué)習(xí)的主要方法 ? 傳統(tǒng)分類 – 歸納機器學(xué)習(xí) – 解釋機器學(xué)習(xí) – 遺傳機器學(xué)習(xí) – 連接機器學(xué)習(xí) ? 現(xiàn)代分類 （ 1997年， Dietterich） – 符號機器學(xué)習(xí)。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 30 神經(jīng)網(wǎng)絡(luò) ? Hopfield模型。 ? Samuel的符號機器學(xué)習(xí) (1965)。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 17 要素 3： 泛化能力 ? 通過機器學(xué)習(xí)方法，從給定有限樣本集合計算一個模型，泛化能力是這個模型對世界為真程度的指標(biāo)。 Q W Model 建模 泛化 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 14 機器學(xué)習(xí)的三要素 （ 1） 一致性假設(shè) ：機器學(xué)習(xí)的條件。 ? 很難想象 : 一個沒有學(xué)習(xí)功能的系統(tǒng)是能被稱為是具有智能的系統(tǒng)。 ? 在統(tǒng)計意義下，一般假設(shè)： – W與 Q具有同分布。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 23 Working Memory Model 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 24 機器學(xué)習(xí)的分支 ? 數(shù)據(jù)挖掘 ：利用歷史數(shù)據(jù)來改進決策 – 例如：醫(yī)學(xué)記錄 —— 醫(yī)學(xué)知識 ? 軟件應(yīng)用 （不能手工編程的應(yīng)用） – 汽車自動駕駛 – 語音識別 等 ? 自用戶化程序 – 新聞閱讀器學(xué)習(xí)用戶的閱讀興趣。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 29 兩類最重要的符號機器學(xué)習(xí)算法 ? 覆蓋算法與分治算法。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 31 計算學(xué)習(xí)理論 ? 1984年， Valiant提出機器學(xué)習(xí)應(yīng)該以模型概率近似正確 (1?)為指標(biāo)，而不是以概率為 1為指標(biāo)。 ? 這是目前研究得 最多的學(xué)習(xí)方法 ，其學(xué)習(xí)目的是為了獲得新的概念、構(gòu)造新的規(guī)則或發(fā)現(xiàn)新的理論。這得益于隱結(jié)點的使用使其突破了早期 Perceptron的限制。 ? 這需要定義一個等價關(guān)系，將樣本空間劃分為等價類。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 48 性質(zhì) ? 根據(jù) reduct可以建立一個新的信息系統(tǒng)，這個信息系統(tǒng)的所有屬性是 core。泛化能力可以使用樣本集合的邊緣刻畫。 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 61 線性不可分問題 核函數(shù) ? 可以證明，一定存在一個映射，稱為核函數(shù)，將在歐氏空間定義的樣本映射到特征空間 (一個更高維的空間 )，使得在特征空間上，樣本構(gòu)成兩個不相交的閉凸集。 返回 2022/8/18 譚營 機器學(xué)習(xí)研究及最新進展 64 集成機器學(xué)習(xí)動機 (Ensembles) ? 在形式上與 Madline類似，其泛化理論來自PAC的弱分類器理論。Cravon ’96] [Maclinamp。Baxter ’98] [Grive and Schuurmans’98] [Friedman, Hastieamp。