【正文】 ? 應(yīng)用驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法層出不窮。這需要根據(jù)數(shù)據(jù)中已知類(lèi)別標(biāo)號(hào)的樣本與領(lǐng)域知識(shí)來(lái)推測(cè)這些樣本的類(lèi)別標(biāo)號(hào)，并建立問(wèn)題世界的模型，這就是半監(jiān)督學(xué)習(xí) ? 這類(lèi)問(wèn)題直接來(lái)自于實(shí)際應(yīng)用： 例如，大量醫(yī)學(xué)影像，醫(yī)生把每張片子上的每個(gè)病灶都標(biāo)出來(lái)再進(jìn)行學(xué)習(xí)，是不可能的，能否只標(biāo)一部分，并且還能利用未標(biāo)的部分？ 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 87 多示例機(jī)器學(xué)習(xí) ? 傳統(tǒng)的機(jī)器學(xué)習(xí)中，一個(gè)對(duì)象有一個(gè)描述，而在一些實(shí)際問(wèn)題中，一個(gè)對(duì)象可能同時(shí)有多個(gè)描述，到底哪個(gè)描述是決定對(duì)象性質(zhì) (例如類(lèi)別 )的，卻并不知道。Schapire ’97] ? constructing Dt: ? ? given Dt and ht: where: Zt = normalization constant ? final hypothesis: ))(e x p ( itittt xhyZD ????? ???????? ?? )(if)(if1itiitittt xhyexhyeZDDtt??miD1)(1 ?01ln21 ????????? ??ttt ?????????? ?ttt xhxH )(s gn)(f i n a l ?返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 74 增強(qiáng)機(jī)器學(xué)習(xí) ? 增強(qiáng)機(jī)器學(xué)習(xí)最早提出是考慮“從變化環(huán)境中”學(xué)習(xí)蘊(yùn)含在環(huán)境中知識(shí)，其本質(zhì)是對(duì)環(huán)境的適應(yīng) ? 開(kāi)始的動(dòng)機(jī)主要是為了解決機(jī)器人規(guī)劃、避障與在環(huán)境中適應(yīng)的學(xué)習(xí)問(wèn)題 ? 1975年， Holland首先將這個(gè)概念引入計(jì)算機(jī)科學(xué)。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 69 弱分類(lèi)器 ? 如果一個(gè)分類(lèi)器的分類(lèi)能力 (泛化 )稍大于 50%，這個(gè)分類(lèi)器稱(chēng)為弱分類(lèi)器。Kohavi ’97] [Quinlan ’96] [Schwenkamp。Valiant’88] open problem of finding a boosting algorithm ? [Schapire’89], [Freund’90] first polynomialtime boosting algorithms ? [Drucker, Schapireamp。由此，可以獲得支持向量。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 55 研究趨勢(shì) ? 算法的理論研究已經(jīng)基本完成， ? 目前主要集中在下述兩個(gè)問(wèn)題上： (1)泛化不等式需要樣本集滿足獨(dú)立同分布，這個(gè)條件太嚴(yán)厲，可以放寬這個(gè)條件？ (2)如何根據(jù)領(lǐng)域需求選擇核函數(shù)，有基本原則嗎？ 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 56 有限樣本統(tǒng)計(jì)理論的優(yōu)點(diǎn) ? 所需滿足的條件相對(duì)較少，盡管需要滿足獨(dú)立同分布，但無(wú)需考慮問(wèn)題世界的先驗(yàn)分布 ? 這意味著，這個(gè)理論可以?xún)H以樣本集 (數(shù)據(jù) )為基礎(chǔ) 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 57 要求“線性算法”的原因 ? 對(duì)計(jì)算，非線性算法一般是 NP完全的。 ? 機(jī)器學(xué)習(xí)以最小經(jīng)驗(yàn)風(fēng)險(xiǎn)與期望風(fēng)險(xiǎn)之差為統(tǒng)計(jì)基礎(chǔ)，稱(chēng)為泛化誤差。 ? 可以證明：覆蓋算法和分治算法與 Reduct理論等價(jià)。 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 39 機(jī)器學(xué)習(xí)方法的現(xiàn)代分類(lèi) 1997年， Dietterich的分類(lèi) ? 符號(hào)機(jī)器學(xué)習(xí) ? 統(tǒng)計(jì)機(jī)器學(xué)習(xí) ? 集成機(jī)器學(xué)習(xí) ? 增強(qiáng)機(jī)器學(xué)習(xí) 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 40 符號(hào)機(jī)器學(xué)習(xí) ? 1959年 Solomonoff關(guān)于文法歸納的研究應(yīng)該是最早的符號(hào)機(jī)器學(xué)習(xí)。 其學(xué)習(xí)目的是提高系統(tǒng)性能，而不是修改領(lǐng)域理論。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 32 機(jī)器學(xué)習(xí) 學(xué)科 ? 1983年， . Michalski等人撰寫(xiě)《機(jī)器學(xué)習(xí)：通往人工智能的途徑》一書(shū) ? 1986年， Machine Learning雜志創(chuàng)刊 ? 1997年 以 Tom Mitchell的 經(jīng)典教科書(shū)（ McGraw Hill Press， 1997）中 都沒(méi)有貫穿始終的 基礎(chǔ) 體系， 只不個(gè)是 不同方法和技術(shù)的 羅列 ? 機(jī)器學(xué)習(xí)還非常年輕、很不成熟 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 33 機(jī)器學(xué)習(xí)的主要方法 ? 傳統(tǒng)分類(lèi) – 歸納機(jī)器學(xué)習(xí) – 解釋機(jī)器學(xué)習(xí) – 遺傳機(jī)器學(xué)習(xí) – 連接機(jī)器學(xué)習(xí) ? 現(xiàn)代分類(lèi) （ 1997年， Dietterich） – 符號(hào)機(jī)器學(xué)習(xí)。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 30 神經(jīng)網(wǎng)絡(luò) ? Hopfield模型。 ? Samuel的符號(hào)機(jī)器學(xué)習(xí) (1965)。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 17 要素 3： 泛化能力 ? 通過(guò)機(jī)器學(xué)習(xí)方法，從給定有限樣本集合計(jì)算一個(gè)模型，泛化能力是這個(gè)模型對(duì)世界為真程度的指標(biāo)。 Q W Model 建模 泛化 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 14 機(jī)器學(xué)習(xí)的三要素 （ 1） 一致性假設(shè) ：機(jī)器學(xué)習(xí)的條件。 ? 很難想象 : 一個(gè)沒(méi)有學(xué)習(xí)功能的系統(tǒng)是能被稱(chēng)為是具有智能的系統(tǒng)。 ? 在統(tǒng)計(jì)意義下，一般假設(shè)： – W與 Q具有同分布。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 23 Working Memory Model 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 24 機(jī)器學(xué)習(xí)的分支 ? 數(shù)據(jù)挖掘 ：利用歷史數(shù)據(jù)來(lái)改進(jìn)決策 – 例如：醫(yī)學(xué)記錄 —— 醫(yī)學(xué)知識(shí) ? 軟件應(yīng)用 （不能手工編程的應(yīng)用） – 汽車(chē)自動(dòng)駕駛 – 語(yǔ)音識(shí)別 等 ? 自用戶化程序 – 新聞閱讀器學(xué)習(xí)用戶的閱讀興趣。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 29 兩類(lèi)最重要的符號(hào)機(jī)器學(xué)習(xí)算法 ? 覆蓋算法與分治算法。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 31 計(jì)算學(xué)習(xí)理論 ? 1984年， Valiant提出機(jī)器學(xué)習(xí)應(yīng)該以模型概率近似正確 (1?)為指標(biāo)，而不是以概率為 1為指標(biāo)。 ? 這是目前研究得 最多的學(xué)習(xí)方法 ，其學(xué)習(xí)目的是為了獲得新的概念、構(gòu)造新的規(guī)則或發(fā)現(xiàn)新的理論。這得益于隱結(jié)點(diǎn)的使用使其突破了早期 Perceptron的限制。 ? 這需要定義一個(gè)等價(jià)關(guān)系，將樣本空間劃分為等價(jià)類(lèi)。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 48 性質(zhì) ? 根據(jù) reduct可以建立一個(gè)新的信息系統(tǒng)，這個(gè)信息系統(tǒng)的所有屬性是 core。泛化能力可以使用樣本集合的邊緣刻畫(huà)。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 61 線性不可分問(wèn)題 核函數(shù) ? 可以證明，一定存在一個(gè)映射，稱(chēng)為核函數(shù)，將在歐氏空間定義的樣本映射到特征空間 (一個(gè)更高維的空間 )，使得在特征空間上，樣本構(gòu)成兩個(gè)不相交的閉凸集。 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 64 集成機(jī)器學(xué)習(xí)動(dòng)機(jī) (Ensembles) ? 在形式上與 Madline類(lèi)似，其泛化理論來(lái)自PAC的弱分類(lèi)器理論。Cravon ’96] [Maclinamp。Baxter ’98] [Grive and Schuurmans’98] [Friedman, Hastieamp。