【正文】 ? 機(jī)器學(xué)習(xí)沒有一勞永逸的解決方案。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 71 集成分類器 Classifier ensemble Σαihi hn h2 h1 Input vector Classifier 1 Classifier 2 …… Classifier N Combine Classifiers Output 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 72 為什么吸引人 ? 弱分類器比強(qiáng)分類器設(shè)計(jì)簡(jiǎn)單。Singer ’98] [Jacksonamp。 ? 這樣，線性可分問題變?yōu)橛?jì)算兩個(gè)閉凸集的最大邊緣問題。 ? 根據(jù)上述兩個(gè)概念，引出邊緣區(qū)域的概念。 ? 該方法在 50、 60年代陷入沉寂，但在 80年代解決TSP問題后得到復(fù)興 (BP,HNN,etc.)。 ? 最有影響的是 Remulhart等人提出的 BP算法(1986)。 ? 工作記憶與語(yǔ)言理解能力 、 注意力及推理能力等聯(lián)系緊密 ， 工作記憶蘊(yùn)藏 智能 的玄機(jī) 。 機(jī)器學(xué)習(xí)的重要性 : ? 機(jī)器學(xué)習(xí)是人工智能的主要核心研究領(lǐng)域之一 , 也是現(xiàn)代智能系統(tǒng)的關(guān)鍵環(huán)節(jié)和瓶頸。 樣本 1 樣本 2 樣本 3 新樣本 泛化值 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 18 關(guān)于三要素 不同時(shí)期，研究的側(cè)重點(diǎn)不同 ? 劃分 :早期研究主要集中在該要素上 ? 泛化能力 (在多項(xiàng)式劃分 ):80年代以來的近期研究 ? 一致性假設(shè) :未來必須考慮 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 19 機(jī)器學(xué)習(xí)是多學(xué)科交叉 機(jī)器學(xué)習(xí) 統(tǒng)計(jì)學(xué) 人工智能 哲學(xué) 信息論 生物學(xué) 計(jì)算復(fù)雜性 數(shù)學(xué) 認(rèn)知科學(xué) 控制論 其他學(xué)科 應(yīng)用領(lǐng)域 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 20 THE QUESTIONSThe Top 25 ? What Is the Universe Made Of? ? What is the Biological Basis of Consciousness? ? Why Do Humans Have So Few Genes? ? To What Extent Are Geic Variation and Personal Health Linked? ? Can the Laws of Physics Be Unified? ? How Much Can Human Life Span Be Extended? ? What Controls Organ Regeneration? ? How Can a Skin Cell Bee a Nerve Cell? ? How Does a Single Somatic Cell Bee a Whole Plant? ? How Does Earth39。 ? Kohonen模型。 ? 它與歸納學(xué)習(xí)相反，只需要少量的訓(xùn)練例，但要求有完善的領(lǐng)域理論，而且學(xué)習(xí)效果也與例子表示形式、學(xué)習(xí)方法（正例學(xué)習(xí)或反例學(xué)習(xí)）、概括程度等有關(guān)。 ? Reduct理論是符號(hào)機(jī)器學(xué)習(xí)的理論基礎(chǔ)。 ? 對(duì)世界認(rèn)識(shí)，只有在某個(gè)空間可以描述為線性的世界，人們才能夠說，這個(gè)世界已被認(rèn)識(shí)。Simard ’92] first experiments using boosting 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 66 背景 (cont.) ? [Freundamp。 ? 這意味著，比擲硬幣猜正面的概率稍好，就是弱分類器。解決這種“對(duì)象：描述：類別”之間 1:N:1關(guān)系的學(xué)習(xí)就是多示例學(xué)習(xí) 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 88 Ranking機(jī)器學(xué)習(xí) ? 其原始說法是 learning for ranking ? 問題主要來自信息檢索，假設(shè)用戶的需求不能簡(jiǎn)單地表示為“喜歡”或“不喜歡”，而需要將“喜歡”表示為一個(gè)順序，問題是如何通過學(xué)習(xí)，獲得關(guān)于這個(gè)“喜歡”順序的模型。 ? 傳統(tǒng)領(lǐng)域借用機(jī)器學(xué)習(xí)提高研究水平。 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 73 AdaBoost [Freundamp。Schapire ’96] [Baueramp。 ? 給定核函數(shù)，如果它可以保證將樣本集合在特征空間變換為兩個(gè)不相交的閉凸集，則對(duì)這個(gè)樣本集合的最大邊緣可以通過二次規(guī)劃、代數(shù)幾何、計(jì)算幾何等方法獲得。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 49 符號(hào)機(jī)器學(xué)習(xí)的限制 ? 算法定義在符號(hào)域，連續(xù)量必須被映射到這樣的域上，算法才有效 ? 學(xué)習(xí)算法本身無法刻畫泛化能力，而依賴于與算法本身無關(guān)的上述映射 ? 目前，它是數(shù)據(jù)分析與數(shù)據(jù)挖掘的基礎(chǔ) 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 50 統(tǒng)計(jì)機(jī)器學(xué)習(xí) ? 算法的泛化能力 ? Vapnik的有限樣本統(tǒng)計(jì)理論 ? 線性空間的學(xué)習(xí)算法 (劃分 ) ? SVM 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 51 泛化誤差 ? 由于問題世界的統(tǒng)計(jì)分布未知 (如果已知，無需機(jī)器學(xué)習(xí) ,Vapnik)，解析地計(jì)算最小期望風(fēng)險(xiǎn)是不可能的。 ? 缺點(diǎn)：難以處理高層次的符號(hào)信息，使得應(yīng)用范圍受到了限制。 ? 統(tǒng)計(jì)機(jī)器學(xué)習(xí)、集成機(jī)器學(xué)習(xí)等方法的理論基礎(chǔ)。 ? Widrow的 Madline (1960)。 ? 機(jī)器學(xué)習(xí)就是根據(jù)這個(gè) 有限 樣本集 Q ，推算這個(gè)世界的模型，使得其對(duì)這個(gè)世界為真?；颍? – 給定世界 W的所有對(duì)象獨(dú)立同分布。 –七十年代末， Michalski基于帶等號(hào)的邏輯演算，提出了 AQ11算法，稱為符號(hào)機(jī)器學(xué)習(xí)的覆蓋算法。 ? 這種方法要求大量的訓(xùn)練例，而且歸納性能受到描述語(yǔ)言、概念類型、信噪比、實(shí)例空間分布、歸納模式等的影響。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 42 符號(hào)機(jī)器學(xué)習(xí)的等價(jià)關(guān)系 ? 定義在給定符號(hào)對(duì)象集合 U上的等價(jià)關(guān)系 a {(x, y) : a(x)=a(y), x, y?U} 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 43 Rough Set理論 ? Pawlak在 1982年提出的一種數(shù)學(xué)理論，包含了兩個(gè)方面的內(nèi)容： ? 基于 roughness的不精確知識(shí)表示理論。 這個(gè)不等式依賴于邊緣 M。 ? 使用多個(gè)容易設(shè)計(jì)的簡(jiǎn)單 PAC弱分類器代替一個(gè)較難設(shè)計(jì)的 PAC強(qiáng)分類器。Tibshirani ’98] ? …… 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 68 集成機(jī)器學(xué)習(xí) ? 1990年 Shapire證明，如果將多個(gè) PAC弱分類器集成在一起，它將具有 PAC強(qiáng)分類器的泛化能力。 ? 蛋白質(zhì)功能分析 , DNA數(shù)據(jù)分析 , SNP數(shù)據(jù)分析 ? ……. 它們需要使用各種不同方法，解決實(shí)際問題。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 93 結(jié)束語(yǔ) 當(dāng)前，機(jī)器學(xué)習(xí)所面臨情況是： 數(shù)據(jù)復(fù)雜、海量 ， 用戶需求多樣化 。 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 76 機(jī)器學(xué)習(xí)面臨的挑戰(zhàn) ?隨著應(yīng)用的不斷深入 ,出現(xiàn)了很多被傳統(tǒng)機(jī)器學(xué)習(xí)研究忽視、但非常重要的問題（下面將以醫(yī)療和金融為代表來舉幾個(gè)例子） ?機(jī)器學(xué)習(xí)正與眾多學(xué)科領(lǐng)域產(chǎn)生了交叉，交叉領(lǐng)域越多 ,問題也越多 ,也正是大有可為處 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 77 醫(yī)療： 以癌癥診斷為例 ， “