【正文】 從而 , 要求： (1)需要科學和高效的 問題表示 ，以便將其學習建立在科學的基礎上 (2)應用驅動 成為必然 , 從而針對某個或某類應用給出特定的學習方法將不斷涌現 (3)對機器學習的檢驗問題只能在 應用中檢驗自己 (4)對機器學習的結果的 解釋 , 將逐漸受到重視 2022/8/18 譚營 機器學習研究及最新進展 94 謝謝 ! 返回 。 ? 基于機器學習的數據分析方法成為解決復雜問題的關鍵之一。 ? 傳統(tǒng)領域借用機器學習提高研究水平。 ? 領域知識與數據分析不可避免。 ? 信息向符號的映射，沒有好的方法。解決這種“對象：描述：類別”之間 1:N:1關系的學習就是多示例學習 2022/8/18 譚營 機器學習研究及最新進展 88 Ranking機器學習 ? 其原始說法是 learning for ranking ? 問題主要來自信息檢索，假設用戶的需求不能簡單地表示為“喜歡”或“不喜歡”，而需要將“喜歡”表示為一個順序，問題是如何通過學習，獲得關于這個“喜歡”順序的模型。 2022/8/18 譚營 機器學習研究及最新進展 83 應用驅動機器學習 ? 流形機器學習 ? 半監(jiān)督機器學習 ? 多實例機器學習 ? Ranking機器學習 ? 數據流機器學習 ? 圖模型機器學習 ? ?? 結束語 2022/8/18 譚營 機器學習研究及最新進展 84 流形機器學習 ? 很多問題的表示方法，使得信息十分稀疏，如何將信息稠密化是一個困難的問題（“維數災難”），PCA是一種方法，但是，只對線性情況有效 ? 流形學習是解決上述問題的非線性方法 2022/8/18 譚營 機器學習研究及最新進展 85 高微數據的低微表示 ? 線性方法 – PCA (Principal Component Analysis) – ICA (Independent Component Analysis) – FDA (Fisher Discrimination Analysis) – MDS (MultiDim Scale analysis) ? 非線性方法 – LLE (Local linear Embeding)(Roweis, Science,2022) – Isomap (Tenenbaum, Science, 2022) ?由于流形的本質是分段線性化，因此，流形學習需要解決計算開集、設計同胚映射等問題 2022/8/18 譚營 機器學習研究及最新進展 86 半監(jiān)督機器學習 ? 在觀測數據中，可能有很多觀測不能決定其類別標號。由此導致各種學習任務：數據流學習、多實例學習 (部分放棄獨立同分布條件 )、 Ranking學習。 例子 1：代價敏感問題 2022/8/18 譚營 機器學習研究及最新進展 78 醫(yī)療： 以癌癥診斷為例 ， “ 健康人 ” 樣本遠遠多于 “ 病人 ” 樣本 金融： 以信用卡盜用檢測為例 ， “ 正常使用 ” 樣本遠遠多于 “ 被盜用 ” 樣本 傳統(tǒng)的 ML技術基本上只考慮平衡數據 如何處理數據不平衡性 ？ 在教科書中找不到現成的答案 例子 2：不平衡數據問題 2022/8/18 譚營 機器學習研究及最新進展 79 醫(yī)療： 以乳腺癌診斷為例 ， 需要向病人解釋 “ 為什么做出這樣的診斷 ” 金融： 以信用卡盜用檢測為例 ， 需要向保安部門解釋“ 為什么這是正在被盜用的卡 ” 傳統(tǒng)的 ML技術基本上只考慮泛化不考慮理解 如何處理可理解性 ？ 在教科書中找不到現成的答案 例子 3：可理解性問題 返回 2022/8/18 譚營 機器學習研究及最新進展 80 機器學習的最新進展 ? 算法驅動 (建模與數據分析 ) ? 應用驅動 2022/8/18 譚營 機器學習研究及最新進展 81 算法驅動 ? 海量非線性數據 (10810) ? 算法的泛化能力考慮 ? 學習結果數據的解釋 ? 代價加權的處理方法 ? 不同數據類型的學習方法 返回 2022/8/18 譚營 機器學習研究及最新進展 82 應用驅動 ? 自然語言分析、網絡與電信數據分析、圖像數據分析、金融與經濟數據分析、零售業(yè)數據分析、情報分析。 1990年左右， MIT的 Sutton等青年計算機科學家，結合動態(tài)規(guī)劃等問題，統(tǒng)稱其為增強機器學習 2022/8/18 譚營 機器學習研究及最新進展 75 ? 目前，由于網絡用戶是更為復雜的環(huán)境，例如，如何使搜索引擎適應用戶的需求，成為更為重要的應用領域 ? Q學習，動態(tài)規(guī)劃，遺傳學習，以及免疫網絡都成為實現增強機器學習的有效方法。 返回 2022/8/18 譚營 機器學習研究及最新進展 73 AdaBoost [Freundamp。 ? 有統(tǒng)計學習理論的基礎。 ? 由于每個分類器的分類能力不同，在集成時，需要對所有分類器加權平均，以決定分哪類。 ? 這意味著，比擲硬幣猜正面的概率稍好，就是弱分類器。 ? 進而，又說明，這類集成后的強分類器具有統(tǒng)計學習理論的基礎。Baxter ’98] [Grive and Schuurmans’98] [Friedman, Hastieamp。Lee ’97] [Schapireamp。Bengio ’98] [Breiman ’96] [ Dietterich’98] ? continuing development of theory amp。Schapire ’96] [Baueramp。Cravon ’96] [Maclinamp。Cortes ’95] [Schapireamp。Simard ’92] first experiments using boosting 2022/8/18 譚營 機器學習研究及最新進展 66 背景 (cont.) ? [Freundamp。 2022/8/18 譚營 機器學習研究及最新進展 65 研究背景 ? [Valiant’84] introduced theoretical PAC model for studying machine learning ? [Kearnsamp。 返回 2022/8/18 譚營 機器學習研究及最新進展 64 集成機器學習動機 (Ensembles) ? 在形式上與 Madline類似，其泛化理論來自PAC的弱分類器理論。 ? 泛化問題不僅需要解決劃分問題，還需要解決最大邊緣問題。 ? 這就是 SVM。 ? 給定核函數，如果它可以保證將樣本集合在特征空間變換為兩個不相交的閉凸集，則對這個樣本集合的最大邊緣可以通過二次規(guī)劃、代數幾何、計算幾何等方法獲得。 2022/8/18 譚營 機器學習研究及最新進展 61 線性不可分問題 核函數 ? 可以證明，一定存在一個映射，稱為核函數，將在歐氏空間定義的樣本映射到特征空間 (一個更高維的空間 )，使得在特征空間上，樣本構成兩個不相交的閉凸集。 ? 例如，牛頓萬有引力定律： ? 映射： ? 線性表示： ,),( 2 2121 r mmCrmmf ?)ln,ln,( l n),(),( 2121 rmmzyxrmm ??,2ln),(ln),( 21 zyxCrmmfzyxg ?????2022/8/18 譚營 機器學習研究及最新進展 59 在機器學習中的方法 ? 方法 :尋找具有一般意義的線性空間 ? 目前，機器學習主要采用兩種