【正文】 展方向 題目： 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 3 學(xué)習(xí)系統(tǒng)基本構(gòu)成 學(xué)習(xí)環(huán)節(jié) 知識(shí)庫(kù) 執(zhí)行環(huán)節(jié) 學(xué)習(xí)環(huán)節(jié) : 感知環(huán)境，獲取知識(shí) 常用的學(xué)習(xí)方法 機(jī)械式學(xué)習(xí) 指導(dǎo)式學(xué)習(xí) 歸納式學(xué)習(xí) 類(lèi)比學(xué)習(xí) 一個(gè)基于知識(shí)庫(kù)的智能系統(tǒng) 環(huán)境 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 4 機(jī)器學(xué)習(xí)的定義 通過(guò) 經(jīng)驗(yàn) 提高系統(tǒng)自身的性能的過(guò)程 （系統(tǒng)自我改進(jìn)）。 ? 機(jī)器學(xué)習(xí)就是根據(jù)這個(gè) 有限 樣本集 Q ，推算這個(gè)世界的模型，使得其對(duì)這個(gè)世界為真。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 15 要素 1：一致性假設(shè) ? 假設(shè)世界 W與樣本集 Q具有某種相同的性質(zhì)。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 16 要素 2：對(duì)樣本空間的劃分 ? 樣本集合模型： 將樣本集放到一個(gè) n維空間，尋找一個(gè)超平面 (等價(jià)關(guān)系 )，使得問(wèn)題決定的不同對(duì)象被劃分在不相交的區(qū)域。 ? 工作記憶分成：中樞執(zhí)行系統(tǒng) 、 視空初步加工系統(tǒng)和語(yǔ)音環(huán)路 。 ? Widrow的 Madline (1960)。 ? 神經(jīng)網(wǎng)絡(luò)的研究。 –1986年， Quinlan提出了決策樹(shù)算法，也稱(chēng)為分治算法 (樹(shù)結(jié)構(gòu)表示的最早研究是CLS，概念學(xué)習(xí)系統(tǒng) )。 ? …… 。 ? 統(tǒng)計(jì)機(jī)器學(xué)習(xí)、集成機(jī)器學(xué)習(xí)等方法的理論基礎(chǔ)。 – 增強(qiáng)機(jī)器學(xué)習(xí)。 ? 包括：有變型 (版本 )空間、決策樹(shù)方法、 AQ11算法，一階 Horn子句等 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 36 解釋學(xué)習(xí) ? 解釋學(xué)習(xí)（分析學(xué)習(xí)）是從完善的領(lǐng)域理論出發(fā)演繹出有助于更有效地利用領(lǐng)域理論的規(guī)則。 ? 優(yōu)點(diǎn)：可以使一些用傳統(tǒng)的精確的符號(hào)方法無(wú)法解決的問(wèn)題變得易解 ? 缺點(diǎn)：在學(xué)習(xí)過(guò)程中會(huì)產(chǎn)生大量數(shù)據(jù)，如何對(duì)這些數(shù)據(jù)進(jìn)行挑選和記憶？ 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 38 連接學(xué)習(xí) ? 通過(guò)以某種形式連接的大量神經(jīng)元根據(jù)訓(xùn)練模式集調(diào)整連接和閾值進(jìn)行學(xué)習(xí)，這種學(xué)習(xí)方式就是通常所說(shuō)的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，也稱(chēng)為“并行分布式學(xué)習(xí)”，其出發(fā)點(diǎn)是著名的 M－ P模型。 ? 缺點(diǎn)：難以處理高層次的符號(hào)信息，使得應(yīng)用范圍受到了限制。 ? 約簡(jiǎn)：規(guī)則長(zhǎng)度越短，覆蓋對(duì)象越多，但是，不能增加對(duì)象矛盾。 ? Reduct理論與邊緣理論。 ? Core的概念。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 49 符號(hào)機(jī)器學(xué)習(xí)的限制 ? 算法定義在符號(hào)域，連續(xù)量必須被映射到這樣的域上，算法才有效 ? 學(xué)習(xí)算法本身無(wú)法刻畫(huà)泛化能力，而依賴(lài)于與算法本身無(wú)關(guān)的上述映射 ? 目前，它是數(shù)據(jù)分析與數(shù)據(jù)挖掘的基礎(chǔ) 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 50 統(tǒng)計(jì)機(jī)器學(xué)習(xí) ? 算法的泛化能力 ? Vapnik的有限樣本統(tǒng)計(jì)理論 ? 線性空間的學(xué)習(xí)算法 (劃分 ) ? SVM 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 51 泛化誤差 ? 由于問(wèn)題世界的統(tǒng)計(jì)分布未知 (如果已知，無(wú)需機(jī)器學(xué)習(xí) ,Vapnik)，解析地計(jì)算最小期望風(fēng)險(xiǎn)是不可能的。這意味著，樣本集合必須是可劃分的。 貢獻(xiàn)：給出了有幾何直觀的界描述，從而為算法設(shè)計(jì)奠定基礎(chǔ)。 ? 例如，牛頓萬(wàn)有引力定律： ? 映射： ? 線性表示： ,),( 2 2121 r mmCrmmf ?)ln,ln,( l n),(),( 2121 rmmzyxrmm ??,2ln),(ln),( 21 zyxCrmmfzyxg ?????2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 59 在機(jī)器學(xué)習(xí)中的方法 ? 方法 :尋找具有一般意義的線性空間 ? 目前，機(jī)器學(xué)習(xí)主要采用兩種方法： –整體線性： Hilbert空間 –分段線性：在流形意義下的線性子空間 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 60 線性可分問(wèn)題 ? 如果一個(gè)樣本集合是線性可分的，它們一定可以構(gòu)成兩個(gè)不相交的閉凸集。 ? 給定核函數(shù)，如果它可以保證將樣本集合在特征空間變換為兩個(gè)不相交的閉凸集，則對(duì)這個(gè)樣本集合的最大邊緣可以通過(guò)二次規(guī)劃、代數(shù)幾何、計(jì)算幾何等方法獲得。 ? 泛化問(wèn)題不僅需要解決劃分問(wèn)題，還需要解決最大邊緣問(wèn)題。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 65 研究背景 ? [Valiant’84] introduced theoretical PAC model for studying machine learning ? [Kearnsamp。Cortes ’95] [Schapireamp。Schapire ’96] [Baueramp。Lee ’97] [Schapireamp。 ? 進(jìn)而，又說(shuō)明，這類(lèi)集成后的強(qiáng)分類(lèi)器具有統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)。 ? 由于每個(gè)分類(lèi)器的分類(lèi)能力不同，在集成時(shí)，需要對(duì)所有分類(lèi)器加權(quán)平均，以決定分哪類(lèi)。 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 73 AdaBoost [Freundamp。 例子 1：代價(jià)敏感問(wèn)題 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 78 醫(yī)療： 以癌癥診斷為例 ， “ 健康人 ” 樣本遠(yuǎn)遠(yuǎn)多于 “ 病人 ” 樣本 金融： 以信用卡盜用檢測(cè)為例 ， “ 正常使用 ” 樣本遠(yuǎn)遠(yuǎn)多于 “ 被盜用 ” 樣本 傳統(tǒng)的 ML技術(shù)基本上只考慮平衡數(shù)據(jù) 如何處理數(shù)據(jù)不平衡性 ？ 在教科書(shū)中找不到現(xiàn)成的答案 例子 2：不平衡數(shù)據(jù)問(wèn)題 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 79 醫(yī)療： 以乳腺癌診斷為例 ， 需要向病人解釋 “ 為什么做出這樣的診斷 ” 金融： 以信用卡盜用檢測(cè)為例 ， 需要向保安部門(mén)解釋“ 為什么這是正在被盜用的卡 ” 傳統(tǒng)的 ML技術(shù)基本上只考慮泛化不考慮理解 如何處理可理解性 ？ 在教科書(shū)中找不到現(xiàn)成的答案 例子 3：可理解性問(wèn)題 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 80 機(jī)器學(xué)習(xí)的最新進(jìn)展 ? 算法驅(qū)動(dòng) (建模與數(shù)據(jù)分析 ) ? 應(yīng)用驅(qū)動(dòng) 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 81 算法驅(qū)動(dòng) ? 海量非線性數(shù)據(jù) (10810) ? 算法的泛化能力考慮 ? 學(xué)習(xí)結(jié)果數(shù)據(jù)的解釋 ? 代價(jià)加權(quán)的處理方法 ? 不同數(shù)據(jù)類(lèi)型的學(xué)習(xí)方法 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 82 應(yīng)用驅(qū)動(dòng) ? 自然語(yǔ)言分析、網(wǎng)絡(luò)與電信數(shù)據(jù)分析、圖像數(shù)據(jù)分析、金融與經(jīng)濟(jì)數(shù)據(jù)分析、零售業(yè)數(shù)據(jù)分析、情報(bào)分析。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 83 應(yīng)用驅(qū)動(dòng)機(jī)器學(xué)習(xí) ? 流形機(jī)器學(xué)習(xí) ? 半監(jiān)督機(jī)器學(xué)習(xí) ? 多實(shí)例機(jī)器學(xué)習(xí) ? Ranking機(jī)器學(xué)習(xí) ? 數(shù)據(jù)流機(jī)器學(xué)習(xí) ? 圖模型機(jī)器學(xué)習(xí) ? ?? 結(jié)束語(yǔ) 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 84 流形機(jī)器學(xué)習(xí) ? 很多問(wèn)題的表示方法，使得信息十分稀疏，如何將信息稠密化是一個(gè)困難的問(wèn)題（“維數(shù)災(zāi)難”），PCA是一種方法，但是，只對(duì)線性情況有效 ? 流形學(xué)習(xí)是解決上述問(wèn)題的非線性方法 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 85 高微數(shù)據(jù)的低微表示