【正文】 學(xué)習(xí)研究及最新進(jìn)展 83 應(yīng)用驅(qū)動(dòng)機(jī)器學(xué)習(xí) ? 流形機(jī)器學(xué)習(xí) ? 半監(jiān)督機(jī)器學(xué)習(xí) ? 多實(shí)例機(jī)器學(xué)習(xí) ? Ranking機(jī)器學(xué)習(xí) ? 數(shù)據(jù)流機(jī)器學(xué)習(xí) ? 圖模型機(jī)器學(xué)習(xí) ? ?? 結(jié)束語 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 84 流形機(jī)器學(xué)習(xí) ? 很多問題的表示方法，使得信息十分稀疏，如何將信息稠密化是一個(gè)困難的問題（“維數(shù)災(zāi)難”），PCA是一種方法，但是，只對(duì)線性情況有效 ? 流形學(xué)習(xí)是解決上述問題的非線性方法 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 85 高微數(shù)據(jù)的低微表示 ? 線性方法 – PCA (Principal Component Analysis) – ICA (Independent Component Analysis) – FDA (Fisher Discrimination Analysis) – MDS (MultiDim Scale analysis) ? 非線性方法 – LLE (Local linear Embeding)(Roweis, Science,2022) – Isomap (Tenenbaum, Science, 2022) ?由于流形的本質(zhì)是分段線性化，因此，流形學(xué)習(xí)需要解決計(jì)算開集、設(shè)計(jì)同胚映射等問題 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 86 半監(jiān)督機(jī)器學(xué)習(xí) ? 在觀測(cè)數(shù)據(jù)中，可能有很多觀測(cè)不能決定其類別標(biāo)號(hào)。 ? 傳統(tǒng)領(lǐng)域借用機(jī)器學(xué)習(xí)提高研究水平。 ? 基于機(jī)器學(xué)習(xí)的數(shù)據(jù)分析方法成為解決復(fù)雜問題的關(guān)鍵之一。解決這種“對(duì)象：描述：類別”之間 1:N:1關(guān)系的學(xué)習(xí)就是多示例學(xué)習(xí) 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 88 Ranking機(jī)器學(xué)習(xí) ? 其原始說法是 learning for ranking ? 問題主要來自信息檢索，假設(shè)用戶的需求不能簡(jiǎn)單地表示為“喜歡”或“不喜歡”，而需要將“喜歡”表示為一個(gè)順序，問題是如何通過學(xué)習(xí)，獲得關(guān)于這個(gè)“喜歡”順序的模型。 1990年左右， MIT的 Sutton等青年計(jì)算機(jī)科學(xué)家，結(jié)合動(dòng)態(tài)規(guī)劃等問題，統(tǒng)稱其為增強(qiáng)機(jī)器學(xué)習(xí) 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 75 ? 目前，由于網(wǎng)絡(luò)用戶是更為復(fù)雜的環(huán)境，例如，如何使搜索引擎適應(yīng)用戶的需求，成為更為重要的應(yīng)用領(lǐng)域 ? Q學(xué)習(xí)，動(dòng)態(tài)規(guī)劃，遺傳學(xué)習(xí)，以及免疫網(wǎng)絡(luò)都成為實(shí)現(xiàn)增強(qiáng)機(jī)器學(xué)習(xí)的有效方法。 ? 這意味著，比擲硬幣猜正面的概率稍好，就是弱分類器。Bengio ’98] [Breiman ’96] [ Dietterich’98] ? continuing development of theory amp。Simard ’92] first experiments using boosting 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 66 背景 (cont.) ? [Freundamp。 ? 這就是 SVM。 ? 對(duì)世界認(rèn)識(shí)，只有在某個(gè)空間可以描述為線性的世界，人們才能夠說，這個(gè)世界已被認(rèn)識(shí)。 ? 泛化能力以此進(jìn)行估計(jì) 。 ? Reduct理論是符號(hào)機(jī)器學(xué)習(xí)的理論基礎(chǔ)。 ? 1967年 Gold證明，這是不可能的實(shí)現(xiàn)的。 ? 它與歸納學(xué)習(xí)相反，只需要少量的訓(xùn)練例，但要求有完善的領(lǐng)域理論，而且學(xué)習(xí)效果也與例子表示形式、學(xué)習(xí)方法（正例學(xué)習(xí)或反例學(xué)習(xí)）、概括程度等有關(guān)。 – 統(tǒng)計(jì)機(jī)器學(xué)習(xí)。 ? Kohonen模型。 ? Minsky的“ Perceptron”著作 (1969， 1988)。 樣本 1 樣本 2 樣本 3 新樣本 泛化值 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 18 關(guān)于三要素 不同時(shí)期，研究的側(cè)重點(diǎn)不同 ? 劃分 :早期研究主要集中在該要素上 ? 泛化能力 (在多項(xiàng)式劃分 ):80年代以來的近期研究 ? 一致性假設(shè) :未來必須考慮 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 19 機(jī)器學(xué)習(xí)是多學(xué)科交叉 機(jī)器學(xué)習(xí) 統(tǒng)計(jì)學(xué) 人工智能 哲學(xué) 信息論 生物學(xué) 計(jì)算復(fù)雜性 數(shù)學(xué) 認(rèn)知科學(xué) 控制論 其他學(xué)科 應(yīng)用領(lǐng)域 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 20 THE QUESTIONSThe Top 25 ? What Is the Universe Made Of? ? What is the Biological Basis of Consciousness? ? Why Do Humans Have So Few Genes? ? To What Extent Are Geic Variation and Personal Health Linked? ? Can the Laws of Physics Be Unified? ? How Much Can Human Life Span Be Extended? ? What Controls Organ Regeneration? ? How Can a Skin Cell Bee a Nerve Cell? ? How Does a Single Somatic Cell Bee a Whole Plant? ? How Does Earth39。 （ 2） 樣本空間劃分 ：決定模型對(duì)樣本集合的有效性。 機(jī)器學(xué)習(xí)的重要性 : ? 機(jī)器學(xué)習(xí)是人工智能的主要核心研究領(lǐng)域之一 , 也是現(xiàn)代智能系統(tǒng)的關(guān)鍵環(huán)節(jié)和瓶頸。 ? 原則上說，存在各種各樣的一致性假設(shè)。 ? 工作記憶與語言理解能力 、 注意力及推理能力等聯(lián)系緊密 ， 工作記憶蘊(yùn)藏 智能 的玄機(jī) 。 ? 計(jì)算學(xué)習(xí)理論 PAC(概率近似正確 )。 ? 最有影響的是 Remulhart等人提出的 BP算法(1986)。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 34 學(xué)習(xí)方法的 傳統(tǒng) 分類 傳統(tǒng)上，大致可分為 4類： ? 歸納學(xué)習(xí) ? 解釋學(xué)習(xí) ? 遺傳學(xué)習(xí) ? 連接學(xué)習(xí) 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 35 歸納學(xué)習(xí) ? 是從某一概念的分類例子集出發(fā)歸納出一般的概念描述。 ? 該方法在 50、 60年代陷入沉寂，但在 80年代解決TSP問題后得到復(fù)興 (BP,HNN,etc.)。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 41 符號(hào)機(jī)器學(xué)習(xí)的基礎(chǔ) 劃分 ? 機(jī)器學(xué)習(xí)的本質(zhì)是對(duì)樣本空間的劃分。 ? 根據(jù)上述兩個(gè)概念，引出邊緣區(qū)域的概念。 邊緣最大，誤差界最小，泛化能力最強(qiáng)。 ? 這樣，線性可分問題變?yōu)橛?jì)算兩個(gè)閉凸集的最大邊緣問題。這意味著，需要在滿足線性劃分的核函數(shù)中選擇一個(gè)滿足最大邊緣的核函數(shù) (模型選擇 )。Singer ’98] [Jacksonamp。Singer ’98] [Breiman ’97] [Mason, Bartlettamp。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 71 集成分類器 Classifier ensemble Σαihi hn h2 h1 Input vector Classifier 1 Classifier 2 …… Classifier N Combine Classifiers Output 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 72 為什么吸引人 ? 弱分類器比強(qiáng)分類器設(shè)計(jì)簡(jiǎn)單。 ? Web信息的有效獲取 (新一代搜索引擎 )。 ? 機(jī)器學(xué)習(xí)沒有一勞永逸的解決