【正文】 有智能的系統(tǒng)。 機器學習的重要性 : ? 機器學習是人工智能的主要核心研究領域之一 , 也是現(xiàn)代智能系統(tǒng)的關鍵環(huán)節(jié)和瓶頸。 Q W Model 建模 泛化 2022/8/18 譚營 機器學習研究及最新進展 14 機器學習的三要素 （ 1） 一致性假設 ：機器學習的條件。 ? 原則上說，存在各種各樣的一致性假設。 2022/8/18 譚營 機器學習研究及最新進展 17 要素 3： 泛化能力 ? 通過機器學習方法，從給定有限樣本集合計算一個模型，泛化能力是這個模型對世界為真程度的指標。 ? 工作記憶與語言理解能力 、 注意力及推理能力等聯(lián)系緊密 ， 工作記憶蘊藏 智能 的玄機 。 ? Samuel的符號機器學習 (1965)。 ? 計算學習理論 PAC(概率近似正確 )。 2022/8/18 譚營 機器學習研究及最新進展 30 神經網絡 ? Hopfield模型。 ? 最有影響的是 Remulhart等人提出的 BP算法(1986)。 2022/8/18 譚營 機器學習研究及最新進展 32 機器學習 學科 ? 1983年， . Michalski等人撰寫《機器學習：通往人工智能的途徑》一書 ? 1986年， Machine Learning雜志創(chuàng)刊 ? 1997年 以 Tom Mitchell的 經典教科書（ McGraw Hill Press， 1997）中 都沒有貫穿始終的 基礎 體系， 只不個是 不同方法和技術的 羅列 ? 機器學習還非常年輕、很不成熟 返回 2022/8/18 譚營 機器學習研究及最新進展 33 機器學習的主要方法 ? 傳統(tǒng)分類 – 歸納機器學習 – 解釋機器學習 – 遺傳機器學習 – 連接機器學習 ? 現(xiàn)代分類 （ 1997年， Dietterich） – 符號機器學習。 2022/8/18 譚營 機器學習研究及最新進展 34 學習方法的 傳統(tǒng) 分類 傳統(tǒng)上，大致可分為 4類： ? 歸納學習 ? 解釋學習 ? 遺傳學習 ? 連接學習 2022/8/18 譚營 機器學習研究及最新進展 35 歸納學習 ? 是從某一概念的分類例子集出發(fā)歸納出一般的概念描述。 其學習目的是提高系統(tǒng)性能，而不是修改領域理論。 ? 該方法在 50、 60年代陷入沉寂，但在 80年代解決TSP問題后得到復興 (BP,HNN,etc.)。 返回 2022/8/18 譚營 機器學習研究及最新進展 39 機器學習方法的現(xiàn)代分類 1997年， Dietterich的分類 ? 符號機器學習 ? 統(tǒng)計機器學習 ? 集成機器學習 ? 增強機器學習 返回 2022/8/18 譚營 機器學習研究及最新進展 40 符號機器學習 ? 1959年 Solomonoff關于文法歸納的研究應該是最早的符號機器學習。 2022/8/18 譚營 機器學習研究及最新進展 41 符號機器學習的基礎 劃分 ? 機器學習的本質是對樣本空間的劃分。 ? 可以證明：覆蓋算法和分治算法與 Reduct理論等價。 ? 根據上述兩個概念，引出邊緣區(qū)域的概念。 ? 機器學習以最小經驗風險與期望風險之差為統(tǒng)計基礎，稱為泛化誤差。 邊緣最大，誤差界最小，泛化能力最強。 2022/8/18 譚營 機器學習研究及最新進展 55 研究趨勢 ? 算法的理論研究已經基本完成， ? 目前主要集中在下述兩個問題上： (1)泛化不等式需要樣本集滿足獨立同分布，這個條件太嚴厲，可以放寬這個條件？ (2)如何根據領域需求選擇核函數(shù)，有基本原則嗎？ 2022/8/18 譚營 機器學習研究及最新進展 56 有限樣本統(tǒng)計理論的優(yōu)點 ? 所需滿足的條件相對較少，盡管需要滿足獨立同分布，但無需考慮問題世界的先驗分布 ? 這意味著，這個理論可以僅以樣本集 (數(shù)據 )為基礎 2022/8/18 譚營 機器學習研究及最新進展 57 要求“線性算法”的原因 ? 對計算，非線性算法一般是 NP完全的。 ? 這樣，線性可分問題變?yōu)橛嬎銉蓚€閉凸集的最大邊緣問題。由此，可以獲得支持向量。這意味著，需要在滿足線性劃分的核函數(shù)中選擇一個滿足最大邊緣的核函數(shù) (模型選擇 )。Valiant’88] open problem of finding a boosting algorithm ? [Schapire’89], [Freund’90] first polynomialtime boosting algorithms ? [Drucker, Schapireamp。Singer ’98] [Jacksonamp。Kohavi ’97] [Quinlan ’96] [Schwenkamp。Singer ’98] [Breiman ’97] [Mason, Bartlettamp。 2022/8/18 譚營 機器學習研究及最新進展 69 弱分類器 ? 如果一個分類器的分類能力 (泛化 )稍大于 50%，這個分類器稱為弱分類器。 2022/8/18 譚營 機器學習研究及最新進展 71 集成分類器 Classifier ensemble Σαihi hn h2 h1 Input vector Classifier 1 Classifier 2 …… Classifier N Combine Classifiers Output 2022/8/18 譚營 機器學習研究及最新進展 72 為什么吸引人 ? 弱分類器比強分類器設計簡單。Schapire ’97] ? constructing Dt: ? ? given Dt and ht: where: Zt = normalization constant ? final hypothesis: ))(e x p ( itittt xhyZD ????? ???????? ?? )(if)(if1itiitittt xhyexhyeZDDtt??miD1)(1 ?01ln21 ????????? ??ttt ?????????? ?ttt xhxH )(s gn)(f i n a l ?返回 2022/8/18 譚營 機器學習研究及最新進展 74 增強機器學習 ? 增強機器學習最早提出是考慮“從變化環(huán)境中”學習蘊含在環(huán)境中知識，其本質是對環(huán)境的適應 ? 開始的動機主要是為了解決機器人規(guī)劃、避障與在環(huán)境中適應的學習問題 ? 1975年， Holland首先將這個概念引入計算機科學。 ? Web信息的有效獲取 (新一代搜索引擎 )。這需要根據數(shù)據中已知類別標號的樣本與領域知識來推測這些樣本的類別標號，并建立問題世界的模型，這就是半監(jiān)督學習 ? 這類問題直接來自于實際應用： 例如，大量醫(yī)學影像，醫(yī)生把每張片子上的每個病灶都標出來再進行學習，是不可能的，能否只標一部分，并且還能利用未標的部分？ 2022/8/18 譚營 機器學習研究及最新進展 87 多示例機器學習 ? 傳統(tǒng)的機器學習中，一個對象有一個描述，而在一些實際問題中，一個對象可能同時有多個描述，到底哪個描述是決定對象性質 (例如類別 )的，卻并不知道。 ? 機器學習沒有一勞永逸的解決方案。 ? 應用驅動的機器學習方法層出