【正文】 方法： –整體線性： Hilbert空間 –分段線性：在流形意義下的線性子空間 2022/8/18 譚營 機器學習研究及最新進展 60 線性可分問題 ? 如果一個樣本集合是線性可分的，它們一定可以構(gòu)成兩個不相交的閉凸集。 ? 對世界認識，只有在某個空間可以描述為線性的世界，人們才能夠說，這個世界已被認識。 貢獻：給出了有幾何直觀的界描述，從而為算法設(shè)計奠定基礎(chǔ)。泛化能力可以使用樣本集合的邊緣刻畫。這意味著，樣本集合必須是可劃分的。 ? 泛化能力以此進行估計 。 2022/8/18 譚營 機器學習研究及最新進展 49 符號機器學習的限制 ? 算法定義在符號域，連續(xù)量必須被映射到這樣的域上，算法才有效 ? 學習算法本身無法刻畫泛化能力，而依賴于與算法本身無關(guān)的上述映射 ? 目前，它是數(shù)據(jù)分析與數(shù)據(jù)挖掘的基礎(chǔ) 返回 2022/8/18 譚營 機器學習研究及最新進展 50 統(tǒng)計機器學習 ? 算法的泛化能力 ? Vapnik的有限樣本統(tǒng)計理論 ? 線性空間的學習算法 (劃分 ) ? SVM 2022/8/18 譚營 機器學習研究及最新進展 51 泛化誤差 ? 由于問題世界的統(tǒng)計分布未知 (如果已知，無需機器學習 ,Vapnik)，解析地計算最小期望風險是不可能的。 2022/8/18 譚營 機器學習研究及最新進展 48 性質(zhì) ? 根據(jù) reduct可以建立一個新的信息系統(tǒng)，這個信息系統(tǒng)的所有屬性是 core。 ? Core的概念。 ? Reduct理論是符號機器學習的理論基礎(chǔ)。 ? Reduct理論與邊緣理論。 ? 這需要定義一個等價關(guān)系，將樣本空間劃分為等價類。 ? 約簡：規(guī)則長度越短，覆蓋對象越多，但是，不能增加對象矛盾。 ? 1967年 Gold證明，這是不可能的實現(xiàn)的。 ? 缺點：難以處理高層次的符號信息，使得應(yīng)用范圍受到了限制。這得益于隱結(jié)點的使用使其突破了早期 Perceptron的限制。 ? 優(yōu)點：可以使一些用傳統(tǒng)的精確的符號方法無法解決的問題變得易解 ? 缺點：在學習過程中會產(chǎn)生大量數(shù)據(jù)，如何對這些數(shù)據(jù)進行挑選和記憶？ 2022/8/18 譚營 機器學習研究及最新進展 38 連接學習 ? 通過以某種形式連接的大量神經(jīng)元根據(jù)訓練模式集調(diào)整連接和閾值進行學習，這種學習方式就是通常所說的人工神經(jīng)網(wǎng)絡(luò)學習，也稱為“并行分布式學習”，其出發(fā)點是著名的 M－ P模型。 ? 它與歸納學習相反，只需要少量的訓練例，但要求有完善的領(lǐng)域理論，而且學習效果也與例子表示形式、學習方法（正例學習或反例學習）、概括程度等有關(guān)。 ? 包括：有變型 (版本 )空間、決策樹方法、 AQ11算法，一階 Horn子句等 2022/8/18 譚營 機器學習研究及最新進展 36 解釋學習 ? 解釋學習（分析學習）是從完善的領(lǐng)域理論出發(fā)演繹出有助于更有效地利用領(lǐng)域理論的規(guī)則。 ? 這是目前研究得 最多的學習方法 ，其學習目的是為了獲得新的概念、構(gòu)造新的規(guī)則或發(fā)現(xiàn)新的理論。 – 增強機器學習。 – 統(tǒng)計機器學習。 ? 統(tǒng)計機器學習、集成機器學習等方法的理論基礎(chǔ)。 2022/8/18 譚營 機器學習研究及最新進展 31 計算學習理論 ? 1984年， Valiant提出機器學習應(yīng)該以模型概率近似正確 (1?)為指標，而不是以概率為 1為指標。 ? …… 。 ? Kohonen模型。 –1986年， Quinlan提出了決策樹算法，也稱為分治算法 (樹結(jié)構(gòu)表示的最早研究是CLS，概念學習系統(tǒng) )。 2022/8/18 譚營 機器學習研究及最新進展 29 兩類最重要的符號機器學習算法 ? 覆蓋算法與分治算法。 ? 神經(jīng)網(wǎng)絡(luò)的研究。 ? Minsky的“ Perceptron”著作 (1969， 1988)。 ? Widrow的 Madline (1960)。 2022/8/18 譚營 機器學習研究及最新進展 23 Working Memory Model 2022/8/18 譚營 機器學習研究及最新進展 24 機器學習的分支 ? 數(shù)據(jù)挖掘 ：利用歷史數(shù)據(jù)來改進決策 – 例如：醫(yī)學記錄 —— 醫(yī)學知識 ? 軟件應(yīng)用 （不能手工編程的應(yīng)用） – 汽車自動駕駛 – 語音識別 等 ? 自用戶化程序 – 新聞閱讀器學習用戶的閱讀興趣。 ? 工作記憶分成：中樞執(zhí)行系統(tǒng) 、 視空初步加工系統(tǒng)和語音環(huán)路 。 樣本 1 樣本 2 樣本 3 新樣本 泛化值 2022/8/18 譚營 機器學習研究及最新進展 18 關(guān)于三要素 不同時期，研究的側(cè)重點不同 ? 劃分 :早期研究主要集中在該要素上 ? 泛化能力 (在多項式劃分 ):80年代以來的近期研究 ? 一致性假設(shè) :未來必須考慮 2022/8/18 譚營 機器學習研究及最新進展 19 機器學習是多學科交叉 機器學習 統(tǒng)計學 人工智能 哲學 信息論 生物學 計算復(fù)雜性 數(shù)學 認知科學 控制論 其他學科 應(yīng)用領(lǐng)域 2022/8/18 譚營 機器學習研究及最新進展 20 THE QUESTIONSThe Top 25 ? What Is the Universe Made Of? ? What is the Biological Basis of Consciousness? ? Why Do Humans Have So Few Genes? ? To What Extent Are Geic Variation and Personal Health Linked? ? Can the Laws of Physics Be Unified? ? How Much Can Human Life Span Be Extended? ? What Controls Organ Regeneration? ? How Can a Skin Cell Bee a Nerve Cell? ? How Does a Single Somatic Cell Bee a Whole Plant? ? How Does Earth39。 2022/8/18 譚營 機器學習研究及最新進展 16 要素 2：對樣本空間的劃分 ? 樣本集合模型： 將樣本集放到一個 n維空間，尋找一個超平面 (等價關(guān)系 )，使得問題決定的不同對象被劃分在不相交的區(qū)域。 ? 在統(tǒng)計意義下，一般假設(shè)： – W與 Q具有同分布。 2022/8/18 譚營 機器學習研究及最新進展 15 要素 1：一致性假設(shè) ? 假設(shè)世界 W與樣本集 Q具有某種相同的性質(zhì)。 （ 2） 樣本空間劃分 ：決定模型對樣本集合的有效性。 ? 機器學習就是根據(jù)這個 有限 樣本集 Q ，推算這個世界的模型，使得其對這個世界為真。 ? 很難想象 : 一個沒有學習功能的系統(tǒng)是能被稱為是具有智能的系統(tǒng)。2022/8/18 譚營 機器學習研究及最新進展 1 機器學習研究及最新進展 譚營 教授 北京大學智能科學系 視覺與聽覺信息處理國家重點實驗室 2022/8/18 譚營 機器學習研究及最新進展 2 目錄 ? 機器學習的定義和任務(wù) ? 機器學習的發(fā)展歷史 ? 機器學習的主要方法 ? 機器學習面臨的挑戰(zhàn) ? 最新發(fā)展方向 題目： 機器學習研究及最新進展 2022/8/18 譚營 機器學習研究及最新進展