【文章內(nèi)容簡介】 – 統(tǒng)計(jì)機(jī)器學(xué)習(xí)。 – 集成機(jī)器學(xué)習(xí)。 – 增強(qiáng)機(jī)器學(xué)習(xí)。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 34 學(xué)習(xí)方法的 傳統(tǒng) 分類 傳統(tǒng)上，大致可分為 4類： ? 歸納學(xué)習(xí) ? 解釋學(xué)習(xí) ? 遺傳學(xué)習(xí) ? 連接學(xué)習(xí) 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 35 歸納學(xué)習(xí) ? 是從某一概念的分類例子集出發(fā)歸納出一般的概念描述。 ? 這是目前研究得 最多的學(xué)習(xí)方法 ，其學(xué)習(xí)目的是為了獲得新的概念、構(gòu)造新的規(guī)則或發(fā)現(xiàn)新的理論。 ? 這種方法要求大量的訓(xùn)練例，而且歸納性能受到描述語言、概念類型、信噪比、實(shí)例空間分布、歸納模式等的影響。 ? 包括：有變型 (版本 )空間、決策樹方法、 AQ11算法，一階 Horn子句等 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 36 解釋學(xué)習(xí) ? 解釋學(xué)習(xí)（分析學(xué)習(xí)）是從完善的領(lǐng)域理論出發(fā)演繹出有助于更有效地利用領(lǐng)域理論的規(guī)則。 其學(xué)習(xí)目的是提高系統(tǒng)性能，而不是修改領(lǐng)域理論。 ? 它與歸納學(xué)習(xí)相反，只需要少量的訓(xùn)練例，但要求有完善的領(lǐng)域理論，而且學(xué)習(xí)效果也與例子表示形式、學(xué)習(xí)方法（正例學(xué)習(xí)或反例學(xué)習(xí)）、概括程度等有關(guān)。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 37 遺傳學(xué)習(xí) ? 是通過模擬自然界遺傳與變異機(jī)制，利用進(jìn)化論的自然選擇原理進(jìn)行分類和優(yōu)化。 ? 優(yōu)點(diǎn)：可以使一些用傳統(tǒng)的精確的符號(hào)方法無法解決的問題變得易解 ? 缺點(diǎn)：在學(xué)習(xí)過程中會(huì)產(chǎn)生大量數(shù)據(jù)，如何對這些數(shù)據(jù)進(jìn)行挑選和記憶？ 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 38 連接學(xué)習(xí) ? 通過以某種形式連接的大量神經(jīng)元根據(jù)訓(xùn)練模式集調(diào)整連接和閾值進(jìn)行學(xué)習(xí)，這種學(xué)習(xí)方式就是通常所說的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，也稱為“并行分布式學(xué)習(xí)”，其出發(fā)點(diǎn)是著名的 M－ P模型。 ? 該方法在 50、 60年代陷入沉寂，但在 80年代解決TSP問題后得到復(fù)興 (BP,HNN,etc.)。這得益于隱結(jié)點(diǎn)的使用使其突破了早期 Perceptron的限制。 ? 優(yōu)點(diǎn)：在模式識(shí)別、語音處理等許多方面已得到成功應(yīng)用。 ? 缺點(diǎn)：難以處理高層次的符號(hào)信息，使得應(yīng)用范圍受到了限制。 返回 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 39 機(jī)器學(xué)習(xí)方法的現(xiàn)代分類 1997年， Dietterich的分類 ? 符號(hào)機(jī)器學(xué)習(xí) ? 統(tǒng)計(jì)機(jī)器學(xué)習(xí) ? 集成機(jī)器學(xué)習(xí) ? 增強(qiáng)機(jī)器學(xué)習(xí) 返回 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 40 符號(hào)機(jī)器學(xué)習(xí) ? 1959年 Solomonoff關(guān)于文法歸納的研究應(yīng)該是最早的符號(hào)機(jī)器學(xué)習(xí)。 ? 1967年 Gold證明，這是不可能的實(shí)現(xiàn)的。 ? Samuel將 分段劃分 引入對符號(hào)域的數(shù)據(jù)處理 , 形成了一類基于符號(hào)數(shù)據(jù)集合的約簡算法，這是現(xiàn)代符號(hào)機(jī)器學(xué)習(xí)的基礎(chǔ)。 ? 約簡：規(guī)則長度越短，覆蓋對象越多，但是，不能增加對象矛盾。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 41 符號(hào)機(jī)器學(xué)習(xí)的基礎(chǔ) 劃分 ? 機(jī)器學(xué)習(xí)的本質(zhì)是對樣本空間的劃分。 ? 這需要定義一個(gè)等價(jià)關(guān)系，將樣本空間劃分為等價(jià)類。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 42 符號(hào)機(jī)器學(xué)習(xí)的等價(jià)關(guān)系 ? 定義在給定符號(hào)對象集合 U上的等價(jià)關(guān)系 a {(x, y) : a(x)=a(y), x, y?U} 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 43 Rough Set理論 ? Pawlak在 1982年提出的一種數(shù)學(xué)理論，包含了兩個(gè)方面的內(nèi)容： ? 基于 roughness的不精確知識(shí)表示理論。 ? Reduct理論與邊緣理論。 ? 可以證明：覆蓋算法和分治算法與 Reduct理論等價(jià)。 ? Reduct理論是符號(hào)機(jī)器學(xué)習(xí)的理論基礎(chǔ)。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 44 Reduct理論的貢獻(xiàn) ? 給出了在結(jié)構(gòu)上“非最小”解的精確數(shù)學(xué)定義 Reduct。 ? Core的概念。 ? 根據(jù)上述兩個(gè)概念，引出邊緣區(qū)域的概念。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 48 性質(zhì) ? 根據(jù) reduct可以建立一個(gè)新的信息系統(tǒng)，這個(gè)信息系統(tǒng)的所有屬性是 core。 ? 這個(gè)性質(zhì)對形成不同簡潔程度文本有重要的應(yīng)用。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 49 符號(hào)機(jī)器學(xué)習(xí)的限制 ? 算法定義在符號(hào)域，連續(xù)量必須被映射到這樣的域上，算法才有效 ? 學(xué)習(xí)算法本身無法刻畫泛化能力，而依賴于與算法本身無關(guān)的上述映射 ? 目前，它是數(shù)據(jù)分析與數(shù)據(jù)挖掘的基礎(chǔ) 返回 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 50 統(tǒng)計(jì)機(jī)器學(xué)習(xí) ? 算法的泛化能力 ? Vapnik的有限樣本統(tǒng)計(jì)理論 ? 線性空間的學(xué)習(xí)算法 (劃分 ) ? SVM 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 51 泛化誤差 ? 由于問題世界的統(tǒng)計(jì)分布未知 (如果已知，無需機(jī)器學(xué)習(xí) ,Vapnik)，解析地計(jì)算最小期望風(fēng)險(xiǎn)是不可能的。 ? 機(jī)器學(xué)習(xí)以最小經(jīng)驗(yàn)風(fēng)險(xiǎn)與期望風(fēng)險(xiǎn)之差為統(tǒng)計(jì)基礎(chǔ)，稱為泛化誤差。 ? 泛化能力以此進(jìn)行估計(jì) 。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 52 Duda(1973) Vapnik(1971) 樣本集： 樣本個(gè)數(shù)趨近無窮大 有限樣本， 樣本集內(nèi)部結(jié)構(gòu) (VC維 ) 泛化關(guān)系： 模型與泛化 隨機(jī)選擇樣本集 的隨機(jī)變量 樣本集、模型與泛化 泛化能力描述： 以概率為 1成立 以概率 1?成立 泛化不等式： ?(無法指導(dǎo)算法設(shè)計(jì) ) 最大邊緣 (指導(dǎo)算法設(shè)計(jì) ) 泛化能力描述 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 53 “ 泛化誤差界 ” 研究的演變 ? PAC界 (Valiant[1984]) ? VC維界 (Blumer[1989]) ? 最大邊緣 (ShaweTaylor[1998]) 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 54 最大邊緣 (ShaweTaylor[1998]) ???????? ?? ?l o gl o g)( 222lMRlcher rM0，邊緣不能等于零。這意味著，樣本集合必須是可劃分的。 邊緣最大，誤差界最小，泛化能力最強(qiáng)。泛化能力可以使用樣本集合的邊緣刻畫。 這個(gè)不等式依賴于邊緣 M。 貢獻(xiàn)：給出了有幾何直觀的界描述，從而為算法設(shè)計(jì)奠定基礎(chǔ)。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 55 研究趨勢 ? 算法的理論研究已經(jīng)基本完成， ? 目前主要集中在下述兩個(gè)問題上： (1)泛化不等式需要樣本集滿足獨(dú)立同分布，這個(gè)條件太嚴(yán)厲，可以放寬這個(gè)條件？ (2)如何根據(jù)領(lǐng)域需求選擇核函數(shù)，有基本原則嗎？ 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 56 有限樣本統(tǒng)計(jì)理論的優(yōu)點(diǎn) ? 所需滿足的條件相對較少，盡管需要滿足獨(dú)立同分布，但無需考慮問題世界的先驗(yàn)分布 ? 這意味著，這個(gè)理論可以僅以樣本集 (數(shù)據(jù) )為基礎(chǔ) 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 57 要求“線性算法”的原因 ? 對計(jì)算，非線性算法一般是 NP完全的。 ? 對世界認(rèn)識(shí)，只有在某個(gè)空間可以描述為線性的世界，人們才能夠說，這個(gè)世界已被認(rèn)識(shí)。 2022/8/18 譚營 機(jī)器