譚營---機器學習研究及最新進展-在線瀏覽
2024-09-11 14:24本頁面
【正文】 wise – Supervised learning, perceptron changes weights based on correct results ? If output is correct, do nothing ? If output is 0 and should be 1, increment weights on the active lines (input of 1) by some amount d. ? If output is 1 and should be 0, decrement weights on the active lines by some amount d. 2022/8/18 譚營 機器學習研究及最新進展 27 Limits of Perceptrons ? Singlelayer works are only capable of learning classes that are linearly separable – For example, exclusiveor is not linearly separable, and thus cannot be represented by a perceptron ? For any ndimensional space, a classification is linearly separable if these groups can be separated with a single n1 dimensional hyperplane Y X X xor Y = 0 X xor Y = 1 0 1 1 2022/8/18 譚營 機器學習研究及最新進展 28 二十世紀八十年代的研究 ? 符號機器學習取得進展。 ? 計算學習理論 PAC(概率近似正確 )。 –七十年代末， Michalski基于帶等號的邏輯演算，提出了 AQ11算法，稱為符號機器學習的覆蓋算法。 2022/8/18 譚營 機器學習研究及最新進展 30 神經(jīng)網(wǎng)絡 ? Hopfield模型。 ? Goldberg的 ART模型。 ? 最有影響的是 Remulhart等人提出的 BP算法(1986)。 ? 學習算法必須對樣本集合的規(guī)模呈多項式。 2022/8/18 譚營 機器學習研究及最新進展 32 機器學習 學科 ? 1983年， . Michalski等人撰寫《機器學習：通往人工智能的途徑》一書 ? 1986年， Machine Learning雜志創(chuàng)刊 ? 1997年 以 Tom Mitchell的 經(jīng)典教科書（ McGraw Hill Press， 1997）中 都沒有貫穿始終的 基礎 體系， 只不個是 不同方法和技術(shù)的 羅列 ? 機器學習還非常年輕、很不成熟 返回 2022/8/18 譚營 機器學習研究及最新進展 33 機器學習的主要方法 ? 傳統(tǒng)分類 – 歸納機器學習 – 解釋機器學習 – 遺傳機器學習 – 連接機器學習 ? 現(xiàn)代分類 （ 1997年， Dietterich） – 符號機器學習。 – 集成機器學習。 2022/8/18 譚營 機器學習研究及最新進展 34 學習方法的 傳統(tǒng) 分類 傳統(tǒng)上，大致可分為 4類： ? 歸納學習 ? 解釋學習 ? 遺傳學習 ? 連接學習 2022/8/18 譚營 機器學習研究及最新進展 35 歸納學習 ? 是從某一概念的分類例子集出發(fā)歸納出一般的概念描述。 ? 這種方法要求大量的訓練例，而且歸納性能受到描述語言、概念類型、信噪比、實例空間分布、歸納模式等的影響。 其學習目的是提高系統(tǒng)性能，而不是修改領(lǐng)域理論。 2022/8/18 譚營 機器學習研究及最新進展 37 遺傳學習 ? 是通過模擬自然界遺傳與變異機制，利用進化論的自然選擇原理進行分類和優(yōu)化。 ? 該方法在 50、 60年代陷入沉寂，但在 80年代解決TSP問題后得到復興 (BP,HNN,etc.)。 ? 優(yōu)點：在模式識別、語音處理等許多方面已得到成功應用。 返回 2022/8/18 譚營 機器學習研究及最新進展 39 機器學習方法的現(xiàn)代分類 1997年， Dietterich的分類 ? 符號機器學習 ? 統(tǒng)計機器學習 ? 集成機器學習 ? 增強機器學習 返回 2022/8/18 譚營 機器學習研究及最新進展 40 符號機器學習 ? 1959年 Solomonoff關(guān)于文法歸納的研究應該是最早的符號機器學習。 ? Samuel將 分段劃分 引入對符號域的數(shù)據(jù)處理 , 形成了一類基于符號數(shù)據(jù)集合的約簡算法，這是現(xiàn)代符號機器學習的基礎。 2022/8/18 譚營 機器學習研究及最新進展 41 符號機器學習的基礎 劃分 ? 機器學習的本質(zhì)是對樣本空間的劃分。 2022/8/18 譚營 機器學習研究及最新進展 42 符號機器學習的等價關(guān)系 ? 定義在給定符號對象集合 U上的等價關(guān)系 a {(x, y) : a(x)=a(y), x, y?U} 2022/8/18 譚營 機器學習研究及最新進展 43 Rough Set理論 ? Pawlak在 1982年提出的一種數(shù)學理論，包含了兩個方面的內(nèi)容： ? 基于 roughness的不精確知識表示理論。 ? 可以證明：覆蓋算法和分治算法與 Reduct理論等價。 2022/8/18 譚營 機器學習研究及最新進展 44 Reduct理論的貢獻 ? 給出了在結(jié)構(gòu)上“非最小”解的精確數(shù)學定義 Reduct。 ? 根據(jù)上述兩個概念，引出邊緣區(qū)域的概念。 ? 這個性質(zhì)對形成不同簡潔程度文本有重要的應用。 ? 機器學習以最小經(jīng)驗風險與期望風險之差為統(tǒng)計基礎，稱為泛化誤差。 2022/8/18 譚營 機器學習研究及最新進展 52 Duda(1973) Vapnik(1971) 樣本集： 樣本個數(shù)趨近無窮大 有限樣本， 樣本集內(nèi)部結(jié)構(gòu) (VC維 ) 泛化關(guān)系： 模型與泛化 隨機選擇樣本集 的隨機變量 樣本集、模型與泛化 泛化能力描述： 以概率為 1成立 以概率 1?成立 泛化不等式： ?(無法指導算法設計 ) 最大邊緣 (指導算法設計 ) 泛化能力描述 2022/8/18 譚營 機器學習研究及最新進展 53 “ 泛化誤差界 ” 研究的演變 ? PAC界 (Valiant[1984]) ? VC維界 (Blumer[1989]) ? 最大邊緣 (ShaweTaylor[1998]) 2022/8/18 譚營 機器學習研究及最新進展 54 最大邊緣 (ShaweTaylor[1998]) ???????? ?? ?l o gl o g)( 222lMRlcher rM0，邊緣不能等于零。 邊緣最大，誤差界最小，泛化能力最強。 這個不等式依賴于邊緣 M。 2022/8/18 譚營 機器學習研究及最新進展 55 研究趨勢 ? 算法的理論研究已經(jīng)基本完成， ? 目前主要集中在下述兩個問題上： (1)泛化不等式需要樣本集滿足獨立同分布，這個條件太嚴厲，可以放寬這個條件？ (2)如何根據(jù)領(lǐng)域需求選擇核函數(shù)，有基本原則嗎？ 2022/8/18 譚營 機器學習研究及最新進展 56 有限樣本統(tǒng)計理論的優(yōu)點 ? 所需滿足的條件相對較少，盡管需要滿足獨立同分布，但無需考慮問題世界的先驗分布
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1