【正文】 uld be 1, increment weights on the active lines (input of 1) by some amount d. ? If output is 1 and should be 0, decrement weights on the active lines by some amount d. 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 27 Limits of Perceptrons ? Singlelayer works are only capable of learning classes that are linearly separable – For example, exclusiveor is not linearly separable, and thus cannot be represented by a perceptron ? For any ndimensional space, a classification is linearly separable if these groups can be separated with a single n1 dimensional hyperplane Y X X xor Y = 0 X xor Y = 1 0 1 1 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 28 二十世紀(jì)八十年代的研究 ? 符號(hào)機(jī)器學(xué)習(xí)取得進(jìn)展。 ? Goldberg的 ART模型。 – 集成機(jī)器學(xué)習(xí)。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 37 遺傳學(xué)習(xí) ? 是通過(guò)模擬自然界遺傳與變異機(jī)制，利用進(jìn)化論的自然選擇原理進(jìn)行分類(lèi)和優(yōu)化。 ? Samuel將 分段劃分 引入對(duì)符號(hào)域的數(shù)據(jù)處理 , 形成了一類(lèi)基于符號(hào)數(shù)據(jù)集合的約簡(jiǎn)算法，這是現(xiàn)代符號(hào)機(jī)器學(xué)習(xí)的基礎(chǔ)。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 44 Reduct理論的貢獻(xiàn) ? 給出了在結(jié)構(gòu)上“非最小”解的精確數(shù)學(xué)定義 Reduct。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 52 Duda(1973) Vapnik(1971) 樣本集： 樣本個(gè)數(shù)趨近無(wú)窮大 有限樣本， 樣本集內(nèi)部結(jié)構(gòu) (VC維 ) 泛化關(guān)系： 模型與泛化 隨機(jī)選擇樣本集 的隨機(jī)變量 樣本集、模型與泛化 泛化能力描述： 以概率為 1成立 以概率 1?成立 泛化不等式： ?(無(wú)法指導(dǎo)算法設(shè)計(jì) ) 最大邊緣 (指導(dǎo)算法設(shè)計(jì) ) 泛化能力描述 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 53 “ 泛化誤差界 ” 研究的演變 ? PAC界 (Valiant[1984]) ? VC維界 (Blumer[1989]) ? 最大邊緣 (ShaweTaylor[1998]) 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 54 最大邊緣 (ShaweTaylor[1998]) ???????? ?? ?l o gl o g)( 222lMRlcher rM0，邊緣不能等于零。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 58 非線性問(wèn)題的數(shù)學(xué)方法 ? 尋找一個(gè)映射，將非線性問(wèn)題映射到線性空間，以便其可以在線性空間中線性表述。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 63 存在問(wèn)題 ? SVM只從存在上解決了劃分問(wèn)題，并沒(méi)有真正在劃分上解決核函數(shù)的構(gòu)造問(wèn)題。Schapire ’95] – introduced AdaBoost algorithm – strong practical advantages over previous boosting algorithms ? experiments using AdaBoost: [Druckeramp。 algorithms: [Schapire,Freund,Bartlettamp。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 70 集成 ? 在分類(lèi)時(shí)，采用投票的方式?jīng)Q定新樣本屬于哪一類(lèi)。 返回 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 76 機(jī)器學(xué)習(xí)面臨的挑戰(zhàn) ?隨著應(yīng)用的不斷深入 ,出現(xiàn)了很多被傳統(tǒng)機(jī)器學(xué)習(xí)研究忽視、但非常重要的問(wèn)題（下面將以醫(yī)療和金融為代表來(lái)舉幾個(gè)例子） ?機(jī)器學(xué)習(xí)正與眾多學(xué)科領(lǐng)域產(chǎn)生了交叉，交叉領(lǐng)域越多 ,問(wèn)題也越多 ,也正是大有可為處 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 77 醫(yī)療： 以癌癥診斷為例 ， “ 將病人誤診為健康人的代價(jià) ”與 “ 將健康人誤診為病人的代價(jià) ” 是不同的 金融： 以信用卡盜用檢測(cè)為例 ， “ 將盜用誤認(rèn)為正常使用的代價(jià) ” 與 “ 將正常使用誤認(rèn)為盜用的代價(jià) ” 是不同的 傳統(tǒng)的 ML技術(shù)基本上只考慮同一代價(jià) 如何處理代價(jià)敏感性 ？ 在教科書(shū)中找不到現(xiàn)成的答案 。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 89 數(shù)據(jù)流機(jī)器學(xué)習(xí) ? 在網(wǎng)絡(luò)數(shù)據(jù)分析與處理中，有一類(lèi)問(wèn)題，從一個(gè)用戶(hù)節(jié)點(diǎn)上流過(guò)的數(shù)據(jù)，大多數(shù)是無(wú)意義的，由于數(shù)據(jù)量極大，不能全部存儲(chǔ)，因此，只能簡(jiǎn)單判斷流過(guò)的文件是否有用，而無(wú)法細(xì)致分析 ? 如何學(xué)習(xí)一個(gè)模型可以完成這個(gè)任務(wù)，同時(shí)可以增量學(xué)習(xí)，以保證可以從數(shù)據(jù)流中不斷改善 (或適應(yīng) )用戶(hù)需求的模型 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 90 研究現(xiàn)狀 ? 主要以任務(wù)為驅(qū)動(dòng)力 ,學(xué)習(xí)方法有待創(chuàng)新 ? 以上這些機(jī)器學(xué)習(xí)方式還處于實(shí)驗(yàn)觀察階段，缺乏堅(jiān)實(shí)的理論基礎(chǔ) ? 實(shí)際應(yīng)用效果仍有待研究 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 91 存在的理論問(wèn)題 ? 統(tǒng)計(jì)類(lèi)機(jī)器學(xué)習(xí)需要滿足獨(dú)立同分布條件，嚴(yán)厲！ ? 尋找問(wèn)題線性表示的空間，沒(méi)有一般的原則。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 93 結(jié)束語(yǔ) 當(dāng)前，機(jī)器學(xué)習(xí)所面臨情況是： 數(shù)據(jù)復(fù)雜、海量 ， 用戶(hù)需求多樣化 。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 92 研究趨勢(shì) ? 盡管“學(xué)習(xí)機(jī)制”還是研究的動(dòng)力，然而， “煩惱網(wǎng)絡(luò)”的危機(jī)，使得更為重要的推動(dòng)力來(lái)自“有效利用”信息。 ? 蛋白質(zhì)功能分析 , DNA數(shù)據(jù)分析 , SNP數(shù)據(jù)分析 ? ……. 它們需要使用各種不同方法，解決實(shí)際問(wèn)題。 ? 典型方法：加權(quán)多數(shù)算法，Bootstrap, ADABOOST 等。Tibshirani ’98] ? …… 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 68 集成機(jī)器學(xué)習(xí) ? 1990年 Shapire證明，如果將多個(gè) PAC弱分類(lèi)器集成在一起，它將具有 PAC強(qiáng)分類(lèi)器的泛化能力。Opitz ’97] [Freundamp。 ? 使用多個(gè)容易設(shè)計(jì)的簡(jiǎn)單 PAC弱分類(lèi)器代替一個(gè)較難設(shè)計(jì)的 PAC強(qiáng)分類(lèi)器。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 62 SVM ? 線性可分為基礎(chǔ)。 這個(gè)不等式依賴(lài)于邊緣 M。 ? 這個(gè)性質(zhì)對(duì)形成不同簡(jiǎn)潔程度文本有重要的應(yīng)用。 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 42 符號(hào)機(jī)器學(xué)習(xí)的等價(jià)關(guān)系 ? 定義在給定符號(hào)對(duì)象集合 U上的等價(jià)關(guān)系 a {(x, y) : a(x)=a(y), x, y?U} 2022/8/18 譚營(yíng) 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 43 Rough Set理論 ? Pawlak在 1982年提出的一種數(shù)學(xué)理論