【正文】 將病人誤診為健康人的代價 ”與 “ 將健康人誤診為病人的代價 ” 是不同的 金融： 以信用卡盜用檢測為例 ， “ 將盜用誤認(rèn)為正常使用的代價 ” 與 “ 將正常使用誤認(rèn)為盜用的代價 ” 是不同的 傳統(tǒng)的 ML技術(shù)基本上只考慮同一代價 如何處理代價敏感性 ？ 在教科書中找不到現(xiàn)成的答案 。 algorithms: [Schapire,Freund,Bartlettamp。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 63 存在問題 ? SVM只從存在上解決了劃分問題，并沒有真正在劃分上解決核函數(shù)的構(gòu)造問題。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 52 Duda(1973) Vapnik(1971) 樣本集： 樣本個數(shù)趨近無窮大 有限樣本， 樣本集內(nèi)部結(jié)構(gòu) (VC維 ) 泛化關(guān)系： 模型與泛化 隨機(jī)選擇樣本集 的隨機(jī)變量 樣本集、模型與泛化 泛化能力描述： 以概率為 1成立 以概率 1?成立 泛化不等式： ?(無法指導(dǎo)算法設(shè)計 ) 最大邊緣 (指導(dǎo)算法設(shè)計 ) 泛化能力描述 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 53 “ 泛化誤差界 ” 研究的演變 ? PAC界 (Valiant[1984]) ? VC維界 (Blumer[1989]) ? 最大邊緣 (ShaweTaylor[1998]) 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 54 最大邊緣 (ShaweTaylor[1998]) ???????? ?? ?l o gl o g)( 222lMRlcher rM0，邊緣不能等于零。 ? Samuel將 分段劃分 引入對符號域的數(shù)據(jù)處理 , 形成了一類基于符號數(shù)據(jù)集合的約簡算法，這是現(xiàn)代符號機(jī)器學(xué)習(xí)的基礎(chǔ)。 – 集成機(jī)器學(xué)習(xí)。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 26 Perceptrons ? Devised by Frank Rosenblatt in the late 1950s – A singlelayer work where all inputs and activation values are either 0 or 1, and the weights are real valued – Activation function is a simple linear threshold ? 1 if ∑ xiwi t ? 0 otherwise – Supervised learning, perceptron changes weights based on correct results ? If output is correct, do nothing ? If output is 0 and should be 1, increment weights on the active lines (input of 1) by some amount d. ? If output is 1 and should be 0, decrement weights on the active lines by some amount d. 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 27 Limits of Perceptrons ? Singlelayer works are only capable of learning classes that are linearly separable – For example, exclusiveor is not linearly separable, and thus cannot be represented by a perceptron ? For any ndimensional space, a classification is linearly separable if these groups can be separated with a single n1 dimensional hyperplane Y X X xor Y = 0 X xor Y = 1 0 1 1 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 28 二十世紀(jì)八十年代的研究 ? 符號機(jī)器學(xué)習(xí)取得進(jìn)展。 （ 3） 泛化能力 ：決定模型對世界的有效性。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 15 要素 1：一致性假設(shè) ? 假設(shè)世界 W與樣本集 Q具有某種相同的性質(zhì)。 ? 神經(jīng)網(wǎng)絡(luò)的研究。 – 增強機(jī)器學(xué)習(xí)。 ? 約簡：規(guī)則長度越短，覆蓋對象越多，但是，不能增加對象矛盾。這意味著，樣本集合必須是可劃分的。 ? 泛化問題不僅需要解決劃分問題，還需要解決最大邊緣問題。Lee ’97] [Schapireamp。 例子 1：代價敏感問題 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 78 醫(yī)療： 以癌癥診斷為例 ， “ 健康人 ” 樣本遠(yuǎn)遠(yuǎn)多于 “ 病人 ” 樣本 金融： 以信用卡盜用檢測為例 ， “ 正常使用 ” 樣本遠(yuǎn)遠(yuǎn)多于 “ 被盜用 ” 樣本 傳統(tǒng)的 ML技術(shù)基本上只考慮平衡數(shù)據(jù) 如何處理數(shù)據(jù)不平衡性 ？ 在教科書中找不到現(xiàn)成的答案 例子 2：不平衡數(shù)據(jù)問題 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 79 醫(yī)療： 以乳腺癌診斷為例 ， 需要向病人解釋 “ 為什么做出這樣的診斷 ” 金融： 以信用卡盜用檢測為例 ， 需要向保安部門解釋“ 為什么這是正在被盜用的卡 ” 傳統(tǒng)的 ML技術(shù)基本上只考慮泛化不考慮理解 如何處理可理解性 ？ 在教科書中找不到現(xiàn)成的答案 例子 3：可理解性問題 返回 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 80 機(jī)器學(xué)習(xí)的最新進(jìn)展 ? 算法驅(qū)動 (建模與數(shù)據(jù)分析 ) ? 應(yīng)用驅(qū)動 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 81 算法驅(qū)動 ? 海量非線性數(shù)據(jù) (10810) ? 算法的泛化能力考慮 ? 學(xué)習(xí)結(jié)果數(shù)據(jù)的解釋 ? 代價加權(quán)的處理方法 ? 不同數(shù)據(jù)類型的學(xué)習(xí)方法 返回 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 82 應(yīng)用驅(qū)動 ? 自然語言分析、網(wǎng)絡(luò)與電信數(shù)據(jù)分析、圖像數(shù)據(jù)分析、金融與經(jīng)濟(jì)數(shù)據(jù)分析、零售業(yè)數(shù)據(jù)分析、情報分析。 從而 , 要求： (1)需要科學(xué)和高效的 問題表示 ，以便將其學(xué)習(xí)建立在科學(xué)的基礎(chǔ)上 (2)應(yīng)用驅(qū)動 成為必然 , 從而針對某個或某類應(yīng)用給出特定的學(xué)習(xí)方法將不斷涌現(xiàn) (3)對機(jī)器學(xué)習(xí)的檢驗問題只能在 應(yīng)用中檢驗自己 (4)對機(jī)器學(xué)習(xí)的結(jié)果的 解釋 , 將逐漸受到重視 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 94 謝謝 ! 返回 。由此導(dǎo)致各種學(xué)習(xí)任務(wù)：數(shù)據(jù)流學(xué)習(xí)、多實例學(xué)習(xí) (部分放棄獨立同分布條件 )、 Ranking學(xué)習(xí)。Baxter ’98] [Grive and Schuurmans’98] [Friedman, Hastieamp。 返回 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 64 集成機(jī)器學(xué)習(xí)動機(jī) (Ensembles) ? 在形式上與 Madline類似，其泛化理論來自PAC的弱分類器理論。泛化能力可以使用樣本集合的邊緣刻畫。 ? 這需要定義一個等價關(guān)系，將樣本空間劃分為等價類。 ? 這是目前研究得 最多的學(xué)習(xí)方法 ，其學(xué)習(xí)目的是為了獲得新的概念、構(gòu)造新的規(guī)則或發(fā)現(xiàn)新的理論。 2022/8/