非參數(shù)判別分類方法(已修改)
2025-05-31 00:03 本頁面
【正文】 第三章 非參數(shù)判別分類方法 2021/6/16 中國礦業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院 (33)1 感知準(zhǔn)則函數(shù) ? 感知準(zhǔn)則函數(shù)是五十年代由 Rosenblatt提出的一種自學(xué)習(xí)判別函數(shù)生成方法，由于 Rosenblatt企圖將其用于腦模型感知器，因此被稱為感知準(zhǔn)則函數(shù)。其特點是隨意確定的判別函數(shù)初始值，在對樣本分類訓(xùn)練過程中逐步修正直至最終確定。 ? 用感知準(zhǔn)則函數(shù)設(shè)計線性分類器是一種十分重要的方法。 第三章 非參數(shù)判別分類方法 2021/6/16 中國礦業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院 (33)2 2. 樣本的規(guī)范化 決策面方程： 0 0Tw X w??0TaY ?012dwwaww?????????????????121dxYxx?????????????????令 結(jié)論：規(guī)范化后合適的 a能使所有的 Y39。滿足 aTY39。 0 。 幾個基本概念 1. 線性可分性 如果對一個樣本集 N，總能找到一個增廣權(quán)向量 a，對該樣本集所有樣本實現(xiàn)正確分類，則這種情況稱為具有線性可分性。 第三章 非參數(shù)判別分類方法 2021/6/16 中國礦業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院 (33)3 3. 解向量和解區(qū) 解向量：在線性可分的前提下，滿足 aTYn0， n=1,2,…,N 的權(quán)向量稱為解向量。 解區(qū)： N個樣本所對應(yīng)的解向量 a所在區(qū)域之交迭空間。在解區(qū)內(nèi)的任一向量 a能使所有樣本得到正確劃分。 第三章 非參數(shù)判別分類方法 2021/6/16 中國礦業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院 (33)4 感知準(zhǔn)則函數(shù)方法的思路 ? 隨意找一個初始廣義權(quán)向量 ? 理論證明，只要訓(xùn)練樣本集線性可分，無論 a(0)的初值是什么，經(jīng)過有限次疊代，都可使式 aTY0得到滿足。 (0)a? 當(dāng)前的廣義權(quán)向量 a(k)，若出現(xiàn) Y’，使 aTY0 ，則 ( 1 ) ( ) 39。ka k a k p Y? ? ?其中 pk0 感知準(zhǔn)則函數(shù)及其梯度下降算法 第三章 非參數(shù)判別分類方法 2021/6/16 中國礦業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院 (33)5 梯度下降算法 ? 定義一個準(zhǔn)則函數(shù) J(a)， 當(dāng) a是解向量時 ， J(a)最小 。 ( 1 ) ( ) ( ) ( ( ) )a k a k k J a k?? ? ? ?? 隨機確定初始解向量 a(1)，計算其對準(zhǔn)則函數(shù)的梯度下降 ，下一個 a(2)由自 a(1)向下降最陡的方向移動一段距離而得到，即沿梯度的負(fù)方向移動。 ( (1))Ja?其中， 是正的比例因子，即用于設(shè)定步長的學(xué)習(xí)率。 ?第三章 非參數(shù)判別分類方法 2021/6/16 中國礦業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院 (33)6 用梯度下降算法求感知準(zhǔn)則函數(shù)極小值 感知準(zhǔn)則函數(shù) Jp(a) 其中， Yk是被權(quán)向量 a錯分類的樣本集合。 ( ) ( )kTpYYJ a a Y????感知準(zhǔn)則函數(shù) Jp(a)對 a求梯度： ()( ) ( )kppYYJaJ a Ya ??? ? ? ?? ?( 1 ) ( ) ka k a k J??
研究報告相關(guān)推薦
鄂ICP備17016276號-1