線性判別函數(shù)ppt課件-文庫吧資料
2025-01-21 07:44本頁面
【正文】 必有ak+1Ty = akTy + rkyTy，就有趨勢做到使 ak+1Ty 0。 ()( ) ( )kppYJJ?? ?? ? ? ??yaaya1 ()kkk p kYk krJ r??? ?? ?? ?yaa a a y感知器 kkY a是 被 錯(cuò) 分 類 的 樣 本 集第四章 線性判別函數(shù) 64 感知器算法的思想 W(k)YW(k+1)++第四章 線性判別函數(shù) 65 感知器算法 1. 初始化，置 W(1)中的元素為一個(gè)小的隨機(jī)數(shù)； 2. 在第 k步學(xué)習(xí)訓(xùn)練樣本 Xk，按照如下公式修正權(quán)值 W： ? ? ? ? ? ?? ? ? ?,01 ,0TkTkkkkkk C k? ????? ????W W XWW X W X3. 重復(fù)第 2步，直到所有訓(xùn)練樣本被正確識(shí)別。確定向量 a的問題變?yōu)閷?duì) JP(a)求極小值的問題。 第四章 線性判別函數(shù) 61 基本概念 ?感知器 ： Perceptron， Rosenblatt ?線性可分性 ：訓(xùn)練樣本集中的兩類樣本在特征空間可以用一個(gè)線性分界面正確無誤地分開。 第四章 線性判別函數(shù) 59 權(quán)矢量的解 ?只有當(dāng)樣本集線性可分的條件下，解才存在； ?線性不等式組的解是不唯一； 第四章 線性判別函數(shù) 60 感知器準(zhǔn)則 ?感知器準(zhǔn)則 是五十年代由 Rosenblatt提出的一種 自學(xué)習(xí) 判別函數(shù)生成方法，由于 Rosenblatt企圖將其用于腦模型感知器 (Perceptron)，因此被稱為感知準(zhǔn)則函數(shù)。 ? ? 221 1 2 2 3 1 4 2 5 1 2 6d a x a x a x a x a x x a? ? ? ? ? ?X第四章 線性判別函數(shù) 52 XOR問題的二次函數(shù)解 ? ? 221 2 1 2 1 20 .6 6 3 6 1 .0 0 5 6 0 .4 1 8 9 0 .8 5 7 8 3 .3 9 0 8 0 .6 2 0 7d x x x x x x? ? ? ? ? ?X第四章 線性判別函數(shù) 53 分段線性函數(shù) —聚類的方法 類別1類別1類別2子類1子類2子類1子類2子類3第四章 線性判別函數(shù) 54 分段線性函數(shù) —逐塊二分法 類別1類別1類別2類別2第四章 線性判別函數(shù) 55 兩類別線性判別函數(shù)的學(xué)習(xí) ?一 、 問題的表達(dá) ?二 、 感知器算法 ?三、最小均方誤差算法 (LMSE) 問題的表達(dá) ? 已知兩個(gè)類別的訓(xùn)練樣本集合： ? ?1 1 2: , , , L? X X X? ?2 1 2: , , ,L L M??? X X X? 求向量 W，使得 d(X)=WTX，能夠區(qū)分?1類和 ?2類。 引言 答： 映射 X→ Y如下： 112223334414321yayaxyaxyax? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?ya ，41()() iT iiz g x h ay??? ? ? ?y a y第四章 線性判別函數(shù) 48 廣義線性判別函數(shù)舉例 (3) 例 3： 設(shè)在三維空間中一個(gè)類別分類問題擬采用二次曲面。 引言 答： ? 樣本向量： x = (x1, x2, x3, x4, x5)T ? 權(quán)向量： w = (55, 68, 32, 16, 26)T, w0=10 ? 增廣樣本向量： y = (1, x1, x2, x3, x4, x5)T ? 增廣權(quán)向量： a = (10, 55, 68, 32, 16, 26)T 第四章 線性判別函數(shù) 47 廣義線性判別函數(shù)舉例 (2) 例 2： 有一個(gè)三次判別函數(shù)： z=g(x)=x3+2x2+3x+4。（缺點(diǎn)是維數(shù)災(zāi)難） ? 一種特殊映射方法： 增廣樣本向量 y與 增廣權(quán)向量 a ? ?1 , .. ., , 11Tdxx????????xy? ?100, . . . , , Tdw w ww????????wa引言 第四章 線性判別函數(shù) 45 廣義線性判別函數(shù) (4) 0()TTgw? ? ?x w x a y? 增廣樣本向量使特征空間增加了一維，但保持了樣本間的歐氏距離不變，對(duì)于分類效果也與原決策面相同，只是 在 Y空間中決策面是通過坐標(biāo)原點(diǎn)的 ，這在分析某些問題時(shí)具有優(yōu)點(diǎn)，因此經(jīng)常用到。 類別二類別三類別一d12(X)=0d13( X) =0d23 (X)=0第四章 線性判別函數(shù) 41 多類問題（情況三）判別函數(shù) ?M個(gè)類別需要 M個(gè)線性函數(shù)： ? ? 1 1 2 2 ( 1 )Ti i i i iN N i Nd w x w x w x w ?? ? ? ? ? ?X W X? 判別準(zhǔn)則： ? ? ? ?? ?1m a xij jMdd ???XX i??X第四章 線性判別函數(shù) 42 ? 線性判別函數(shù)是形式最為簡單的判別函數(shù)，但是它不能用于復(fù)雜情況。 ?其它情況，則拒識(shí)。 第四章 線性判別函數(shù) 37 多類問題（情況二） ?每兩類之間可以用一個(gè)超平面分開，但是不能用來把其余類別分開； ?需要將 M個(gè)類別的多類問題轉(zhuǎn)化為 M(M1)/2個(gè)兩類問題。 ? ? 0tgw??x w x第四章 線性判別函數(shù) 32 線性判別函數(shù)的增廣形式 ?X=(x1, x2,…, xN, 1) T稱為增廣的特征矢量； ?W=(w1, w2, …, wN , 1)T稱為增廣的權(quán)矢量。 第四章 線性判別函數(shù) 24 矩陣的跡和行列式值 ?A為一個(gè) N*N的方陣， A的跡為主對(duì)角線元素之和： ? ?1Nijitr a?? ?A第四章 線性判別函數(shù) 25 矩陣的跡、行列式值與特征值之間的關(guān)系 ?矩陣 A有 N個(gè)特征值 1， 2， …， N，則有如下關(guān)系： ? ?1Niitr ??? ?A1d e t( )Nii??? ?A第四章 線性判別函數(shù) 26 矩陣對(duì)數(shù)值變量微分 ? 矩陣 A(t)=[aij(t)]M*N，元素 aij(t)是變量 t的函數(shù)，矩陣 A(t)對(duì) t的微分： ()() ijMNd a tdtd t d t???? ????A第四章 線性判別函數(shù) 27 矩陣函數(shù)對(duì)矩陣的微分 ?矩陣 X=(xij)M*N， M*N元函數(shù) f(X)，定義 f(X)對(duì)矩陣
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1