【文章內(nèi)容簡(jiǎn)介】 （215）??212121uwuTB???wS?于是，(215)可寫成 （216）??Wmax?S這說(shuō)明， 的方向與 的方向一致，即w21u? （217）?21?因此，在應(yīng)用過(guò)程中，我們往往不必求出類間散度陣 。BS與輸入空間維數(shù)相等，或者說(shuō)，投影方向過(guò)原點(diǎn)。設(shè)分類閾值為 ?，則判別公式為 （218）??????????xwx??T如 果不 定 如 果如 果21確定? 的一些經(jīng)驗(yàn)公式為(1) 取兩個(gè)類別均值在 方向投影的簡(jiǎn)單平均 （219）??21uT???(2) 考慮樣本數(shù)的兩個(gè)類別均值在 方向投影的平均 （220）NwT21或 （221）??uT212???（3）考慮類方差的兩個(gè)類別均值在 方向投影的平均 （222）21~?uT或 （223）??21???wT這里， 、 分別為兩個(gè)類別在 方向投影的均方差。1~?2當(dāng)然，當(dāng)類內(nèi)散度陣 不可逆時(shí)，F(xiàn)isher 判別法失效。WS 歐氏距離 第 8 頁(yè)d=sqrt( ∑(xi1xi2)^2 ) 這里 i=1,2..n。 xi1 表示第一個(gè)點(diǎn)的第 i 維坐標(biāo),x i2 表示第二個(gè)點(diǎn)的第 i 維坐標(biāo) n 維歐氏空間是一個(gè)點(diǎn)集 ,它的每個(gè)點(diǎn)可以表示為(x(1),x(2),...x(n)),其中 x(i)(i=1,2...n)是實(shí)數(shù),稱為 x 的第 i 個(gè)坐標(biāo),兩個(gè)點(diǎn) x 和 y=(y(1),y(2)...y(n))之間的距離 d(x,y)看作信號(hào)的相似程度。 距離越近就越相似，就越易相互干擾，誤碼率就越高。最 近 鄰 方 法(1)已 知 N個(gè) 已 知 類 別樣 本 X (2)輸 入 未 知 類 別 樣 本 x(3)計(jì) 算 x到xi?X， (i=1,2,…,N)的 距 離di(x)(4)找 出 最 小 距 離dm(x)=min{di(x)}(5)看 xm屬 于 哪 一 類 ：xm?ω2(6) 判 x?ω2ω 1ω 2圖 21 最近鄰識(shí)別法框圖 第 9 頁(yè)圖 22 用歐氏距離形成的 Distance 矩陣 研究 LDA 的方法步驟（1）通過(guò)隨機(jī)數(shù)模擬傳統(tǒng) LDA 的方法，對(duì)其進(jìn)行驗(yàn)證，看是否符合論文的設(shè)計(jì)要求，并求準(zhǔn)確識(shí)別率（2）在用傳統(tǒng) LDA 方法對(duì) ORL 人臉庫(kù)進(jìn)行識(shí)別分析，看是否能夠運(yùn)行，如果可以對(duì)傳統(tǒng) LDA 在 ORL 的識(shí)別方法求其正確識(shí)別率，并比較在 ORL 人臉庫(kù)中的識(shí)別效果和在隨機(jī)書(shū)模擬情況下效果的比較。（3）對(duì)于傳統(tǒng) LDA 進(jìn)行缺點(diǎn)分析 第 10 頁(yè)樣 本 的 設(shè) 置求 訓(xùn) 練 樣 本 中 各 類 樣 品 的 均 值 向 量 mi求 訓(xùn) 練 樣 本 內(nèi) 各 類 樣 品 類 內(nèi) 離 散 度 矩 陣 Si求 總 類 間 離 散 度 矩 陣 Sw求 訓(xùn) 練 樣 本 的 總 體 均 值 向 量求 類 間 離 散 矩 陣 Sb求 投 影 矩 陣 W求 測(cè) 試 樣 本 和 訓(xùn) 練 樣 本 在 W上 的 投 影根 據(jù) 最 近 鄰 識(shí) 別 原 理 進(jìn) 行 識(shí) 別計(jì) 算 正 確 識(shí) 別 率圖 23LDA 系統(tǒng)框圖 實(shí)現(xiàn)過(guò)程實(shí)現(xiàn)步驟如下：(1) 樣本設(shè)置(2) 求訓(xùn)練樣本中各類樣品的均值向量 mi(3) 求訓(xùn)練樣本內(nèi)各類樣品類內(nèi)離散度矩陣 Si(4) 求總類間離散度矩陣 Sw(5) 求訓(xùn)練樣本的總體均值向量 zongjunzhi(6) 求類間離散矩陣 Sb 第 11 頁(yè)(7) 求投影矩陣W(8) 求測(cè)試樣本和訓(xùn)練樣本在 W 上的投影(9) 根據(jù)最近鄰識(shí)別原理進(jìn)行識(shí)別(10)計(jì)算正確識(shí)別率 實(shí)現(xiàn)結(jié)果例如：樣本設(shè)置二類樣本，每類其中有 20 個(gè)樣本，每個(gè)樣本是 50 維正態(tài)分布隨機(jī)向量，每類前 10 個(gè)作為訓(xùn)練樣本，后 10 個(gè)作為測(cè)試本。A1=rand(20,50)。A2=2*rand(20,50)。生成樣本 TA=[A1(1:10,:)。A2(1:10,:)]。%TA 為訓(xùn)練樣本共 30 個(gè)樣本，前 10 個(gè)為一樣本，后 10 個(gè)為第二類樣本 TE=[A1(11:20,:)。A2(11:20,:)。A3(11:20,:)]。%TE為測(cè)試樣本得到結(jié)果圖 23 樣本類別圖 24 訓(xùn)練和測(cè)試樣本圖 25 類間和類內(nèi)離散度矩陣圖 26 投影矩陣 w圖 27 投影后的測(cè)試樣本和訓(xùn)練樣本通過(guò)訓(xùn)練樣本 TA，測(cè)試樣本 TE 同投影后的 yTA 和 yTE 進(jìn)行對(duì)比可以看出降維的效果很明顯 第 12 頁(yè)表 21Distance 矩陣表 22Index 矩陣 第 13 頁(yè)表 23sorted 矩陣可以看出 sorted 矩陣是對(duì) distance 矩陣每一列的數(shù)字進(jìn)行的由小到大的排列，index 矩陣是對(duì) sorted 排列后的數(shù)字，在原來(lái) distance 矩陣中的位置的排列。如在 sorted 中的第一行第一列的這個(gè)數(shù) ，在原來(lái) distance 矩陣中排第一列的第五行，在 index 矩陣中就顯示數(shù)字 5，同理得出其他的數(shù)字排列順序 第 14 頁(yè)圖 27 部分對(duì)比結(jié)果記得我們?cè)?index 矩陣中得知 這個(gè)數(shù)字在原來(lái) distance 矩陣中排第一列中的第 5，在訓(xùn)練樣本 TA 中可以知道 TA 的中的前 10 個(gè)為 A1,中間 10 個(gè)為 A2，后 10 個(gè)為 A3，通過(guò)數(shù)學(xué)計(jì)算 5/10 為 沒(méi)有超過(guò) 1，所以其為第一類即 A1 類。如果所得數(shù)字超過(guò) 1 但不超過(guò) 2，其為第二類即 A2 類：如果所得數(shù)字超過(guò) 2 但未超過(guò) 3，其為第三類即 A3 類（ceil 是向離它最近的大整數(shù)圓整 ）其中最高識(shí)別率為圖 28 識(shí)別率由于是隨機(jī)樣本所以每次得到的結(jié)果不定，每次所得準(zhǔn)確識(shí)別率都不一定相同。隨機(jī)數(shù)判別和人臉數(shù)據(jù)庫(kù)識(shí)別的基本思想是一致的，后續(xù)工作即進(jìn)行人臉數(shù)據(jù)庫(kù) LDA 的識(shí)別分析。識(shí)別具體程序如下：A1=rand(20,50)。A2=2*rand(20,50)。A3=3*rand(20,50)。TA=[A1(1:10,:)。A2(1:10,:)。A3(1:10,:)]。%TA為訓(xùn)練樣本共30個(gè)樣本，前10個(gè)為一樣本，中間10個(gè)為第二類樣本，后10個(gè)為第三類樣本TE=[A1(11:20,:)。A2(11:20,:)。A3(11:20,:)]。%TE為測(cè)試樣本m1=mean(TA(1:10,:),1)。m2=mean(TA(11:20,:),1)。m3=mean(TA(21:30,:),1)。 第 15 頁(yè)for i=1:10x1(i,:)=TA(i,:)m1endS1=x1.39。*x1。for i=1:10x2(i,:)=TA((i+10),:)m2endS2=x2.39。*x2。for i=1:10x3(i,:)=TA((i+20),:)m3endS3=x3.39。*x3。SW=S1+S2+S3。zongjunzhi=mean(TA,1)。SB=(m1zongjunzhi)39。*(m1zongjunzhi)+(m2zongjunzhi)39。*(m2zongjunzhi)+(m3zongjunzhi)39。*(m3zongjunzhi)。% SB=(m1m2)39。*(m1m2)。[W,D]=eigs(inv(SW)*SB)。y1=W39。*TA39。y2=W39。*TE39。yTA=y139。yTE=y239。lei=[]。for i=1:3lei=[lei,ones(1,10)*i]。endfor Dim=1:6% %for Dim=10:30for i=1:30for j=1:30distance(i,j)=sqrt(sum((y1((1:Dim),i)y2((1:Dim),j)).^2))。end 第 16 頁(yè)endclear i。clear j。[sorted,index]=sort(distance,1)。for i=1:30f(1,i)=ceil(index(1,i)/10)。endclear i。right_num=sum((lei==f))。right_ration=(right_num/(30))*100rate(1,Dim)=right_ration。DDD=[f。lei]。end 結(jié)果分析分類識(shí)別 LDA（fisher）算法模擬：線性鑒別分析的基本思想是將高維的模式樣本投影到最佳鑒別矢量空間，以達(dá)到抽取分類信息和壓縮特征空間維數(shù)的效果，投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內(nèi)距離，即模式在該空間中有最佳的可分離性。在該空間中進(jìn)行最近鄰識(shí)別，識(shí)別所用到的是歐氏距離，能過(guò)實(shí)現(xiàn)明顯的降維和得到較高的正確識(shí)別率。 第 17 頁(yè)3 核函數(shù) 理論基礎(chǔ)隨著科學(xué)技術(shù)的迅速發(fā)展和研究對(duì)象的日益復(fù)雜，高維數(shù)據(jù)的統(tǒng)計(jì)分析方法顯得越來(lái)越重要。直接對(duì)高維數(shù)據(jù)進(jìn)行處理會(huì)碰到很多困難，包括：隨著維數(shù)的增加，計(jì)算量迅速增大：數(shù)據(jù)的可視性差：維數(shù)災(zāi)難，即當(dāng)維數(shù)較高時(shí)，即使數(shù)據(jù)的樣本點(diǎn)很多，散步在高維空間的樣本點(diǎn)數(shù)依然很少，許多在低位時(shí)應(yīng)用成功的數(shù)據(jù)處理方法，在高維空間中不能應(yīng)用，如關(guān)于密度估計(jì)的核方法，領(lǐng)域法等。低維時(shí)魯棒姓很好的統(tǒng)計(jì)方法到了高維空間，其穩(wěn)定性也就變差了。由此可見(jiàn)在多元統(tǒng)計(jì)過(guò)程中降維的重要性。然而，一般常見(jiàn)的降維方法是建立在正態(tài)分布這一假設(shè)基礎(chǔ)上的線性方法，顯得過(guò)于簡(jiǎn)化，因而往往不能滿足現(xiàn)實(shí)中的需要。這里將傳統(tǒng)的線性降維方法通過(guò)引入核函數(shù)推廣到非線性領(lǐng)域中。基于核方法的特征提取理論本質(zhì)上都是基于樣本的，因此，它不僅適合于解決非線性特征提取問(wèn)題，而且還能比線性降維方法提供更多的特征數(shù)目和更好的特征質(zhì)量，因?yàn)榍罢呖商峁┑奶卣鲾?shù)目與輸入樣本的數(shù)目是相等的，而后者的特征數(shù)目?jī)H為輸入樣本的維數(shù)。核方法首先采用非線性映射將原始數(shù)據(jù)由數(shù)據(jù)空間映射到特征空間，進(jìn)而在特征空間進(jìn)行線性操作。由于運(yùn)用的非線性映射，而且這種非線性映射往往是非常復(fù)雜的，從而大大曾強(qiáng)的非線性數(shù)據(jù)的處理能力。核方法是一系列的先進(jìn)非線性數(shù)據(jù)處理技術(shù)的總稱，其共同特征是這些數(shù)據(jù)處理方法都應(yīng)用了核映射。核方法首先采用非線性映射將原始數(shù)據(jù)由數(shù)據(jù)空間映射到特征空間，進(jìn)而在特征空間進(jìn)行對(duì)應(yīng)的線性操作。由于運(yùn)用了非線性映射，而且這種作線性映射往往是非常復(fù)雜的，從而大大增強(qiáng)了非線性數(shù)據(jù)的處理能力。從本質(zhì)上講，核方法實(shí)現(xiàn)了數(shù)據(jù)空間、特征空間和類別空間之間的非線性變換。設(shè) xi 和 xj 為數(shù)據(jù)空間中的樣本點(diǎn)，數(shù)據(jù)空間到特征空間的映射函數(shù)為中，核方法的基礎(chǔ)是實(shí)現(xiàn)了向量的內(nèi)積變換通常，非線性變換函數(shù)中相當(dāng)復(fù)雜，而運(yùn)算過(guò)程中實(shí)際用到的核函數(shù)相對(duì)簡(jiǎn)單多了。???? 傳統(tǒng)方法直觀，LDA 的想法是找到一個(gè)投影，最大限度地級(jí)分離。 鑒于兩套標(biāo)記的數(shù)據(jù)， 和 ，定義類的方法 m1 和 m2 要 1c2 第 18 頁(yè)