【導讀】它能夠揭示兩組變量之間的內(nèi)在聯(lián)系，真正反映兩組變量間的線性相關情況。然而，在實際中常常會?？赡苁峭耆煌?，但是它們的線性函數(shù)可能存在密切的關。的一個線性組合v，希望找到的u和v. 之間有最大可能的相關系數(shù)，以充分反映兩組變量間的關系。相關關系的問題轉化為研究兩個隨機變量間的相關關系。如果一對變量（u，v）還不能完。全刻畫兩組變量間的相關關系時，可以繼續(xù)找第二對變量，希望這對變量在與第一對變量（u，直到進行到找不到相關變量對時為止。便引導出典型相關變量的概念。設有兩組隨機變量),,,(21pxxx?，假定它們都已經(jīng)標準化了，即。使1u和1v的相關系數(shù)),(11vu?由于對任意常數(shù)a，b，c，d，有。j開始逐一求jl、jm。對1l、1m分別求偏導，并令其為0，再與約束條件聯(lián)立，則1l、1m應滿足以下方程。有相同的非零特征根，因此，此時求出的1m和直接從式()求出的1m是一致的。，M1對應于這些特征根的。的算術根，這便是第j個典型相關系數(shù)，j=1，

　　

【正文】 ? ? ? ????knikikk XnX11 () 協(xié)方差矩陣 ? 的估計為： )()(1 )(1 1 )( ????? ? ?? ? XXXXgnS kigk ni kii () 其中， ? ???? ??gknikik XnX1 11 。則距離 ??2k? 的估計就可以表示為： ? ?? ? ? ?? ?kkk XXSXXXd ???? ? 1)( () 對于判別準則：對于任一組待判樣品 X ，利用式（ ）計算 ? ? gkXd k ,2,1, ?? ，記： ? ? ? ? ? ? ? ?? ?XdXdXdXd gj ,m in 21 ?? () 若 ? ?Xdj 為最小，則判樣品 X 屬于第 j 類。 有兩點值得注意： ① 我們這里的判別函數(shù)和判別規(guī)則并沒有涉及分布的類型，只要二階矩存在就可以了； ② 這種判別規(guī)則符合習慣，但不可能完全判別準確，會發(fā)生誤判。 5. 誤判的概率 下面我們?nèi)砸哉龖B(tài)總體為例簡單討論一下誤判的概率。協(xié)方差相同的兩個正態(tài)總體 1G 和2G 的分布分別是 ),( 1 VuN 和 ),( 2 VuN 。如果某樣品 X 來自 1G ，但是在 2 21 uuu ?? 的右邊，那么根據(jù)判別函數(shù) )()2()(21121 uuVuuyyw ????? ?和判別規(guī)則將判斷它來自 2G ，這時就發(fā)生了誤判。如圖 381 所示。 7598d14e6a212b8db2b4f9258f0234b1 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 19 of 44 圖 381 二類判別誤判概率圖 所謂誤判概 率的問題是：定義誤判概率 21,PP ， 1P 表示原是第一類的樣品，而誤判為第二類的概率； 2P 表示原是第二類的樣品，而誤判為第一類的概率。誤判概率為圖中陰影部分的面積。它們?yōu)椋? ? ? ? ?VuuPVuuP ,1 2211 ?????? () 這里， ? 是正態(tài)分布的累積分布函數(shù)。 如果利用以上判別準則，對全部 n1+n2 組樣品進行判別，記第一類中的樣 品，而被判入第二類的有 m1個；第二類的而被判入第一類的有 m2 個，則誤判概率可表示為： 222111 /,/ nmPnmP ?? () 六、 Fisher 線性函數(shù)判別 在分類判別問題中，關鍵問題之一是尋找一個合適的判別函數(shù)。如果判別函數(shù)比較復雜，那么在實際使用中就非常不方便，因此為方便起見，有時尋找在某種意義下為最優(yōu)的線性判別函數(shù)。在判別分析中， Fisher 準則下的線性判別函數(shù)就是一個只要利用總體的一、二階矩就可求得的判別函數(shù)。 設我們觀察到的資料為一個 p 維向量 ),( 21 ?? pxxxx ? 。設 ijkx 代表第 i 組（ ri ,2,1 ?? ）中的第 j 個特征（ pj ,2,1 ?? ）的第 k 個觀察值（ ink ?,2,1? ）。因此，（ ipkkiki xxx , 21 ? ）便相當于第 i 組里面的第 k 個觀察所測到的 p 個特性。同樣，我們以兩個總體為例來介紹 Fisher 準則下的線性判別函數(shù)，即 2?r 。 G 1 G 21u 2uu x21 , GGx 被誤判來自來自樣品7598d14e6a212b8db2b4f9258f0234b1 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 20 of 44 圖 Fisher 線性判別分析示意圖 圖 所示為 2,2 ?? pr 的情況，它是僅有兩組且每組只有兩個特性的簡單情況，可以在平面上示意出來。符號“ *”代表一組，而符號“ +”則代表另一組。一個簡單的想法是：我們不妨在這個平面上畫一條直線 L ，能將兩組盡可能地分開，一組為這條直線的這一邊，另一組為這條直線的另一邊。若有一個新來的點 ),( 21 pzzzz ?? ，我們就將 z 點畫在圖上，看它是靠近“ *”號近一些還是靠近“ +”號近一些。如果我們找到了一條最具有鑒別力的直線 L ，我們只需要看這個新來的 z 點在這條直線 L 的這一邊還是另一邊即可判別歸于哪一個組。這其實就是 Fisher 線性判別分析的主要思想。其中的技術部分，則是找出一個最具有鑒別力的線性判別函數(shù)。如果 2?p ，則我們便可得到一個如下的線性方程式： pp xaxaxaa ???? ?22110 () 問題的關鍵是如何找出這個最具有鑒別力的線性判別函數(shù)。顯然，我們需要通過已經(jīng)觀察到的資料來訓練出這個有鑒別力的線性判別函數(shù)。設 ),( 21 paaaa ??? ，則 xay ?? 。將每個觀察到的資料代入到線性函數(shù)中得到變量 y 值： i p kpkikiik xaxaxay ???? ?2211 () 從本質(zhì)上說，這是將 p 維數(shù)據(jù)投影到某個具體方向 a 上。因此，一條第 i 組第 k 個的 p 維觀察數(shù)據(jù)變成了一個投 影點 iky 數(shù)據(jù)。我們考慮所有數(shù)據(jù)點 iky 的總變異之和（方差）： 7598d14e6a212b8db2b4f9258f0234b1 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 21 of 44 21 1 )( yySSTrink iki ?? ? ?? ? () 其中， y 為所有 r 組的總均值，即 xay ?? 。對 SST 進行方差的平方和分解，分成組內(nèi)方差 SSE 和組間方 差 SSR ，如下所示： SSRSSEyynyySST ri iiirink iki?????? ?? ??? ? 1221 1)()( () 其中， iy 表示第 i 組的均值，即 ii xay ?? ，稱為組內(nèi)均值。組間方差 SSR 代表了系統(tǒng)因素引起的變異，而組內(nèi)方差 SSE 代表了隨機因素引起的變異。因此，我們應該選的 a ，要能夠使得： m a x)()()(11221 112???????????? ????? ??riiriiiirinkikriiiaVaxaxanyyyynSSESSRi () 達到最大。其中， ix 為第 i 組的均值， x 為所有組的均值， iV 為第 i 組的協(xié)方差矩陣。即表示組與組之間系統(tǒng)因素引起的變異 SSR 比組內(nèi)隨機因素引起的變異 SSE 達到了最大值，此時才能使不同組之間的鑒別力達到最大。 下面我們看如何求出判別函數(shù) xay ?? 中的系數(shù) a 來。同樣，我們?nèi)砸詢蓚€總體為例來求解系數(shù) a 。設兩個總體的均值分別為 1u 和 2u ，協(xié)方差陣分別為 1V 和 2V 。由公式 ()可得： m a x)( )()(21212121 ???????aVVaauuuua () 事實上，我們只要考慮 k 的一個二次型： 0)()()()()()()()()()()(2)(2121212121212121212121121212212121??????? ??????????? ????????????????????uuVVkaVVuuVVkaVVuuVVuukauuuuakaVVa () 因此： )()()()(4)()(4 2112121212121 uuVVuuaVVaauuuua ??????????? ? () 當且僅當 )()( 21121 uuVVka ??? ?時，等號成立。那么： 7598d14e6a212b8db2b4f9258f0234b1 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 22 of 44 )()()()( )()( 211212121 2121 uuVVuuaVVa auuuua ??????? ???? ? () 當且僅當 )()( 21121 uuVVka ??? ?，式（ ）達到最大值： )()()(21 2112121 uuVVuu ???? ? () 由于 k 為任意實數(shù)，可令 1?k 。這樣我們求得的判別函數(shù)為： xuuVVy )()( 21121 ??? ? () 給出判別函數(shù)以后，我們還要給出判別準則。取各總體均值的加權平均為比較值，即： )()( 2211121 uVuVVVu ??? ? () 相應的劃分為： ? ?0))(()(: 211211 ????? ? uyuuVVyD ? ?0))(()(: 211212 ????? ? uyuuVVyD () 如果不知道兩個總體的特征，即 iu 和 iV 未知，只知道從兩個總體各抽取了 1n 和 2n 個樣品，那么線性判別函數(shù)中的 iu 和 iV 可分別由其無偏估計值代替： xuuVVy )()( 21121 ??? ? () 其中： ??? 11 111 1 nk kynu () ??? 21 222 1 nk kynu () ?? ????? 1 1 111111 ))((11 nk kk uyuynV () ?? ????? 2 1 222222 ))((11 nk kk uyuynV () 相應的判別準則為：取 )()( 2211121 uVuVVVu ??? ? () 相應的劃分為： ? ?0))(()(: 211211 ????? ? uyuuVVyD () 7598d14e6a212b8db2b4f9258f0234b1 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 23 of 44 ? ?0))(()(: 211212 ????? ? uyuuVVyD 同樣，也可以把 Fisher 線性函數(shù)判別推廣到多個總體的情形，就是典型判別分析（ Canonical Discriminant Analysis ）。 七、 應注意的幾個問題 ? 判別分析方法首先根據(jù)已知所屬組的樣本給出判別函數(shù)，并制定判別規(guī)則，然后再判斷每一個新樣品應屬于哪一組。常用的判別方法有距離判別、貝葉斯判別、典型判別等。 ? 從馬氏距離的角度來看 2T 統(tǒng)計量是很直觀的。比如，欲檢驗假設 00 : ???H ，則檢驗的結果取決于樣本均值 x 到總體 ),( 0 ??pN 的平方馬氏距離，這個距離越小，越傾向于接受假設 0H ；反之，這個距離越大，就越傾向于拒絕 0H 。 ? 判別分析中各種誤判的后果允許看作是相同的，而在假設檢驗中，犯兩類錯誤的后果一般是不同的，通常將犯第一類錯誤的后果看得更嚴重些。 八、 Discrim 判別分析過程 對于每個觀測都含有一個或多個定量變量和一個定義觀測組的分類變量的觀測數(shù)據(jù)集，discrim 過程確定一個判別準則把每個觀測分入其中一組。從數(shù)據(jù)集中得出的判別準則在discrim 過程的同一個執(zhí)行過程中可應用于第二個數(shù)據(jù)集。用以得出判別準則的數(shù)據(jù)集稱為訓練數(shù)據(jù)集或標定數(shù)據(jù)集。 discrim 過程一般由下列語句控制： proc discrim 選項列表 。 class 變量 。 by 變量表 。 freq 變量 。 id 變量 。 priors 概率表 。 testclass 變量 。 testfreq 變量 。 testid 變量 。 var 變量表 。 weight 變量 。 run 。 1. proc discrim 語句 選項列表 主要分成有關輸入輸出數(shù)據(jù)集的 2 類選項。 7598d14e6a212b8db2b4f9258f0234b1 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE