【導讀】1．讓學生了解判別分析的背景、基本思想；2．掌握判別分析的基本原理與方法；4．學會應用聚類分析解決實際問題。1．注意判別分析與聚類分析的關系；個體）屬于這幾個已知類型中的哪一個，這類問題通常稱為判別分析。analysis）是根據(jù)所研究個體的某些指標的觀測值來推斷該個體所屬類型的一種統(tǒng)計方法。的化驗結果和病情征兆判斷病人患哪一種疾病，等等。這便是一種判別，其結論可以幫助該公司決策人員及早采取措施，防止將來可能破產(chǎn)的結局。例如在醫(yī)學診斷中，一些疾病可用代價昂貴的化驗和手術。過大的開支和對患有不必要的損傷。要介紹距離判別、Fisher判別和Bayes判別。聚類分析，一批給定樣品要劃分的類型事先并不知道，正需要通過聚類分析來給以確定類型。距離判別法對各類總體分類并無特殊的要求。中抽取1n個樣品，從第二個總體中抽取2n個樣品，每個樣品測量p個指標。

　　

【正文】 ( 2 | 1 , ) (1 | 2 ) (1 | 2 , )L q c P D q c P D?? 211 1 2 2( 2 | 1 ) ( ) (1 | 2 ) ( )DDq c f x d x q c f x d x?? 第 頁 17 1 1 1 22 2 1 1 1 1 1 1( 1 | 2 ) ( ) ( 2 | 1 ) ( ) ( 2 | 1 ) ( ) ( 2 | 1 ) ( )D D D Dq c f x d x q c f x d x q c f x d x q c f x d x? ? ? ?? ? ? ? ? ?1 1 22 2 1 1 1 1( 1 | 2 ) ( ) ( 2 | 1 ) ( ) ( 2 | 1 ) ( )D D Dq c f x q c f x d x q c f x d x?? ? ??? ? ?1 1 22 2 1 1 1 1( 1 | 2 ) ( ) ( 2 | 1 ) ( ) ( 2 | 1 ) ( )D D Dq c f x q c f x d x q c f x d x?? ? ? ? ?1 2 2 1 1 1(1 | 2 ) ( ) ( 2 | 1 ) ( ) ( 2 | 1 )D q c f x q c f x d x q c? ? ?? 由于第二項與 D 無關，要使 L 達到最小，只需第一項達到最小。這只需選擇 1D 為上式中的被積函數(shù)取非正值的范圍即可，即取 1D 為 ? ? 121 2 2 1 1 21( ) ( 1 | 2 )| ( 1 | 2 ) ( ) ( 2 | 1 ) ( ) 0 | ( ) ( 2 | 1 )f x q cD x q c f x q c f x x f x q c??? ? ? ? ????? 此時， 12221( ) (1 | 2 )| ( ) ( 2 | 1)f x q cDx f x q c???????? 因此，兩一般總體的 Bayes 判別如下：對給定的樣品 x ，計算兩總體的概率密度函數(shù)在 x 處的值，判定準則為 1212112221( ) (1 | 2),( ) ( 2 | 1)( ) (1 | 2),( ) ( 2 | 1)f x q cxGf x q cf x q cxGf x q c? ?????? ????若若 下面給出此判別準 則的幾個特例： （ 1）等先驗概率 的 情形 實際應用中，若各總體的先驗 概率分布未知，一般有兩種處理方法，如果訓練樣本是通過隨機觀測得到的，通常取先驗概率為各個訓練樣本的容量占總觀測數(shù)的比例。如果對其先驗概率分布基本不了解，可假定各總體的先驗概率觀測值相等。在兩總體情況下， 即假定 121/2qq?? ，這時 Bayes判別準則為 112122() (1 | 2),( ) ( 2 | 1)() (1 | 2),( ) ( 2 | 1)fx cxGf x cfx cxGf x c? ?????? ????若若 （ 2）等誤判損失的情形 若誤判損失難以確定，通常假定 (1| 2) (2|1)cc? 。這時 Bayes判別準則為 1212112221(),()(),()f x qxGf x qf x qxGf x q? ?????? ????若若 （ 3）等先驗概率及等誤判損失的情形 這時， 121/2qq?? ， (1| 2) (2|1)cc? ，從而 Bayes判別準則為 1 1 22 1 2, ( ) ( ), ( ) ( )x G f x f xx G f x f x???? ??? 若若 應用中，總體的概率密度函數(shù)通常是未知的，我們可用的資料是來自各總體的訓練樣本。通常的作法是利用訓練樣本對總體的概率密度作非參數(shù)估計（如最鄰近估計，核估計等）。由于這些估計涉及較多的第 頁 18 統(tǒng)計和 數(shù)學知識，在此不作進一步介紹。下面只就正態(tài)總體情況作詳細討論。 2．一般總體 設 12,GG為 2個不同的 p 維正態(tài)總體，這時其概率密度為 ? ? ? ? ? ?1 122 1( ) 2 e x p , 1 , 22pi i i i if x x x i? ? ? ??? ????? ? ? ? ? ????? （ 1）若 12? ?? ?? 這時，由距離判別中的相關結論，可得 ? ? ? ? ? ? ? ?111 2 2 2 1 1 12 () 11e x p( ) 2 2fx x x x xfx ? ? ? ???????? ? ? ? ? ? ? ????? 22211e x p ( , ) ( , )2 d X G d X G???????????? ? ?exp ( )WX? 其中， ? ? ? ?11 2 1 21() 2W X x ? ? ? ?????? ? ? ? ????? 從而，前面的 Bayes判別準則為 211221(1 | 2 ), ln( 2 | 1 )(1 | 2 ), ln( 2 | 1 )qcxGqcqcxGqc? ???????? ? ?? ????? ??????若 W(x)若 W(x) 我們看到，在總體服從正態(tài)分布的假定下， Bayes 判別函數(shù)與第二節(jié)的等協(xié)方差矩陣的距離判別函數(shù)是一樣的，只是判別準則中的判別限有所差異，這是因為 Bayes判別考慮了總體的先驗概率分布和誤判損失。若假定了等先驗概率和等誤判損失，則二者就完全一樣了。但值得注意的是距離判別中并未假定 1G 和2G 為正態(tài)總體。 實際應用中，若 12,??? 未知 ，則可以用訓練樣本估計，即用 (1)1? x?? ， (2)2? x?? 以及1 1 2 212( 1) ( 1)? 2n S n Snn? ? ??? ??代替 ()WX中的 12,??? 。 （ 2）若 12??? 經(jīng)推導，可得判別準則為 *1*2 ,x G W Kx G W K? ???? ???? 若 (x)若 (x) 其中， ? ? ? ?* 1 1 1 11 2 1 1 2 21() 2W x x x x??? ? ? ?? ? ?? ? ? ? ? ? ? ? ?， ? ?1 112 1 1 1 2 2 212( 1 | 2 ) 11l n l n( 2 | 1 ) 2 2qcK qc ? ? ? ???????? ??? ? ? ? ? ????? ??? ?? 實際應用中，若 12,??? 未知，則可以用訓練樣本估計，即用 (1)1? x?? ， (2)2? x?? 以及 11? S?? ， 22? S?? 。 3．應用舉例 表數(shù)據(jù)是某氣象站預報某地區(qū)有無春旱的觀測資料， 1x 和 2x 是與氣象有關的綜合預報因子。其中包括春旱發(fā)生的 6個年份的 1x 、 2x 的觀測值和無春旱的 8個年份的相應觀測值。其先驗概率分別用訓練樣本的容量比例確定，即1 614q?和2 814q?，并假定誤判損失 c(1|2)=c(2|1)。試在正態(tài)總體及等協(xié)方差矩陣的假定下建立判別準則。 表 某氣象站預報有無春旱的數(shù)據(jù) 春旱 無春旱 第 頁 19 序號 1x 2x ()Wx 序號 1x 2x ()Wx 1 1 2 2 3 3 4* 4 5 5 6 6 7 8 注： *代表誤判。 解： 情形一：當 12? ?? ?? 時， 由表中數(shù)據(jù)可以求得 (1 )1? ( 2 5 .3 2 , 2 .4 2 )x? ?? ? ?， ( 2 )2? ( 2 2 .0 3, 1 .1 9 )x? ?? ? ?， ( 1 ) ( 2 )12? ? ( 3 .2 9 , 1 .2 3 )xx?? ?? ? ? ? ?， ( 1 ) ( 2 )111222? ?( ) ( ) (2 3 . 6 8 , 1 . 8 1 )xx?? ?? ? ? ? ? 1 20 40 70S ???? ?????，2 70 07 07S ??? ????，1 1212 1 .0 8 0 .2 6? ( 5 7 ) 0 .2 6 0 .1 7SS ???? ? ? ? ?????，1 7 61? 6 ? ???? ???? 21(1 | 2 ) 4ln ln 0 .2 8 8( 2 | 1 ) 3qcqc?? ?????? ?????? 則判別函數(shù) ? ?12 0 .1 7 0 .2 6 3 .2 91( ) 2 3 .6 8 , 1 .8 1 0 .2 6 1 .0 8 1 .2 30 .1 1 6W x x x ? ? ? ?? ? ? ? ? ? ??? ? ? ?? ?121 0. 23 95 0. 47 30 6. 52 70. 11 6 xx? ? ? 為應用方便，令 12( ) 0 .2 3 9 5 0 .4 7 3 0W x x x??。由 ( ) ? 得 ( ) ? ，從而判別準則為 12( ) , 6 .5 6 0( ) , 6 .5 6 0xGxG? ???? ???? 春 旱 若 W(x)無 春 旱 若 W(x) 由此差別準則回判 14個樣品，其 ()Wx的值列入前表中各總體的最后一列。誤判的只有一個，即春旱總體中的第 4號樣品，貌似誤判率只有 1/14 ? 。 情形二：當 12??? 時，由表中數(shù)據(jù)可以求得 因此可以得到： 由 K 的計算公式可得： 第 頁 20 利用此準則對原 14個樣本進行回判得 *W(x) 的值見表 。 表 氣象丫預報有無春旱數(shù)據(jù)的回判結果 序號 1 2 3 4 5 6 7 8 春旱 1G － － － － － － 無春旱 2G － － － － － － － － 由此表可知 ，所有樣本回判結果均無誤，即貌似誤判率為零。由于此題中兩總體的訓練樣本容量均很小，因此還不能簡單地認為 該 判別準則較 前面的 準則為優(yōu)，但從 1? 和 2? 的估計量 12,SS來看，二者確有較大差異，因此認為 12??? 似乎更為合理，而 后者 的計算量要比 前者 大許多。 四、 多總體的 Bayes 判別 略 。 167。 5 逐步判別法 前面所介紹的判別 方法都是用已給的全部變量來建立判別式，但這些變量在判別式中所起的作用，一般來說是不同的，如果將判別能力低微的變量保留在判別式中會干擾判別效果 。 如何篩選出具有顯著判別能力的變量來建立判別式？逐步判別為此提供了一種途徑。 一、 基本思想 其做法與逐步回歸的做法類似，采用“有進有出”的算法，變量按其重要程度逐步引入，原引入的變量也可能由于其后新變量的引入使之喪失重要性而被剔除，每步引入或剔除變量，都作相應的統(tǒng)計檢驗。 二、 引入和剔除變量所選用的統(tǒng)計量 1．引入變量的檢驗統(tǒng)計量 2．刪除變量的檢驗統(tǒng)計量 3．計算步驟 三、 應用舉 例 第 頁 21 167。 6 案例分析 一、 教材中的案例 例：從 1995 年世界各國人文發(fā)展指數(shù)的排序中，選取高發(fā)展水平、中等發(fā)展水平的國家各五個作為兩組樣品，另選四個國家作為待判樣品作距離判別分析。數(shù)據(jù)見教材 P108。 二、 經(jīng)濟管理中的案例 全國 30 個省、市、自治區(qū) ，有 5 個變量，分別為：多孩率、綜合節(jié)育率、初中及以上受教育程度的人口比例、人均國民收入、城鎮(zhèn)人口比例?，F(xiàn)依據(jù)這些變量作為判別變量對各地區(qū)進行判別分析。假設有理由可以斷定其中的一些地區(qū)為一類、二類和三類地區(qū)，但是同時還有一些地區(qū)則很難進行類型歸屬，可以通過分組變 量來反映每個安全的分組屬性。要求根據(jù)已知分組類型的案例建立判別方程，計算各種判別分析統(tǒng)計指標，并在此基礎上完成未知分組屬性的那些個體的判別分析。 附： SPSS軟件中判別分析模型的參數(shù)指標及統(tǒng)計檢驗 1．非標準化判別系數(shù) 判別系數(shù)又稱函數(shù)系數(shù)（ function coefficient），其中還進一步分為兩種：非標準化的和標準化的。非標準化判別系數(shù)（ unstandardized）也稱粗系數(shù)（ raw coefficients）。該系數(shù)的大小由于受到量綱等因素的影響，有時難以區(qū)分變量在判別函數(shù)地位的大小。 2． 標準化判別系數(shù) 以標準化系數(shù)表達的判別函數(shù)不再有常數(shù)項，并且函數(shù)中出現(xiàn)的自變量不再是原始變量，而是標準化的變量。 3．結構系數(shù) 判別分析中的結構系數(shù)（ structural coefficient）又被稱為判別載荷（ discriminant loading） ，它實際上是某個判別變量 ix 與判別值 y 之間的相關系數(shù)，它表達兩者之間的擬合水平。當這個系數(shù)的絕對值很大（接近于 1）時，這個函數(shù)表達的信息與這個變量的信息幾 乎相同。當這個系數(shù)接近于 0 時，它們之間就沒有什么共同之處。 結構系數(shù)有兩種，一種是總結構系數(shù)；另一種是組內結構系數(shù)。 總結構系數(shù)基于總相關之上。它們的用途是在于識別由這些函數(shù)攜帶的在分組間進行判別的信息。 然而，有時需要探求一個函數(shù)與分組內部的變量的緊