【導(dǎo)讀】1．讓學(xué)生了解判別分析的背景、基本思想；2．掌握判別分析的基本原理與方法；4．學(xué)會(huì)應(yīng)用聚類(lèi)分析解決實(shí)際問(wèn)題。1．注意判別分析與聚類(lèi)分析的關(guān)系；個(gè)體）屬于這幾個(gè)已知類(lèi)型中的哪一個(gè)，這類(lèi)問(wèn)題通常稱為判別分析。analysis）是根據(jù)所研究個(gè)體的某些指標(biāo)的觀測(cè)值來(lái)推斷該個(gè)體所屬類(lèi)型的一種統(tǒng)計(jì)方法。的化驗(yàn)結(jié)果和病情征兆判斷病人患哪一種疾病，等等。這便是一種判別，其結(jié)論可以幫助該公司決策人員及早采取措施，防止將來(lái)可能破產(chǎn)的結(jié)局。例如在醫(yī)學(xué)診斷中，一些疾病可用代價(jià)昂貴的化驗(yàn)和手術(shù)。過(guò)大的開(kāi)支和對(duì)患有不必要的損傷。要介紹距離判別、Fisher判別和Bayes判別。聚類(lèi)分析，一批給定樣品要?jiǎng)澐值念?lèi)型事先并不知道，正需要通過(guò)聚類(lèi)分析來(lái)給以確定類(lèi)型。距離判別法對(duì)各類(lèi)總體分類(lèi)并無(wú)特殊的要求。中抽取1n個(gè)樣品，從第二個(gè)總體中抽取2n個(gè)樣品，每個(gè)樣品測(cè)量p個(gè)指標(biāo)。

　　

【正文】 ( 2 | 1 , ) (1 | 2 ) (1 | 2 , )L q c P D q c P D?? 211 1 2 2( 2 | 1 ) ( ) (1 | 2 ) ( )DDq c f x d x q c f x d x?? 第 頁(yè) 17 1 1 1 22 2 1 1 1 1 1 1( 1 | 2 ) ( ) ( 2 | 1 ) ( ) ( 2 | 1 ) ( ) ( 2 | 1 ) ( )D D D Dq c f x d x q c f x d x q c f x d x q c f x d x? ? ? ?? ? ? ? ? ?1 1 22 2 1 1 1 1( 1 | 2 ) ( ) ( 2 | 1 ) ( ) ( 2 | 1 ) ( )D D Dq c f x q c f x d x q c f x d x?? ? ??? ? ?1 1 22 2 1 1 1 1( 1 | 2 ) ( ) ( 2 | 1 ) ( ) ( 2 | 1 ) ( )D D Dq c f x q c f x d x q c f x d x?? ? ? ? ?1 2 2 1 1 1(1 | 2 ) ( ) ( 2 | 1 ) ( ) ( 2 | 1 )D q c f x q c f x d x q c? ? ?? 由于第二項(xiàng)與 D 無(wú)關(guān)，要使 L 達(dá)到最小，只需第一項(xiàng)達(dá)到最小。這只需選擇 1D 為上式中的被積函數(shù)取非正值的范圍即可，即取 1D 為 ? ? 121 2 2 1 1 21( ) ( 1 | 2 )| ( 1 | 2 ) ( ) ( 2 | 1 ) ( ) 0 | ( ) ( 2 | 1 )f x q cD x q c f x q c f x x f x q c??? ? ? ? ????? 此時(shí)， 12221( ) (1 | 2 )| ( ) ( 2 | 1)f x q cDx f x q c???????? 因此，兩一般總體的 Bayes 判別如下：對(duì)給定的樣品 x ，計(jì)算兩總體的概率密度函數(shù)在 x 處的值，判定準(zhǔn)則為 1212112221( ) (1 | 2),( ) ( 2 | 1)( ) (1 | 2),( ) ( 2 | 1)f x q cxGf x q cf x q cxGf x q c? ?????? ????若若 下面給出此判別準(zhǔn) 則的幾個(gè)特例： （ 1）等先驗(yàn)概率 的 情形 實(shí)際應(yīng)用中，若各總體的先驗(yàn) 概率分布未知，一般有兩種處理方法，如果訓(xùn)練樣本是通過(guò)隨機(jī)觀測(cè)得到的，通常取先驗(yàn)概率為各個(gè)訓(xùn)練樣本的容量占總觀測(cè)數(shù)的比例。如果對(duì)其先驗(yàn)概率分布基本不了解，可假定各總體的先驗(yàn)概率觀測(cè)值相等。在兩總體情況下， 即假定 121/2qq?? ，這時(shí) Bayes判別準(zhǔn)則為 112122() (1 | 2),( ) ( 2 | 1)() (1 | 2),( ) ( 2 | 1)fx cxGf x cfx cxGf x c? ?????? ????若若 （ 2）等誤判損失的情形 若誤判損失難以確定，通常假定 (1| 2) (2|1)cc? 。這時(shí) Bayes判別準(zhǔn)則為 1212112221(),()(),()f x qxGf x qf x qxGf x q? ?????? ????若若 （ 3）等先驗(yàn)概率及等誤判損失的情形 這時(shí)， 121/2qq?? ， (1| 2) (2|1)cc? ，從而 Bayes判別準(zhǔn)則為 1 1 22 1 2, ( ) ( ), ( ) ( )x G f x f xx G f x f x???? ??? 若若 應(yīng)用中，總體的概率密度函數(shù)通常是未知的，我們可用的資料是來(lái)自各總體的訓(xùn)練樣本。通常的作法是利用訓(xùn)練樣本對(duì)總體的概率密度作非參數(shù)估計(jì)（如最鄰近估計(jì)，核估計(jì)等）。由于這些估計(jì)涉及較多的第 頁(yè) 18 統(tǒng)計(jì)和 數(shù)學(xué)知識(shí)，在此不作進(jìn)一步介紹。下面只就正態(tài)總體情況作詳細(xì)討論。 2．一般總體 設(shè) 12,GG為 2個(gè)不同的 p 維正態(tài)總體，這時(shí)其概率密度為 ? ? ? ? ? ?1 122 1( ) 2 e x p , 1 , 22pi i i i if x x x i? ? ? ??? ????? ? ? ? ? ????? （ 1）若 12? ?? ?? 這時(shí)，由距離判別中的相關(guān)結(jié)論，可得 ? ? ? ? ? ? ? ?111 2 2 2 1 1 12 () 11e x p( ) 2 2fx x x x xfx ? ? ? ???????? ? ? ? ? ? ? ????? 22211e x p ( , ) ( , )2 d X G d X G???????????? ? ?exp ( )WX? 其中， ? ? ? ?11 2 1 21() 2W X x ? ? ? ?????? ? ? ? ????? 從而，前面的 Bayes判別準(zhǔn)則為 211221(1 | 2 ), ln( 2 | 1 )(1 | 2 ), ln( 2 | 1 )qcxGqcqcxGqc? ???????? ? ?? ????? ??????若 W(x)若 W(x) 我們看到，在總體服從正態(tài)分布的假定下， Bayes 判別函數(shù)與第二節(jié)的等協(xié)方差矩陣的距離判別函數(shù)是一樣的，只是判別準(zhǔn)則中的判別限有所差異，這是因?yàn)?Bayes判別考慮了總體的先驗(yàn)概率分布和誤判損失。若假定了等先驗(yàn)概率和等誤判損失，則二者就完全一樣了。但值得注意的是距離判別中并未假定 1G 和2G 為正態(tài)總體。 實(shí)際應(yīng)用中，若 12,??? 未知 ，則可以用訓(xùn)練樣本估計(jì)，即用 (1)1? x?? ， (2)2? x?? 以及1 1 2 212( 1) ( 1)? 2n S n Snn? ? ??? ??代替 ()WX中的 12,??? 。 （ 2）若 12??? 經(jīng)推導(dǎo)，可得判別準(zhǔn)則為 *1*2 ,x G W Kx G W K? ???? ???? 若 (x)若 (x) 其中， ? ? ? ?* 1 1 1 11 2 1 1 2 21() 2W x x x x??? ? ? ?? ? ?? ? ? ? ? ? ? ? ?， ? ?1 112 1 1 1 2 2 212( 1 | 2 ) 11l n l n( 2 | 1 ) 2 2qcK qc ? ? ? ???????? ??? ? ? ? ? ????? ??? ?? 實(shí)際應(yīng)用中，若 12,??? 未知，則可以用訓(xùn)練樣本估計(jì)，即用 (1)1? x?? ， (2)2? x?? 以及 11? S?? ， 22? S?? 。 3．應(yīng)用舉例 表數(shù)據(jù)是某氣象站預(yù)報(bào)某地區(qū)有無(wú)春旱的觀測(cè)資料， 1x 和 2x 是與氣象有關(guān)的綜合預(yù)報(bào)因子。其中包括春旱發(fā)生的 6個(gè)年份的 1x 、 2x 的觀測(cè)值和無(wú)春旱的 8個(gè)年份的相應(yīng)觀測(cè)值。其先驗(yàn)概率分別用訓(xùn)練樣本的容量比例確定，即1 614q?和2 814q?，并假定誤判損失 c(1|2)=c(2|1)。試在正態(tài)總體及等協(xié)方差矩陣的假定下建立判別準(zhǔn)則。 表 某氣象站預(yù)報(bào)有無(wú)春旱的數(shù)據(jù) 春旱 無(wú)春旱 第 頁(yè) 19 序號(hào) 1x 2x ()Wx 序號(hào) 1x 2x ()Wx 1 1 2 2 3 3 4* 4 5 5 6 6 7 8 注： *代表誤判。 解： 情形一：當(dāng) 12? ?? ?? 時(shí)， 由表中數(shù)據(jù)可以求得 (1 )1? ( 2 5 .3 2 , 2 .4 2 )x? ?? ? ?， ( 2 )2? ( 2 2 .0 3, 1 .1 9 )x? ?? ? ?， ( 1 ) ( 2 )12? ? ( 3 .2 9 , 1 .2 3 )xx?? ?? ? ? ? ?， ( 1 ) ( 2 )111222? ?( ) ( ) (2 3 . 6 8 , 1 . 8 1 )xx?? ?? ? ? ? ? 1 20 40 70S ???? ?????，2 70 07 07S ??? ????，1 1212 1 .0 8 0 .2 6? ( 5 7 ) 0 .2 6 0 .1 7SS ???? ? ? ? ?????，1 7 61? 6 ? ???? ???? 21(1 | 2 ) 4ln ln 0 .2 8 8( 2 | 1 ) 3qcqc?? ?????? ?????? 則判別函數(shù) ? ?12 0 .1 7 0 .2 6 3 .2 91( ) 2 3 .6 8 , 1 .8 1 0 .2 6 1 .0 8 1 .2 30 .1 1 6W x x x ? ? ? ?? ? ? ? ? ? ??? ? ? ?? ?121 0. 23 95 0. 47 30 6. 52 70. 11 6 xx? ? ? 為應(yīng)用方便，令 12( ) 0 .2 3 9 5 0 .4 7 3 0W x x x??。由 ( ) ? 得 ( ) ? ，從而判別準(zhǔn)則為 12( ) , 6 .5 6 0( ) , 6 .5 6 0xGxG? ???? ???? 春 旱 若 W(x)無(wú) 春 旱 若 W(x) 由此差別準(zhǔn)則回判 14個(gè)樣品，其 ()Wx的值列入前表中各總體的最后一列。誤判的只有一個(gè)，即春旱總體中的第 4號(hào)樣品，貌似誤判率只有 1/14 ? 。 情形二：當(dāng) 12??? 時(shí)，由表中數(shù)據(jù)可以求得 因此可以得到： 由 K 的計(jì)算公式可得： 第 頁(yè) 20 利用此準(zhǔn)則對(duì)原 14個(gè)樣本進(jìn)行回判得 *W(x) 的值見(jiàn)表 。 表 氣象丫預(yù)報(bào)有無(wú)春旱數(shù)據(jù)的回判結(jié)果 序號(hào) 1 2 3 4 5 6 7 8 春旱 1G － － － － － － 無(wú)春旱 2G － － － － － － － － 由此表可知 ，所有樣本回判結(jié)果均無(wú)誤，即貌似誤判率為零。由于此題中兩總體的訓(xùn)練樣本容量均很小，因此還不能簡(jiǎn)單地認(rèn)為 該 判別準(zhǔn)則較 前面的 準(zhǔn)則為優(yōu)，但從 1? 和 2? 的估計(jì)量 12,SS來(lái)看，二者確有較大差異，因此認(rèn)為 12??? 似乎更為合理，而 后者 的計(jì)算量要比 前者 大許多。 四、 多總體的 Bayes 判別 略 。 167。 5 逐步判別法 前面所介紹的判別 方法都是用已給的全部變量來(lái)建立判別式，但這些變量在判別式中所起的作用，一般來(lái)說(shuō)是不同的，如果將判別能力低微的變量保留在判別式中會(huì)干擾判別效果 。 如何篩選出具有顯著判別能力的變量來(lái)建立判別式？逐步判別為此提供了一種途徑。 一、 基本思想 其做法與逐步回歸的做法類(lèi)似，采用“有進(jìn)有出”的算法，變量按其重要程度逐步引入，原引入的變量也可能由于其后新變量的引入使之喪失重要性而被剔除，每步引入或剔除變量，都作相應(yīng)的統(tǒng)計(jì)檢驗(yàn)。 二、 引入和剔除變量所選用的統(tǒng)計(jì)量 1．引入變量的檢驗(yàn)統(tǒng)計(jì)量 2．刪除變量的檢驗(yàn)統(tǒng)計(jì)量 3．計(jì)算步驟 三、 應(yīng)用舉 例 第 頁(yè) 21 167。 6 案例分析 一、 教材中的案例 例：從 1995 年世界各國(guó)人文發(fā)展指數(shù)的排序中，選取高發(fā)展水平、中等發(fā)展水平的國(guó)家各五個(gè)作為兩組樣品，另選四個(gè)國(guó)家作為待判樣品作距離判別分析。數(shù)據(jù)見(jiàn)教材 P108。 二、 經(jīng)濟(jì)管理中的案例 全國(guó) 30 個(gè)省、市、自治區(qū) ，有 5 個(gè)變量，分別為：多孩率、綜合節(jié)育率、初中及以上受教育程度的人口比例、人均國(guó)民收入、城鎮(zhèn)人口比例?，F(xiàn)依據(jù)這些變量作為判別變量對(duì)各地區(qū)進(jìn)行判別分析。假設(shè)有理由可以斷定其中的一些地區(qū)為一類(lèi)、二類(lèi)和三類(lèi)地區(qū)，但是同時(shí)還有一些地區(qū)則很難進(jìn)行類(lèi)型歸屬，可以通過(guò)分組變 量來(lái)反映每個(gè)安全的分組屬性。要求根據(jù)已知分組類(lèi)型的案例建立判別方程，計(jì)算各種判別分析統(tǒng)計(jì)指標(biāo)，并在此基礎(chǔ)上完成未知分組屬性的那些個(gè)體的判別分析。 附： SPSS軟件中判別分析模型的參數(shù)指標(biāo)及統(tǒng)計(jì)檢驗(yàn) 1．非標(biāo)準(zhǔn)化判別系數(shù) 判別系數(shù)又稱函數(shù)系數(shù)（ function coefficient），其中還進(jìn)一步分為兩種：非標(biāo)準(zhǔn)化的和標(biāo)準(zhǔn)化的。非標(biāo)準(zhǔn)化判別系數(shù)（ unstandardized）也稱粗系數(shù)（ raw coefficients）。該系數(shù)的大小由于受到量綱等因素的影響，有時(shí)難以區(qū)分變量在判別函數(shù)地位的大小。 2． 標(biāo)準(zhǔn)化判別系數(shù) 以標(biāo)準(zhǔn)化系數(shù)表達(dá)的判別函數(shù)不再有常數(shù)項(xiàng)，并且函數(shù)中出現(xiàn)的自變量不再是原始變量，而是標(biāo)準(zhǔn)化的變量。 3．結(jié)構(gòu)系數(shù) 判別分析中的結(jié)構(gòu)系數(shù)（ structural coefficient）又被稱為判別載荷（ discriminant loading） ，它實(shí)際上是某個(gè)判別變量 ix 與判別值 y 之間的相關(guān)系數(shù)，它表達(dá)兩者之間的擬合水平。當(dāng)這個(gè)系數(shù)的絕對(duì)值很大（接近于 1）時(shí)，這個(gè)函數(shù)表達(dá)的信息與這個(gè)變量的信息幾 乎相同。當(dāng)這個(gè)系數(shù)接近于 0 時(shí)，它們之間就沒(méi)有什么共同之處。 結(jié)構(gòu)系數(shù)有兩種，一種是總結(jié)構(gòu)系數(shù)；另一種是組內(nèi)結(jié)構(gòu)系數(shù)。 總結(jié)構(gòu)系數(shù)基于總相關(guān)之上。它們的用途是在于識(shí)別由這些函數(shù)攜帶的在分組間進(jìn)行判別的信息。 然而，有時(shí)需要探求一個(gè)函數(shù)與分組內(nèi)部的變量的緊