【正文】 下面討論總體服從正態(tài)分布的情形 ))(l n ()( xiii fqxz ????? ||ln21ln iiq )]()(21 )(1)( iii xx ?? ???? ?問題轉(zhuǎn)化為若 ， 則判 。 )]([m i n)( 1 xPxP ikil ??? lGx?( i )1)(i1)(i μΣμxΣμ ???? ???? 2ln2)( ii qxP xΣμμΣμx 1)(i( i )1)(i ???? ??? 21ln)( ii qm 完全成為距離判別法 。 )]([m a x)( 1 xmxm ikil ??? lGx?當(dāng)先驗(yàn)概率相等， 二、 考慮錯(cuò)判損失的 Bayes判別分析 設(shè)有總體 ， 具有概率密度函 數(shù) 。 iG)(xfiiGiq),2,1( kiG i ??11 ??? kqq ?又 D1， D2， ┅ ， Dk是 R(p)的一個(gè)分劃，判別法則為： 當(dāng)樣品 X落入 Di時(shí)，則判 iDX ? ki ,3,2,1 ?? 關(guān)鍵的問題是尋找 D1， D2， ┅ ， Dk分劃，這個(gè)分劃應(yīng)該使平均錯(cuò)判率最小。 ????jDiij dxxfGDXPijp )()/()/( ji? C(j/i)表示相應(yīng)錯(cuò)判所造成的損失 。 【 定理 】 若總體 G1， G2， ? ， Gk的先驗(yàn)概率為 且相應(yīng)的密度函數(shù)為 ，損失為 時(shí)， 則劃分的 Bayes解為 其中 ? ?kiq i ,3,2,1, ??? ?)(xfi ? ?)/( ijC? ? kihhD jkjii ,3,2,1,)(m in)(| 1 ???? ?? xxx??? ki iij fijCqh 1 )()/()( xx 含義是：當(dāng)抽取了一個(gè)未知總體的樣品值x，要判別它屬于哪個(gè)總體，只要先計(jì)算出 k個(gè)按先驗(yàn)概率加權(quán)的誤判平均損失 然后比較其大小，選取其中最小的，則判定樣 品屬于該總體。 ?? ??12)()2/1()()1/2(),(221121DDdxxfCqdxxfCqDDE C MdxxfCqdxxfCqDR D? ????1 1)()2/1()()1/2( 2211???1)()1/2()1/2( 111DdxxfCqCq??1)()2/1( 22DdxxfCq)1/2(1Cq? ???1)]()1/2()()2/1([ 1122DdxxfCqxfCq 由此可見，要使 ECM最小，被積函數(shù)必須在 D1是負(fù)數(shù)，則有分劃 ? ?0)()1/2()()2/1(| 11221 ??? xfCqxfCqD x ???? 21221)()/1()()2/1()(i iixfiCqfCqh xx????21112 )()/2()()1/2()(iii fiCqfCqh xxx0)()1/2()()2/1( 1122 ?? xfCqxfCqBayes判別準(zhǔn)則為： ??????????dxvdxvGxdxvGx)()()(21若待判若若)2/1(/)1/2()(/)( 1221 CqCqxfxf ?)(/)( 21 xfxfv ? )2/1(/)1/2( 12 CqCqd ?原則上說，考慮損失函數(shù)更為合理，但是在實(shí)際應(yīng)用中C并不容易確定，通常令 這樣一來，尋找后驗(yàn)概率最大和使錯(cuò)判平均損失最小是等價(jià)的。與標(biāo)準(zhǔn) Bayes判別等價(jià) x lG將 C（ j/i)=1代入 得： ??????jijiijC01)/( 下表是某金融機(jī)構(gòu)客戶的個(gè)人資料，這些資料對(duì)一個(gè)金融機(jī)構(gòu)來說，對(duì)于客戶信用度的了解至關(guān)重要，因?yàn)槔眠@些資料，可以挖掘出許多的信息，建立客戶的信用度評(píng)價(jià)體系。 L o a n Y r s a t Y r s a t Y r s a t Y r s a tR e c o r d M o n t h l y M o n t h l y H o m e P r e s e n t P r e v i o u s P r e s e n t P r e v i o u s N o . o fN u m b e r I n c o m e E x p e n s e s O w n e r ? J o b J o b A d d r e s s A d d r e s s D e p e n d . O u t p u t1 3000 1500 0 2 8 6 2 5 32 850 425 1 3 3 25 25 1 33 1000 3000 0 0 . 1 0 . 3 0 . 1 0 . 3 4 14 9000 2250 1 8 4 5 3 2 55 4000 1000 1 3 5 3 2 1 46 3500 2500 0 0 . 5 0 . 5 0 . 5 2 1 17 2200 1200 1 6 3 1 4 1 38 4500 3500 0 8 2 10 1 5 29 1200 1000 0 0 . 5 0 . 5 1 0 . 5 3 110 800 800 0 0 . 1 1 5 1 3 111 7500 3000 1 10 3 10 3 4 512 3000 1000 1 20 5 15 10 1 513 2500 700 1 10 5 15 5 3 514 3000 2600 1 6 1 3 4 2 215 7000 3700 1 10 4 10 1 4 416 3000 2800 0 1 2 3 4 3 117 4500 1500 1 6 4 4 9 3 4原始類 判類 后驗(yàn)概率 1 后驗(yàn)概率 2 后驗(yàn)概率 3 后驗(yàn)概率 4 后驗(yàn)概率 55 5 0 0 0 1 1 04 4 2 2 01 3 1 3 1 1 05 5 3 3 03 3 4 4 1 1 3 3 2 2 04 4 3 3 3 1 0167。 Fisher判別法是根據(jù)方差分析的思想建立起來的一種能較好區(qū)分各個(gè)總體的線性判別法 ，F(xiàn)isher在 1936年提出 。 從兩個(gè)總體中抽取具有 P個(gè)指標(biāo)的樣品觀測數(shù)據(jù)，借助于方差分析的思想構(gòu)造一個(gè)線性判別函數(shù)： pp XCXCXCY ???? ?2211其中系數(shù) 確定的原則是使兩組間的組間離差最大 ， 而每個(gè)組的組內(nèi)離差最小 。 pCCC , 21 ?假設(shè)我們可以得到一個(gè)線性判別函數(shù)： pp xcxcxcy ???? ?2211我們可以把兩個(gè)總體的樣品代入上面的判別式 )1()1( 22)1(11)1( ippiii xcxcxcy ???? ?)2()2( 22)2(11)2( ippiii xcxcxcy ???? ?分別對(duì)上面兩式左右相加 ， 再除以樣品個(gè)數(shù) ， 可得 兩個(gè)總體的重心 : ??? pk kk xcy 1 )1()1( ??? pk kk xcy 1 )2()2( 最佳的線性判別函數(shù)應(yīng)該是：兩個(gè)重心的距離越大越好 ， 兩個(gè)組內(nèi)的離差平方和越小越好 。 由微分學(xué)求極值的必要條件可求出使 I達(dá)到最大值的C C Cp 取對(duì)數(shù) L n FL n QL n I ??011 ??????kk cFFc求導(dǎo)數(shù) kk cFcQI ?????1??????????????????????????????????????????????????ppppppppdddsssssssssccc21212222111211211????????????????????????????????)2()1()2(2)1(2)2(1)1(121ppxxxxxxn ?1?)2()1( kkk xxd ?? 稱 為 典型函數(shù) . pp xcxcxY ??? ?111 )(（三）判別準(zhǔn)則 21)2(2)1(10 nnynyny???定義臨界點(diǎn)為如果由原始數(shù)據(jù) y求得判別函數(shù)得分為 Y*， 對(duì)與一個(gè)樣品代入判別函數(shù)中 ， 若 Y*Y0， 則判給 G1， 否則判給 G2。 則 pp xcxcxY ??? ?11)(m a x)(002 ?????ECCBCCEBC?。 1? ),( 1111 ?? pccC ?Fisher樣品判別函數(shù)是 pp xcxcxY 11111 ??)(? ??? ? 然而，如果組數(shù) k太大，討論的指標(biāo)太多，則一個(gè)判別函數(shù)是不夠的，這時(shí)需要尋找第二個(gè)，甚至第三個(gè)線性判別函數(shù) 其特征向量構(gòu)成第二個(gè)判別函數(shù)的系數(shù)。 第二大的特征根相對(duì)于的最大值是 EBECC BCCEBC ?????002 )(),( 2122 ?? pccC ?pp xcxcxY 21122 ??)(? ??? ?關(guān)于需要幾個(gè)判別函數(shù)的問題，需要累計(jì)判別效率達(dá)到 85％以上，即有 設(shè)