【正文】 ??? 21 222 1 nk kynu () ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 10 of 70 ?? ????? 1 1 111111 ))((11 nk kk uyuynV () ?? ????? 2 1 222222 ))((11 nk kk uyuynV () 相 應(yīng)的判別準(zhǔn)則為：取 )()( 2211121 uVuVVVu ??? ? () 相應(yīng)的劃分為： ? ?0))(()(: 211211 ????? ? uyuuVVyD ? ?0))(()(: 211212 ????? ? uyuuVVyD () 同樣，也可以把 Fisher 線性函數(shù)判別推廣到多個(gè)總體的情形，就是典型判別分析（ Canonical Discriminant Analysis ）。那么 ： )()()()( )()( 211212121 2121 uuVVuuaVVa auuuua ??????? ???? ? () 當(dāng)且僅當(dāng) )()( 21121 uuVVka ??? ?， 式 （ ）達(dá)到最大值： )()()(21 2112121 uuVVuu ???? ? () 由于 k 為任意實(shí)數(shù)，可令 1?k 。設(shè)兩個(gè)總 體的均值分別為 1u 和 2u ，協(xié)方差陣分別為 1V 和 2V 。 下面我們看如何求出判別函數(shù) xay ?? 中的系數(shù) a 來。其中， ix 為第 i 組的均值， x 為所有組的均值， iV 為第 i 組的協(xié)方差矩陣。組間方 差 SSR 代表了系統(tǒng)因素引起的變異，而組內(nèi)方差 SSE 代表了隨機(jī)因素引起的變異。我們考慮所有數(shù)據(jù)點(diǎn) iky 的總變異之和（方差）： 21 1 )( yySSTrink iki ?? ? ?? ? () 其中， y 為所有 r 組的總均值，即 xay ?? 。將每個(gè)觀察到的資料代入到線性函數(shù)中得到變量 y 值： i p kpkikiik xaxaxay ???? ?2211 () 從本質(zhì)上說，這是將 p 維數(shù)據(jù)投影到某個(gè)具體方向 a 上。顯然，我們需要通過已經(jīng)觀察到的資料來訓(xùn)練出這個(gè)有鑒別力的線性判別函數(shù)。其中的技術(shù)部分，則是找出一個(gè)最具有鑒別力的線性判別函數(shù)。如果我們找到了一條最具有鑒別力的直線 L ，我們只需要看這個(gè)新來的 z 點(diǎn)在這條直線 L 的這一邊還是另一邊即可判別歸于哪一個(gè)組。一個(gè)簡單的想法是：我們不妨在這個(gè)平面上畫一條直線 L ，能將兩組盡可能地分開，一組為這條直線的這一邊，另一組為這條直線的另一邊。 圖 Fisher 線性判別分析示意圖 圖 所示為 2,2 ?? pr 的情況，它是僅有兩組且每組只有兩個(gè)特性的簡單情況，可以在平面上示意出來。因此，（ ipkkiki xxx , 21 ? ）便相當(dāng)于第 i 組里面的第 k 個(gè)觀察所測到的 p 個(gè)特性。 設(shè)我們觀察到的資料為一個(gè) p 維向量 ),( 21 ?? pxxxx ? 。如果判別函數(shù)比較復(fù)雜，那么在實(shí)際使用中就非常不方便，因此為方便起見，有時(shí)尋找 在某種意義下為最優(yōu)的線性判別函數(shù)。它們?yōu)?： ? ? ? ?VuuPVuuP ,1 2211 ?????? () 這里 ， ? 是正態(tài)分布的累積分布函數(shù)。 圖 381 二類判別誤判概率圖 所謂誤判概率的問題是：定義誤判概率 21,PP ， 1P 表示原是第一類的樣品，而誤判為第二類的概率； 2P 表示原是第二類的樣品，而誤判為第一類的概率。如果某樣品 X 來自 1G ，但是 在 2 21 uuu ?? 的右邊，那么根據(jù)判別函數(shù) )()2()(21121 uuVuuyyw ????? ?和判別規(guī)則 將判斷它來自 2G ，這時(shí)就發(fā)生了誤判。 5. 誤判的概率 下 面我們?nèi)砸哉龖B(tài)總體為例簡單討論一下誤判的概率。則距離 ??2k? 的估計(jì)就可以表示 為 ： ? ?? ? ? ?? ?kkk XXSXXXd ???? ? 1)( () 對于判別準(zhǔn)則：對于任一組待判樣品 X ，利用式（ ）計(jì)算 ? ? gkXd k ,2,1, ?? ，記 ： ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 6 of 70 ? ? ? ? ? ? ? ?? ?XdXdXdXd gj ,m i n 21 ?? () 若 ? ?Xdj 為最小，則判樣品 X 屬于第 j 類。 與兩類判別同理，計(jì)算 X 與各類的重心（平均向量） ??k? 之間的 Mahalanobis 距離為 ： ? ? ? ?? ? ? ?? ? gkXX kkk ,2,1,12 ???????? ? ?? () 若有 ??2j? 為最小，則判 X 屬于第 j 類。假設(shè)各組樣品都是相互獨(dú)立的正態(tài)隨機(jī)變量，即 ： ? ? ? ? ? ? ? ? ? ?? ?kkkpikiki NXXX ?,~),( 21 ?? () 其中 ， ??k? 是第 k 類的 p 個(gè)變量的數(shù)學(xué)期望（向量），矩陣 ??k? 是相應(yīng)于第 k 類的 p 個(gè)變量的協(xié)方差矩陣，假定這 g 個(gè)協(xié)方差矩陣是一樣 的 ，即 ? ? ? ? ? ? ???????? g?21 。但是，許多實(shí)際問題所提出的可能是多類判別的問題。 在接受原假設(shè) H0的情況下，使用式 ()的線性判別函數(shù)進(jìn)行判別分析；線性判別函數(shù))(yw 中的 1u 、 2u 和 V 可分別由其無偏估計(jì)值代替： )()2()( 21121 uuVuuyyw ????? ? () 其中： ??? 1111 1 ni ixnu () ??? 2122 1 ni iynu () ?????? ?????????? ?? ?? 21 1 221 1121 ))(())((21 ni iini ii uyuyuxuxnnV () 在接受假設(shè) H1的情況下，使用二次判別函數(shù)進(jìn)行判別分 析；二次判別函數(shù)中的 1u 、 2u 和1V 、 2V 可分別由其無偏估計(jì)值代替： ??? 1111 1 ni ixnu () ??? 2122 1 ni iynu () ?? ????? 11 1111 ))((11 ni ii uxuxnV () ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 5 of 70 ?? ????? 21 2222 ))((11 ni ii uyuynV () 其實(shí)，可以 很容易把距離判別推廣到多個(gè)總體的情形。假定： 原假設(shè) 210 : VVH ? 備選假設(shè) 211 : VVH ? 則檢驗(yàn)統(tǒng)計(jì)量 M 為 ： 1ln)1(2ln)2(212121 ???????? ?? iii i nSnnn SnnM () ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 4 of 70 其中， S 為估計(jì)合并協(xié)方差陣， iS 為第 i 組內(nèi)的估計(jì)協(xié)方差陣。如果有VVV ?? 21 ，就利用線性判別函數(shù)進(jìn)行判別分析，否則，就利用二次判別函數(shù)判別。 一般情況下，我們并不知道兩個(gè)總體的特征，即 1u 、 2u 和 1V 、 2V 是未知的，只有從兩個(gè)總體 中 抽取 樣品，假設(shè)從兩個(gè)總體各抽取了 1n 和 2n 個(gè)樣品1, 21 nxxx ?；2, 21 nyyy ?。這樣判別準(zhǔn)則就變成為判斷式 ()是取正還是取負(fù)的問題了。即判別 準(zhǔn)則為：如果 ),(),( 21 GydGyd ? ，則 1Gy ? ；如果 ),(),( 21 GydGyd ? ，則 2Gy ? ?，F(xiàn)在對于一個(gè)新的樣品 y ，我們要判斷它來自哪個(gè)總體。 若 1u 、 2u 和 V 已知 ，則 )(yw 是 y 的線性函數(shù)，稱為線性判別函數(shù)。多元統(tǒng)計(jì)分析中最著名的一個(gè)距離是由馬哈拉諾比斯（ Mahalanobis）提出的，習(xí)慣上稱為馬氏距離。 最直觀的方法就是計(jì)算 y 到兩個(gè)總體的距離 ),( 1Gyd 和 ),( 2Gyd ，并按下述規(guī)則判斷：如果 ),(),( 21 GydGyd ? ，則 1Gy? ；如果 ),(),( 21 GydGyd ? ，則 2Gy? 。設(shè)有兩個(gè)協(xié)方差 V 相同的正態(tài)總體 1G 和 2G ，它們的分布分別是 ),( 1 VuN 和 ),( 2 VuN 。如果此最大后驗(yàn)概率小于指定的 閾 值（ threshold），則將樣品 x 判歸于除 k 組以外的其他組。這里 ： ??? ???? 全相等若各組協(xié)方差陣 不全相等若各組協(xié)方差陣iiieig 0l og () ??? ?? 全相等若各組先驗(yàn)概率 不全相等若各組先驗(yàn)概率iiiei ppph 0l og2 () 一個(gè)樣品 x 判歸于第 i 組，是因?yàn)闃悠?x 在這個(gè) i 組得到的后驗(yàn)概率 )|( xGp i 為最大值，或者這個(gè)樣品 x 至第 i 組的廣義平方距離 )(2 xDi 為最小值。此時(shí)，樣品 x 來自組 iG 的概率密度 函數(shù)為： ? ?),( x p)2()( 22/12/ iiipi Gxdxf ??? ??? () 其中， )()(),( 12 iiiii xxGxd ?? ????? ?的幾何意義為 x 到 i 組均值的平方距離。 1. 貝葉斯理論 距離判別分析利用貝葉斯理論計(jì)算樣品 x 屬于每一組的先驗(yàn)概率已知，且在 x 處的組密度可以估計(jì)時(shí)，屬于某組的后驗(yàn)概率。下面我們介紹 : ? 距離判別分析方法 ? Fisher 線性函數(shù)判別方法 一、 距離 判別分析 如果假設(shè)每組內(nèi)分布為多元正態(tài)分布，基于多元正態(tài)分布理論的參數(shù)法將導(dǎo)出一個(gè)線性或二次的距離判別函數(shù)。它產(chǎn)生于20 世紀(jì) 30 年代，近年來，在許多現(xiàn)代自然科學(xué)的各個(gè)分支和技術(shù)部門中得到廣泛的應(yīng)用。ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 1 of 70 第三十八課 判別分析 判別分析方法的任務(wù)是根據(jù)已掌握的一批分類明確的樣品，建立一個(gè)較好的判別函數(shù)，使得用此判別函數(shù)進(jìn)行判別時(shí)錯(cuò)判事例最少，進(jìn)而能用此判別函數(shù)對給定的一個(gè)新樣品判別它來自哪個(gè)總體。 判別分析（ Discriminate Analysis）是用以判別個(gè)體所屬類體的一種統(tǒng)計(jì)方法。 判別分析方法通常要給出一個(gè)判別指標(biāo) —— 判別函 數(shù)，同時(shí)還要指定一種判別規(guī)則。否則，將采用不基于任何分布假設(shè)的非參數(shù)方法。設(shè)有 k 個(gè)組 kGGG , 21 ? ，且組 iG 的概率密度為)(xfi ，樣品 x 來自組 iG 的先驗(yàn)概率為 kipi ,2,1, ?? ，滿足 11 ???ki ip ，那么根據(jù)貝葉斯理論，樣品 x 屬于組 iG 的后驗(yàn)概率為： ? ?? ki iiiii xfp xfpxGp 1 )()()|( () 如果假設(shè)每組內(nèi) p 維樣品 x 分布為 p 元正態(tài)分布情況，則有 ： kiNG iipi ?,2,1),(~ ??? () 其中， i? 和 i? 分別是第 i 組的均值和協(xié)方差陣。將式()代入式 ()可得： ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 2 of 70 ? ?? ?? ?? ???????????????ki iiiiki iiiiiiiiiGxDGxDGxdpGxdpxGp12212/122/12),( x p),( x p),( x p),( x p)|( () 其中： iiii hgxdxD ??? )()( 22 () 為從樣品 x 至第 i 組的廣義平方距離。這