【正文】 26 56 14 3 64 28 56 21 3 43 30 11 01 1 58 40 12 02 1 51 38 19 04 1 67 31 44 14 2 62 28 48 18 3 49 30 14 02 1 51 35 14 02 1 56 30 45 15 2 58 27 41 10 2 50 34 16 04 1 46 32 14 02 1 60 29 45 15 2 57 26 35 10 2 57 44 15 04 1 50 36 14 02 1 77 30 61 23 3 63 34 56 24 3 58 27 51 19 3 57 29 42 13 2 72 30 58 16 3 54 34 15 04 1 52 41 15 01 1 71 30 59 21 3 64 31 55 18 3 60 30 48 18 3 63 29 56 18 3 49 24 33 10 2 56 27 42 13 2 57 30 42 12 2 55 42 14 02 1 49 31 15 02 1 77 26 69 23 3 60 22 50 15 3 54 39 17 04 1 66 29 46 13 2 52 27 39 14 2 60 34 45 16 2 50 34 15 02 1 44 29 14 02 1 50 20 35 10 2 55 24 37 10 2 58 27 39 12 2 47 32 13 02 1 46 31 15 02 1 69 32 57 23 3 62 29 43 13 2 74 28 61 19 3 59 30 42 15 2 51 34 15 02 1 50 35 13 03 1 56 28 49 20 3 60 22 40 10 2 73 29 63 18 3 67 25 58 18 3 49 31 15 01 1 67 31 47 15 2 63 23 44 13 2 54 37 15 02 1 56 30 41 13 2 63 25 49 15 2 61 28 47 12 2 64 29 43 13 2 51 25 30 11 2 57 28 41 13 2 65 30 58 22 3 69 31 54 21 3 54 39 13 04 1 51 35 14 03 1 72 36 61 25 3 65 32 51 20 3 61 29 47 14 2 56 29 36 13 2 69 31 49 15 2 64 27 53 19 3 68 30 55 21 3 55 25 40 13 2 48 34 16 02 1 48 30 14 01 1 45 23 13 03 1 57 25 50 20 3 57 38 17 03 1 51 38 15 03 1 55 23 40 13 2 66 30 44 14 2 68 28 48 14 2 54 34 17 02 1 51 37 15 04 1 52 35 15 02 1 58 28 51 24 3 67 30 50 17 2 63 33 60 25 3 53 37 15 02 1 ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 16 of 70 1. 建立數(shù)據(jù)，程序如下 ： proc format。如果省略 var語句，分析將包括未在其他語句中列出的全部定量變量。 2. 一般語句 ? class 語句 —— class 變量的值定義分析的組。 ? stdmean—— 全樣本和合并的類內(nèi)標(biāo)準(zhǔn)化類均值。 ? wsscp—— 每一類水平的類內(nèi)修正 sscp 陣。 ? wcov—— 每一類水平的類內(nèi)協(xié)方差。 ? wcorr—— 每一類水平的類內(nèi)相關(guān)。默認(rèn)值為 singular =108。如果指定 ncan＝ 0，過程打印典型相關(guān)而不是典型系數(shù)、結(jié)構(gòu)或均值。 ? out=數(shù)據(jù)集名 —— 生成一個(gè)包含原始數(shù)據(jù)和典型變量得分的 SAS 數(shù)據(jù)集。可以利用 print 過程列出這些值，還可以用 plot 過程作出典型變量對的散點(diǎn)圖以助于直觀地解釋組的不同。采用 F 近似值比一般的 2? 近似值能給出更好的小樣本結(jié)果。典型判別分析相當(dāng)于執(zhí)行了以下步驟： ? 變換變量使合并的類內(nèi)協(xié)方差陣為單位陣； ? 計(jì)算變換后的變量的類均值； ? 對均值做主成 分 分析，以每一類中的觀察個(gè)數(shù)為權(quán)重； ? 特征值等于每一個(gè)主成 分 方向上的類間偏差與類內(nèi)偏差之比； ? 把主成 分 變量反變換到原始變量的空間，獲得典型變量。線性組合定義的變量稱為第一典型變量或典型成 分 。 典型判別分析是與主成 分 分析和典型相關(guān)有關(guān)的降維方法。 4. 其他主要語句 ? var 語句 —— 指定用于進(jìn)行判別分析的變量子集，建立起關(guān)于此變量子集的判別函數(shù)式。 ? r=數(shù)值 —— 為核密度估計(jì)指定一個(gè)半徑 r 值。 ? anova 和 manova 選項(xiàng) —— 分別要求輸出對各類的單個(gè)變量與多個(gè)變量的均數(shù)、均值向量之間進(jìn)行一元或多元方差分析的結(jié)果，其作用就是檢驗(yàn)判別函數(shù)的判別效果。如果 pool=test 而 slpool＝未指定，顯著水平為 。 ? pool= no| test | yes—— 確定平方距離的度量，是以合并協(xié)方差陣還是組內(nèi)協(xié)方差陣為基礎(chǔ)，默認(rèn)值為 pool= yes。當(dāng) canonical選項(xiàng)指定時(shí)，該數(shù)據(jù)集還包括典型變量得分的新變量。當(dāng) canonical選項(xiàng)指定時(shí)，該數(shù)據(jù)集還包含典型變量得分的新變量。當(dāng) canonical 選項(xiàng)指定時(shí)，典型相關(guān)、典型結(jié)構(gòu)、典型系數(shù)和每一類的典型變量的均值包含在該數(shù)據(jù)集中。當(dāng) testdata選項(xiàng)指定時(shí)，也可以用 testclass、 testfreq和 testid語句。 （ 1） 輸入數(shù)據(jù)集選項(xiàng)： ? data=數(shù)據(jù)集名 —— 指定欲分析的數(shù)據(jù)集。 var 變量表 。 ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 11 of 70 priors 概率表 。 class 變量 。 四、 Discrim 判別分析過程 對于每個(gè)觀測都含有一個(gè)或多個(gè)定量變量和一個(gè)定義觀測組的分類變量的觀測數(shù)據(jù)集，discrim 過程確定一個(gè)判別準(zhǔn)則把每個(gè)觀測分入其中一組。常用的判別方法有距離判別、貝 葉斯判別、典型判別等。那么 ： )()()()( )()( 211212121 2121 uuVVuuaVVa auuuua ??????? ???? ? () 當(dāng)且僅當(dāng) )()( 21121 uuVVka ??? ?， 式 （ ）達(dá)到最大值： )()()(21 2112121 uuVVuu ???? ? () 由于 k 為任意實(shí)數(shù)，可令 1?k 。 下面我們看如何求出判別函數(shù) xay ?? 中的系數(shù) a 來。組間方 差 SSR 代表了系統(tǒng)因素引起的變異，而組內(nèi)方差 SSE 代表了隨機(jī)因素引起的變異。將每個(gè)觀察到的資料代入到線性函數(shù)中得到變量 y 值： i p kpkikiik xaxaxay ???? ?2211 () 從本質(zhì)上說，這是將 p 維數(shù)據(jù)投影到某個(gè)具體方向 a 上。其中的技術(shù)部分，則是找出一個(gè)最具有鑒別力的線性判別函數(shù)。一個(gè)簡單的想法是：我們不妨在這個(gè)平面上畫一條直線 L ，能將兩組盡可能地分開，一組為這條直線的這一邊，另一組為這條直線的另一邊。因此，（ ipkkiki xxx , 21 ? ）便相當(dāng)于第 i 組里面的第 k 個(gè)觀察所測到的 p 個(gè)特性。如果判別函數(shù)比較復(fù)雜，那么在實(shí)際使用中就非常不方便，因此為方便起見，有時(shí)尋找 在某種意義下為最優(yōu)的線性判別函數(shù)。 圖 381 二類判別誤判概率圖 所謂誤判概率的問題是：定義誤判概率 21,PP ， 1P 表示原是第一類的樣品，而誤判為第二類的概率； 2P 表示原是第二類的樣品，而誤判為第一類的概率。 5. 誤判的概率 下 面我們?nèi)砸哉龖B(tài)總體為例簡單討論一下誤判的概率。 與兩類判別同理，計(jì)算 X 與各類的重心（平均向量） ??k? 之間的 Mahalanobis 距離為 ： ? ? ? ?? ? ? ?? ? gkXX kkk ,2,1,12 ???????? ? ?? () 若有 ??2j? 為最小，則判 X 屬于第 j 類。但是，許多實(shí)際問題所提出的可能是多類判別的問題。假定： 原假設(shè) 210 : VVH ? 備選假設(shè) 211 : VVH ? 則檢驗(yàn)統(tǒng)計(jì)量 M 為 ： 1ln)1(2ln)2(212121 ???????? ?? iii i nSnnn SnnM () ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 4 of 70 其中， S 為估計(jì)合并協(xié)方差陣， iS 為第 i 組內(nèi)的估計(jì)協(xié)方差陣。 一般情況下，我們并不知道兩個(gè)總體的特征，即 1u 、 2u 和 1V 、 2V 是未知的，只有從兩個(gè)總體 中 抽取 樣品，假設(shè)從兩個(gè)總體各抽取了 1n 和 2n 個(gè)樣品1, 21 nxxx ?；2, 21 nyyy ?。即判別 準(zhǔn)則為：如果 ),(),( 21 GydGyd ? ，則 1Gy ? ；如果 ),(),( 21 GydGyd ? ，則 2Gy ? 。 若 1u 、 2u 和 V 已知 ，則 )(yw 是 y 的線性函數(shù)，稱為線性判別函數(shù)。 最直觀的方法就是計(jì)算 y 到兩個(gè)總體的距離 ),( 1Gyd 和 ),( 2Gyd ，并按下述規(guī)則判斷：如果 ),(),( 21 GydGyd ? ，則 1Gy? ；如果 ),(),( 21 GydGyd ? ，則 2Gy? 。如果此最大后驗(yàn)概率小于指定的 閾 值（ threshold），則將樣品 x 判歸于除 k 組以外的其他組。此時(shí)，樣品 x 來自組 iG 的概率密度 函數(shù)為： ? ?),( x p)2()( 22/12/ iiipi Gxdxf ??? ??? () 其中， )()(),( 12 iiiii xxGxd ?? ????? ?的幾何意義為 x 到 i 組均值的平方距離。下面我們介紹 : ? 距離判別分析方法 ? Fisher 線性函數(shù)判別方法 一、 距離 判別分析 如果假設(shè)每組內(nèi)分布為多元正態(tài)分布，基于多元正態(tài)分布理論的參數(shù)法將導(dǎo)出一個(gè)線性或二次的距離判別函數(shù)。ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 1 of 70 第三十八課 判別分析 判別分析方法的任務(wù)是根據(jù)已掌握的一批分類明確的樣品，建立一個(gè)較好的判別函數(shù)，使得用此判別函數(shù)進(jìn)行判別時(shí)錯(cuò)判事例最少，進(jìn)而能用此判別函數(shù)對給定的一個(gè)新樣品判別它來自哪個(gè)總體。 判別分析方法通常要給出一個(gè)判別指標(biāo) —— 判別函 數(shù)，同時(shí)還要指定一種判別規(guī)則。設(shè)有 k 個(gè)組 kGGG , 21 ? ，且組 iG 的概率密度為)(xfi ，樣品 x 來自組 iG 的先驗(yàn)概率為 kipi ,2,1, ?? ，滿足 11 ???ki ip ，那么根據(jù)貝葉斯理論，樣品 x 屬于組 iG 的后驗(yàn)概率為： ? ?? ki iiiii xfp xfpxGp 1 )()()|( () 如果假設(shè)每組內(nèi) p 維樣品 x 分布為 p 元正態(tài)分布情況，則有 ： kiNG iipi ?,2,1),(~ ??? () 其中， i? 和 i? 分別是第 i 組的均值和協(xié)方差陣。這種判別哪個(gè)樣品歸屬于哪個(gè)組的判別準(zhǔn)則稱為最大后驗(yàn)概率準(zhǔn)則。現(xiàn)在對于一個(gè)新的樣品 y ，我們要判斷它來自哪個(gè)總體。即 y 到母體 iG 的 距離定義為 ： )()(),( 1 iii uyVuyGyd ???? ? () 那么 ： )()2(2),(),( 2112121 uuVuuyGydGyd ??????? ? () 若令 ： ed6e74e0641c5cc279a1942ed79030e9 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 3 of 70 )()2()(