【正文】 率1)(32210)()0,0()()0,0(),(x,),(x0)()(lnln21)xx()xx(21)xx()xx(21)()()(22222122221121212121211222111112???????????????????????????????????xxxxxxgXxgxxxxxPPxgxgxgTTTTTT程：這是一個非線性橢圓方得分界線方程為：令類。屬于所以判代入得：將利用公式：?????.1147)()0,0(x)()(ln)xxxx(21x)xx()(221211212111112所示為一直線，如圖中虛線從而得分界線方程為類，判為故應(yīng)把??????????????? ? ??? ??xxxgPPxgTTTT???1X2X1 ?2 ?待 定 樣 本1?1?2?11兩 種 解 得 分 界 線? ? 得：所以代入 Tx 0,0,11200053,20110035121????????????????????????????? ??? ? ??解 假定兩類協(xié)方差矩陣相等 ∑=∑1+∑2 訓(xùn)練樣本號 k 1 2 3 1 2 3 1 2 3 特征 x1 0 1 2 2 1 2 0 1 1 特征 x2 1 0 1 1 0 1 1 2 2 類別 ω1 ω2 ω3 ?解 假定三類協(xié)方差不等； 例 2： 有訓(xùn)練集資料矩陣如下表所示，現(xiàn)已知， N= N1=N2= n= M=3，試問，未知樣本 X=(0,0)T應(yīng)屬于哪一類？ ??? ????????????????????????????????3213213100110031,1001:)35,0(x)0,35(x,)0,1(x，協(xié)方差矩陣為，均值TTT? ? ? ? ? ?? ?.lnln2121,21,)(3131311111321321iiiiTiioiiiiiioTiiTiPwwWwxwxWxxgPPP?????????????????????????????????其中代入多類判別函數(shù)先驗概率，??????????????????????????? ??????300110031001 131211，所以：? ?? ?? ?? ?)()(,)(:0,021)(21)(1221)(321222213122212122211?????????????????????xgxgxgXxxxxgxxxxgxxxxgT代入得將所以：1?2X3?2?1X待定樣品35?35?11x3x2x? ?)()(055)()()()()()(),()(),()(0,021221321222132121211332211????????????????????????xxxxgxgxxxxxgxgxxxgxgxgxgxgxgxgxgXT分別令類為故應(yīng)判樣品1?2X3?2?1X待定樣品35?35?11x3x2x?可得三類分界線如圖所示： ? ?4225)()(,143)(:0,0422575)(422575)(,14373)()(:730073,37003732123121101321????????????????????????????????????????????????? ??xgxgxgXxxgxxgxxgwxwxgTiTii代入得將所以代入多類時判別函數(shù)?解 設(shè)三類協(xié)方差矩陣相等 1?2X3?2?1X待定樣品35?35?11x3x2x? ?2187573)()(7575)()(21878)()()()(),()(),()(0,0211321321211332211?????????????????xxxgxgxxxgxgxxgxgxgxgxgxgxgxgXT分別令類為故應(yīng)判樣品?可得三類分界線如圖所示： ?作業(yè)：① 在下列條件下，求待定樣本 x=(2,0)T的類別，畫出分界線，編程上機(jī)。 ? 二類協(xié)方差相等， 二類協(xié)方差不等。 訓(xùn)練樣本號 k 1 2 3 1 2 3 特征 x1 1 1 2 1 1 2 特征 x2 1 0 1 1 0 1 類別 ω 1 ω 2 ?作業(yè)：② 有訓(xùn)練集資料矩陣如下表所示，現(xiàn)已知， N=N1=N2= N3= n= M=3，試問， X=(2,2)T應(yīng)屬于哪一類？ ? 要求： 用兩種解法 a、三類協(xié)方差不等； b、三類協(xié)方差相等。 ? 編程上機(jī)，畫出三類的分界線。 訓(xùn)練樣本號 k 1 2 3 1 2 3 1 2 3 特征 x1 0 2 1 1 2 2 0 0 1 特征 x2 0 1 0 1 0 1 2 1 2 類別 ω1 ω2 ω3 ?167。 48 決策樹 — 多峰情況 ? Bayes分類器只能適用于樣本分布呈單峰情況，對多峰情況則不行。 ? 若用決策樹，可進(jìn)行如下步驟分類 ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ?? ? ? ? ? ?ExxFxxxxDxxxxBxxCxxxxAxxxxxx???????????????????????121212111211211111202,5),5(4,3。,32)。4(),2(1否則則若否則則轉(zhuǎn)若否則則若否則則轉(zhuǎn)若否則轉(zhuǎn)則轉(zhuǎn)若2XE FDCA B1X2?1?1?1? 2?2?12x20x11x? 整個分類過程可用右圖的樹表示 : ? 基本概念 ?（ 1）決策樹：二叉樹。每個節(jié)點都是兩類分類器。例如；節(jié)點 a上的決策規(guī)則為： ?（ 2）代價（損失）矩陣 定義節(jié)點 L的代價為： cbxx ???202202 xx ? 202xx ?111 xx ? 111 xx ?121 xx ?121 xx ?111 xx ?121 xx ?121 xx ?ABCDE Fab c1?j1?1?2?2?2?? 決策樹的構(gòu)造 在構(gòu)造決策樹時，需要考慮以下問題： 1）、如何判斷一節(jié)點是否為葉子。如右圖表示，假定 A、 B、 C、 D、 E、 F各包含 50個樣本，并有以下的代價矩陣 ?對于節(jié)點 a，可以作出以下兩個決策之一： ?決策 1， a不再分割 ?決策 2， a分為兩類 ?決策 1的代價為 A1（ a） =Ca ─節(jié)點 a的代價 ?決策 2的代價為 A2（ a） =α（ Cb+Cc） ─節(jié)點 b,c的代價和 ?其中， α為一經(jīng)驗因子，用以防止無限分割下去 上各類樣本混淆程度表示在節(jié)點類的損失，誤判為類原屬于類樣本數(shù)表示屬于類樣本數(shù)表示屬于其中：LCrrrrCLijijjjLiiLi jijjLiLL??????? ? ?,202 xx ? 202xx ?111 xx ? 111 xx ?121 xx ?121 xx ?111 xx ?121 xx ?121 xx ?ABCDE Fab c1?j1?1?2?2?2?????????????????? ?? ???? 010 1002221 1211? 只要經(jīng)驗因子 α≤，便有 A2(a) ≤A1(a)，因此取決策 2的代價較小，故應(yīng)把 α分為兩類。 ? 一般地決策代價為： 2）、選擇節(jié)點的分割方式： a、根據(jù)經(jīng)驗確定。例如，全部樣本分為三類，其代價矩陣為 202200450000101501501015015021212121211212212121????????????? ?? ?? ?? ?? ?? ?i jijjcici jijjbibcbaaaai jijjaiaarrrrCCrrrrrrC????? ＝＋? ?? ?? ? ? ?分為兩類不再分割樹葉決策分類公式：，分為兩類，不再分割?????????????LLALAPCCPCLARRLP1221 21,L1R 2R????????????????????????????????050605001060100333231232221131211? b、根據(jù)對樣本分布的了解試探確定。如右圖所示，將 a劃分為 b， c的方式有兩種 ? c、根據(jù)聚類結(jié)果來劃分。 3)、如何確定各節(jié)點分類器。 ?原則： ? ①、分類器應(yīng)盡量簡單，因此，多采用線性分類器， ? ②、盡量減小分類時所使用的特征，選用最有效的特征進(jìn)行分類 2XE FDCA B1X2?1?1?1? 2?2?12x20x11x。原則劃分作為另一類。根據(jù)這一類，而合為一，所以，因為L321233231132112506010???????????????? ? ? ?? ? ? ?。，取代價小的一種方式再計算二種方式的代價FECBcDAbFEDcCBAb,,:)2(,,:)1(????