【正文】 簡(jiǎn)單的線性判別函數(shù)廣 。說(shuō)明分段線性分類器的設(shè)計(jì)過(guò)程。 ? 對(duì)于這 2m種可能的向量 ， 統(tǒng)計(jì)其在兩類樣本集 X1和 X2中出現(xiàn)的次數(shù) ， 并分別記為N1(zj(x))和 N2(zj(x))， j=1， 2， … ， 2m。 ? 這樣 ， 就可以序貫地得到一組 (比如說(shuō)共有 m個(gè) )超平面 H1， H2， … ， Hm， 它們構(gòu)成一個(gè)分段線性分類器 。1H?步驟 2 以 作為初始超平面，找出 正確分類的緊互對(duì)原型對(duì)，用這些原型所代表的聚類中的所有樣本作為局部訓(xùn)練樣本集，并利用它設(shè)計(jì)第一個(gè)超平面段。 ? 可將樣本的緊互對(duì)原型對(duì)集合 Φ擴(kuò)展到 k—— 緊互對(duì)原型對(duì)集合 Φ(k)。 ? 每個(gè)聚類在特征空間中占據(jù)一定區(qū)域 ，稱為 “ 原型區(qū) ” ， 每個(gè)聚類的重心 ， 或最靠近重心的一個(gè)樣本 ， 稱該聚類的“ 原型 ” 。 多設(shè)幾次權(quán)向量初值 ， 并重新選擇 Ai1(0)和 Ai2(0)。 在圖 ， 選擇 IREP=10。()(|{)( 212 Xxaaxyax ??? 且kkPkkA rTii ?式中 i = 1， 2， … ， r， 很明顯 ， 這樣的 x一定最接近由 ai(k)所決定的超平面 非線性判別函數(shù) ⑵以 Ai1和 Ai2為樣本集，求第 k+1次最優(yōu)權(quán)向量 ? 即找 r個(gè)線性判別函數(shù)將 Ai1和 Ai2有效地分開(kāi) 。 1?? 2?? r??????????2100??xxya，對(duì)于，對(duì)于TijijL 非線性判別函數(shù) ? 令 X1和 X2分別表示來(lái)自 ω1和 ω2類的樣本集 。a1, a2,…, ar ≤0， ? 如果對(duì)于任何 x∈ ω1， 都有 P(x。 非線性判別函數(shù) 用凹函數(shù)的并表示分段線性判別函數(shù) ? 分段線性判別函數(shù)的表示 ? 設(shè) Li是線性函數(shù)， i=1， 2， … ， r， 則分段線性函數(shù)可以遞歸地定義如下： ? ⑴ L1， L2， … ， Lr都是分段線性函數(shù)。 非線性判別函數(shù) ω1 ω1 ω2 ω2 圖 H1 1aH4 4aH2 2aH3 3a? 該分類器是分段線性的。39。 非線性判別函數(shù) ㈡已知子類數(shù)目時(shí)的分段線性判別函數(shù) ? 當(dāng)已知子類數(shù)目 ， 但不知子類劃分情況時(shí) ，可利用下面的錯(cuò)誤修正算法設(shè)計(jì)分段線性分類器 ， 它與多類線性判別函數(shù)的固定增量算法很相似 ， 其步驟如下： ? 步驟 1首先給定各子類的初始權(quán)向量 。 )(xnigni? i?假如具有最大值的判別函數(shù)是 ，則把 x歸到子類所屬的類 ，即類 。 ? 圖中各類樣本服從正態(tài)但非等協(xié)方差分布，其等概率密度面為超橢球面，用虛線表示。 非線性判別函數(shù) Ⅱ ：分段線性距離判別 圖 ω11 ω12 ω21 ω22 ω32 Ⅱ 如果每類不是只取一個(gè)代表點(diǎn)，而是取多個(gè)代表點(diǎn)，例如， ω1類取兩個(gè)代表點(diǎn)， ω2類取三個(gè)代表點(diǎn)，仍利用上面定義的距離判別函數(shù)， 它是由多段超平面組成的，其中每一段都是最小距離分類器。 非線性判別函數(shù) ? 圖 ，分段線性判別函數(shù)和二次判別函數(shù)所得到的分界面。 非線性判別函數(shù) 非線性判別函數(shù) ? 前面討論的用線性判別函數(shù)設(shè)計(jì)分類器，在多類情況下可以用樹(shù)分類器進(jìn)行多級(jí)分類。 ω1 ω1 ω2 Ⅰ Ⅱ Ⅲ Ⅰ ：線性判別 Ⅱ ：分段線性判別 Ⅲ ：二次判別 圖 非線性判別函數(shù) ? 當(dāng)類條件概率密度函數(shù)為正態(tài)分布，各特征統(tǒng)計(jì)獨(dú)立且同方差時(shí)，貝葉斯決策規(guī)則可得到線性判別函數(shù)，特別是當(dāng) P(ω1) = P(ω2)時(shí)，決策規(guī)則可以寫成 ?????????212221 0|||||||| ??xμxμx?這時(shí)的決策面是兩類期望連線的垂直平分面，如圖 。這樣的結(jié)果是令人滿意的。 ? 利用貝葉斯決策規(guī)則對(duì)樣本 x進(jìn)行分類，應(yīng)決策x∈ ω2類； ? 但若以 μi作為代表點(diǎn)，按到 μi的歐氏距離進(jìn)行分類，則應(yīng)決策 x∈ ω1類。 非線性判別函數(shù) ? 分類器設(shè)計(jì)的基本問(wèn)題是 ， 在一定判別函數(shù)類內(nèi)利用訓(xùn)練樣本集確定分類器的參數(shù) ， 即確定判別函數(shù)中的系數(shù) 。 假設(shè)ωi類中有 li個(gè)子類 ， 則任意給定 ， ， …… ， ， i=1， 2， … ， c )1(1ia )1(2ia )1(ilia后面用 表示第 k次迭代時(shí)，第 i類第 l個(gè)子類的權(quán)向量。39。 “ → ”表示權(quán)向量 ai 的方向，它指向超平面 Hi的正側(cè)。 ? ⑵如果 A和 B都是分段線性函數(shù)，則 A∧ B和A∨ B也是分段線性函數(shù)。a1, a2,…, ar)＞ 0， ???????2100??xx，則，則PP若 ? 則分段線性判別函數(shù) P就能對(duì)兩類樣本正確分類，即存在決策規(guī)則 非線性判別函數(shù) 例如，對(duì)于圖 ， q = 3， m1= 5，m2= 4， m3=4。 ? 要找出若干個(gè)分段線性判別函數(shù) Pi組成的分段線性分類器 ， 有效地對(duì) ω1和 ω2進(jìn)行分類 。 )1(* ?kia ,i = 1， 2， … ， r， ?這可用前面介紹的各種線性判別函數(shù)算法來(lái)解決，也可以 作為初始權(quán)向量，經(jīng)過(guò)反復(fù)迭代找出最優(yōu)的權(quán)向量 。 非線性判別函數(shù) I = 1 I IREP? 任意選擇初始權(quán)向量 k=0 k=0? 按 (419)式選擇 Ai1(k)和 Ai2(k) 正確分 X1和 X2嗎 ？ P( 非線性判別函數(shù) ? 算法基本思想 ? 這是一種實(shí)現(xiàn)最少分段線性分類器的方法。 ? 這樣 ， 每個(gè)聚類可簡(jiǎn)化為用它的原型來(lái)表示 ， 每一類則由若干個(gè)原型來(lái)表示 。 ? 尋找 Φ(k)的方法與尋找 Φ的方法相似 ，所不同的是在第一 、 二步不是只找一個(gè)最近的原型 ， 而是找出 k個(gè) 。 39。 非線性判別函數(shù) 決策規(guī)則 ? 假設(shè)分段線性分類器是由 m個(gè)超平面段組成的。 ? 再定義一個(gè)開(kāi)關(guān)函數(shù) Ω(zj)。 (a) 非線性判別函數(shù) 解： ? ⑵ 從這些原型中找出 2緊互對(duì)原型對(duì)集合和 ， 它們的交組成 2緊互對(duì)原型對(duì)集合 Φ(2)。 ? 但二次判別函數(shù)及其確定的分界面比較復(fù)雜 ， 故只簡(jiǎn)單介紹一下它的基本概念 。 ?實(shí)際上，如果兩類樣本都來(lái)自正態(tài)分布，且對(duì)樣本均值向量和樣本協(xié)方差矩陣的估計(jì) 和 接近真實(shí)分布的期望和協(xié)方差矩陣 mi和 ∑i，則上述二次判別函數(shù)確定的分類器錯(cuò)誤率和貝葉斯分類器錯(cuò)誤率很接近。因此可以推知，這種分類器的效果將是比較好的。為確定判別函數(shù) g(x)， 需要確定 ?二次判別函數(shù)確定的決策面是