非線性判別函數(shù)ppt課件-資料下載頁
2025-05-07 08:24本頁面
【正文】 xN)， 其中每個 z(xk)， k = 1， 2， … ， N，都是一個 m維由 0或 l組成的向量 。 ? 因為對于 m維二值向量 ， 最多有 2m種可能的選擇 ， 因此 ， 每個 z(xk)只能是 2m種向量之一 。 ? 對于這 2m種可能的向量 ， 統(tǒng)計其在兩類樣本集 X1和 X2中出現(xiàn)的次數(shù) ， 并分別記為N1(zj(x))和 N2(zj(x))， j=1， 2， … ， 2m。 ? 再定義一個開關(guān)函數(shù) Ω(zj)。 如果 N1(zj)和N2(zj)都很小 ， 則記 Ω(zj)=δ， 否則 非線性判別函數(shù) ? 這樣決策規(guī)則可寫作： ?????????????210)(1)()(???xzxzzjjj?????，則，則，則拒絕決策?如果 N1(zj)和 N2(zj)都較大，但二者差別較小，即 ，則說明可能還缺少超平面段，應(yīng)對這部分樣本重復(fù)上面的算法。 21?L若 ????????01)(21)()()(211jjjjNNNL zzzz，則 非線性判別函數(shù) 舉例 ? 假設(shè)最終的分段線性分類器由三個超平面段組成 ， 那么 z(x)最多有 23=8種可能的取值如下表所示 ， 表中同時給出了決策規(guī)則 。 ? 對于未知樣本 x， 如果 z(x)=001或 z(x)=111，則 x∈ ω1； 如果 z(x)=011或 z(x)=100， 則x∈ ω2； 否則拒絕 。 非線性判別函數(shù) z(x)取值及決策規(guī)則表 z(x) L Ω(z) 決策 000 δ 拒絕 001 1/2 1 ω1 010 δ 拒絕 011 1/2 0 ω2 100 1/2 0 ω2 101 δ 拒絕 110 δ 拒絕 111 1/2 1 ω1 非線性判別函數(shù) ? 這一決策過程可用 。 序貫選擇 Hi {Hi} Ω(z) ω1 ω2 拒絕 x zj(x) 圖 非線性判別函數(shù) ? 例 (a)所示，其中“”表示第一類，“。 ”表示第二類。說明分段線性分類器的設(shè)計過程。 (a) 非線性判別函數(shù) 解： ? ⑵ 從這些原型中找出 2緊互對原型對集合和 ， 它們的交組成 2緊互對原型對集合 Φ(2)。 ? ⑶ 利用局部訓(xùn)練法得到兩個超平面 H1和H2， 它們將樣本空間分為三個區(qū)域 R1，R2和 R3。 R1中的樣本大部分屬于第二類 ，R3中的樣本大部分屬于第一類 。 R2中兩類樣本都有且數(shù)量相差不多 ， 說明還缺少超平面段 。 ?⑴利用聚類分析方法將每類分成 5個聚類，每個聚類用一個原型表示。 非線性判別函數(shù) (a) R1 R2 R3 H1 H2 非線性判別函數(shù) ? ⑷對 R2中的樣本重復(fù)上面算法，可得到第三個超平面段 H3。 ? 最終的分段線性分類器由三個超平面 H H2和H3相應(yīng)的部分組成，如圖 (b)中實線所示，在兩維空間表現(xiàn)為一折線段。 (b) H1 H2 H3 非線性判別函數(shù) 二次判別函數(shù) ? 二次判別函數(shù)也是一種常用的非線性判別函數(shù) ， 其適用范圍比簡單的線性判別函數(shù)廣 。 ? 但二次判別函數(shù)及其確定的分界面比較復(fù)雜 ， 故只簡單介紹一下它的基本概念 。 ? 二次判別函數(shù)的一般表達式為 011 111202)(wxwxxwxwwxwxWxxgdjdjjjdjkkjikdkkkkTT???????? ????? ????????? 非線性判別函數(shù) ? 其中 W是 d d實對稱矩陣 ， w為 d維向量 。為確定判別函數(shù) g(x)， 需要確定 ?二次判別函數(shù)確定的決策面是一個超二次曲面，包括超球面、超橢球面、超雙曲面等。 ?例如對于一類 (設(shè) ω 1類 )樣本分布比較成團，而另一類樣本均勻地散布在其周圍的兩類問題，可用下述方法構(gòu)造一個二次判別函數(shù)： 1)3(21 ??? ddL個不同的系數(shù)。因此，計算起來非常復(fù)雜。 非線性判別函數(shù) ? ⑵ 定義二次判別函數(shù) 1?m? 1???⑴計算 ω1類樣本均值 和樣本協(xié)方差 ???11111? NjjxNm?????????111111 ))((11? NjTjj mxmxN????)?(?)?()( 11112 mxmxKxg T ????? ????? ??決策規(guī)則表示為 ??????210)(??xxg ?? 非線性判別函數(shù) ? g(x) = 0在 X空間確定了一個超橢球面 。 ? 它的大小由 K來控制 ， K越大 ， 則落入超橢球外面的第一類樣本點越少 ， 因此第一類錯分為第二類的概率越小 ， 但第二類誤為第一類的概率將增大 。 ? 如果兩類樣本分布各自都比較集中 ， 則可以分別定義兩類的判別函數(shù)為 )?(?)?()( 12 iiTiii mxmxKxg ????? ????? ? 非線性判別函數(shù) ? 其中 ???iNjjii xNm11? ?????????iNjTijijii mxmxN1))((11? ?????Ni為 ωi類的樣本數(shù)， ?若定義 g(x)=g1(x)－ g2(x) ?則決策面方程為 0)()??????()????(2)??()(2221212211111221111211??????????????????????KKmmmmxmmxxxgTTTTT?????????? 非線性判別函數(shù) ? 選擇適當(dāng)?shù)?K1和 K2則可調(diào)整兩類的錯誤率 。 ?實際上，如果兩類樣本都來自正態(tài)分布，且對樣本均值向量和樣本協(xié)方差矩陣的估計 和 接近真實分布的期望和協(xié)方差矩陣 mi和 ∑i，則上述二次判別函數(shù)確定的分類器錯誤率和貝葉斯分類器錯誤率很接近。 im??i??Ki的作用則反映了 ∑i和先驗概率 P(ωi)對決策面的影響。因此可以推知，這種分類器的效果將是比較好的。 ?由上式定義的二次判別函數(shù)與第二章 (2112)式xT(Wi－ Wj)x+(wi－ wj)Tx+wi0－ wj0=0十分相似。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1