[計(jì)算機(jī)軟件及應(yīng)用]第4講基于判別函數(shù)的分類(lèi)方法(已修改)
2025-10-26 04:15 本頁(yè)面
【正文】 第 4講 基于判別函數(shù)的分類(lèi)方法 點(diǎn)到平面的距離公式 222000CBADCzByAxd??????點(diǎn) (x0, y0, z0) 到平面 Ax+By+Cz+D=0的距離為： 內(nèi)積和向量空間 ?x和 y的內(nèi)積（點(diǎn)積）定義為 ?如果 xT y=0，則 x和 y是正交的 . ? 向量的模定義為 要點(diǎn) : ?什么是 判別函數(shù) ?線性 判別函數(shù) ?高階 判別函數(shù) ?兩類(lèi) 情況下的線性判別函數(shù) ?多類(lèi) 情況下的線性判別函數(shù) ?課堂 練習(xí) ，課后 作業(yè) 什么是判別函數(shù) ?設(shè)有 c個(gè)類(lèi)別，對(duì)每個(gè)類(lèi)別 ?i(i=1,2,…, c)定義一個(gè)關(guān)于特征向量 X的單值函數(shù)gi(X), 如果 gi(X)滿足： 返回 ? X屬于第 i類(lèi)，那么： ? X在第 i類(lèi)和第 j類(lèi)的分界面上，則： ijcjiXgXg ji ??? , . . . ,2,1,),()(ijcjiXgXg ji ??? , . . . ,2,1,),()(線性判別函數(shù) ?線性判別函數(shù)的 定義 ?線性判別函數(shù)的 簡(jiǎn)潔形式 ?線性判別函數(shù)的 增廣形式 ?線性判別函數(shù)的 作用 ?線性判別函數(shù)舉例 :例 1, 例 2,例 3 ?返回 線性判別函數(shù)的定義 ? 最簡(jiǎn)單的判別函數(shù)是線性判別函數(shù)，它是所有模式特征的線性組合。對(duì)于第 i類(lèi)模式，它有如下的形式： ? 式中 i=1,2,…, c, wik是特征的系數(shù)，稱(chēng)為權(quán) (weight)，wi0稱(chēng)為閾值權(quán) (threshold weight)或偏置 (bias)，而 wi0 通常被稱(chēng)為閾值。 ? 在線性判別函數(shù)中，每個(gè)特征所作的貢獻(xiàn)是不一樣的，貢獻(xiàn)的大小就是它的權(quán)。 ? 返回 0221101...)( ininiiinkkiki wxwxwxwwxwXg ??????? ??線性判別函數(shù)的簡(jiǎn)潔形式 ?如果對(duì)第 i類(lèi)模式定義 n維權(quán)向量為： ?則線性判別函數(shù)可寫(xiě)成更簡(jiǎn)潔的形式： ?其中 i=1,2,…, c ?返回 Tiniii W ), . . . ,( 21?0)( iTii wXWXg ??線性判別函數(shù)的增廣形式 ?分別定義增廣模式向量和廣義權(quán)向量： ?那么線性判別函數(shù)可以寫(xiě)成增廣形式： ?增廣形式的線性判別函數(shù)是（ n+1）維空間的齊次線性函數(shù)。 返回 ??????????XxxxYTn1), . . . ,1(21Tiniii A ), . . . ,( 10?YAYg Tii ?)(線性判別函數(shù)的作用 ?線性判別函數(shù)可以提供超平面作為模式類(lèi)的分界面 ?線性判別函數(shù) (linear discriminant function) ?超平面（ hyperplane） ?返回 線性判別函數(shù)舉例 1 g1 (x1, x2)= x1 g2 (x1, x2)= x2 x1 x2 返回 線性判別函數(shù)舉例 2 g1 (x1, x2)= x1 g2 (x1, x2)= x2 x1 x2 返回 線性判別函數(shù)舉例 3 返回 高階判別函數(shù) ?二次 判別函數(shù) (quadratic discriminant function) ?多項(xiàng)式 判別函數(shù) (polynomial discriminant function) ?廣義線性 判別函數(shù) ?(generalized linear discriminant function) ?返回 二次判別函數(shù) ?判別函數(shù)不一定是線性的，例如，在線性判別函數(shù)上加上 wijxixj項(xiàng)，就得到二次判別函數(shù)： 其中 xlxm=xmxl 。 返回 ?二次判別函數(shù)可以提供超二次曲面 (hyperquadric surface)作為模式類(lèi)的分界面，其中包括超球（ hypersphere）、超橢球 (hyperellipsoid)和超雙曲面 (hyperboloid)。 ? ? ?? ? ???? dkdl idm mllmkikiwxxwxwXg1 1 01)(多項(xiàng)式判別函數(shù) ?如果給二次判別函數(shù)加入更高次的項(xiàng)，比如 wijkxixjxk，就可得到多項(xiàng)式判別函數(shù)。 ?多項(xiàng)式判別函數(shù) 可以提供更復(fù)雜的超曲面作為模式類(lèi)的分界面，但系數(shù)會(huì)增加許多，求解比較困難。所以通常盡量采用線性判別函數(shù)，以及由它派生的分段線性判別函數(shù)。 ?返回 廣義線性判別函數(shù) ?如果判別函數(shù) g(x)能夠分解為若干分量函數(shù) yi(x)的線性組合，即： ?那么 g(x)稱(chēng)為廣義線性判別函數(shù) ?舉例 ?返回 YA Tdi iixyaxg ???? 1)()(廣義線性判別函數(shù)舉例 ?返回 YA Txaxaaxg ???? 2321)(??????????????????????2321 1,xxaaaYA兩類(lèi)情況下的線性判別函數(shù) ?兩類(lèi)線性判別函數(shù)的 決策面 ?兩類(lèi)線性判別函數(shù)的 決策法則 ?兩類(lèi)模式的線性 分類(lèi)器 ?兩類(lèi)線性決策面的 幾何解釋 ?兩類(lèi)線性決策面的 求解方法 ?返回 兩類(lèi)線性判別函數(shù)的決策面 ?兩類(lèi)線性判別函數(shù)的 簡(jiǎn)化 ?兩類(lèi)線性決策面 方程 ?返回 兩類(lèi)線性判別函數(shù)的簡(jiǎn)化 ?在只有兩類(lèi)模式的情況下， c=2, 容易得到兩個(gè)線性判別函數(shù)，即： ?兩式相減得 : ?其中 ?返回 1011 )( wXWXg T ?? 2022 )( wXWXg T ??021 )()()( wXWXgXgXg T ????2021021 , WWW ????兩類(lèi)線性決策面方程 ?兩類(lèi)模式的分界面由下式?jīng)Q定 : ?上式稱(chēng)為兩類(lèi)線性決策面方程 ， 它所決定的點(diǎn)集稱(chēng)為兩類(lèi)線性決策面 。 ?返回 00)(0 ???wXWXgT兩類(lèi)線性判別函數(shù)的決策法則 ?如果 g(X)0, 則決策 ?1， 即把 X歸到 ?1類(lèi)； ?如果 g(X)0, 則決策 ?2，即把 X歸到 ?2類(lèi)； ? 當(dāng)權(quán)向量 W和模式向量 X的內(nèi)積超過(guò)閾值（ ?w0）時(shí)，就把 X歸到 ?1類(lèi)，否則就歸到?2類(lèi)。 ?返回 兩類(lèi)模式的線性分類(lèi)器 ?返回 X g(X) 1 +1 +1 X??1 ?1 X??2 ? x1 w1 x2 w2 xn wn +1 w0 X 兩類(lèi)線性決策面的幾何解釋 ?決策面的 幾何意義 ?決策面的 法向量 ?決策面的 正面和反面 ?判別函數(shù)值的 幾何意義 ?返回 決策面的幾何意義 ?兩類(lèi)線性決策面 g(X)=0，對(duì)于二維空間情況，它是一條直線，對(duì)于三維空間情況，它是一個(gè)平面，而對(duì)于高維空間的情況，則是一個(gè)超平面。 ?返回 決策面的法向量 ?對(duì)于決策面上的任意兩個(gè)點(diǎn) X1和 X2，都有： ?即
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1