[計(jì)算機(jī)軟件及應(yīng)用]第4講基于判別函數(shù)的分類方法(已修改)
2024-10-31 04:15 本頁面
【正文】 第 4講 基于判別函數(shù)的分類方法 點(diǎn)到平面的距離公式 222000CBADCzByAxd??????點(diǎn) (x0, y0, z0) 到平面 Ax+By+Cz+D=0的距離為： 內(nèi)積和向量空間 ?x和 y的內(nèi)積（點(diǎn)積）定義為 ?如果 xT y=0，則 x和 y是正交的 . ? 向量的模定義為 要點(diǎn) : ?什么是 判別函數(shù) ?線性 判別函數(shù) ?高階 判別函數(shù) ?兩類 情況下的線性判別函數(shù) ?多類 情況下的線性判別函數(shù) ?課堂 練習(xí) ，課后 作業(yè) 什么是判別函數(shù) ?設(shè)有 c個類別，對每個類別 ?i(i=1,2,…, c)定義一個關(guān)于特征向量 X的單值函數(shù)gi(X), 如果 gi(X)滿足： 返回 ? X屬于第 i類，那么： ? X在第 i類和第 j類的分界面上，則： ijcjiXgXg ji ??? , . . . ,2,1,),()(ijcjiXgXg ji ??? , . . . ,2,1,),()(線性判別函數(shù) ?線性判別函數(shù)的 定義 ?線性判別函數(shù)的 簡潔形式 ?線性判別函數(shù)的 增廣形式 ?線性判別函數(shù)的 作用 ?線性判別函數(shù)舉例 :例 1, 例 2,例 3 ?返回 線性判別函數(shù)的定義 ? 最簡單的判別函數(shù)是線性判別函數(shù)，它是所有模式特征的線性組合。對于第 i類模式，它有如下的形式： ? 式中 i=1,2,…, c, wik是特征的系數(shù)，稱為權(quán) (weight)，wi0稱為閾值權(quán) (threshold weight)或偏置 (bias)，而 wi0 通常被稱為閾值。 ? 在線性判別函數(shù)中，每個特征所作的貢獻(xiàn)是不一樣的，貢獻(xiàn)的大小就是它的權(quán)。 ? 返回 0221101...)( ininiiinkkiki wxwxwxwwxwXg ??????? ??線性判別函數(shù)的簡潔形式 ?如果對第 i類模式定義 n維權(quán)向量為： ?則線性判別函數(shù)可寫成更簡潔的形式： ?其中 i=1,2,…, c ?返回 Tiniii W ), . . . ,( 21?0)( iTii wXWXg ??線性判別函數(shù)的增廣形式 ?分別定義增廣模式向量和廣義權(quán)向量： ?那么線性判別函數(shù)可以寫成增廣形式： ?增廣形式的線性判別函數(shù)是（ n+1）維空間的齊次線性函數(shù)。 返回 ??????????XxxxYTn1), . . . ,1(21Tiniii A ), . . . ,( 10?YAYg Tii ?)(線性判別函數(shù)的作用 ?線性判別函數(shù)可以提供超平面作為模式類的分界面 ?線性判別函數(shù) (linear discriminant function) ?超平面（ hyperplane） ?返回 線性判別函數(shù)舉例 1 g1 (x1, x2)= x1 g2 (x1, x2)= x2 x1 x2 返回 線性判別函數(shù)舉例 2 g1 (x1, x2)= x1 g2 (x1, x2)= x2 x1 x2 返回 線性判別函數(shù)舉例 3 返回 高階判別函數(shù) ?二次 判別函數(shù) (quadratic discriminant function) ?多項(xiàng)式 判別函數(shù) (polynomial discriminant function) ?廣義線性 判別函數(shù) ?(generalized linear discriminant function) ?返回 二次判別函數(shù) ?判別函數(shù)不一定是線性的，例如，在線性判別函數(shù)上加上 wijxixj項(xiàng)，就得到二次判別函數(shù)： 其中 xlxm=xmxl 。 返回 ?二次判別函數(shù)可以提供超二次曲面 (hyperquadric surface)作為模式類的分界面，其中包括超球（ hypersphere）、超橢球 (hyperellipsoid)和超雙曲面 (hyperboloid)。 ? ? ?? ? ???? dkdl idm mllmkikiwxxwxwXg1 1 01)(多項(xiàng)式判別函數(shù) ?如果給二次判別函數(shù)加入更高次的項(xiàng)，比如 wijkxixjxk，就可得到多項(xiàng)式判別函數(shù)。 ?多項(xiàng)式判別函數(shù) 可以提供更復(fù)雜的超曲面作為模式類的分界面，但系數(shù)會增加許多，求解比較困難。所以通常盡量采用線性判別函數(shù)，以及由它派生的分段線性判別函數(shù)。 ?返回 廣義線性判別函數(shù) ?如果判別函數(shù) g(x)能夠分解為若干分量函數(shù) yi(x)的線性組合，即： ?那么 g(x)稱為廣義線性判別函數(shù) ?舉例 ?返回 YA Tdi iixyaxg ???? 1)()(廣義線性判別函數(shù)舉例 ?返回 YA Txaxaaxg ???? 2321)(??????????????????????2321 1,xxaaaYA兩類情況下的線性判別函數(shù) ?兩類線性判別函數(shù)的 決策面 ?兩類線性判別函數(shù)的 決策法則 ?兩類模式的線性 分類器 ?兩類線性決策面的 幾何解釋 ?兩類線性決策面的 求解方法 ?返回 兩類線性判別函數(shù)的決策面 ?兩類線性判別函數(shù)的 簡化 ?兩類線性決策面 方程 ?返回 兩類線性判別函數(shù)的簡化 ?在只有兩類模式的情況下， c=2, 容易得到兩個線性判別函數(shù)，即： ?兩式相減得 : ?其中 ?返回 1011 )( wXWXg T ?? 2022 )( wXWXg T ??021 )()()( wXWXgXgXg T ????2021021 , WWW ????兩類線性決策面方程 ?兩類模式的分界面由下式?jīng)Q定 : ?上式稱為兩類線性決策面方程 ， 它所決定的點(diǎn)集稱為兩類線性決策面 。 ?返回 00)(0 ???wXWXgT兩類線性判別函數(shù)的決策法則 ?如果 g(X)0, 則決策 ?1， 即把 X歸到 ?1類； ?如果 g(X)0, 則決策 ?2，即把 X歸到 ?2類； ? 當(dāng)權(quán)向量 W和模式向量 X的內(nèi)積超過閾值（ ?w0）時，就把 X歸到 ?1類，否則就歸到?2類。 ?返回 兩類模式的線性分類器 ?返回 X g(X) 1 +1 +1 X??1 ?1 X??2 ? x1 w1 x2 w2 xn wn +1 w0 X 兩類線性決策面的幾何解釋 ?決策面的 幾何意義 ?決策面的 法向量 ?決策面的 正面和反面 ?判別函數(shù)值的 幾何意義 ?返回 決策面的幾何意義 ?兩類線性決策面 g(X)=0，對于二維空間情況，它是一條直線，對于三維空間情況，它是一個平面，而對于高維空間的情況，則是一個超平面。 ?返回 決策面的法向量 ?對于決策面上的任意兩個點(diǎn) X1和 X2，都有： ?即
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1