【正文】 xxx dppe B21B?60 ? 這兩個量比起偏離度來，直觀上更難解釋。 59 由上兩式可知 ? ? ? ?1221 ， HHD ??? 這樣，當(dāng)相對信息 H(1， 2)和 H(2， 1)大時，D也大，可分性好。 21 ?? ?58 偏離度的定義為： ? ?? ? ? ?? ?21 xx ωEωED ????? ?? ? ? ?? ?? ? ? ?? ????????? ?????????????????? xxxxxxxx dpppdppp221121 lnln定義量： ? ? ? ?? ? ? ? ? ?? ?? ???? ?????????????????? ijiiji ωppEdpppjiHxxxxxx lnln，稱為有（單）向偏離度，或第 i類相對第 j類的相對信息。如下圖所示，當(dāng)兩個密度函數(shù)偏離較大時，錯誤率一定低，反之會大。 三 . 模式可分性的度量 56 ? 對于對數(shù)的似然比檢驗(yàn)： ? ?也是一個隨機(jī)變量。 （涇渭分明， 西 瓜瓤和籽） ? 先對一般的概率密度函數(shù)定義這兩個量。既有理論上的意義，也用在 特征抽取和選擇等問題 上。 54 ? 正態(tài)分布且等協(xié)方差矩陣時； ? 當(dāng) x的各分量間相互獨(dú)立時； （參考清華的書，略）。方法主要有以下幾類： ? 按公式計算錯誤率； ? 估算錯誤率的上限； ? 從實(shí)驗(yàn)中估計錯誤率。當(dāng)類條件密度函數(shù)的解析形式比較復(fù)雜時， P(e)的計算相當(dāng)困難。分類器是否和要解決的問題相匹配。 ? 錯誤率反映了模式分類問題本身的 固有復(fù)雜程度 。 類內(nèi)散度類間散度????? 222211222211????ppppf1ps ?? ? ? ?1212211v mmKpKp ??? ?? ?22110 mpmpv T ??? v51 分類器的錯誤率問題 ? 對樣本進(jìn)行分類是 PR的任務(wù)之一。因?yàn)?v0從 和 相減中消失了。 ? ?1212v mmK ?? ?021????????ff49 例 1： Fisher線性分類器 。 ? 回想在正態(tài)、等協(xié)方差的情況下，有 這里是用 s和 (1－ s)對 K1和 K2作加權(quán)平均。因而可以消去 v的常數(shù)系數(shù)（不是 mi和 ki的函數(shù)）。 v v? i?2i?45 ? ?? ? 0vmωhE iTii ??? vx?? ?? ? vvx2 iTii KωhV a r ???令 是 任一準(zhǔn)則函數(shù) （要最大或最小的），要確定使 f最大（小）的 v和 v0。 i?2i?44 投影 比 要好。 ? ?Tnvvv ， ?21v ?0vxvy T?表示 x在 V方向上的投影。下面我們 更一般地討論這一問題 。當(dāng)然，它們不是最優(yōu)的。但在不少應(yīng)用場合，并 不滿足協(xié)方差矩陣相等 。然而，只在正態(tài)分布和等協(xié)方差的情況下，線性判別函數(shù)才是貝葉斯意義上最優(yōu)的。在高斯分布、等協(xié)方差矩陣的情況下， Fisher分類器等價于最小錯誤率分類器。 ? 討論了最近距離分類和相關(guān)分類。在獨(dú)立同分布的假定下分析了維數(shù)的期望值。 ? 最小最大決策，當(dāng)先驗(yàn)概率變化時，使最大的錯誤率最小。這樣，當(dāng)模式滿足高斯分布，且協(xié)方差矩陣相等時，使 Fisher準(zhǔn)則最優(yōu)等價于最小錯誤率最優(yōu)。對準(zhǔn)則函數(shù)求導(dǎo)并令其等于 0，有 變換后的均值和方差 cmb iTi ???212 ，?? ibKb iTi ?37 222221212211?????????????????????????????????? FbFbFbFbbF? ? ? ? ? ?? ? ? ? 022212222122121222121 ????????? bKbKmm????????（ ） ∴ ? ? ? ?21121212221 mmKKb ??????????? ????? （ ） 38 ? 利用（ ）式可以求出 、 、 、 ，然后代入上式，但為了簡單，有時就把 b定為 1? 2?21? 22?? ? ? ?2112121mmKKb ??????? ???（ ） 而把項(xiàng) 放到閾值里去。 回想一下，若有 Axy ?即 ? ?xy AAx ?? ?? E? ? TAAKAEK xy x ??36 （ ） 這時 h(x)（分類器的輸出）的均值和方差為 （ ） ? 方程（ ）和參數(shù) c無關(guān)（相減），因此c可以包括到閾值 T里去。我們先介紹其中的一種： Fisher線性分類器（兩類問題）。 34 ? 人們在線性分類器上作了許多工作。 ? 因此，實(shí)際工作中， 一般是先假定一種分類器的數(shù)學(xué)形式， 如線性或二次分類器， 然后確定它的參數(shù)，使它對某種適當(dāng)?shù)臏?zhǔn)則函數(shù)最優(yōu) ，如類間的分離性等。 33 ? 但在某些情況下，不知道類條件密度函數(shù)，因此不可能找出最優(yōu)分類器。 32 三 . Fisher線性分類器 — 另一種決策準(zhǔn)則 （另外一種解決思路） ? 在前面一節(jié)中，我們討論了兩種形式的分類器，在 n維空間內(nèi)分析了它的判別邊界。在線性分類器 ? ? ? ? ckrkTkTkk NkωPmKmKmg ， ? ln 212x2x 11 ???? ??中，如果把向量在 K的特征向量的坐標(biāo)系下表示（作變換），并作比例變換使所有分量的方差變?yōu)?1，這時，線性分類器將作 mkTx相關(guān)運(yùn)算。 ? 構(gòu)造一個函數(shù) gk(t)，使?jié)M足 gk(T－ t)=mk(t)，則 （ 線性系統(tǒng)的杜哈美爾積分 ） ? ? ? ? ? ? ? ? dtttTgdtttm T kT k xx ?? ??0031 ? 即濾波器的輸出是相關(guān)值，而濾波器的脈沖響應(yīng)是 gk(t)，匹配濾波器可由專門的儀器來作。作相關(guān)時通常通過一個“ 匹配濾波器 ” 來實(shí)現(xiàn)。 ? 假定 |mk|2相等，即所有的信號具有相等的能量。即在任意時刻 ti， w(ti)的均值為 0，方差為 ，且當(dāng) 時， 。令 x(t)表示接收到的信號， mk(t)是已知的信號， k=1，2， … ， Nc 。 ? 上述例子是通信理論中信號檢測的一個經(jīng)典例子。 24 ? 例 3 ： 內(nèi)積分類器（相關(guān)分類器） 有 假定 。 解： 這時的判別函數(shù)化為 （ P22（ ※ ）式 ） ： ? 后兩項(xiàng)對所有類是共同的，可以省略。 23 ? 例 2： 最小距離分類器。 ? 下面考慮一些特定情況，說明二次和線性分類器的應(yīng)用 。多類時也是如此。當(dāng)所有類的先驗(yàn)概率相等時，可以省略 。 ? 這些性質(zhì)可以使我們從一組判別函數(shù)推導(dǎo)出另外的判別函數(shù)，以便計算上更加簡單，或者意義更清楚，便于理解。（也可以是 x的函數(shù)，但不能是 k的函數(shù)。 ? 當(dāng)先驗(yàn)概率相等時， p(x|ωk)也是一組等價的判別函數(shù)。 ? ?xkg18 ? 由貝葉斯公式， 和 等價。 ? ? TωωcbhT21???? xx? ?1212 mmKb ?? ?212111 mKmmKmcTT ?? ??式中 17 二 . 判別函數(shù)和多類分類器 ? 當(dāng)模式有 類，這時的最小錯誤率的決策規(guī)則可以表示為：