【文章內容簡介】 c可以包括到閾值 T里去。因此只要找出 b就可以了。對準則函數(shù)求導并令其等于 0，有 變換后的均值和方差 cmb iTi ???212 ，?? ibKb iTi ?37 222221212211?????????????????????????????????? FbFbFbFbbF? ? ? ? ? ?? ? ? ? 022212222122121222121 ????????? bKbKmm????????（ ） ∴ ? ? ? ?21121212221 mmKKb ??????????? ????? （ ） 38 ? 利用（ ）式可以求出 、 、 、 ，然后代入上式，但為了簡單，有時就把 b定為 1? 2?21? 22?? ? ? ?2112121mmKKb ??????? ???（ ） 而把項 放到閾值里去。 212221??????39 ? 這樣分類器的形式就成為： ? ? ? ? TωωKKmmT2112121x21???????????當 K1=K2=K時，（ ）式的 b和（ a）的 成比例。這樣，當模式滿足高斯分布，且協(xié)方差矩陣相等時，使 Fisher準則最優(yōu)等價于最小錯誤率最優(yōu)。 ? ?1212 mmkb ?? ?40 小結 ? 這一章首先討論了一些簡單的決策理論 ? 最小錯誤率、風險、 Neyman— Pearson 似然比檢驗，只是閾值不同。 ? 最小最大決策，當先驗概率變化時，使最大的錯誤率最小。 ? 序貫決策：測量的維數(shù)可變時，分析了閾值和錯誤率間的關系。在獨立同分布的假定下分析了維數(shù)的期望值。 41 ? 這一章還介紹了線性和二次分類器 ? 對于多類模式識別問題的判別函數(shù)。 ? 討論了最近距離分類和相關分類。 ? 討論了兩類問題的一種線性分類器 —— Fisher分類器。在高斯分布、等協(xié)方差矩陣的情況下， Fisher分類器等價于最小錯誤率分類器。 42 * 這類 線性分類器的更一般解法 ? 線性分類器是最容易實現(xiàn)的。然而，只在正態(tài)分布和等協(xié)方差的情況下，線性判別函數(shù)才是貝葉斯意義上最優(yōu)的。 ? 在通信系統(tǒng)的信號檢測中，等協(xié)方差矩陣是合理的。但在不少應用場合，并 不滿足協(xié)方差矩陣相等 。 ? 在設計正態(tài)分布、不等協(xié)方差的線性分類器，在設計非正態(tài)分布的線性分類器上有不少研究成果。當然，它們不是最優(yōu)的。但簡單易行，可以補償性能上的損失。下面我們 更一般地討論這一問題 。 43 令 ? ? 0210ωωvhT???? xvx任務是要確定 和 。 ? ?Tnvvv ，， ?21v ?0vxvy T?表示 x在 V方向上的投影。投影后的均值 和方差 是衡量類可分性的一個準則。 i?2i?44 投影 比 要好。投影后的均值 和方差 是衡量類可分性的一個準則。 v v? i?2i?45 ? ?? ? 0vmωhE iTii ??? vx?? ?? ? vvx2 iTii KωhV a r ???令 是 任一準則函數(shù) （要最大或最小的），要確定使 f最大（小）的 v和 v0。 ? ?222121 ???? ，，fvvvvv ?????????????????????????? 221122222121????????fffff02201102222021210 vfvfvfvfvf?????????????????????????? ????????46 由于 v2v2ii K??? ?ii m???v?002???vi? 10???vi?代入，有： ?????????????????????????????????????0v2212211222121??????ffmfmfKfKf47 由以上兩式可以計算出 v，但由于錯誤率只依賴 v的方向，而不是它的大小。因而可以消去 v的常數(shù)系數(shù)（不是 mi和 ki的函數(shù)）。 解出： ? ?? ? ? ?12121 1v mmKssK ???? ?式中， 222121???????????fffs48 ? 注意，上面得出的 v和 f無關， f只是出現(xiàn)在 s中。 ? 回想在正態(tài)、等協(xié)方差的情況下，有 這里是用 s和 (1－ s)對 K1和 K2作加權平均。當 f的具體形式給出后， v0是 的解。 ? ?1212v mmK ?? ?021????????ff49 例 1： Fisher線性分類器 。 ? ?2221221???????f∵ ? ?? ? 222212212221 ?????? ????????? ff因此 s＝ Fisher準則不依賴于 v0。因為 v0從 和 相減中消失了。 ? ?12121 2121 mmkk ??????? ???v∴ 最佳的 1? 2?50 例 2： 另種準則是 解出后有 ∴ Fisher準則不能確定 v0。 類內散度類間散度????? 222211222211????ppppf1ps ?? ? ? ?1212211v mmKpKp ??? ?? ?22110 mpmpv T ??? v51 分類器的錯誤率問題 ? 對樣本進行分類是 PR的任務之一。在分類過程中總會有錯誤率，當先驗概率和類條件密度函數(shù)已知，采用的決策規(guī)則也確定后，錯誤率也就固定了。 ? 錯誤率反映了模式分類問題本身的 固有復雜程度 。也是 衡量分類器性能 的重要指標。分類器是否和要解決的問題相匹配。 一 . 錯誤率的計算和估計 52 ? ? ? ? ? ? ? ? ? ? xxxx dωpωPdωpωPePRrRr 122211 ?? ??? ? ? ? ? ? ? ?ePωPePωP rr 2211 ????? 從上式可以看出，在 x是多維時， P(e)的計算要進行多重積分。當類條件密度函數(shù)的解析形式比較復雜時， P(e)的計算相當困難。 錯誤率的計算公式前面已經分析，對兩類問題： 53 ? 由于錯誤率對模式識別系統(tǒng)的重要性和復雜性，人們對錯誤率的 計算 和 估算 方法進行了大量的研究。方法主要有以下幾類： ? 按公式計算錯誤率； ? 估算錯誤率的上限； ? 從實驗中估計錯誤率。 ? 這一小節(jié)先討論前兩種方法。 54 ? 正態(tài)分布且等協(xié)方差矩陣時； ? 當 x的各分量間相互獨立時；