【正文】 原則劃分作為另一類。例如，全部樣本分為三類，其代價(jià)矩陣為 202200450000101501501015015021212121211212212121????????????? ?? ?? ?? ?? ?? ?i jijjcici jijjbibcbaaaai jijjaiaarrrrCCrrrrrrC????? ＝＋? ?? ?? ? ? ?分為兩類不再分割樹(shù)葉決策分類公式：，分為兩類，不再分割?????????????LLALAPCCPCLARRLP1221 21,L1R 2R????????????????????????????????050605001060100333231232221131211? b、根據(jù)對(duì)樣本分布的了解試探確定。每個(gè)節(jié)點(diǎn)都是兩類分類器。 48 決策樹(shù) — 多峰情況 ? Bayes分類器只能適用于樣本分布呈單峰情況，對(duì)多峰情況則不行。 ? 二類協(xié)方差相等， 二類協(xié)方差不等。 ，則可根據(jù) 3 的結(jié)果判定 y中各類樣本的類別。因此可計(jì)算出最小錯(cuò)誤可以計(jì)算若已知錯(cuò)誤率最小對(duì)多維問(wèn)題：可計(jì)算可以計(jì)算若已知.,)(21,21e x p21)(,)(,)()(,21211212m i n222111m i n21kkduuePNxPNxPePkTk??????????????????????????????????167。 24 關(guān)于分類器的錯(cuò)誤率分析 一般錯(cuò)誤率分析 ： dxxPRxPePdxxPRxPePdxxePePxxPxxPxePxPxxPxPRR?????????????????????????12)()()()()()()()(),(),()().(,),()(2212112121122121????????????第二類判錯(cuò)：第一類判錯(cuò)：平均錯(cuò)誤率：這時(shí)錯(cuò)誤率最小。通過(guò)正交，與所以點(diǎn)積為與因?yàn)楸菊髦禌Q定面是橢圓，長(zhǎng)軸由所以等概率因?yàn)?00 )(,0)(:)(,:)(xHxxWxxWbIa ii????? ?? ? ??第三種情況 (一般情況 )： Σ?為任意，各類協(xié)方差矩陣不等，二次項(xiàng) xT Σ? x與 i有關(guān)。不垂直于不同相與所以因?yàn)镠HxdHWWcjijiji。 )(ln21,)()()(101011iiTiiiiiTiiTiTiPwWwxWxgixxxx???????????????????????其中（線性函數(shù)）無(wú)關(guān)。離開(kāi)先聯(lián)線的中點(diǎn)。垂直于決策面同方向同相與所以，又因?yàn)榇怪迸c因此分界面，點(diǎn)積為與因形。(最簡(jiǎn)單情況 ) 零。區(qū)域中心由 μ決定，區(qū)域形狀由 ∑決定。 ⑤ 、線性組合的正態(tài)性。 也就是 ?… ③ 、不相關(guān)性等價(jià)于獨(dú)立性。為了簡(jiǎn)單，常記 為 中。 23 正態(tài)分布時(shí)的統(tǒng)計(jì)決策理論 為什么采用正態(tài)分布： a、物理上的合理性：正態(tài)分布在物理上是合理的、廣泛的。 :),...,()()()()()(121211221時(shí)可計(jì)算其似然比當(dāng)測(cè)得第一個(gè)特征參數(shù)其中，特征矢量xxxxXXPPXPXPxlTNi????????????)()()()()(2111211111 ??????xPxPxPxPxl?由最小錯(cuò)誤概率的 Bayes 判決，對(duì)于兩類問(wèn)題，似然比為 )()()(,)(,)(,)(22112121221121111111????xxPxxPxxlxAxlBxXBxlxXAxl，，并計(jì)算似然比則測(cè)量下一個(gè)特征參數(shù)如果則如果則如果?????????是上下門(mén)限），（其中的類別全部確定為止以上過(guò)程直到所有樣品，為重復(fù)，再測(cè)第三個(gè)特征參數(shù)，若，則，若，則，若BAxAxxlBxxXBxxlxxXAxxlTT.)()(,)()(,)(3212221212121212???????????現(xiàn)在來(lái)確定 A、 B的值。但是，在許多實(shí)際問(wèn)題中，觀察實(shí)際上是序貫的。 ε2 四、最大最小判別準(zhǔn)則 前邊的討論都是假定先驗(yàn)概率不變，現(xiàn)在討論在 P(ωi)變化時(shí)如何使 最大可能風(fēng)險(xiǎn)最小，先驗(yàn)概率 P(ω1)與風(fēng)險(xiǎn) R間的變化關(guān)系如下： ? ?? ? ? ?? ?? ? ? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ?? ? ? ? ? ? ? ?? ?dxxPPxPPdxxPPxPPdxxPxxRdxxPxxRdxxPxxRRPRi????????????????2121222211212212111121)(???????????????? 關(guān)系：與風(fēng)險(xiǎn)? ? ? ? ? ?? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ?.)(,][111212221211121221112221222112112212的線性函數(shù)就是被確定，風(fēng)險(xiǎn)一旦，對(duì)二類情況有：??????????????????PRdxxPdxxPPdxxPRdxxPdxxPPP???????????????????????????? ?? ? ? ?? ? ? ? ? ? ? ? ? ???????????????????1222221211121221122212221dxxPdxxPbdxxPabPaR?????????????其中：1?)( 1?xP)( 2?xP1?2X1X2?2??這樣，就得出最小風(fēng)險(xiǎn)與先驗(yàn)概率的關(guān)系曲線，如圖所示： ? ?1?PR固定21 , ??*RA選擇不同21 , ??)( 1* ?P?討論： ? ? ? ? ? ?? ? ? ? 。,ln212e x p2e x p2e x p)()(:121222112111121時(shí)為最小錯(cuò)誤率小但大小大但小大如圖所示：的不同直線。 作用。 ?在整個(gè)特征空間中定義期望風(fēng)險(xiǎn) , ?期望風(fēng)險(xiǎn)： ? ? ? ?? ? ? ? ? ? ).(,...,2,1,1MaaixPExR jMjjijii ???? ??????????? ?? ? ? ? )(, 平均風(fēng)險(xiǎn)dxxPxxRR ?? ? ?條件風(fēng)險(xiǎn)（也叫條件期望損失）： ?條件風(fēng)險(xiǎn)只反映對(duì)某 x取值的決策行動(dòng) αi所帶來(lái)的風(fēng)險(xiǎn)。因?yàn)檫@是正確判決，故損失最小。為了更好地研究最小風(fēng)險(xiǎn)分類器，我們先說(shuō)明幾個(gè)概念： ? 假定有 c類問(wèn)題，用 表示類型，用 表示可能作出的判決。 ： ),...,2,1(,)()(m a x)()()(1cixPxPPxPxgijjcjiii????????????? ? iijcjiiixPxPPxPxg?????????????)(ln)(lnm a x)(ln)(ln)(1?另一種形式： 決策面方程： 分類器設(shè)計(jì)： 0)()(),()( ??? xgxgxgxg jiji 即g1(x) max g(x) ?????????????dxxxX...21特征向量 判別計(jì)算決策ix ??g2(x) gd(x) 最大值選擇器...?一般錯(cuò)誤率分析 ： dxxPRxPePdxxPRxPePdxxePePxxPxxPxePxPxxPxPRR?????????????????????????12)()()()()()()()(),(),()().(,),()(2212112121122121????????????第二類判錯(cuò)：第一類判錯(cuò)：平均錯(cuò)誤率：這時(shí)錯(cuò)誤率最小。 判別函數(shù)： 若已知先驗(yàn)概率 P(ω1),P(ω2)， 類條件概率密度 P(x/ ω 1)， P(x/ ω 2)。 22 幾種常見(jiàn)的決策規(guī)則 一、基于最小錯(cuò)誤率的 Bayes決策 ?兩類問(wèn)題 例如：細(xì)胞識(shí)別問(wèn)題 ω1正常細(xì)胞， ω2異常細(xì)胞 某地區(qū)，經(jīng)大量統(tǒng)計(jì)獲先驗(yàn)概率 P(ω1),P(ω2)。 假設(shè)要求： 要研究的分類問(wèn)題有 C個(gè)類，分別由 表示。各類 出現(xiàn)的先驗(yàn)概率 以及類條件概率密度函數(shù) 已知。若取該地區(qū) 某人細(xì)胞 x屬何種細(xì)胞 ，只能由 先驗(yàn)概率決定。 則可得貝葉斯判別函數(shù)四種形式 ： )()()( 21 xgxgxg ??)( 1 xP? )( 2 xP?后驗(yàn)概率分布)( xP i?決策規(guī)則： )(),()()()1( 21 后驗(yàn)概率xPxPxg ?? ??2121 )()()1( ???? ???? xxPxP)(),()()()()()2( 2211 類條件概率密度???? PxPPxPxg ??212211 )()()()()2( ?????? ???? xPxPPxP決策規(guī)則： 決策規(guī)則： )(,)( )()( )()()3(1221 似然比形式????PPxPxPxg ??211221 )()()()()3(?????? ???? xPPxPxP)(,)( )(ln)( )(ln)()4(1221 取對(duì)數(shù)方法????PPxPxPxg ??211221)()(ln)()(ln)4(?????? ???? xPPxPxP決策規(guī)則： 決策面方程： x為一維時(shí)，決策面為一點(diǎn)， x為二維時(shí)決策面為曲線， x