【文章內(nèi)容簡介】 ? ?? ?? ? 2211212121211121)(1)()()(1)(1)()),(1()()()()()(,)()()(22?????????????????????????????XePePBXePePAePePBePBePdXXPBdXXPXBPXPBXPXPxlNNNNNNN用錯誤概率表示為即所以同理，因為? ? )()(121 ePePA ??? ?)(1)(21 ePePB ??繼續(xù)觀察區(qū)區(qū)判決 1??X區(qū)判決 2??X?序貫分類決策規(guī)則： ? 上下門限 A、 B是由設(shè)計給定的錯誤概率 P1(e), P2(e)來確定的， Wald 已證明，觀察次數(shù)不會很大，它收斂的很快。 ???????????????????????????時，繼續(xù)觀察時時AXPXPBXePePBXPXPXePePAXPXPiiiiii)()()(1)()()()()(1)()(212212112121167。 23 正態(tài)分布時的統(tǒng)計決策理論 為什么采用正態(tài)分布： a、物理上的合理性：正態(tài)分布在物理上是合理的、廣泛的。 b、數(shù)學上的簡單性：正態(tài)分布數(shù)學上簡單 , N(μ,σ178。) 只有均值和方差兩個參數(shù)。 一、 正態(tài)分布概率密度函數(shù)的定義及性質(zhì) 1．單變量正態(tài)分布 定義： ? ?? ? ? ? )()()(,)()(:),(21e x p21)(22222方差，均值或數(shù)學期望其中dxxPxxEdxxxPxENxxP??????????????????????????????????????????????????????????1)()(,0)(dxxPxxP列關(guān)系：概率密度函數(shù)應(yīng)滿足下)(xP? X??? 2 ??? 21若從服從正態(tài)分布的總體中隨機抽取樣本 x，約有 95％的 樣本落在 從 的圖形上可以看出，只要有兩個參數(shù) )(xp 2??和),( 2??N)2,2( ???? ?? ?就可以完全確定其曲線。為了簡單，常記 為 中。 樣本的分散程度可以用 來表示， 越大分散程度越大。 )(xp?（多變量）多維正態(tài)分布 （ 1）函數(shù)形式： ? ?? ? ? ?? ??? ? ???????????????????的行列式為的逆陣，為維協(xié)方差矩陣，為維均值向量，維特征向量其中121211212),...,(,...,:21e x p21)(nnddxxxxxxxPTnTnTd???????iiiii dxxPxxE ??????? )()( 是 的轉(zhuǎn)置，且： Tx )( ?? )( ??x}{ xE?? }))({( TxxE ?? ????)( ixp ?? ??????? di dxdxdxxpxp ?? 21)()(其中 為邊緣分布， 而： ]),())(()])([(jj2jijijiijiiijdxdxxxxxxxE?????????????? ???????協(xié)方差矩陣： ? ?? ?? ?? ?? ?? ? ? ?? ?? ?? ? ? ?? ?? ?? ? ? ?? ???????????????????????????????????????????????????????????ddddddddddddTxxxxxxxxExxxxExxE??????????????............,...,......111111111111? ?? ?? ? ? ?? ?? ?? ?? ?? ? ? ?? ?? ?????????????????????????????????????????是協(xié)方差，非對角線是方差對角線jijixxExxExxExxEijijddddddddddddd22222212121221111111111,..............................????????????????同單變量正態(tài)分布一樣，多元正態(tài)分布 是一個對稱矩陣，只考慮 ?||? 0||211 ??0222212212211 ?????)(p x? ? ),( ??N為正定矩陣的情況， 所有的子式都大于 0。即 ， 可以由 和 完全確定，常記為 。 也就是 ?… ③ 、不相關(guān)性等價于獨立性。若 xi與 xj互不相關(guān) ,則 xi與 xj一定獨立。 ④ 、線性變換的正態(tài)性 Y=AX，A為線性變換矩陣。若 X為正態(tài)分布，則 Y也是正態(tài)分布。 ⑤ 、線性組合的正態(tài)性。 ?2?1?1X2X(2)、性質(zhì)： ①、 μ與 ∑對分布起決定作用 P(x)=N(μ, ∑), μ由 n個分量組成， ∑由 n(n+1)/2元素組成。 ∴ 多維正態(tài)分布由n+n(n+1)/2個參數(shù)組成。 ②、等密度點的軌跡是一個超橢球面。區(qū)域中心由 μ決定，區(qū)域形狀由 ∑決定。 ⑥ 邊緣分布與條件分布的正態(tài)性 不難證明正態(tài)隨機向量的邊緣分布與條件分布仍服從正態(tài)分布。 ))(21e x p (2 1)(p 211111 ???????? xxii),(~)(p 21111 ??Nx ),(~)(p 22222 ??Nx已知 也就是說，邊緣分布 同理， 1x 2x)(),()|( 12112 xxxxx ??? ?)]})(()()([||21e x p {||21),(22112122222112112222121???????????????????xxxxxx給定 的條件下 的分布： )|( 12 xx? )|( 21 xx?代入上式， 服從正態(tài)分布，同理 也服從正態(tài)分布。 ?判別函數(shù)：類條件概率密度用正態(tài)來表示： ? ?? ? ? ?? ?? ? ? ?? ? ? ? )(lnln212ln221)(ln21e x p21ln)(21e x p21)()()(112121212iiiiTiiiiTiiniiiTiiniiPnxxPxxPxxPxPxg???????????????????????????????????????????????????????????????決策面方程： 0)()( ?? xgxg? ? ? ?? ? ? ?0)()(ln21)()(11??????????????jii iii iiPPxxxxxgxg??????二、多元正態(tài)概率型下最小錯誤率 Bayes分類 從最小錯誤率這個角度來分析 Bayes 分類器 ： 各個特征統(tǒng)計獨立，且同方差情況。(最簡單情況 ) 零。，只有方差，協(xié)方差為即?????????????22112...0.........0...:nni I??? ? ? ? ?? ?無關(guān)。對分類無影響。都與因為inIIIPnxxxgiiiiiiiTii????????2ln2,1,)(lnln212ln221)(21221??????????????????判別函數(shù)： )(,2)()(...)()(2221歐氏距離?????imxxgPPP???????如果 M類先驗概率相等： ? ? ? ?? ? ? ?iTiiiiii iTiixxxPxPxxxg?????????????????????? ??2221:),(ln2)(ln21)(其中? ? ? ?? ?ijTjMwiTiiiiTiiiiiTiiTTTiTixwxwwxwxgPwwwxwxgixxxxxxx????????????????????????????????0102020m a x)()(ln21,21)(,)(,2判別規(guī)則：其中：線性判別函數(shù)簡化可得：無關(guān)與因為二次項21212211212212)()(ln)()(21)(1)()()(??????????????????????xPPxgxxgxgxgTTT對于二類情況?最小距離分類器：未知 x與 μi相減，找最近的 μi把 x歸類 ? ?)()(ln)(210)(0)()(200jijijijijijiPPxWxxWxgxg??????????????????????其中決策面方程：?討論： 的聯(lián)線。垂直于決策面同方向同相與所以，又因為垂直與因此分界面，點積為與因形。所以等概率面是一個圓協(xié)方差為零。因為????????HWWWH