【正文】 kxC?j 6)433332(62261)(61 61)2(61)2(222 1 ?=??????=== ??== kkkk xxC?j )354323(62261)(61 61)2(61)2(323 2 ?=??????=== ??== kkkk xxC?j 40)345343332332(64 461)(61 61)2()2(61)2(424 21=???????????=== ??== kkkkk xxxC?j212121214122 )4(40)2()2(61)()|(?2xxxxxxxxxCxpjjjN???=??????==? ?=??j?1)(1 =xj 12 2)( xx = 23 2)( xx =j 214 4)( xxx =92 使用最小錯誤判決規(guī)則 : 若只取線性項，則為 21 =? xx 21 =xx1x2x1?2??1 ?2 ?2 令 2/1)()( 11 == ?? PP 21212211 )()|(?)()|(?)( 21 xxxxPxpPxpxd NN ??=?= ???? ???則 )(2121 =??= xxxxxd ?判別界面方程為 93 21 =? xx1x2x 1?2? ?1 ?2 ?2 94 作業(yè) : 95 演講完畢，謝謝觀看！ 。因此應(yīng)考慮 加權(quán)的最小均方差逼近 。5 有限項正交函數(shù)級數(shù)逼近法 — 估計 與真值 之間的誤差可用下式測度 )(? xp ? )(xp ? ?? ??= xdxpxpxCCCJ R????L 221 ))(?)()((),(式中， 是特征空間， 是權(quán)函數(shù)，顯然 越小，我們得到的估計從總體上講就越精確。我們可以預先確定 Nk是 的某個函數(shù)，然后在 x?點附近選擇一“緊湊”區(qū)域， 個鄰近樣本。 窗函數(shù)選取得當有利于提高估計的精度和減少樣本的數(shù)量。 ⑶ 指數(shù)窗函數(shù) ? ? u u ? = j exp ) ( ⑴ 方窗函數(shù) ? ? ? ? = j 其它 , 0 2 1 , 1 ) ( u u ⑵ 正態(tài)窗函數(shù) ? ? ? ? ? ? ? ? = j 2 2 1 exp 2 1 ) ( u u ⑷ 三角窗函數(shù) ? ? ? ? ? = j 1 , 0 1 , 1 ) ( u u u u 57 下面進一步討論窗寬 對估計的影響 : 概密的窗函數(shù)估計法 Parzen窗法 )(1)(NNN hxVx??j=?定義 : ?=??=NjjNN xxNxp1)(1)(? ???于是估計式表示成 : nNN hV =h影響 )(xN ??的幅度和寬度。 kNkkNk PPCP ??= )1(NkP =?Pkk? ? NPkE = ? ? NPkE =46 概密的窗函數(shù)估計法 概率密度的基本估計式 設(shè)區(qū)域 R 的體積為 V ，我們?nèi)? R 足夠小，使 ? ? = R V x p x d x p P ) ( ) ( ? ? ? 設(shè) ) ( ? x p ? 是 ) ( x p ? 的估計，由上面二式有 V x p x d x p P N k R ) ( ? ) ( ?? ? ? ? = = = ? 于是可得 VNkxp =)(? ?47 概密的窗函數(shù)估計法 概率密度的基本估計式 顯然 VNkxp =)(? ?是 )(xp ?的基本估計式，它與 kVN ,有關(guān)，顯然 )(? xp ?和 )(xp ?有一定的誤差。 （ 1）假設(shè) Σ 是已知的，未知的只是均值 μ ，則： )()(||)2ln()|(ln1212 1 ???q ??????= ?? kTkdk xxxp )()|(ln 1 ??q ??=?? ?kk xxp 0)(11 =???=?Nkkx ??==NkkxN11??28 參數(shù)估計 最大似然估計 (MLE) (Maximum Likelihood Estimate) 這說明，樣本總體的未知均值的最大似然估計就是訓練樣本的平均值。 21 參數(shù)估計 最大似然估計 (MLE) (Maximum Likelihood Estimate) 似然函數(shù) : 當 N個隨機樣本取定值 Nxxx ?L?? , 21時， ),( 21 q??L??Nxxxp稱為相對于 Nxxx ??? , 21的 q?的 似然函數(shù) 。 1 1 1 1 1 ? ? ? = ? ? ? ? ? ? = ? N N N j N j j x x N x N m N N m N m N N x x N ? ? ? ? ? ? ? ? ))39。()(139。 ? ?q=??????q????EE NN?limN ? ?q=??????q ?? EEN?Nq??11 基本概念 統(tǒng)計推斷概述 均方收斂 : ?q ?? =???????? NNVar ?lim均方逼近 : 均方收斂 : ?=?????? ?q?qq?q??)?)(?(lim NNNE????又稱相合估計 一致估計 : 當樣本無限增多時，估計量 依概率收斂于 ， Nq??q? 0)?(lim =?q?q????NN P12 5 點估計、估計量： 針對某未知參數(shù) q構(gòu)造一個統(tǒng)計量作為 q的估計 ，這種估計稱為點估計。 統(tǒng)計推斷概述 4 如果已知 i ? 類的概密 ) ( i x p ? ? 的函數(shù)類型，即知道 i ? 類的 概型，但不知道其中的參數(shù)或參數(shù)集 ， 可采用參數(shù)估計的方法 ，當解得這些參數(shù) 后 ) ( i x p ? ? 也就確定了。也就是說利用統(tǒng)計推斷理論中的估計方法，從樣本集數(shù)據(jù)中估計這些參數(shù)。 統(tǒng)計推斷概述 )( ixp ?? )( iP ? )( xP i ?數(shù)學期望、方差等 理論量（或理論分布）： 參數(shù)空間： 在統(tǒng)計學中，把未知參數(shù) q的可能值的集合稱為參數(shù)空間，記為 Q。 當不能對所有 的都有 時，希望估計量 是漸近無偏估計。1 112111????=??????= ? NNNNjNjj xNmNxNmNNNNxxNxxN????????])39。 ( ) ( 1 39。 最大似然估計 是參數(shù)估計中最重要的方法。 27 參數(shù)估計 最大似然估計 (MLE) (Maximum Likelihood Estimate) 下面我們以多維正態(tài)分布為例進行說明。 P?PNP45 概密的窗函數(shù)估計法 概率密度的基本估計式 當固定 時，對 的最大似然估計 ， 由概率論知， 的數(shù)學期望 。下面列出幾個一維窗函數(shù)的例子， n維的窗函數(shù)可用乘積的方法由一維函數(shù)構(gòu)造。 但它 要求樣本分布較好且數(shù)量要大 ，顯然這也是一個良好估計所必須的，但它的取樣過程的操作增加了取樣工作的復雜性。 Nk69 概密的窗函數(shù)估計法 kN近鄰估計法 Nk基本思想：把含 x?點的序列區(qū)域的體積 LL , 21 NVVV作為落入 NR中樣本數(shù) Nk的函數(shù)，而不是直接作為 N的函數(shù)。 最小積分平方逼近方法 77 5 這樣分別對待會使在相同的訓練樣本下總的誤判概率較小