第五章參數(shù)估計與非參數(shù)估計-資料下載頁
2025-08-01 13:14本頁面
【正文】 估計 PN(x)。 解：設(shè)窗口函數(shù)為正態(tài)的， σ＝ 1， μ ＝ 0 hN:窗長度， N為樣本數(shù)， h1為選定可調(diào)節(jié)的參數(shù)。 ])||(21e xp[21)||( 2hxxhxxNiNi ??????Nhh 1N ?設(shè)? ?????????? NiiNi NiNhNxxNhhxxhNNxP 1 1211 1]||21e x p [211)||(1)( ???用 窗法估計單一正態(tài)分布的實驗 Parzen ?h202?202?202?11 ?h 41 ?h討論：由圖看出 , PN(x)隨 N, h1的變化情況 ①當(dāng) N＝ 1時， PN(x)是一個以第一個樣本為中心的正態(tài)形狀的小丘，與窗函數(shù)差不多。 ②當(dāng) N＝ 16及 N=256時 h1＝ 曲線起伏很大，噪聲大 h1＝ 1 起伏減小 h1＝ 4 曲線平坦，平均誤差 ③當(dāng) N→∞時， PN(x)收斂于一平滑的正態(tài)曲線， 估計曲線較好。 例 3。待估的密度函數(shù)為二項分布 解：此為多峰情況的估計 設(shè)窗函數(shù)為正態(tài) 解：此為多峰情況的估計 設(shè)窗函數(shù)為正態(tài) x 2 1 0 2 P(x) ??????01)( xPx2 0x2 x為其它 NhhuuN12 ],21ex p [21)( ????? ?h202?202?202?11 ?h 41 ?h?用 窗法估計兩個均勻分布的實驗 Parzen當(dāng) N= 1 25 ∞時的 PN(x)估計如圖所示 ①當(dāng) N＝ 1時， PN(x) 實際是窗函數(shù)。 ②當(dāng) N＝ 16及 N=256時 h1＝ 曲線起伏大 h1＝ 1 曲線起伏減小 h1＝ 4 曲線平坦 ③當(dāng) N→∞時， 曲線較好。 結(jié)論： ①由上例知窗口法的優(yōu)點(diǎn)是應(yīng)用的普遍性。對規(guī)則分布，非規(guī)則分布，單鋒或多峰分布都可用此法進(jìn)行密度估計。 ②要求樣本足夠多，才能有較好的估計。因此使計算量，存儲量增大。 ： 在窗口法中存在一個問題是對 hN的選擇問題 。 若 hN選太小 ， 則大部分體積將是空的 （ 即不包含樣本 ） ， 從而 使 PN(x)估計不穩(wěn)定 。 若 hN選太大 ， 則 PN(x)估計較平坦 ， 反映不 出總體分布的變化 ， 而 KN近鄰法的思想是以 x為中心建立空胞 ， 使 v↑， 直到捕捉到 KN個樣本為止 。 ∴ 稱 KN近鄰估計 v的改進(jìn) ， 樣本密度大 ， VN ↓。 樣本密度小 ， VN ↑。 ∴ P(x)的估計為： Nk N ?? 取,VNk( x)PNNN使 PN(x)收斂于 P(x)的充分必要條件： ① ， N與 KN同相變化 ② ， KN的變化遠(yuǎn)小于 N的變化 ③ ???? K NNlim0lim ??? NK NN))(11)()(( 111| VxPVV NKxPxP NNNN ????? ，所以因為V1為 N=1時的 VN值 NVNxPxPNNxPNKxPNKVNK NNNN N1)(1)()()( ?????時，＝當(dāng) ∴ KN近鄰估計對 KN和 VN都作了限制 KN近鄰法作后驗概率的估計 由 KN近鄰估計知 N個已知類別樣 本落入 VN內(nèi)為 KN個樣本的概率密度估計為： N個樣本落入 VN內(nèi)有 KN個， KN個樣本內(nèi)有 Ki個樣本屬于 ωi類 則聯(lián)合概率密度： ???????NVVNKNN1VNkxPNNN ?)()()|(),( ??? iiNiiN PxPvNkxP ??根據(jù) Bayes公式可求出后驗概率： 類別為 ωi的后驗概率就是落在 VN內(nèi)屬于 ωi的樣 本 ki與 VN內(nèi)總樣本數(shù) KN的比值 ????????MjiNiNNiiiiiiNxPxPPxPPxPxP11),(),()()|()()|()|(???????VNkxPxPNNMjjN ?? ?? 1),()( ?V NkxPNiiN ?),( ?kkxPNiiN ?)|( ?后驗概率的估計：∴ ∵ K近鄰分類準(zhǔn)則：對于待分樣本 x， 找出它的 k個近鄰 ， 檢查 它的類別 ， 把 x歸于樣本最多的那個類別 。 K近鄰分類的錯誤率隨 K↑， Pk↓,最低的錯誤率為 Bayes分類 。 P* PK 最近鄰分類準(zhǔn)則：待分樣本 x， 找一個離它最近的樣本 ， 把 x歸于最近的樣本一類 。 錯誤率： M為類別數(shù) P(e)為 Bayes估計的錯誤率 最近鄰分類法則的錯誤率 P比 K近鄰錯誤率還大，但最大 不會超過貝葉斯分類器錯誤率的二倍。 )(2)](12)[()( ePePM MePPeP ?????MM 1?MM 1?P P(e) Bayes K近鄰 最近鄰
電大資料相關(guān)推薦
鄂ICP備17016276號-1