【正文】 非常不適合。首先講訓練樣本集 D，樣本點的總數(shù)為 n。 利用交叉驗證技術(shù)，我們可以對 Parzen窗技術(shù)中的高斯窗函數(shù)的寬度進行調(diào)整。對 Parzen窗分類器以及大多數(shù)的問題而言，訓練誤差會隨著訓練的進行而單調(diào)下降。如圖所示： 前面提到了 Parzen窗方法存在著“維數(shù)災難”的問題，這嚴重限制了Parzen窗方法的實際應用。它不斷收縮區(qū)域，按照公式把區(qū)域不斷縮小，而不關心該區(qū)域?qū)嶋H上包含多少個樣本點。如果 xi落在超立方體 Vn中，那么 ，否則便為 0。 模式分類方法總結(jié) 一、參數(shù)判別分類方法與非參數(shù)判別分類方法的區(qū)別 ?從參數(shù)判別方法看，它的前提是對特征空間中的各類樣本的分布清楚，因此一旦要測試分類樣本的特征向量值 X已知，就可以確定 X對各類的后驗概率，也就可按相應的準則計算與分類。 模式分類方法總結(jié) 一、參數(shù)判別分類方法與非參數(shù)判別分類方法的區(qū)別 ?非參數(shù)分類判別方法則著眼于直接利用訓練樣本集，省去參數(shù)估計這一環(huán)節(jié)，這樣一來，從保證最小錯誤率的原則出發(fā)計算確定判別函數(shù)的方法就不適用了。 模式分類方法總結(jié) 二、非參數(shù)分類判別方法的基本做法 使用非參數(shù)分類判別方法進行分類器設計主要包含兩個步驟： （ 1）一個是確定的使用的判別函數(shù)類型或決策面方程類型，如線性分類器，分段線性分類器，非線性分類器等或近鄰法等。另一種則用隱含形式，例如我們用最小距離分類器就代表了這種類型，其實這兩種形式是等價的。如近鄰法是用距離遠近表示相似程度，錯誤修正法用樣本向量與增廣權(quán)向量的點積運算，也可在一定程度上看作相似度。 七、近鄰法 近鄰法訓練樣本數(shù)量較多時，從漸近錯誤率角度看，其錯誤率比較小，是經(jīng)常使用的模式識別分類方法，比較適合在多類別情況下使用。 模式分類方法總結(jié) 五、 Fisher準則 Fisher準則是傳統(tǒng)模式識別方法中的典型方法，它強調(diào)將線性方程中的法向量與樣本的乘積看作樣本向量在單位法向量上的投影，如能做到不同類的樣本在法向量上的投影呈現(xiàn)類內(nèi)聚集，類向分開的效果，則對減少錯分類有利。 本章學習的 Fisher準則、支持向量機與局部訓練法等用的是顯式表示，而錯誤修正法和近鄰法則可以說是隱式表示。 （ 2）另一個步驟是在選定的函數(shù)類型網(wǎng)絡結(jié)構(gòu)等條件下，確定相應的參數(shù)，從而完成整個分類器設計。分類器的效果好壞，常指分類的錯誤率，一般在理論上很難說明，主要靠實踐來檢驗。所以判別函數(shù)等的確定取決于樣本統(tǒng)計分布的有關知識。這個公式表示我們對 p(x) 的估計是對一系列關于 x和 xi 的函數(shù)求平均。 假設區(qū)間 Rn 是一個 d 維的超立方體， hn 表示超立方體的一條邊的長度，那么該超立方體的體積就是 ?，F(xiàn)在對付“維數(shù)災難”的惟一有效的方法就是盡可能多的在處理問題時嵌入關于模式數(shù)據(jù)本身的可靠的先驗知識。這是因為后面出現(xiàn)了對訓練集“過擬合”（ overfitting）的現(xiàn)象。從而達到優(yōu)化 Parzen窗方法的目的。用這 m個訓練樣本集去訓練 Parzen窗分類器，訓練完成之后，再選擇一個與訓練樣本集不同的樣本集作為“驗證集”（ validation set），在驗證的時候可以計算出這一次的推廣誤差（ generalization error），把這個值作為 Parzen分類器推廣能力的度量。 簡單地說，“交叉驗證方法”使用數(shù)據(jù)集中的一小部分來形成一個“驗證集”，而窗的寬度就是通過使驗證集上的誤差率最小來調(diào)節(jié)得到的。如果 V1非常小，那么大多數(shù)的體積內(nèi)都是空的，估計得到的 Pn(x)將包含很大的誤差。 所以， PNN算法適合于對計算速度要求高而存儲器資源比較容易滿足的場合。這個算法的空間復雜度也很容易計算：只要查看 PNN圖中的連接個數(shù)即可。所以，這個例子說明沒有一個理想的固定的 h值能夠適應全部區(qū)域的情況。其中窗寬度 h不相同。這種現(xiàn)象被稱為“維數(shù)災難（ curse of dimensionality）”，嚴重制約了這種方法的實際應用。這時要求的訓練樣本的個數(shù)比在知道分布的參數(shù)形式下進行估計所需要的訓練樣本的個數(shù)要多得多。 Parzen窗方法能處理任意的概率分布，不必假設概率密度函數(shù)的形式已知，這是非參數(shù)化方法的基本優(yōu)點。在處理有監(jiān)督學習過程的時候，現(xiàn)實世界的情況往往是我們不知道概率密度函數(shù)形式。對于一個中心在某一個訓練樣本 Wk處的未經(jīng)過歸一化的高斯窗函數(shù)。如果把第 j個樣本的第 k個分量記為 Xjk，把這個分量到第 j個模式層單元的連接權(quán)重系數(shù)記為 wjk，其中 j = 1,2,…,n, k = 1, 2, …, d 。同時，連接輸入單元和第一個模式層單元的那些連接被初始化為 W1=X1。這樣的結(jié)果就保證了類別單元處得到的就是使用協(xié)方差為 的圓周對稱高斯窗函數(shù)的 Parzen窗的估計結(jié)果（ I表示 d d的單位矩陣）。 從輸入層到模式層的連線表示可修改的權(quán)系數(shù)，這些權(quán)系數(shù)可以通過訓練得到。 Parzen窗方法可以使用神經(jīng)網(wǎng)絡的方法來實現(xiàn)，也就是通常所說的概率神經(jīng)網(wǎng)絡（ Probabilistic neural work, PNN）。這個公式表示我們對 p(x) 的估計是對一系列關于 x和 xi 的函數(shù)求平均。它不斷收縮區(qū)域，按照公式把區(qū)域不斷縮小，而不關心該區(qū)域?qū)嶋H上包含多少個樣本點。當 n趨于無窮大的時候， p(x) 等于該點的實際概率。 Parzen窗方法雖然是在上個世紀 60年代提出來的，已經(jīng)過去了 45年的時間，看上去是一種很“古老”的技術(shù)，但是現(xiàn)在依然有很多基于 Parzen窗方法的論文發(fā)表。該方法由 Emanuel Parzen于 1962年在 The Annals of Mathematical Statistics 雜志上發(fā)表的論文“ On Estimation of a Probability Density Function and Mode” 中首次提出。第二種類型是，不估計具體的概率密度函數(shù)，而直接根據(jù)樣本進行分類。 ?根據(jù) 尋找 x 最近鄰的程序步驟 ( , 39。 最佳距離度量 近鄰法 ?定義新的距離函數(shù) ( , 39。在 Grabbag中取出第 i個樣本用 Store中的當前樣本集按最近鄰法分類。 定義 兩個存儲器 ，一個用來存放即將生成的樣本集，稱為