機(jī)器學(xué)習(xí)非參數(shù)方法(編輯修改稿)
2025-02-05 17:41 本頁面
【文章內(nèi)容簡(jiǎn)介】 分類出錯(cuò)。因此如果能將不同類別交界處的樣本以適當(dāng)方式篩選，可以實(shí)現(xiàn)既減少樣本數(shù)又提高正確識(shí)別率的雙重目的。為此可以利用現(xiàn)有樣本集對(duì)其自身進(jìn)行剪輯。 剪輯的過程是 ：將樣本集 KN分成兩個(gè)互相獨(dú)立的子集：考試（ test） 集 KT和參考（ reference） 集 KR。首先對(duì) KT中每一個(gè) Xi在參考集 KR中找到其最近鄰的樣本 Yi(Xi) 。如果 Yi與 Xi不屬于同一類別，則將 Xi從考試集 KT中刪除，最后得到一個(gè)剪輯的樣本集 KTE（ 剪輯樣本集 ），以取代原樣本集，對(duì)待識(shí)別樣本進(jìn)行分類。 剪輯的結(jié)果是去掉兩類邊界附近的樣本。 壓縮近鄰法 ：利用現(xiàn)有樣本集，逐漸生成一個(gè)新的樣本集，使該樣本集在保留最少量樣本的條件下，仍能對(duì)原有樣本的全部用最近鄰法正確分類，那末該樣本集也就能對(duì)待識(shí)別樣本進(jìn)行分類，并保持正常識(shí)別率。 定義 兩個(gè)存儲(chǔ)器 ，一個(gè)用來存放即將生成的樣本集，稱為 Store；另一存儲(chǔ)器則存放原樣本集，稱為 Grabbag。其算法是： 。 Store是空集，原樣本集存入 Grabbag；從 Grabbag中任意選擇一樣本放入 Store中作為新樣本集的第一個(gè)樣本。 。在 Grabbag中取出第 i個(gè)樣本用 Store中的當(dāng)前樣本集按最近鄰法分類。若分類錯(cuò)誤，則將該樣本從 Grabbag轉(zhuǎn)入 Store中，若分類正確，則將該樣本放回 Grabbag中。 。若 Grabbag中所有樣本在執(zhí)行第二步時(shí)沒有發(fā)生轉(zhuǎn)入 Store的現(xiàn)象，或 Grabbag已成空集，則算法終止，否則轉(zhuǎn)入第二步。 最佳距離度量 近鄰法 ?定義新的距離函數(shù) ( , 39。) | ( ) |TlD x x x x? ? ?其中 xl為 x的局部鄰域中的樣本 ,則必有 ( , 39。) m i n ( )llD x x D x x??按照上面定義的新距離，在 x的局部鄰域中選擇 x的最近鄰 x’,則可使有限樣 本與無限樣本的錯(cuò)誤率之差在均方意義下達(dá)到最小。 需要說明：上述距離度量使通過對(duì) P(wi|x)在 x的局部鄰域區(qū)域中做線性近 似得到的，因此，它只適合于 XN中與 x 較為接近的那些樣本。 ?根據(jù) 尋找 x 最近鄰的程序步驟 ( , 39。)D x x（ 1）計(jì)算 ||xx1||,… , ||xxN|| (2) 找出與 x 距離是最短的 NA個(gè)近鄰 xl， l=1,2,… ,lNa （ 3）利用 xl計(jì)算 M1M0 (4) 計(jì)算 |(M1M0)T (xxl1)|,…, |(M 1M0)T (xxlNA) 選出其中最小者，若為 xlk ,則 xlk為 x的按照距離 度量的最近鄰，即 xlk ＝ x’ ( , 39。)D x xPazen 窗 Parzen窗方法綜述、發(fā)展歷史及現(xiàn)狀 模式識(shí)別領(lǐng)域的非參數(shù)估計(jì)方法大致可以分為兩類。第一種類型是先估計(jì)出概率密度函數(shù)的具體形式，然后再利用這個(gè)估計(jì)出來的概率密度函數(shù)對(duì)樣本進(jìn)行分類。第二種類型是，不估計(jì)具體的概率密度函數(shù)，而直接根據(jù)樣本進(jìn)行分類。 Parzen窗方法就是屬于第一種類型的非參數(shù)估計(jì)方法，概率神經(jīng)網(wǎng)絡(luò)（ PNN）是它的一種實(shí)現(xiàn)方式。 Parzen窗方法的基本思想是利用一定范圍內(nèi)的各點(diǎn)密度的平均值對(duì)總體密度函數(shù)進(jìn)行估計(jì)。 Parzen窗（ Parzen window）又稱為核密度估計(jì)（ kernel density estimation），是概率論中用來估計(jì)未知概率密度函數(shù)的非參數(shù)方法之一。該方法由 Emanuel Parzen于 1962年在 The Annals of Mathematical Statistics 雜志上發(fā)表的論文“ On Estimation of a Probability Density Function and Mode” 中首次提出。 Nadaraya 和 Watson最早把這一方法用于回歸法中。 Specht把這一方法用于解決模式分類的問題，并且在 1990年發(fā)表的論文 “ Probabilistic neural works” 中提出了 PNN網(wǎng)絡(luò)的硬件結(jié)構(gòu)。 Ruppert和Cline基于數(shù)據(jù)集密度函數(shù)聚類算法提出了修訂的核密度估計(jì)方法，對(duì) Parzen窗做了一些改進(jìn)。 Parzen窗方法雖然是在上個(gè)世紀(jì) 60年代提出來的，已經(jīng)過去了 45年的時(shí)間，看上去是一種很“古老”的技術(shù)，但是現(xiàn)在依然有很多基于 Parzen窗方法的論文發(fā)表。這說明 Parzen窗方法的確有很強(qiáng)的生命力和實(shí)用價(jià)值，雖然它也存在很多缺點(diǎn)。 Parzen窗方法和概率神經(jīng)網(wǎng)絡(luò) Parzen窗方法就是基于當(dāng)樣本個(gè)數(shù) n非常大的時(shí)候，有公式 成立這樣的一個(gè)事實(shí)而提出的。通過計(jì)算在一個(gè)區(qū)域 R內(nèi)的頻數(shù) k/n，用這個(gè)頻數(shù)來估計(jì)這一點(diǎn)的頻率，從而得到這一點(diǎn)的概率。當(dāng) n趨于無窮大的時(shí)候， p(x) 等于該點(diǎn)的實(shí)際概率。這種方法就是模式識(shí)別領(lǐng)域中的非參數(shù)估計(jì)方法。 Parzen窗方法就是通過構(gòu)造一系列的區(qū)域： ，在這些區(qū)域內(nèi)計(jì)算 k/n。記 Vn為區(qū)域 Rn的體積， kn為落在區(qū)域 Rn中的樣本個(gè)數(shù)， 表示對(duì) 的第 n次估計(jì)，于是有： 為了保證能夠收斂到 ，必須滿足以下 3個(gè)條件： Parzen窗方法的實(shí)質(zhì)就是通過對(duì)上面的區(qū)域 Rn，每次按照 來構(gòu)造區(qū)域序列，使區(qū)域逐漸收縮到一個(gè)給定的初始區(qū)間。它不斷收縮區(qū)域，按照公式把區(qū)域不斷縮小，而不關(guān)心該區(qū)域?qū)嶋H上包含多少個(gè)樣本點(diǎn)。另外一種與它相對(duì)應(yīng)的非參數(shù)估計(jì)方法是 Kn近鄰法。 假設(shè)區(qū)間 Rn 是一個(gè) d 維的超立方體， hn 表示超立方體的一條邊的長度，那么該超立方體的體積就是 。通過定義如下的窗函數(shù)，我們能夠解析地得到落在窗中的樣本個(gè)數(shù) kn 的表達(dá)式： 該方程表明一種更加一般的估計(jì)概率密度函數(shù)的方法 —— 不必規(guī)定區(qū)間必須是超立方體，可以是某種更加一般化的形式。這個(gè)公式表示我們對(duì) p(x) 的估計(jì)是對(duì)一系列關(guān)于 x和 xi 的函數(shù)求平均。這個(gè) 就是 Parzen窗方法估計(jì)得到的概率密度函數(shù)。 關(guān)于是否合理的問題，也就是判斷它是否保證函數(shù)值非負(fù)，而且積分的結(jié)果為 1。這一點(diǎn)可以通過增加條件來保證：
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1