【文章內(nèi)容簡(jiǎn)介】 際并不需要產(chǎn)生額外的數(shù)據(jù)來描述規(guī)則，它的規(guī)則本身就是數(shù)據(jù)(樣本)。KNN屬于機(jī)器學(xué)習(xí)的基于樣本的學(xué)習(xí)。它區(qū)別于歸納學(xué)習(xí)的主要特點(diǎn)是直接用已有的樣本來解決問題，而不是通過規(guī)則推導(dǎo)來解決問題。它并不要求數(shù)據(jù)的一致性問題，即可以通過噪音，并且對(duì)樣本的修改是局部的，不需要重新組織。K近鄰算法綜合與未知樣本最近的K 個(gè)近鄰樣本的類別來預(yù)測(cè)未知樣本的類別，而在選擇樣本時(shí)根據(jù)一定的距離公式計(jì)算與未知樣本的距離來確定是否被選擇。其優(yōu)點(diǎn)是方法簡(jiǎn)單，算法穩(wěn)定。缺點(diǎn)是需要大量樣本才能保證數(shù)據(jù)的精度，此外，更主要的是它需要計(jì)算大量的樣本間的距離，導(dǎo)致使用上的不便。對(duì)于每個(gè)新的樣本都要遍歷一次全體數(shù)據(jù)，KNN計(jì)算量要比Bayes和決策樹大。對(duì)時(shí)間和空間的復(fù)雜性是必須考慮的。KNN常用在較少數(shù)據(jù)預(yù)測(cè)時(shí)使用[8]。第三章 分類器概述 分類器的概念分類器的定義：輸入的數(shù)據(jù)含有千萬個(gè)記錄，每個(gè)記錄又有很多個(gè)屬性，其中有一個(gè)特別的屬性叫做類（例如信用程度的高，中，低）。分類器的目的就是分析輸入的數(shù)據(jù)，并建立一個(gè)模型，并用這個(gè)模型對(duì)未來的數(shù)據(jù)進(jìn)行分類，數(shù)據(jù)分類技術(shù)在信用卡審批、目標(biāo)市場(chǎng)定位、醫(yī)療診斷、故障檢測(cè)、有效性分析、圖形處理及保險(xiǎn)欺詐分析等領(lǐng)域,都可以看到分類器廣泛應(yīng)用。分類是一種典型的有監(jiān)督的機(jī)器學(xué)習(xí)方法[3],其目的是從一組已知類別的數(shù)據(jù)中發(fā)現(xiàn)分類模型,以預(yù)測(cè)新數(shù)據(jù)的未知類別。用于分類的數(shù)據(jù)是一組已知類別的樣本，每個(gè)樣本包含一組相同的屬性。根據(jù)在分類中的作用，屬性可以分為條件屬性和目標(biāo)屬性兩種。這樣，一個(gè)樣本就可以表示為(X1，X2，...Xm，Y)的形式，其中，Xi是條件屬性，Y是目標(biāo)屬性。分類的目的就是發(fā)現(xiàn)X1,X2,Xm…和Y之間的依賴關(guān)系，這種依賴關(guān)系又稱為分類模型或者分類器?？梢哉J(rèn)為，分類器就是一個(gè)函數(shù)，它的輸入是未知類別的樣本，輸出是樣本的類別。 分類器的構(gòu)造方法分類的方法不同，模型的表示形式就不同。利用決策樹方法構(gòu)造的分類模型就可能表示為樹狀結(jié)構(gòu)或者分類規(guī)則，神經(jīng)網(wǎng)絡(luò)的分類模型則可表示為由單元和系數(shù)構(gòu)成的網(wǎng)絡(luò)模型，而貝葉斯分類的模型則表現(xiàn)為數(shù)學(xué)公式。數(shù)據(jù)訓(xùn)練集測(cè)試集分類模型類別測(cè)試后的分類模型新數(shù)據(jù) 模型構(gòu)造 模型測(cè)試 模型應(yīng)用 分類的三個(gè)步驟一個(gè)完整的分類過程一般包括模型構(gòu)造，模型測(cè)試和模型應(yīng)用這三步[4]。具體地說，每個(gè)步驟的功能如下：(1)模型構(gòu)造分析樣本的類別和其具備的一些特征之間的依賴關(guān)系，并將這種關(guān)系用特定的模型表示出來。例如，分析以往的病歷，根據(jù)病人的癥狀和診斷結(jié)果，得到疾病診斷模型。用來構(gòu)造模型的數(shù)據(jù)集稱為訓(xùn)練數(shù)據(jù)集或者訓(xùn)練樣本集，即訓(xùn)練集。(2)模型測(cè)試檢測(cè)模型的準(zhǔn)確度,最終得到描述每個(gè)類別的分類模型。用來評(píng)價(jià)模型的數(shù)據(jù)集稱為測(cè)試數(shù)據(jù)集或者測(cè)試樣本集,簡(jiǎn)稱測(cè)試集。測(cè)試的過程是對(duì)測(cè)試數(shù)據(jù)依次檢測(cè)，根據(jù)模型確定樣本的類別，然后與實(shí)際類別相比較,如果相同,則稱預(yù)測(cè)結(jié)果是正確的，否則說明預(yù)測(cè)結(jié)果是錯(cuò)誤的。模型的準(zhǔn)確度定義為測(cè)試集中結(jié)果正確的樣本的比例。(3)模型應(yīng)用利用得到的分類模型，預(yù)測(cè)在未知的情況下樣本所屬的類別。這個(gè)過程與模型評(píng)價(jià)基本相同，只是輸入數(shù)據(jù)的類別是未知的。 小結(jié)人臉識(shí)別的研究始于60年代末，bledsoe以人臉特征點(diǎn)的間距、比率等參數(shù)為特征，建成了一個(gè)半自動(dòng)的人臉識(shí)別系統(tǒng)。早期的人臉識(shí)別方法通常是以人臉器官位置、尺度作為描述人臉的特征。到了20世紀(jì)90年代人臉識(shí)別技術(shù)進(jìn)一步發(fā)展。而基于人臉圖像整體特征識(shí)別方法，取得了比較好的識(shí)別性能。提取有效的特征之后，識(shí)別的關(guān)鍵在于設(shè)計(jì)具有良好分類能力的分類器。通常線性分類器速度較快，而且實(shí)現(xiàn)方便，準(zhǔn)確率也不錯(cuò)。而K近鄰分類器，由于其方便實(shí)用的特點(diǎn)，是目前圖像識(shí)別領(lǐng)域比較流行的方法。第四章 K近鄰法的分類器的設(shè)計(jì)與編程實(shí)現(xiàn) 開發(fā)環(huán)境的選擇Matlab是當(dāng)今世界上使用最為廣泛的數(shù)學(xué)軟件，它具有相當(dāng)強(qiáng)大的數(shù)值計(jì)算、數(shù)據(jù)處理、系統(tǒng)分析、圖形顯示，甚至符號(hào)運(yùn)算功能，是一個(gè)完整的數(shù)學(xué)平臺(tái)，在這個(gè)平臺(tái)上，你只需寥寥數(shù)語就可以完成十分復(fù)雜的功能，大大提高了工程分析計(jì)算的效率。另外由于Matlab的廣泛使用，于是出現(xiàn)了為各個(gè)領(lǐng)域?qū)ｉT使用的工具箱(即在某一研究領(lǐng)域常用數(shù)學(xué)工具的函數(shù)包)，這些工具箱的出現(xiàn)更加促進(jìn)了Matlab的流行。但Matlab強(qiáng)大的功能只能在它所提供的平臺(tái)上才能使用，也就是說，這樣就給工程計(jì)算帶來了很大不便；特別是，在matlab中，使用的行解釋方式執(zhí)行代碼，這樣大大地限制了代碼執(zhí)行速度。，開發(fā)投資的回報(bào)率趨于最大化。 。另外，比如語音或手寫識(shí)別，而不必去重寫程序。 開創(chuàng)了全新的商業(yè)模型，它使得一個(gè)公司可以用多種方法來把自己的技術(shù)商品化。 對(duì)“用戶界面友好”作了重新定義。終端用戶能夠享受一個(gè)智能化的、個(gè)性化的Internet，它能記住用戶的個(gè)人設(shè)置，并在適當(dāng)?shù)臅r(shí)候，向用戶使用的智能設(shè)備上發(fā)送適當(dāng)?shù)臄?shù)據(jù)[10]。C是微軟公司發(fā)布的一種面向?qū)ο蟮摹?Framework之上的高級(jí)程序設(shè)計(jì)語言。C獨(dú)有的特點(diǎn)：(1)中間代碼：微軟在用戶選擇何時(shí)MSIL應(yīng)該編譯成機(jī)器碼的時(shí)候是留了很大的余地。微軟公司很小心的聲稱MSIL不是解釋性的,而是被編譯成了機(jī)器碼。(2)命名空間中的申明：當(dāng)你創(chuàng)建一個(gè)程序的時(shí)候，你在一個(gè)命名空間里創(chuàng)建了一個(gè)或多個(gè)類。同在這個(gè)命名空間里(在類的外面)你還有可能聲明界面，枚舉類型和結(jié)構(gòu)體。必須使用using關(guān)鍵字來引用其他命名空間的內(nèi)容。(3)基本的數(shù)據(jù)類型：C擁有比C，C++或者Java更廣泛的數(shù)據(jù)類型。這些類型是bool， byte， ubyte，short， ushort， int， uint，long， ulong， float，double和decimal。象Java一樣，所有這些類型都有一個(gè)固定的大小。又象C和C++一樣,每個(gè)數(shù)據(jù)類型都有有符號(hào)和無符號(hào)兩種類型。與Java相同的是，一個(gè)字符變量包含的是一個(gè)16位的Unicode字符。C新的數(shù)據(jù)類型是decimal數(shù)據(jù)類型，對(duì)于貨幣數(shù)據(jù)，它能存放28位10進(jìn)制數(shù)字。(4)兩個(gè)基本類：一個(gè)名叫object的類是所有其他類的基類。而一個(gè)名叫string的類也象object一樣是這個(gè)語言的一部分。作為語言的一部分存在意味著編譯器有可能使用它無論何時(shí)你在程序中寫入一句帶引號(hào)的字符串，編譯器會(huì)創(chuàng)建一個(gè)string對(duì)象來保存它。(5)參數(shù)傳遞：方法可以被聲明接受可變數(shù)目的參數(shù)。缺省的參數(shù)傳遞方法是對(duì)基本數(shù)據(jù)類型進(jìn)行值傳遞。ref關(guān)鍵字可以用來強(qiáng)迫一個(gè)變量通過引用傳遞，這使得一個(gè)變量可以接受一個(gè)返回值。out關(guān)鍵字也能聲明引用傳遞過程，與ref不同的地方是，它指明這個(gè)參數(shù)并不需要初始值。(6)與COM的集成：C對(duì)Windows程序最大的特點(diǎn)就是它與COM的無縫集成了，COM就是微軟的Win32組件技術(shù)。實(shí)際上。C編寫的類可以子類化一個(gè)以存在的COM組件；生成的類也能被作為一個(gè)COM組件使用，然后又能使用。所以決定取其兩者優(yōu)點(diǎn)當(dāng)研究學(xué)習(xí)時(shí)使用matlab作為工具而使用c.net作為開發(fā)應(yīng)用開發(fā)工具。 對(duì)k近鄰算法的程序的探究由前面的分析可知，需要對(duì)K近鄰算法程序的實(shí)現(xiàn)和分類程序包括測(cè)試數(shù)據(jù)集的實(shí)現(xiàn)。而K近鄰法實(shí)際應(yīng)用效果好，但又因算法問題而使其計(jì)算量大，時(shí)間代價(jià)高；由于訓(xùn)練數(shù)據(jù)常駐內(nèi)存，會(huì)占用大量的內(nèi)存，增加成本。所以我們先對(duì)傳統(tǒng)的k近鄰算法與改進(jìn)的k近鄰算法進(jìn)行探究。對(duì)于傳統(tǒng)k近鄰算法用matlab進(jìn)行編程其代碼如下function result = knnclassification(testsamplesX,samplesX, samplesY, Knn,type)% Classify using the Nearest neighbor algorithm% Inputs:% samplesX Train samples% samplesY Train labels% testsamplesX Test samples% Knn Number of nearest neighbors %% Outputs% result Predicted targetsif nargin 5 type = 39。2norm39。endL = length