【正文】 算公式，實(shí)驗(yàn)結(jié)果表明改進(jìn)后的K近鄰算法提高了分類的精度。 國內(nèi)外研究狀況近十幾年來，人們利用信息技術(shù)生產(chǎn)和搜集數(shù)據(jù)的能力大幅度提高，無數(shù)個(gè)數(shù)據(jù)庫被用于商業(yè)管理、政府辦公、科學(xué)研究和工程開發(fā)等，這一勢(shì)頭仍將持續(xù)發(fā)展下去。它將訓(xùn)練樣本集中的每個(gè)樣本都作為模板，用測(cè)試樣本與每個(gè)模板做比較，看與哪個(gè)模板最相似(即為近鄰) ，就按最近似的模板的類別作為自己的類別。模式還可分成抽象的和具體的兩種形式。它是一個(gè)新興的，面向商業(yè)應(yīng)用的AI研究?？梢杂行У亟鉀Q 近鄰算法訓(xùn)練樣本規(guī)模及分類精度間的矛盾，提出了一種采用特征相關(guān)性差異優(yōu)化距離的改進(jìn)算法(FCDKNN)。同樣knn分類器也可以應(yīng)用在只有正例訓(xùn)練樣本的情況下。則一些和待分類樣本實(shí)際上并不相似的樣本亦被包含近來，造成燥聲增加而導(dǎo)致分類效果的降低。即，在X的K個(gè)樣本中，找出X的K個(gè)近鄰。缺點(diǎn):需要大量的訓(xùn)練數(shù)據(jù)；搜索鄰居樣本的計(jì)算量大，占用大量的內(nèi)存；距離函數(shù)的確定比較困難；分類的結(jié)果與參數(shù)有關(guān)。下面對(duì)K近鄰算法描述：輸入：訓(xùn)練數(shù)據(jù)集D={(Xi,Yi),1≤i≤N}，其中Xi是第i個(gè)樣本的條件屬性，Yi是類別,新樣本X，距離函數(shù)d。也可以采取適當(dāng)?shù)霓k法來保證空間的大小，如符合某種條件的樣本可以加入庫里，同時(shí)可以對(duì)庫里已有符合某種條件的樣本進(jìn)行刪除等。用于分類的數(shù)據(jù)是一組已知類別的樣本，每個(gè)樣本包含一組相同的屬性。(3)模型應(yīng)用利用得到的分類模型，預(yù)測(cè)在未知的情況下樣本所屬的類別。 對(duì)“用戶界面友好”作了重新定義。作為語言的一部分存在意味著編譯器有可能使用它無論何時(shí)你在程序中寫入一句帶引號(hào)的字符串，編譯器會(huì)創(chuàng)建一個(gè)string對(duì)象來保存它。s 1dim is equalUc = unique(samplesY)。 n = hist(samplesY(indices(1:Knn)), Uc)。s Iris data set），是一類多重變量分析的數(shù)據(jù)集。另外一個(gè)這樣的方法是weightedvoting 法, 每一個(gè)基分類器有一個(gè)相關(guān)的權(quán)重。因此在各種干擾條件下實(shí)現(xiàn)人臉圖像的識(shí)別，也就更具有挑戰(zhàn)性。 Bitmap bmp = new Bitmap(w, h, )。 i != ()。 if (tds[citsecond] weight) { weight = tds[citsecond]。蔣老師學(xué)識(shí)淵博、治學(xué)嚴(yán)謹(jǐn)，待人平易近人，在蔣老師的悉心指導(dǎo)中，我不僅學(xué)到了扎實(shí)的專業(yè)知識(shí)，也在怎樣處人處事等方面收益很多；同時(shí)他對(duì)工作的積極熱情、認(rèn)真負(fù)責(zé)、有條不紊、實(shí)事求是的態(tài)度，給我留下了深刻的印象，使我受益非淺。 for (multimapdouble, string::const_iterator cit = ()。其主要代碼如下：// K近鄰法的實(shí)現(xiàn)// 設(shè)定不同的 k 值，給每個(gè)測(cè)試樣例予以一個(gè)類型// 距離和權(quán)重成反比void knnProcess(vectorsampleamp。 } }（1） 處理圖像將圖像轉(zhuǎn)化成灰度圖像，然后再將圖像轉(zhuǎn)化成二值圖像，對(duì)其進(jìn)行柵格化，從而讀出圖像的人臉部分。人臉圖像的自動(dòng)識(shí)別系統(tǒng)較之指紋識(shí)別系統(tǒng)、DNA鑒定等更具方便性，因?yàn)樗臃奖?，可以不接觸目標(biāo)就進(jìn)行識(shí)別，從而開發(fā)研究的實(shí)際意義更大。這里我們采用投票法。)。 endcase 39。對(duì)于傳統(tǒng)k近鄰算法用matlab進(jìn)行編程其代碼如下function result = knnclassification(testsamplesX,samplesX, samplesY, Knn,type)% Classify using the Nearest neighbor algorithm% Inputs:% samplesX Train samples% samplesY Train labels% testsamplesX Test samples% Knn Number of nearest neighbors %% Outputs% result Predicted targetsif nargin 5 type = 39。與Java相同的是，一個(gè)字符變量包含的是一個(gè)16位的Unicode字符。，開發(fā)投資的回報(bào)率趨于最大化。(2)模型測(cè)試檢測(cè)模型的準(zhǔn)確度,最終得到描述每個(gè)類別的分類模型。KNN常用在較少數(shù)據(jù)預(yù)測(cè)時(shí)使用[8]。在統(tǒng)計(jì)類別時(shí)，計(jì)算每個(gè)類別的權(quán)重和，最大的那個(gè)就是新樣本的類別[9]。 K近鄰法研究方法該算法沒有學(xué)習(xí)的過程，在分類時(shí)通過類別已知的樣本對(duì)新樣本的類別進(jìn)行預(yù)測(cè)，因此屬于基于實(shí)例的推理方法。 K近鄰法近鄰分類是基于眼球的懶散的學(xué)習(xí)法，即它存放所有的訓(xùn)練樣本，并且知道新的樣本需要分類時(shí)才建立分類。無論S多么小，這個(gè)結(jié)論也是成立的，所以。第二章 K近鄰算法的研究與分析分類問題是數(shù)據(jù)挖掘鄰域研究的一個(gè)基本的問題，給定一批具有類標(biāo)記的訓(xùn)練實(shí)例，一個(gè)實(shí)例 X用一個(gè) m維的屬性向量x1,x2, ,xm來表示，其中 xi 表示實(shí)例 X的第 i個(gè)屬性值 令C表示實(shí)例的類標(biāo)記，則實(shí)例 X的類標(biāo)記可表示為C(x) KNN算法作為一種基本的基于實(shí)例的分類算法，由于它的有效簡(jiǎn)單高魯棒性而被廣泛的應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域來解決分類問題。 Knn算法的可擴(kuò)展性比較差，因?yàn)槊颗袥Q一個(gè)測(cè)試樣本，都要將其與所有訓(xùn)練樣本比較一次，計(jì)算距離。因此，面對(duì)“人們被數(shù)據(jù)淹沒，人們卻饑餓于知識(shí)”的挑戰(zhàn)，數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)(DMKD)技術(shù)應(yīng)運(yùn)而生，并得以蓬勃發(fā)展，越來越顯示出其強(qiáng)大的生命力。因此原理上說近鄰法是最簡(jiǎn)單的。研究基于分類的K近鄰算法設(shè)計(jì)方案第一章 緒論模式識(shí)別又常稱作模式分類，從處理問題的性質(zhì)和解決問題的方法等角度，模式識(shí)別分為有監(jiān)督的分類（Supervised Classification）和無監(jiān)督的分類(Unsupervised Classification)兩種。 課題背景及目的數(shù)據(jù)挖掘是近年來很多領(lǐng)域竟相研究的一個(gè)熱點(diǎn)領(lǐng)域，而分類器是數(shù)據(jù)挖掘的一個(gè)研究分支[2]。由于K近鄰法實(shí)際應(yīng)用效果好，但又因算法問題而使其計(jì)算量大，時(shí)間代價(jià)高；由于訓(xùn)練數(shù)據(jù)常駐內(nèi)存，會(huì)占用大量的內(nèi)存，增加成本。但是knn算法對(duì)處理與訓(xùn)練樣本類似頁面的時(shí)候的精度比較高。近鄰法是模式識(shí)別非參數(shù)法中最重要的方法之一，最初的近鄰法是Cover和Hart于1968年提出的，由于該方法在理論上進(jìn)行了深入分析，直至現(xiàn)在仍是分類方法中最重要的方法之一[7]。上式即是最近法錯(cuò)誤率的計(jì)算公式從上面可以看出近鄰法有方法簡(jiǎn)單的優(yōu)點(diǎn)，但也存在這一些缺點(diǎn)：（1）存儲(chǔ)量和計(jì)算量都很大；（2）沒有考慮決策的風(fēng)險(xiǎn)，如果決策的錯(cuò)誤代價(jià)很大時(shí)，會(huì)產(chǎn)生很大的風(fēng)險(xiǎn)；（3）以上的分析——漸近平均錯(cuò)誤率，都是建立在樣本數(shù)趨向無窮大的條件下得來的，在實(shí)際應(yīng)用時(shí)大多是無法實(shí)現(xiàn)的。這與決策數(shù)和反向傳播算法等形成鮮明對(duì)比，后者在接受待分類的新樣本之前需要構(gòu)造一個(gè)一般模型。如果取K等于1，待分樣本的類別就是最近鄰居的類別，稱為NN算法。在KNN算法里對(duì)于模型的選擇，尤其是k值和距離的尺度，往往是通過對(duì)大量獨(dú)立的測(cè)試數(shù)據(jù)，多個(gè)模型來驗(yàn)證最佳的選擇。第三章 分類器概述 分類器的概念分類器的定義：輸入的數(shù)據(jù)含有千萬個(gè)記錄，每個(gè)記錄又有很多個(gè)屬性，其中有一個(gè)特別的屬性叫做類（例如信用程度的高，中，低）。用來評(píng)價(jià)模型的數(shù)據(jù)集稱為測(cè)試數(shù)據(jù)集或者測(cè)試樣本集,簡(jiǎn)稱測(cè)試集。 。C新的數(shù)據(jù)類型是decimal數(shù)據(jù)類型，對(duì)于貨幣數(shù)據(jù)，它能存放28位10進(jìn)制數(shù)字。2norm39。1norm39。end測(cè)試數(shù)據(jù)集使用安德森鳶尾花卉數(shù)據(jù)集，下面簡(jiǎn)要介紹一下其數(shù)據(jù)集。投票法起源于貝葉斯學(xué)習(xí)理論。并且與指紋圖像不同的是，人臉圖像受很多因素的干擾:人臉表情的多樣性。而后對(duì)其進(jìn)行特征提取，形成數(shù)據(jù)集。 test, const vectorsampleamp。 cit != ()。在此我謹(jǐn)向蔣老師表示衷心的感謝和深深的敬意。 // 這里是考慮距離與權(quán)重的關(guān)系，距離越大權(quán)重越小 tds[citsecond] += / citfirst。 dm, unsigned int k){ for (vectorsample::size_type i = 0。