【文章內(nèi)容簡(jiǎn)介】 越大，分類器的總誤差越小。支持向量機(jī)由一個(gè)來自最優(yōu)化理論的學(xué)習(xí)算法訓(xùn)練，該算法實(shí)現(xiàn)了一個(gè)由統(tǒng)計(jì)學(xué)習(xí)理論導(dǎo)出的學(xué)習(xí)偏置[2 [1] 李玉景,李琳,:232[2] 蒙秀梅. 智能圖像技術(shù)研究及巖心圖像自動(dòng)識(shí)別系統(tǒng). .[3] Cortes C, Vapink V. Support Vector Networks[J].Machine Learning,1995,20:273297.A Tutorial on Clustering Algorithms .[4] 陸系群,、技術(shù)與算法[5] 羅維亮,馮文博,、[6] 張強(qiáng),[7] .[8] 柳林霞,陳杰,[9] 方輝,[10] [11] Nello Cristianini,John ,王猛,[12] 朱慕華,朱靖波,[13] 郭小薈,[14] 高聯(lián)雄,梁虹,(31).2008[15] V. N. Vapnik. Estimation of Dependences Based on Empirical Data, Addendum 1. New York: SpringerVerlag, 1982.3致 謝本研究及學(xué)位論文是在我的導(dǎo)師別紅霞老師的親切關(guān)懷和悉心指導(dǎo)下完成的。在將近四個(gè)月的研究中，她嚴(yán)肅的科學(xué)態(tài)度，嚴(yán)謹(jǐn)?shù)闹螌W(xué)精神，精益求精的工作作風(fēng)，深深地感染和激勵(lì)著我。別老師不僅在學(xué)業(yè)上給我以精心指導(dǎo)，同時(shí)還在思想、生活上給我以無微不至的關(guān)懷，在此謹(jǐn)向別老師致以誠摯的謝意和崇高的敬意。我還要感謝在一起愉快的度過畢業(yè)論文小組的同學(xué)們，尤其是盛晶晶、梁慧和邱文杰同學(xué)，正是由于你們的幫助和支持，我才能克服一個(gè)一個(gè)的困難和疑惑，直至本文的順利完成。在論文即將完成之際，我的心情無法平靜，從開始進(jìn)入課題到論文的順利完成，有多少可敬的師長(zhǎng)、同學(xué)、朋友給了我無言的幫助，在這里請(qǐng)接受我誠摯的謝意!最后我還要感謝培養(yǎng)我長(zhǎng)大含辛茹苦的父母，謝謝你們!最后，再次對(duì)關(guān)心、幫助我的老師和同學(xué)表示衷心地感謝！]。2. 算法詳述（1）二類分類SVM是從線性可分情況下的最優(yōu)分類面發(fā)展而來的，主要思想可用圖1的兩維情況說明。圖41 最優(yōu)分類面圖中，實(shí)心點(diǎn)和空心點(diǎn)代表兩類樣本，H為分類線，HH2分別為過各類中離分類線最近的樣本且平行于分類線的直線，它們之間的距離叫做分類間隔（margin）。所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開（訓(xùn)練錯(cuò)誤率為0），而且使分類間隔最大。分類線方程為 。對(duì)于二類模式分類問題，設(shè)有訓(xùn)練樣本，其中為模式向量，為類別標(biāo)號(hào)，n為樣本容量，則將SVM優(yōu)化問題約束條件由不等式改為等式，并將經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)改為二次函數(shù)，則可得如式（（）41）所示約束優(yōu)化問題： 式（41） 式（41）式（42）式中，為高維特征空間中的分類超平面，和為分類超平面的參數(shù)；為第i個(gè)樣本點(diǎn)的訓(xùn)練誤差，則為經(jīng)驗(yàn)風(fēng)險(xiǎn)；衡量了學(xué)習(xí)機(jī)器的復(fù)雜性；為懲罰因子，作用是在訓(xùn)練中平衡學(xué)習(xí)的復(fù)雜性和經(jīng)驗(yàn)風(fēng)險(xiǎn)。根據(jù)約束優(yōu)化理論，式（（）41）的解由其對(duì)應(yīng)的如式（）所示的Lagrange泛函數(shù)的鞍點(diǎn)給出： 式（43）式中為L(zhǎng)agrange乘子，取值為一切實(shí)數(shù)。根據(jù)式（）的鞍點(diǎn)條件，可得下式： 式（44）從式（）的第三式可知，正比于其對(duì)應(yīng)的樣本上的訓(xùn)練誤差。將上述式子合并，可通過如下式所示的線性方程組求解出和。 式（45）式（）中，為n維的單位矩陣，1為n維的元素全是1的列向量，為n維對(duì)稱方陣，其元素為其中而為核函數(shù)，因此為的第i行j列元素。求解（）得到之后，則可以得到如下的分類函數(shù)： 式（446）模式向量x的類別由判別函數(shù)決定，其中為符號(hào)函數(shù)。（2）多類分類顯然上述分類只能應(yīng)用于二類模式分類問題，當(dāng)LSSVM應(yīng)用于多類問題時(shí)，假設(shè)給定類分類問題的訓(xùn)練樣本其中為維的由1和+1組成的維向量，當(dāng)為第j類時(shí)，的第j個(gè)元素為1，其余皆為+1。將訓(xùn)練樣本存儲(chǔ)為兩個(gè)數(shù)據(jù)矩陣X和Y，它們的第行分別為。根據(jù)SRM原則可得到式（）所示的約束優(yōu)化問題： 式（457）而通過與二類支持向量機(jī)類似的變換，式（）的解由下式給出： 式（468）式中，為Y的第i列，而由元素組成，為對(duì)應(yīng)的Lagrange乘子向量，為對(duì)應(yīng)的常數(shù)項(xiàng)。式（）的求解不過是求解次如式（）的問題而已。求解完畢后，則可建立下述LSSVM函數(shù)： 式（479）而模式向量的類別由判別函數(shù)輸出組成的向量c決定。3. 算法流程輸入：包含n個(gè)對(duì)象的訓(xùn)練庫以及待測(cè)樣本圖像輸出：待測(cè)圖像的分類結(jié)果，求得判決函數(shù) kmeans分類算法1. 算法簡(jiǎn)介kmeans算法，也被稱為k平均或k均值算法，是一種得到最廣泛使用的聚類算法。 它是將各個(gè)聚類子集內(nèi)的所有數(shù)據(jù)樣本的均值作為該聚類的代表點(diǎn)，算法的主要思想是通過迭代過程把數(shù)據(jù)集劃分為不同的類別，使得評(píng)價(jià)聚類性能的準(zhǔn)則函數(shù)達(dá)到最優(yōu)，從而使生成的每個(gè)聚類內(nèi)緊湊，類間獨(dú)立。這一算法不適合處理離散型屬性，但是對(duì)于連續(xù)型具有較好的聚類效果。2. 算法詳述（1）選定某種距離作為數(shù)據(jù)樣本間的相似性度量kmeans聚類算法不適合處理離散型屬性，對(duì)連續(xù)型屬性比較適合。因此在計(jì)算數(shù)據(jù)樣本之間的距離時(shí)，可以根據(jù)實(shí)際需要選擇歐式距離、曼哈頓距離或者明考斯距離中的一種來作為算法的相似性度量，其中最常用的是歐式距離。歐氏距離的定義如下：假設(shè)給定的數(shù)據(jù)集 ，X中的樣本用d個(gè)描述屬性A1,A2…Ad來表示，并且d個(gè)描述屬性都是連續(xù)型屬性。數(shù)據(jù)樣本xi=(xi1,xi2,…xid), xj=(xj1,xj2,…xjd)其中，xi1,xi2,…xid和xj1,xj2,…xjd分別是樣本xi和xj對(duì)應(yīng)d個(gè)描述屬性A1,A2,…Ad的具體取值。樣本xi和xj之間的相似度通常用它們之間的距離d(xi,xj)來表示，距離越小，樣本xi和xj越相似，差異度越小；距離越大，樣本xi和xj越不相似，差異度越大。歐式距離公式如下： 式（4810）（2）選擇評(píng)價(jià)聚類性能的準(zhǔn)則函數(shù)kmeans聚類算法使用誤差平方和準(zhǔn)則函數(shù)來評(píng)價(jià)聚類性能。給定數(shù)據(jù)集X，其中只包含描述屬性，不包含類別屬性。假設(shè)X包含k個(gè)聚類子集X1,X2,…XK；各個(gè)聚類子集中的樣本數(shù)量分別為n1，n2,…,nk。各個(gè)聚類子集的均值代表點(diǎn)（也稱聚類中心）分別為m1，m2,…,mk。則誤差平方和準(zhǔn)則函數(shù)公式為： 式（4911）（3）相似度的計(jì)算根據(jù)一個(gè)簇中對(duì)象的平均值來進(jìn)行。將所有對(duì)象隨機(jī)分配到k個(gè)非空的簇中。，并用該平均值代表相應(yīng)的簇。，分配給最近的簇。，重新計(jì)算每個(gè)簇的平均值。這個(gè)過程不斷重復(fù)直到滿足某個(gè)準(zhǔn)則函數(shù)才停止。3. 算法流程算法步驟： ，這樣就有K 個(gè)初始聚類中心。 。，得到K個(gè)聚類。第五章 基于MatLab的圖像分析軟件實(shí)現(xiàn)5 軟件功能及系統(tǒng)流程本系統(tǒng)以MatLab為平臺(tái)，實(shí)現(xiàn)了基于聚類的智能圖像分類。軟件具有樣本特征值數(shù)據(jù)庫創(chuàng)建、訓(xùn)練網(wǎng)絡(luò)創(chuàng)建、圖像有監(jiān)督分類（SVM分類）以及圖像無監(jiān)督分類（Kmeans分類）等功能。程序流程圖如下：圖51 系統(tǒng)流程圖 關(guān)鍵函數(shù)詳述 圖像灰度化目前的圖像樣本大部分都是通過攝影機(jī)、數(shù)碼相機(jī)等設(shè)備或取得，因而需要進(jìn)行預(yù)處理的圖像往往是彩色圖像。真彩色圖像又稱RGB圖像，它是利用R、G、B三維空間的三個(gè)分量表征一個(gè)像素的顏色。R、G、B分別代表著一幅圖像中的紅色分量、綠色分量以及藍(lán)色分量，通過這三個(gè)基本顏色可以合成出任意顏色。所以一個(gè)尺寸為m*n的彩色圖像，將被存儲(chǔ)為一個(gè)m*n*3的多維數(shù)組。數(shù)字圖像又分為彩色圖像和灰度圖像。圖像灰度化是將彩色圖像轉(zhuǎn)化為灰度圖像。在彩色圖像中包含著很大的信息量，而灰度圖像較好的保留了彩色圖像中的形狀、邊緣等信息，有利于后期進(jìn)行特征提取和識(shí)別，所以有必要將彩色圖像轉(zhuǎn)化為灰度圖像。在RGB模型空間中，若R=G=B，得到一種灰度顏色，其中R=G=B的值稱之為灰度值。由彩色轉(zhuǎn)換為灰度的過程叫做灰度化處理?；叶葓D像只包含強(qiáng)度信息，不包含顏色信息。彩色圖像的像素值為RGB（R,G,B），灰度圖像的像素值為RGB（r,r,r），R、G、B可由彩色圖像的顏色分解獲得。而R、G、B的取值范圍是0255，所以灰度的級(jí)別只有256級(jí)?，F(xiàn)階段主要有三種灰度化方法：（1）平均值法：使R、G、B的值等于三個(gè)值的平均值，即 式（51）（2） 最大值法：使R、G、B的值等于三個(gè)值中的最大值，即 式（52）（3）加權(quán)平均值法：根據(jù)重要性或者其他約束條件給R、G、B賦予不同的權(quán)值，并使R、G、B的值等于它們的加權(quán)平均值，即 式（53）其中，、分別為R、G、B的權(quán)值。由于人眼對(duì)綠色的敏感度最高，對(duì)紅色的敏感度次之，對(duì)藍(lán)色的敏感度最低，當(dāng)=，=，=，即可得到最合理的灰度圖像。MatLab中的灰度化函數(shù)就是這樣操作的，在具體的調(diào)用中，將圖像讀入之后，便可進(jìn)行灰度化處理，語句如下：image =rgb2gray(imread(image))。 圖像平滑與圖像銳化 中值濾波圖像平滑是一種常用的圖像增強(qiáng)方法。圖像增強(qiáng)就是增強(qiáng)圖像中用戶感興趣的信息，其目的主要有兩個(gè)：一是改善圖像的視覺效果，提高圖像成分的清晰度；二是使圖像變得更有利于計(jì)算機(jī)處理。圖像增強(qiáng)的方法一般分為空間域和變換域兩大類?？臻g域方法是直接對(duì)圖像像素的灰度進(jìn)行處理，變換域方法是對(duì)圖像的某個(gè)變換域中的變換系數(shù)進(jìn)行處理，然后進(jìn)行逆變換獲得增強(qiáng)圖像。中值濾波是一種局部平均平滑技術(shù)，它是一種非線性濾波。由于它在實(shí)際運(yùn)算過程中并不需要圖像的統(tǒng)計(jì)特性，所以使用比較方便。在一定條件下，中值濾波可以克服線性濾波器所帶來的圖像細(xì)節(jié)模糊，而卻對(duì)濾除脈沖干擾及顆粒噪聲最為有效。在實(shí)際調(diào)用中，將圖片讀入并進(jìn)行灰度化處理后，便可以進(jìn)行中值濾波。語句如下：image=medfilt2(image,[3 3])。 圖像銳化在圖像攝取、傳輸及處理過程中有許多因素會(huì)使圖像變得模糊，圖像模糊是常見的圖像降質(zhì)問題。大量的研究表明，圖像模糊的實(shí)質(zhì)是圖像收到了求和、平均或積分運(yùn)算。因此，可以根據(jù)各種圖像模糊過程都有相加或積分運(yùn)算這一共同點(diǎn)，運(yùn)用相反的運(yùn)算來減弱和消除模糊。這一類消減圖像模糊的圖像增強(qiáng)方法稱為圖像銳化。圖像銳化的主要目的是加強(qiáng)圖像中的目標(biāo)邊界和圖像細(xì)節(jié)。銳化技術(shù)可以在空間域中進(jìn)行，基本的方法是對(duì)圖像進(jìn)行微分處理：在頻率域運(yùn)用高通濾波技術(shù)。在空間域中，由于需要銳化的圖像邊界或線條可能是任意走向的，所以期望采用的算子應(yīng)該是各向同性的。所謂各向同性，是指無論邊界或線條走向如何，只要幅度相等，算子就給出相同的輸出。圖像銳化方法包括微分算子方法、拉普拉斯算子方法、空間高通濾波方法等。本系統(tǒng)中所使用的是Sobel微分算子方法。微分算子方法銳化圖像時(shí)，圖像中的噪聲、條紋等同樣得到加強(qiáng)，這在圖像處理中會(huì)造成偽的邊緣和輪廓。Sobel算子則在一定的程度上克服了這個(gè)問題。Sobel算子的基本思想是：以待增強(qiáng)圖像的任意像素為中心，截取一個(gè)33的像素窗口，分別計(jì)算窗口中心像素在水平和垂直方向上的梯度，即可。在實(shí)際調(diào)用中，當(dāng)灰度圖像通過中值濾波濾掉噪聲后，可以進(jìn)行Sobel算子圖像增強(qiáng)，以達(dá)到提取邊緣的目的。語句如下：BW = edge(image,39。sobel39。)。 Hu矩不變特征值在進(jìn)行圖像處理時(shí)，常常需要在海量圖庫中搜尋我們感興趣的圖像。而圖庫中的圖片數(shù)量較大時(shí)，搜尋過程往往會(huì)耗費(fèi)大量的時(shí)間。若使用一維幾何矩，就可以對(duì)幾何矩進(jìn)行排序，建立索引，然后選出與目標(biāo)的幾何矩最近的一部分樣本庫中的圖像進(jìn)行比較篩選，大大節(jié)省了搜尋所需要的時(shí)間。在本系統(tǒng)所實(shí)現(xiàn)的圖像分類功能中，需要將待測(cè)圖像的特征與圖庫圖像的特征進(jìn)行比較，提取矩不變特征就大大節(jié)省了比較過程需要的時(shí)間，提高了比較效率。令平面上點(diǎn)坐標(biāo)為P(x,y),重心為C(x!,y!),二階行距： 二階列距：A為點(diǎn)的個(gè)數(shù)。 由以上兩個(gè)信息可以算出圖形的圓度：circleDisgree = rowMoment /colMoment .如果圖形的circleDisgree越小于1，則它越趨向于長(zhǎng)軸為y方向的橢圓。如果圖形的circleDisgree越大于1，越接近于1，則它越趨向于圓。所以我們可以使用圓度這種幾何矩，對(duì)其進(jìn)行索引，實(shí)現(xiàn)快速過濾。具體的調(diào)用語句如下：phi(1)=+。phi(2)=()^2+4*^2。phi(3)=(*)^2+(3* )^2。phi(4)=(+)^2+(+)^2。phi(5)=(*)*(+)*((+)^23*(+)^2+(3*)* (+)*(3*(+)^2(+)^2))。phi(6)=()*((+)^2(+)^2)+4**(+)*(+)。phi(7)=(3*)*(+)*((+)^23*(+)^2)+(3*)* (+)*(3*(+)^2(+)^2)。temp2 = abs(log(phi))。%包含7個(gè)特征值 SVM神經(jīng)網(wǎng)絡(luò)的建立和訓(xùn)練在解決非線性分類，函數(shù)估計(jì)和密度估計(jì)問題中，支持向量機(jī)是一個(gè)很強(qiáng)大的方法，支持向量機(jī)也致使了其核心的新動(dòng)向，最新發(fā)展是基于一般學(xué)習(xí)方法的。支持向量機(jī)應(yīng)該被引入統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化之中。這些方法中的優(yōu)化問題，解決了一個(gè)典型的二次規(guī)劃問題。LSSVM是標(biāo)準(zhǔn)SVM的改進(jìn)。最小二乘支持向量機(jī)與正規(guī)化網(wǎng)絡(luò)和高斯過程密切相關(guān)，但更加重視和利用原始對(duì)偶的規(guī)范條款解釋。經(jīng)典的模式識(shí)別算法的內(nèi)核版本，如判別分析的內(nèi)核Fisher，以非監(jiān)督學(xué)習(xí)、循環(huán)式網(wǎng)絡(luò)擴(kuò)展和控制之間的鏈接是可用的。健全性、稀疏性、權(quán)重可以被應(yīng)