【文章內(nèi)容簡介】 越大，分類器的總誤差越小。支持向量機由一個來自最優(yōu)化理論的學(xué)習算法訓(xùn)練，該算法實現(xiàn)了一個由統(tǒng)計學(xué)習理論導(dǎo)出的學(xué)習偏置[2 [1] 李玉景,李琳,:232[2] 蒙秀梅. 智能圖像技術(shù)研究及巖心圖像自動識別系統(tǒng). .[3] Cortes C, Vapink V. Support Vector Networks[J].Machine Learning,1995,20:273297.A Tutorial on Clustering Algorithms .[4] 陸系群,、技術(shù)與算法[5] 羅維亮,馮文博,、[6] 張強,[7] .[8] 柳林霞,陳杰,[9] 方輝,[10] [11] Nello Cristianini,John ,王猛,[12] 朱慕華,朱靖波,[13] 郭小薈,[14] 高聯(lián)雄,梁虹,(31).2008[15] V. N. Vapnik. Estimation of Dependences Based on Empirical Data, Addendum 1. New York: SpringerVerlag, 1982.3致 謝本研究及學(xué)位論文是在我的導(dǎo)師別紅霞老師的親切關(guān)懷和悉心指導(dǎo)下完成的。在將近四個月的研究中，她嚴肅的科學(xué)態(tài)度，嚴謹?shù)闹螌W(xué)精神，精益求精的工作作風，深深地感染和激勵著我。別老師不僅在學(xué)業(yè)上給我以精心指導(dǎo)，同時還在思想、生活上給我以無微不至的關(guān)懷，在此謹向別老師致以誠摯的謝意和崇高的敬意。我還要感謝在一起愉快的度過畢業(yè)論文小組的同學(xué)們，尤其是盛晶晶、梁慧和邱文杰同學(xué)，正是由于你們的幫助和支持，我才能克服一個一個的困難和疑惑，直至本文的順利完成。在論文即將完成之際，我的心情無法平靜，從開始進入課題到論文的順利完成，有多少可敬的師長、同學(xué)、朋友給了我無言的幫助，在這里請接受我誠摯的謝意!最后我還要感謝培養(yǎng)我長大含辛茹苦的父母，謝謝你們!最后，再次對關(guān)心、幫助我的老師和同學(xué)表示衷心地感謝！]。2. 算法詳述（1）二類分類SVM是從線性可分情況下的最優(yōu)分類面發(fā)展而來的，主要思想可用圖1的兩維情況說明。圖41 最優(yōu)分類面圖中，實心點和空心點代表兩類樣本，H為分類線，HH2分別為過各類中離分類線最近的樣本且平行于分類線的直線，它們之間的距離叫做分類間隔（margin）。所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開（訓(xùn)練錯誤率為0），而且使分類間隔最大。分類線方程為 。對于二類模式分類問題，設(shè)有訓(xùn)練樣本，其中為模式向量，為類別標號，n為樣本容量，則將SVM優(yōu)化問題約束條件由不等式改為等式，并將經(jīng)驗風險函數(shù)改為二次函數(shù)，則可得如式（（）41）所示約束優(yōu)化問題： 式（41） 式（41）式（42）式中，為高維特征空間中的分類超平面，和為分類超平面的參數(shù)；為第i個樣本點的訓(xùn)練誤差，則為經(jīng)驗風險；衡量了學(xué)習機器的復(fù)雜性；為懲罰因子，作用是在訓(xùn)練中平衡學(xué)習的復(fù)雜性和經(jīng)驗風險。根據(jù)約束優(yōu)化理論，式（（）41）的解由其對應(yīng)的如式（）所示的Lagrange泛函數(shù)的鞍點給出： 式（43）式中為Lagrange乘子，取值為一切實數(shù)。根據(jù)式（）的鞍點條件，可得下式： 式（44）從式（）的第三式可知，正比于其對應(yīng)的樣本上的訓(xùn)練誤差。將上述式子合并，可通過如下式所示的線性方程組求解出和。 式（45）式（）中，為n維的單位矩陣，1為n維的元素全是1的列向量，為n維對稱方陣，其元素為其中而為核函數(shù)，因此為的第i行j列元素。求解（）得到之后，則可以得到如下的分類函數(shù)： 式（446）模式向量x的類別由判別函數(shù)決定，其中為符號函數(shù)。（2）多類分類顯然上述分類只能應(yīng)用于二類模式分類問題，當LSSVM應(yīng)用于多類問題時，假設(shè)給定類分類問題的訓(xùn)練樣本其中為維的由1和+1組成的維向量，當為第j類時，的第j個元素為1，其余皆為+1。將訓(xùn)練樣本存儲為兩個數(shù)據(jù)矩陣X和Y，它們的第行分別為。根據(jù)SRM原則可得到式（）所示的約束優(yōu)化問題： 式（457）而通過與二類支持向量機類似的變換，式（）的解由下式給出： 式（468）式中，為Y的第i列，而由元素組成，為對應(yīng)的Lagrange乘子向量，為對應(yīng)的常數(shù)項。式（）的求解不過是求解次如式（）的問題而已。求解完畢后，則可建立下述LSSVM函數(shù)： 式（479）而模式向量的類別由判別函數(shù)輸出組成的向量c決定。3. 算法流程輸入：包含n個對象的訓(xùn)練庫以及待測樣本圖像輸出：待測圖像的分類結(jié)果，求得判決函數(shù) kmeans分類算法1. 算法簡介kmeans算法，也被稱為k平均或k均值算法，是一種得到最廣泛使用的聚類算法。 它是將各個聚類子集內(nèi)的所有數(shù)據(jù)樣本的均值作為該聚類的代表點，算法的主要思想是通過迭代過程把數(shù)據(jù)集劃分為不同的類別，使得評價聚類性能的準則函數(shù)達到最優(yōu)，從而使生成的每個聚類內(nèi)緊湊，類間獨立。這一算法不適合處理離散型屬性，但是對于連續(xù)型具有較好的聚類效果。2. 算法詳述（1）選定某種距離作為數(shù)據(jù)樣本間的相似性度量kmeans聚類算法不適合處理離散型屬性，對連續(xù)型屬性比較適合。因此在計算數(shù)據(jù)樣本之間的距離時，可以根據(jù)實際需要選擇歐式距離、曼哈頓距離或者明考斯距離中的一種來作為算法的相似性度量，其中最常用的是歐式距離。歐氏距離的定義如下：假設(shè)給定的數(shù)據(jù)集 ，X中的樣本用d個描述屬性A1,A2…Ad來表示，并且d個描述屬性都是連續(xù)型屬性。數(shù)據(jù)樣本xi=(xi1,xi2,…xid), xj=(xj1,xj2,…xjd)其中，xi1,xi2,…xid和xj1,xj2,…xjd分別是樣本xi和xj對應(yīng)d個描述屬性A1,A2,…Ad的具體取值。樣本xi和xj之間的相似度通常用它們之間的距離d(xi,xj)來表示，距離越小，樣本xi和xj越相似，差異度越??；距離越大，樣本xi和xj越不相似，差異度越大。歐式距離公式如下： 式（4810）（2）選擇評價聚類性能的準則函數(shù)kmeans聚類算法使用誤差平方和準則函數(shù)來評價聚類性能。給定數(shù)據(jù)集X，其中只包含描述屬性，不包含類別屬性。假設(shè)X包含k個聚類子集X1,X2,…XK；各個聚類子集中的樣本數(shù)量分別為n1，n2,…,nk。各個聚類子集的均值代表點（也稱聚類中心）分別為m1，m2,…,mk。則誤差平方和準則函數(shù)公式為： 式（4911）（3）相似度的計算根據(jù)一個簇中對象的平均值來進行。將所有對象隨機分配到k個非空的簇中。，并用該平均值代表相應(yīng)的簇。，分配給最近的簇。，重新計算每個簇的平均值。這個過程不斷重復(fù)直到滿足某個準則函數(shù)才停止。3. 算法流程算法步驟： ，這樣就有K 個初始聚類中心。 。，得到K個聚類。第五章 基于MatLab的圖像分析軟件實現(xiàn)5 軟件功能及系統(tǒng)流程本系統(tǒng)以MatLab為平臺，實現(xiàn)了基于聚類的智能圖像分類。軟件具有樣本特征值數(shù)據(jù)庫創(chuàng)建、訓(xùn)練網(wǎng)絡(luò)創(chuàng)建、圖像有監(jiān)督分類（SVM分類）以及圖像無監(jiān)督分類（Kmeans分類）等功能。程序流程圖如下：圖51 系統(tǒng)流程圖 關(guān)鍵函數(shù)詳述 圖像灰度化目前的圖像樣本大部分都是通過攝影機、數(shù)碼相機等設(shè)備或取得，因而需要進行預(yù)處理的圖像往往是彩色圖像。真彩色圖像又稱RGB圖像，它是利用R、G、B三維空間的三個分量表征一個像素的顏色。R、G、B分別代表著一幅圖像中的紅色分量、綠色分量以及藍色分量，通過這三個基本顏色可以合成出任意顏色。所以一個尺寸為m*n的彩色圖像，將被存儲為一個m*n*3的多維數(shù)組。數(shù)字圖像又分為彩色圖像和灰度圖像。圖像灰度化是將彩色圖像轉(zhuǎn)化為灰度圖像。在彩色圖像中包含著很大的信息量，而灰度圖像較好的保留了彩色圖像中的形狀、邊緣等信息，有利于后期進行特征提取和識別，所以有必要將彩色圖像轉(zhuǎn)化為灰度圖像。在RGB模型空間中，若R=G=B，得到一種灰度顏色，其中R=G=B的值稱之為灰度值。由彩色轉(zhuǎn)換為灰度的過程叫做灰度化處理?；叶葓D像只包含強度信息，不包含顏色信息。彩色圖像的像素值為RGB（R,G,B），灰度圖像的像素值為RGB（r,r,r），R、G、B可由彩色圖像的顏色分解獲得。而R、G、B的取值范圍是0255，所以灰度的級別只有256級。現(xiàn)階段主要有三種灰度化方法：（1）平均值法：使R、G、B的值等于三個值的平均值，即 式（51）（2） 最大值法：使R、G、B的值等于三個值中的最大值，即 式（52）（3）加權(quán)平均值法：根據(jù)重要性或者其他約束條件給R、G、B賦予不同的權(quán)值，并使R、G、B的值等于它們的加權(quán)平均值，即 式（53）其中，、分別為R、G、B的權(quán)值。由于人眼對綠色的敏感度最高，對紅色的敏感度次之，對藍色的敏感度最低，當=，=，=，即可得到最合理的灰度圖像。MatLab中的灰度化函數(shù)就是這樣操作的，在具體的調(diào)用中，將圖像讀入之后，便可進行灰度化處理，語句如下：image =rgb2gray(imread(image))。 圖像平滑與圖像銳化 中值濾波圖像平滑是一種常用的圖像增強方法。圖像增強就是增強圖像中用戶感興趣的信息，其目的主要有兩個：一是改善圖像的視覺效果，提高圖像成分的清晰度；二是使圖像變得更有利于計算機處理。圖像增強的方法一般分為空間域和變換域兩大類?？臻g域方法是直接對圖像像素的灰度進行處理，變換域方法是對圖像的某個變換域中的變換系數(shù)進行處理，然后進行逆變換獲得增強圖像。中值濾波是一種局部平均平滑技術(shù)，它是一種非線性濾波。由于它在實際運算過程中并不需要圖像的統(tǒng)計特性，所以使用比較方便。在一定條件下，中值濾波可以克服線性濾波器所帶來的圖像細節(jié)模糊，而卻對濾除脈沖干擾及顆粒噪聲最為有效。在實際調(diào)用中，將圖片讀入并進行灰度化處理后，便可以進行中值濾波。語句如下：image=medfilt2(image,[3 3])。 圖像銳化在圖像攝取、傳輸及處理過程中有許多因素會使圖像變得模糊，圖像模糊是常見的圖像降質(zhì)問題。大量的研究表明，圖像模糊的實質(zhì)是圖像收到了求和、平均或積分運算。因此，可以根據(jù)各種圖像模糊過程都有相加或積分運算這一共同點，運用相反的運算來減弱和消除模糊。這一類消減圖像模糊的圖像增強方法稱為圖像銳化。圖像銳化的主要目的是加強圖像中的目標邊界和圖像細節(jié)。銳化技術(shù)可以在空間域中進行，基本的方法是對圖像進行微分處理：在頻率域運用高通濾波技術(shù)。在空間域中，由于需要銳化的圖像邊界或線條可能是任意走向的，所以期望采用的算子應(yīng)該是各向同性的。所謂各向同性，是指無論邊界或線條走向如何，只要幅度相等，算子就給出相同的輸出。圖像銳化方法包括微分算子方法、拉普拉斯算子方法、空間高通濾波方法等。本系統(tǒng)中所使用的是Sobel微分算子方法。微分算子方法銳化圖像時，圖像中的噪聲、條紋等同樣得到加強，這在圖像處理中會造成偽的邊緣和輪廓。Sobel算子則在一定的程度上克服了這個問題。Sobel算子的基本思想是：以待增強圖像的任意像素為中心，截取一個33的像素窗口，分別計算窗口中心像素在水平和垂直方向上的梯度，即可。在實際調(diào)用中，當灰度圖像通過中值濾波濾掉噪聲后，可以進行Sobel算子圖像增強，以達到提取邊緣的目的。語句如下：BW = edge(image,39。sobel39。)。 Hu矩不變特征值在進行圖像處理時，常常需要在海量圖庫中搜尋我們感興趣的圖像。而圖庫中的圖片數(shù)量較大時，搜尋過程往往會耗費大量的時間。若使用一維幾何矩，就可以對幾何矩進行排序，建立索引，然后選出與目標的幾何矩最近的一部分樣本庫中的圖像進行比較篩選，大大節(jié)省了搜尋所需要的時間。在本系統(tǒng)所實現(xiàn)的圖像分類功能中，需要將待測圖像的特征與圖庫圖像的特征進行比較，提取矩不變特征就大大節(jié)省了比較過程需要的時間，提高了比較效率。令平面上點坐標為P(x,y),重心為C(x!,y!),二階行距： 二階列距：A為點的個數(shù)。 由以上兩個信息可以算出圖形的圓度：circleDisgree = rowMoment /colMoment .如果圖形的circleDisgree越小于1，則它越趨向于長軸為y方向的橢圓。如果圖形的circleDisgree越大于1，越接近于1，則它越趨向于圓。所以我們可以使用圓度這種幾何矩，對其進行索引，實現(xiàn)快速過濾。具體的調(diào)用語句如下：phi(1)=+。phi(2)=()^2+4*^2。phi(3)=(*)^2+(3* )^2。phi(4)=(+)^2+(+)^2。phi(5)=(*)*(+)*((+)^23*(+)^2+(3*)* (+)*(3*(+)^2(+)^2))。phi(6)=()*((+)^2(+)^2)+4**(+)*(+)。phi(7)=(3*)*(+)*((+)^23*(+)^2)+(3*)* (+)*(3*(+)^2(+)^2)。temp2 = abs(log(phi))。%包含7個特征值 SVM神經(jīng)網(wǎng)絡(luò)的建立和訓(xùn)練在解決非線性分類，函數(shù)估計和密度估計問題中，支持向量機是一個很強大的方法，支持向量機也致使了其核心的新動向，最新發(fā)展是基于一般學(xué)習方法的。支持向量機應(yīng)該被引入統(tǒng)計學(xué)習理論和結(jié)構(gòu)風險最小化之中。這些方法中的優(yōu)化問題，解決了一個典型的二次規(guī)劃問題。LSSVM是標準SVM的改進。最小二乘支持向量機與正規(guī)化網(wǎng)絡(luò)和高斯過程密切相關(guān)，但更加重視和利用原始對偶的規(guī)范條款解釋。經(jīng)典的模式識別算法的內(nèi)核版本，如判別分析的內(nèi)核Fisher，以非監(jiān)督學(xué)習、循環(huán)式網(wǎng)絡(luò)擴展和控制之間的鏈接是可用的。健全性、稀疏性、權(quán)重可以被應(yīng)