【文章內(nèi)容簡介】 。 // 以屏幕左上角為起點(diǎn)的偏移量讀入圖像: IplImage* img=0。 img=cvLoadImage(fileName)。if(!img) printf(Could not load image file: %s\n,fileName)。顯示圖像: cvShowImage(win1,img)?？娠@示彩色或灰度的字節(jié)/浮點(diǎn)圖像。彩色圖像數(shù)據(jù)認(rèn)定為BGR順序. 關(guān)閉窗口: cvDestroyWindow(win1)。改變窗口尺寸: cvResizeWindow(win1,100,100)。 // 新的寬/高值(象素點(diǎn))再介紹一些圖像轉(zhuǎn)換的函數(shù)：轉(zhuǎn)為灰度或彩色字節(jié)圖像: cvConvertImage(src, dst, flags=0)。src = float/byte grayscale/color imagedst = byte grayscale/color imagelags = CV_CVTIMG_FLIP (flip vertically)CV_CVTIMG_SWAP_RB (swap the R and B channels)轉(zhuǎn)換彩色圖像為灰度圖像: 使用OpenCV轉(zhuǎn)換函數(shù): cvCvtColor(cimg,gimg,CV_BGR2GRAY)。 // cimg gimg直接轉(zhuǎn)換: for(i=0。icimgheight。i++) for(j=0。jcimgwidth。j++) gimgA[i][j]= (uchar)(cimgA[i][j].b* + cimgA[i][j].g* + cimgA[i][j].r*)。從視頻序列中抓取一幀：OpenCV支持從攝像頭或視頻文件(AVI)中抓取圖像.從攝像頭獲取初始化: CvCapture*capture=cvCaptureFromCAM(0)。//capture from video device 0從視頻文件獲取初始化: CvCapture* capture = cvCaptureFromAVI()。抓取幀: IplImage* img = 0。 if(!cvGrabFrame(capture)){ // 抓取一幀printf(Could not grab a frame\n\7)。exit(0)。}img=cvRetrieveFrame(capture)。 // 恢復(fù)獲取的幀圖像 支持向量機(jī)（SVM）簡介支持向量機(jī)(Support Vector Machine)簡稱 SVM，是統(tǒng)計學(xué)習(xí)理論中較年輕的內(nèi)容，也是最實(shí)用的部分，目前仍處在不斷發(fā)展階段。它是Vapnik等人根據(jù)統(tǒng)計學(xué)習(xí)理論提出的一種新的機(jī)器學(xué)習(xí)方法，它以結(jié)構(gòu)風(fēng)險最小化原則為理論基礎(chǔ)，通過適當(dāng)選擇函數(shù)子集及該子集中的判別函數(shù)使學(xué)習(xí)機(jī)的實(shí)際風(fēng)險達(dá)到最小，保證了通過有限訓(xùn)練樣本得到的小誤差分類器對獨(dú)立測試集的測試誤差仍然最小，得到一個具有最優(yōu)分類能力和推廣泛化能力的學(xué)習(xí)機(jī)。該方法從樣本集中選擇一組特征子集，使得對于特征子集的劃分等價于對整個樣本集的分割，這組特征子集稱為支持向量(SV)。SV 盡管數(shù)量少，但卻包含了分類所需的信息。SVM的主要思想可以概括為兩點(diǎn)： (1) 它是針對線性可分情況進(jìn)行分析，對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間使其線性可分，從而 使得高維特征空間采用線性算法對樣本的非線性特征進(jìn)行線性分析成為可能；(2) 它基于結(jié)構(gòu)風(fēng)險最小化理論之上在特征空間中建構(gòu)最優(yōu)分割超平面，使得學(xué)習(xí)器得到全局最優(yōu)化,并且在整個樣本空間的期望風(fēng)險以某個概率滿足一定上界。SVM的一般特征主要有：（1）SVM學(xué)習(xí)問題可以表示為凸優(yōu)化問題，因此可以利用已知的有效算法發(fā)現(xiàn)目標(biāo)函數(shù)的全局最小值。而其他分類方法（如基于規(guī)則的分類器和人工神經(jīng)網(wǎng)絡(luò)）都采用一種基于貪心學(xué)習(xí)的策略來搜索假設(shè)空間，這種方法一般只能獲得局部最優(yōu)解?！?（2）SVM通過最大化決策邊界的邊緣來控制模型的能力。盡管如此，用戶必須提供其他參數(shù)，如使用核函數(shù)類型和引入松弛變量等?！?（3）通過對數(shù)據(jù)中每個分類屬性引入一個啞變量，SVM可以應(yīng)用與分類數(shù)據(jù)。(4)SVM不僅可以用在二類問題，還可以很好的處理多類問題。 本章小結(jié)本章主要介紹了再這次系統(tǒng)的設(shè)計中能用到的背景技術(shù)的大致情況。如C++編程中的一些技巧和注意的地方；MFC的概況和幾個重要的MFC應(yīng)用；OpenCV的概述及編程中的注意事項；支持向量機(jī)（SVM）的簡單介紹和一般特征。3 系統(tǒng)總體結(jié)構(gòu)和功能劃分本章將詳細(xì)講述系統(tǒng)的總體結(jié)構(gòu)，以及系統(tǒng)各模塊的功能。 系統(tǒng)總體結(jié)構(gòu)本系統(tǒng)主要完成使用攝像頭采集使用者的手勢，并將手勢加以處理后計算其Hu矩特征，然后根據(jù)訓(xùn)練的SVM模型進(jìn)行預(yù)測匹配，同時將手勢識別模塊與簡單的幻燈片控制按鈕功能相結(jié)合，在匹配成功后，調(diào)用相應(yīng)的函數(shù)，控制幻燈片的翻頁操作。系統(tǒng)首先要做好一個幻燈片的控制系統(tǒng)（在簡單的對話框上添加控制按鈕即可完成），再做一個接口將之與手勢識別部分結(jié)合起來，然后將攝像頭采集到的圖像信息處理后提取幾何矩特征，再將訓(xùn)練好的SVM模型加載進(jìn)去，加以預(yù)測匹配，進(jìn)行相應(yīng)的操作。本系統(tǒng)的總體結(jié)構(gòu)如圖31所示：圖31 系統(tǒng)總體結(jié)構(gòu) System general structure在圖31中，手勢識別主要包括手勢圖像的獲取，提取后圖像的預(yù)處理（包括灰度化和二值化處理），圖像幾何矩的提取，SVM模型的訓(xùn)練以及最后的匹對。獲取手勢圖像是由與PC機(jī)相連的攝像頭捕捉，其余的工作則主要由計算機(jī)完成。而在手勢識別這一大的模塊，又可細(xì)分出很多問題。用攝像頭捕捉人的手勢，有一個如何獲取準(zhǔn)確手區(qū)域的問題，另外還要對采集到的圖像進(jìn)行預(yù)處理，此外光照對于圖像獲取的影響也很大，如何盡量小的減小其他的干擾也是個問題。我們可以采用轉(zhuǎn)換色彩空間然后灰度化的方法來克服光照的影響，而在各種二值化的方法中，我們選擇Ostu的全局自動閾值分割法獲取手所在區(qū)域，然后采用灰度投影的辦法獲取準(zhǔn)確的手區(qū)域。然后就是對于靜態(tài)圖像的處理問題，如何提取有效的圖像特征是一個難點(diǎn)，在幾種相關(guān)的圖像描述方法中我們選擇矩描述子來提取手區(qū)域圖像的特征。另外我們對于SVM的訓(xùn)練模型如何使用以及SVM在整個統(tǒng)計最小化理論中如何體現(xiàn)其優(yōu)勢都需要加以研究和掌握。進(jìn)而需要將手勢識別模塊嵌入到幻燈片控制模塊中。 這需要一個接口，我們通過設(shè)置中間變量來傳遞特征值，實(shí)現(xiàn)當(dāng)圖像狀態(tài)發(fā)生改變時調(diào)用相應(yīng)的控制函數(shù)。系統(tǒng)的總體流程如圖32所示：圖32 系統(tǒng)的流程圖 System flowchart 功能模塊設(shè)計本系統(tǒng)的設(shè)計與實(shí)現(xiàn)分為三個模塊：幻燈片控制模塊，手勢識別處理模塊和接口模塊。其中手勢識別處理模塊可以再細(xì)分為：手圖像的預(yù)處理、手圖像特征的提取、支持向量機(jī)（SVM）的訓(xùn)練模型三個子模塊。對于各個模塊的功能劃分，有必要交代一下，以便更清晰的了解和掌握整個系統(tǒng)的設(shè)計思路。其中手勢識別模塊是最為核心的部分。下分的三個子模塊：手勢的預(yù)處理、手勢矩特征的提取和訓(xùn)練SVM模型各有分工。手勢預(yù)處理模塊主要是針對圖像的獲取位置的選取、圖像的灰度化及二值化處理，并對相關(guān)算法進(jìn)行的介紹和闡述；手勢矩特征的提取模塊主要解決圖像幾何矩特征的有關(guān)問題，包括矩的有關(guān)概念和Hu矩的相關(guān)計算；訓(xùn)練SVM模型模塊先介紹一下最優(yōu)化理論，再闡述SVM的有關(guān)應(yīng)用，以及與本課題設(shè)計相關(guān)的一些知識。幻燈片控制模塊主要介紹一下幻燈片控制函數(shù)（主要是針對翻頁操作的），以及幻燈片研究方面的知識。接口部分主要解決的就是將兩大模塊結(jié)合起來的問題，如何將手勢識別后的值存入變量，并在進(jìn)行相關(guān)手勢操作時調(diào)用變量，在調(diào)用時根據(jù)設(shè)定的不同情況將調(diào)用不同的幻燈片控制函數(shù)，從而使幻燈片翻頁。 本章小結(jié)本章主要介紹了系統(tǒng)設(shè)計的總體結(jié)構(gòu)和流程情況，并對各個模塊涉及到的問題進(jìn)行了介紹。對各模塊進(jìn)行了功能劃分，并針對不同模塊的功能進(jìn)行了闡述。闡述了各個模塊之間的邏輯和功能關(guān)系，作為系統(tǒng)設(shè)計的框架和基礎(chǔ)。4 手勢識別的設(shè)計和實(shí)現(xiàn)本章主要詳細(xì)闡述系統(tǒng)的核心部分——手勢識別模塊的設(shè)計與實(shí)現(xiàn)，對相關(guān)算法進(jìn)行了說明和介紹。 手圖像的預(yù)處理 手勢圖像的預(yù)處理是手勢識別的第一步，它處理效果的好壞直接影響到最后手勢識別的成功與否。本節(jié)主要針對如何得到比較理想的處理效果，準(zhǔn)確提取手勢圖像的特征進(jìn)行闡述。手勢識別與其他的圖像識別不同。而手勢也與其他的圖像不同，它沒有現(xiàn)成的手勢圖像庫可供使用。我們必須首先建立在各種條件下的手勢樣本庫。手勢由攝像頭獲取，樣本庫主要包括各種手勢分割的黑白圖像。具體的手勢樣本采集步驟主要分為以下兩步：（1）可以用兩種方法完成樣本采集：請幾位實(shí)驗(yàn)者在數(shù)字視頻攝像頭前做每類樣本各個角度的數(shù)字手勢，編寫程序在攝像頭獲取的實(shí)時視頻中，每隔一定的幀數(shù)（比如 10 幀）保存一幀圖像，經(jīng)過預(yù)處理后保存作為樣本。在這個過程中控制周圍光照強(qiáng)度變化，同時實(shí)驗(yàn)者改變手勢的角度。另一種方法是程序與樣本采集者交互，在實(shí)驗(yàn)者做好手勢后，操作者通過鍵盤和樣本采集程序交互，實(shí)現(xiàn)從實(shí)時視頻中人工選擇樣本保存。相比較第一種方法，第二種方法采集樣本準(zhǔn)確、全面，比如各種光照和各個角度下的手勢樣本，但是效率不如第一種方法高效。在本文中樣本統(tǒng)一歸一化為200*240像素大小。 （2）逐個樣本檢查，去掉不理想的樣本，比如采集樣本時候手僅有部分在攝像頭視野內(nèi)，或者分割不理想的情況。為方便 Hu 矩程序提取樣本特征，把選中的合格樣本按一定規(guī)律批量命名后保存到相應(yīng)文件夾。這樣就建立起來了一個手勢樣本庫。 下面說明一下如何獲取手勢圖像的準(zhǔn)確位置。為了更好的對手的區(qū)域進(jìn)行準(zhǔn)確的特征提取，要求盡可能準(zhǔn)確的獲取手勢所在區(qū)域，本文采用投影法獲取手勢所在區(qū)域。具體方式是對于預(yù)處理后的二值圖像，分別沿垂直方向和水平方向采用投影法，得到手勢在x方向和 y 方向的坐標(biāo)范圍(x1~ x2),(y1~ y2)。如圖 41(A)是從實(shí)時視頻中截取的手的 RGB 圖像，圖 41(B)對應(yīng)的二值化圖像，圖 41(C)通過灰度投影確定的準(zhǔn)確手區(qū)域，圖41中標(biāo)示出了更準(zhǔn)確的手區(qū)域的范圍。圖 41 采用灰度投影法獲取手所在準(zhǔn)確的手區(qū)域 Accurate hand region gotten by gray projection由攝像頭獲取的手勢圖像會因各種噪聲的干擾和影響使圖像質(zhì)量下降。為了抑制噪聲和改善圖像質(zhì)量，必要時可對圖像進(jìn)行平滑處理，這可以在空域或頻域中進(jìn)行，在平滑噪聲時以不損害圖像中邊沿和各種細(xì)節(jié)為準(zhǔn)則。對于濾除圖像中的噪聲，人們已經(jīng)提出了很多的方法。通常，將數(shù)字圖像的平滑技術(shù)劃分為兩類：一類是全局處理，即對噪聲圖像的整體或大的塊進(jìn)行校正以得到平滑的圖像，例如在變換域中使用 Wiener 濾波、最小二乘濾波等，使用這些技術(shù)需要知道信號和噪聲的統(tǒng)計模型，但對于大多數(shù)圖像而言，人們不知道或不可能用簡單的隨機(jī)過程精確的描述統(tǒng)計模型，而且這些技術(shù)計算量也相當(dāng)大；另一類平滑技術(shù)是對噪聲圖像使用局部算子，當(dāng)對某一像素進(jìn)行平滑處理時，僅對它的局部小鄰域的一些像素加以運(yùn)算，其優(yōu)點(diǎn)是計算效率高，而且可以多個像素并行處理，因此可實(shí)現(xiàn)實(shí)時或準(zhǔn)實(shí)時處理。 彩色圖像的灰度化首先對于色彩空間進(jìn)行一下介紹。根據(jù)計算機(jī)色彩理論，對一種顏色而言，在計算機(jī)中有著不同的表達(dá)方式，這樣就形成了各種不同的色彩空間。當(dāng)然各種色彩空間只不過是顏色在計算機(jī)內(nèi)不同的表達(dá)形式而已，每一種色彩空間也都有其各自的產(chǎn)生背景、應(yīng)用領(lǐng)域等等。主要的色彩空間有：（1）RGB 模式(紅、綠、藍(lán)三基色模型)這是一種最直接的方法，即使用紅、綠、藍(lán)的亮度值來表示彩色，其大小限定到一定范圍。這種約定稱為 RGB 模式。RGB 模式是基于自然界中 3 種基色光的混合原理，將紅(R)、綠(G)和藍(lán)(B)3 種基色按照從 0 到 255 的亮度值在每個色階中分配，從而指定其色彩。當(dāng)不同亮度的基色混合后，便會產(chǎn)生出 256*256*256 種顏色，約為 1670 萬種。例如，一種明亮的紅色可能 R 值為 246，G 值為 20，B 值為 50。當(dāng) 3 種基色的亮度值相等時，產(chǎn)生灰色。當(dāng) 3 種亮度值都是 255 時，產(chǎn)生純白色。而當(dāng)所有亮度值都是 0 時，產(chǎn)生純黑色。當(dāng) 3 種色光混合生成的顏色一般比原來的顏色亮度值高，所以 RGB 模式產(chǎn)生顏色的方法又被稱為色光加色法。（2）HSI 模式這是基于人眼對色彩的觀察來定義的一種模式，在此模式中，所有的顏色都用色相或色調(diào)、飽和度、亮度三個特性來描述?！?色相(H)：表示與顏色主波長有關(guān)的顏色物理特性。從實(shí)驗(yàn)中知道，不同波長的可見光具有不同的顏色。眾多波長的光以不同比例混合可以形成各種各樣的顏色，但只要波長組成情況一定，那么顏色就確定了。所有色彩(紅、橙、黃、綠、青、藍(lán)、紫等)都是表示顏色外貌的屬性。它們就是所有的色相，有時色相也稱為色調(diào)?！麸柡投?S)：飽和度指顏色的強(qiáng)度或純度，表示色相中灰色成分所占的比例，用 0%100%(純色)來表示?！袅炼?I)：亮度是顏色的相對明暗程度，通常用 0% (黑)100% (白)來度量。（3）CMYK 顏色模式CMYK 顏色模式是一種印刷模式。其中四個字母分別指青(Cyan)、洋紅(Magenta)、黃(Yellow)、黑(Black)，在印刷中代表四種顏色的油墨。CMYK 模式在本質(zhì)上與 RGB 模式?jīng)]有什么區(qū)別，只是產(chǎn)生色彩的原理不同，在 RGB 模式中由光源發(fā)出的色光混合生成顏色，而在 CMYK 模式中由光線照到有不同比例 C、M、Y、K 油墨的紙上，部分光譜被吸收后，反射到人眼的光產(chǎn)生顏色。由于 C、M、Y、K 在混合成色時，隨著 C、M、Y、K 四種成分的增多，反射到人眼的光會越來越少，光線的亮度會越來越低，所有 CMYK 模式產(chǎn)生顏色的方法又被稱為色光減色法。（4）Lab 模式Lab 模式的原型是由 CIE 協(xié)會在 1931 年制定的一個衡量顏色的標(biāo)準(zhǔn)，在 1976年被重新定義并命名為 CIELab。此