【文章內(nèi)容簡介】 。 // 以屏幕左上角為起點的偏移量讀入圖像: IplImage* img=0。 img=cvLoadImage(fileName)。if(!img) printf(Could not load image file: %s\n,fileName)。顯示圖像: cvShowImage(win1,img)。可顯示彩色或灰度的字節(jié)/浮點圖像。彩色圖像數(shù)據(jù)認定為BGR順序. 關(guān)閉窗口: cvDestroyWindow(win1)。改變窗口尺寸: cvResizeWindow(win1,100,100)。 // 新的寬/高值(象素點)再介紹一些圖像轉(zhuǎn)換的函數(shù)：轉(zhuǎn)為灰度或彩色字節(jié)圖像: cvConvertImage(src, dst, flags=0)。src = float/byte grayscale/color imagedst = byte grayscale/color imagelags = CV_CVTIMG_FLIP (flip vertically)CV_CVTIMG_SWAP_RB (swap the R and B channels)轉(zhuǎn)換彩色圖像為灰度圖像: 使用OpenCV轉(zhuǎn)換函數(shù): cvCvtColor(cimg,gimg,CV_BGR2GRAY)。 // cimg gimg直接轉(zhuǎn)換: for(i=0。icimgheight。i++) for(j=0。jcimgwidth。j++) gimgA[i][j]= (uchar)(cimgA[i][j].b* + cimgA[i][j].g* + cimgA[i][j].r*)。從視頻序列中抓取一幀：OpenCV支持從攝像頭或視頻文件(AVI)中抓取圖像.從攝像頭獲取初始化: CvCapture*capture=cvCaptureFromCAM(0)。//capture from video device 0從視頻文件獲取初始化: CvCapture* capture = cvCaptureFromAVI()。抓取幀: IplImage* img = 0。 if(!cvGrabFrame(capture)){ // 抓取一幀printf(Could not grab a frame\n\7)。exit(0)。}img=cvRetrieveFrame(capture)。 // 恢復獲取的幀圖像 支持向量機（SVM）簡介支持向量機(Support Vector Machine)簡稱 SVM，是統(tǒng)計學習理論中較年輕的內(nèi)容，也是最實用的部分，目前仍處在不斷發(fā)展階段。它是Vapnik等人根據(jù)統(tǒng)計學習理論提出的一種新的機器學習方法，它以結(jié)構(gòu)風險最小化原則為理論基礎(chǔ)，通過適當選擇函數(shù)子集及該子集中的判別函數(shù)使學習機的實際風險達到最小，保證了通過有限訓練樣本得到的小誤差分類器對獨立測試集的測試誤差仍然最小，得到一個具有最優(yōu)分類能力和推廣泛化能力的學習機。該方法從樣本集中選擇一組特征子集，使得對于特征子集的劃分等價于對整個樣本集的分割，這組特征子集稱為支持向量(SV)。SV 盡管數(shù)量少，但卻包含了分類所需的信息。SVM的主要思想可以概括為兩點： (1) 它是針對線性可分情況進行分析，對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間使其線性可分，從而 使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能；(2) 它基于結(jié)構(gòu)風險最小化理論之上在特征空間中建構(gòu)最優(yōu)分割超平面，使得學習器得到全局最優(yōu)化,并且在整個樣本空間的期望風險以某個概率滿足一定上界。SVM的一般特征主要有：（1）SVM學習問題可以表示為凸優(yōu)化問題，因此可以利用已知的有效算法發(fā)現(xiàn)目標函數(shù)的全局最小值。而其他分類方法（如基于規(guī)則的分類器和人工神經(jīng)網(wǎng)絡(luò)）都采用一種基于貪心學習的策略來搜索假設(shè)空間，這種方法一般只能獲得局部最優(yōu)解?！?（2）SVM通過最大化決策邊界的邊緣來控制模型的能力。盡管如此，用戶必須提供其他參數(shù)，如使用核函數(shù)類型和引入松弛變量等?！?（3）通過對數(shù)據(jù)中每個分類屬性引入一個啞變量，SVM可以應(yīng)用與分類數(shù)據(jù)。(4)SVM不僅可以用在二類問題，還可以很好的處理多類問題。 本章小結(jié)本章主要介紹了再這次系統(tǒng)的設(shè)計中能用到的背景技術(shù)的大致情況。如C++編程中的一些技巧和注意的地方；MFC的概況和幾個重要的MFC應(yīng)用；OpenCV的概述及編程中的注意事項；支持向量機（SVM）的簡單介紹和一般特征。3 系統(tǒng)總體結(jié)構(gòu)和功能劃分本章將詳細講述系統(tǒng)的總體結(jié)構(gòu)，以及系統(tǒng)各模塊的功能。 系統(tǒng)總體結(jié)構(gòu)本系統(tǒng)主要完成使用攝像頭采集使用者的手勢，并將手勢加以處理后計算其Hu矩特征，然后根據(jù)訓練的SVM模型進行預(yù)測匹配，同時將手勢識別模塊與簡單的幻燈片控制按鈕功能相結(jié)合，在匹配成功后，調(diào)用相應(yīng)的函數(shù)，控制幻燈片的翻頁操作。系統(tǒng)首先要做好一個幻燈片的控制系統(tǒng)（在簡單的對話框上添加控制按鈕即可完成），再做一個接口將之與手勢識別部分結(jié)合起來，然后將攝像頭采集到的圖像信息處理后提取幾何矩特征，再將訓練好的SVM模型加載進去，加以預(yù)測匹配，進行相應(yīng)的操作。本系統(tǒng)的總體結(jié)構(gòu)如圖31所示：圖31 系統(tǒng)總體結(jié)構(gòu) System general structure在圖31中，手勢識別主要包括手勢圖像的獲取，提取后圖像的預(yù)處理（包括灰度化和二值化處理），圖像幾何矩的提取，SVM模型的訓練以及最后的匹對。獲取手勢圖像是由與PC機相連的攝像頭捕捉，其余的工作則主要由計算機完成。而在手勢識別這一大的模塊，又可細分出很多問題。用攝像頭捕捉人的手勢，有一個如何獲取準確手區(qū)域的問題，另外還要對采集到的圖像進行預(yù)處理，此外光照對于圖像獲取的影響也很大，如何盡量小的減小其他的干擾也是個問題。我們可以采用轉(zhuǎn)換色彩空間然后灰度化的方法來克服光照的影響，而在各種二值化的方法中，我們選擇Ostu的全局自動閾值分割法獲取手所在區(qū)域，然后采用灰度投影的辦法獲取準確的手區(qū)域。然后就是對于靜態(tài)圖像的處理問題，如何提取有效的圖像特征是一個難點，在幾種相關(guān)的圖像描述方法中我們選擇矩描述子來提取手區(qū)域圖像的特征。另外我們對于SVM的訓練模型如何使用以及SVM在整個統(tǒng)計最小化理論中如何體現(xiàn)其優(yōu)勢都需要加以研究和掌握。進而需要將手勢識別模塊嵌入到幻燈片控制模塊中。 這需要一個接口，我們通過設(shè)置中間變量來傳遞特征值，實現(xiàn)當圖像狀態(tài)發(fā)生改變時調(diào)用相應(yīng)的控制函數(shù)。系統(tǒng)的總體流程如圖32所示：圖32 系統(tǒng)的流程圖 System flowchart 功能模塊設(shè)計本系統(tǒng)的設(shè)計與實現(xiàn)分為三個模塊：幻燈片控制模塊，手勢識別處理模塊和接口模塊。其中手勢識別處理模塊可以再細分為：手圖像的預(yù)處理、手圖像特征的提取、支持向量機（SVM）的訓練模型三個子模塊。對于各個模塊的功能劃分，有必要交代一下，以便更清晰的了解和掌握整個系統(tǒng)的設(shè)計思路。其中手勢識別模塊是最為核心的部分。下分的三個子模塊：手勢的預(yù)處理、手勢矩特征的提取和訓練SVM模型各有分工。手勢預(yù)處理模塊主要是針對圖像的獲取位置的選取、圖像的灰度化及二值化處理，并對相關(guān)算法進行的介紹和闡述；手勢矩特征的提取模塊主要解決圖像幾何矩特征的有關(guān)問題，包括矩的有關(guān)概念和Hu矩的相關(guān)計算；訓練SVM模型模塊先介紹一下最優(yōu)化理論，再闡述SVM的有關(guān)應(yīng)用，以及與本課題設(shè)計相關(guān)的一些知識?；脽羝刂颇K主要介紹一下幻燈片控制函數(shù)（主要是針對翻頁操作的），以及幻燈片研究方面的知識。接口部分主要解決的就是將兩大模塊結(jié)合起來的問題，如何將手勢識別后的值存入變量，并在進行相關(guān)手勢操作時調(diào)用變量，在調(diào)用時根據(jù)設(shè)定的不同情況將調(diào)用不同的幻燈片控制函數(shù)，從而使幻燈片翻頁。 本章小結(jié)本章主要介紹了系統(tǒng)設(shè)計的總體結(jié)構(gòu)和流程情況，并對各個模塊涉及到的問題進行了介紹。對各模塊進行了功能劃分，并針對不同模塊的功能進行了闡述。闡述了各個模塊之間的邏輯和功能關(guān)系，作為系統(tǒng)設(shè)計的框架和基礎(chǔ)。4 手勢識別的設(shè)計和實現(xiàn)本章主要詳細闡述系統(tǒng)的核心部分——手勢識別模塊的設(shè)計與實現(xiàn)，對相關(guān)算法進行了說明和介紹。 手圖像的預(yù)處理 手勢圖像的預(yù)處理是手勢識別的第一步，它處理效果的好壞直接影響到最后手勢識別的成功與否。本節(jié)主要針對如何得到比較理想的處理效果，準確提取手勢圖像的特征進行闡述。手勢識別與其他的圖像識別不同。而手勢也與其他的圖像不同，它沒有現(xiàn)成的手勢圖像庫可供使用。我們必須首先建立在各種條件下的手勢樣本庫。手勢由攝像頭獲取，樣本庫主要包括各種手勢分割的黑白圖像。具體的手勢樣本采集步驟主要分為以下兩步：（1）可以用兩種方法完成樣本采集：請幾位實驗者在數(shù)字視頻攝像頭前做每類樣本各個角度的數(shù)字手勢，編寫程序在攝像頭獲取的實時視頻中，每隔一定的幀數(shù)（比如 10 幀）保存一幀圖像，經(jīng)過預(yù)處理后保存作為樣本。在這個過程中控制周圍光照強度變化，同時實驗者改變手勢的角度。另一種方法是程序與樣本采集者交互，在實驗者做好手勢后，操作者通過鍵盤和樣本采集程序交互，實現(xiàn)從實時視頻中人工選擇樣本保存。相比較第一種方法，第二種方法采集樣本準確、全面，比如各種光照和各個角度下的手勢樣本，但是效率不如第一種方法高效。在本文中樣本統(tǒng)一歸一化為200*240像素大小。 （2）逐個樣本檢查，去掉不理想的樣本，比如采集樣本時候手僅有部分在攝像頭視野內(nèi)，或者分割不理想的情況。為方便 Hu 矩程序提取樣本特征，把選中的合格樣本按一定規(guī)律批量命名后保存到相應(yīng)文件夾。這樣就建立起來了一個手勢樣本庫。 下面說明一下如何獲取手勢圖像的準確位置。為了更好的對手的區(qū)域進行準確的特征提取，要求盡可能準確的獲取手勢所在區(qū)域，本文采用投影法獲取手勢所在區(qū)域。具體方式是對于預(yù)處理后的二值圖像，分別沿垂直方向和水平方向采用投影法，得到手勢在x方向和 y 方向的坐標范圍(x1~ x2),(y1~ y2)。如圖 41(A)是從實時視頻中截取的手的 RGB 圖像，圖 41(B)對應(yīng)的二值化圖像，圖 41(C)通過灰度投影確定的準確手區(qū)域，圖41中標示出了更準確的手區(qū)域的范圍。圖 41 采用灰度投影法獲取手所在準確的手區(qū)域 Accurate hand region gotten by gray projection由攝像頭獲取的手勢圖像會因各種噪聲的干擾和影響使圖像質(zhì)量下降。為了抑制噪聲和改善圖像質(zhì)量，必要時可對圖像進行平滑處理，這可以在空域或頻域中進行，在平滑噪聲時以不損害圖像中邊沿和各種細節(jié)為準則。對于濾除圖像中的噪聲，人們已經(jīng)提出了很多的方法。通常，將數(shù)字圖像的平滑技術(shù)劃分為兩類：一類是全局處理，即對噪聲圖像的整體或大的塊進行校正以得到平滑的圖像，例如在變換域中使用 Wiener 濾波、最小二乘濾波等，使用這些技術(shù)需要知道信號和噪聲的統(tǒng)計模型，但對于大多數(shù)圖像而言，人們不知道或不可能用簡單的隨機過程精確的描述統(tǒng)計模型，而且這些技術(shù)計算量也相當大；另一類平滑技術(shù)是對噪聲圖像使用局部算子，當對某一像素進行平滑處理時，僅對它的局部小鄰域的一些像素加以運算，其優(yōu)點是計算效率高，而且可以多個像素并行處理，因此可實現(xiàn)實時或準實時處理。 彩色圖像的灰度化首先對于色彩空間進行一下介紹。根據(jù)計算機色彩理論，對一種顏色而言，在計算機中有著不同的表達方式，這樣就形成了各種不同的色彩空間。當然各種色彩空間只不過是顏色在計算機內(nèi)不同的表達形式而已，每一種色彩空間也都有其各自的產(chǎn)生背景、應(yīng)用領(lǐng)域等等。主要的色彩空間有：（1）RGB 模式(紅、綠、藍三基色模型)這是一種最直接的方法，即使用紅、綠、藍的亮度值來表示彩色，其大小限定到一定范圍。這種約定稱為 RGB 模式。RGB 模式是基于自然界中 3 種基色光的混合原理，將紅(R)、綠(G)和藍(B)3 種基色按照從 0 到 255 的亮度值在每個色階中分配，從而指定其色彩。當不同亮度的基色混合后，便會產(chǎn)生出 256*256*256 種顏色，約為 1670 萬種。例如，一種明亮的紅色可能 R 值為 246，G 值為 20，B 值為 50。當 3 種基色的亮度值相等時，產(chǎn)生灰色。當 3 種亮度值都是 255 時，產(chǎn)生純白色。而當所有亮度值都是 0 時，產(chǎn)生純黑色。當 3 種色光混合生成的顏色一般比原來的顏色亮度值高，所以 RGB 模式產(chǎn)生顏色的方法又被稱為色光加色法。（2）HSI 模式這是基于人眼對色彩的觀察來定義的一種模式，在此模式中，所有的顏色都用色相或色調(diào)、飽和度、亮度三個特性來描述?！?色相(H)：表示與顏色主波長有關(guān)的顏色物理特性。從實驗中知道，不同波長的可見光具有不同的顏色。眾多波長的光以不同比例混合可以形成各種各樣的顏色，但只要波長組成情況一定，那么顏色就確定了。所有色彩(紅、橙、黃、綠、青、藍、紫等)都是表示顏色外貌的屬性。它們就是所有的色相，有時色相也稱為色調(diào)?！麸柡投?S)：飽和度指顏色的強度或純度，表示色相中灰色成分所占的比例，用 0%100%(純色)來表示?！袅炼?I)：亮度是顏色的相對明暗程度，通常用 0% (黑)100% (白)來度量。（3）CMYK 顏色模式CMYK 顏色模式是一種印刷模式。其中四個字母分別指青(Cyan)、洋紅(Magenta)、黃(Yellow)、黑(Black)，在印刷中代表四種顏色的油墨。CMYK 模式在本質(zhì)上與 RGB 模式?jīng)]有什么區(qū)別，只是產(chǎn)生色彩的原理不同，在 RGB 模式中由光源發(fā)出的色光混合生成顏色，而在 CMYK 模式中由光線照到有不同比例 C、M、Y、K 油墨的紙上，部分光譜被吸收后，反射到人眼的光產(chǎn)生顏色。由于 C、M、Y、K 在混合成色時，隨著 C、M、Y、K 四種成分的增多，反射到人眼的光會越來越少，光線的亮度會越來越低，所有 CMYK 模式產(chǎn)生顏色的方法又被稱為色光減色法。（4）Lab 模式Lab 模式的原型是由 CIE 協(xié)會在 1931 年制定的一個衡量顏色的標準，在 1976年被重新定義并命名為 CIELab。此