【文章內(nèi)容簡(jiǎn)介】 。 // 以屏幕左上角為起點(diǎn)的偏移量讀入圖像: IplImage* img=0。 img=cvLoadImage(fileName)。if(!img) printf(Could not load image file: %s\n,fileName)。顯示圖像: cvShowImage(win1,img)。可顯示彩色或灰度的字節(jié)/浮點(diǎn)圖像。彩色圖像數(shù)據(jù)認(rèn)定為BGR順序. 關(guān)閉窗口: cvDestroyWindow(win1)。改變窗口尺寸: cvResizeWindow(win1,100,100)。 // 新的寬/高值(象素點(diǎn))再介紹一些圖像轉(zhuǎn)換的函數(shù)：轉(zhuǎn)為灰度或彩色字節(jié)圖像: cvConvertImage(src, dst, flags=0)。src = float/byte grayscale/color imagedst = byte grayscale/color imagelags = CV_CVTIMG_FLIP (flip vertically)CV_CVTIMG_SWAP_RB (swap the R and B channels)轉(zhuǎn)換彩色圖像為灰度圖像: 使用OpenCV轉(zhuǎn)換函數(shù): cvCvtColor(cimg,gimg,CV_BGR2GRAY)。 // cimg gimg直接轉(zhuǎn)換: for(i=0。icimgheight。i++) for(j=0。jcimgwidth。j++) gimgA[i][j]= (uchar)(cimgA[i][j].b* + cimgA[i][j].g* + cimgA[i][j].r*)。從視頻序列中抓取一幀：OpenCV支持從攝像頭或視頻文件(AVI)中抓取圖像.從攝像頭獲取初始化: CvCapture*capture=cvCaptureFromCAM(0)。//capture from video device 0從視頻文件獲取初始化: CvCapture* capture = cvCaptureFromAVI()。抓取幀: IplImage* img = 0。 if(!cvGrabFrame(capture)){ // 抓取一幀printf(Could not grab a frame\n\7)。exit(0)。}img=cvRetrieveFrame(capture)。 // 恢復(fù)獲取的幀圖像 支持向量機(jī)（SVM）簡(jiǎn)介支持向量機(jī)(Support Vector Machine)簡(jiǎn)稱 SVM，是統(tǒng)計(jì)學(xué)習(xí)理論中較年輕的內(nèi)容，也是最實(shí)用的部分，目前仍處在不斷發(fā)展階段。它是Vapnik等人根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新的機(jī)器學(xué)習(xí)方法，它以結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則為理論基礎(chǔ)，通過(guò)適當(dāng)選擇函數(shù)子集及該子集中的判別函數(shù)使學(xué)習(xí)機(jī)的實(shí)際風(fēng)險(xiǎn)達(dá)到最小，保證了通過(guò)有限訓(xùn)練樣本得到的小誤差分類器對(duì)獨(dú)立測(cè)試集的測(cè)試誤差仍然最小，得到一個(gè)具有最優(yōu)分類能力和推廣泛化能力的學(xué)習(xí)機(jī)。該方法從樣本集中選擇一組特征子集，使得對(duì)于特征子集的劃分等價(jià)于對(duì)整個(gè)樣本集的分割，這組特征子集稱為支持向量(SV)。SV 盡管數(shù)量少，但卻包含了分類所需的信息。SVM的主要思想可以概括為兩點(diǎn)： (1) 它是針對(duì)線性可分情況進(jìn)行分析，對(duì)于線性不可分的情況，通過(guò)使用非線性映射算法將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間使其線性可分，從而 使得高維特征空間采用線性算法對(duì)樣本的非線性特征進(jìn)行線性分析成為可能；(2) 它基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論之上在特征空間中建構(gòu)最優(yōu)分割超平面，使得學(xué)習(xí)器得到全局最優(yōu)化,并且在整個(gè)樣本空間的期望風(fēng)險(xiǎn)以某個(gè)概率滿足一定上界。SVM的一般特征主要有：（1）SVM學(xué)習(xí)問(wèn)題可以表示為凸優(yōu)化問(wèn)題，因此可以利用已知的有效算法發(fā)現(xiàn)目標(biāo)函數(shù)的全局最小值。而其他分類方法（如基于規(guī)則的分類器和人工神經(jīng)網(wǎng)絡(luò)）都采用一種基于貪心學(xué)習(xí)的策略來(lái)搜索假設(shè)空間，這種方法一般只能獲得局部最優(yōu)解?！?（2）SVM通過(guò)最大化決策邊界的邊緣來(lái)控制模型的能力。盡管如此，用戶必須提供其他參數(shù)，如使用核函數(shù)類型和引入松弛變量等?！?（3）通過(guò)對(duì)數(shù)據(jù)中每個(gè)分類屬性引入一個(gè)啞變量，SVM可以應(yīng)用與分類數(shù)據(jù)。(4)SVM不僅可以用在二類問(wèn)題，還可以很好的處理多類問(wèn)題。 本章小結(jié)本章主要介紹了再這次系統(tǒng)的設(shè)計(jì)中能用到的背景技術(shù)的大致情況。如C++編程中的一些技巧和注意的地方；MFC的概況和幾個(gè)重要的MFC應(yīng)用；OpenCV的概述及編程中的注意事項(xiàng)；支持向量機(jī)（SVM）的簡(jiǎn)單介紹和一般特征。3 系統(tǒng)總體結(jié)構(gòu)和功能劃分本章將詳細(xì)講述系統(tǒng)的總體結(jié)構(gòu)，以及系統(tǒng)各模塊的功能。 系統(tǒng)總體結(jié)構(gòu)本系統(tǒng)主要完成使用攝像頭采集使用者的手勢(shì)，并將手勢(shì)加以處理后計(jì)算其Hu矩特征，然后根據(jù)訓(xùn)練的SVM模型進(jìn)行預(yù)測(cè)匹配，同時(shí)將手勢(shì)識(shí)別模塊與簡(jiǎn)單的幻燈片控制按鈕功能相結(jié)合，在匹配成功后，調(diào)用相應(yīng)的函數(shù)，控制幻燈片的翻頁(yè)操作。系統(tǒng)首先要做好一個(gè)幻燈片的控制系統(tǒng)（在簡(jiǎn)單的對(duì)話框上添加控制按鈕即可完成），再做一個(gè)接口將之與手勢(shì)識(shí)別部分結(jié)合起來(lái)，然后將攝像頭采集到的圖像信息處理后提取幾何矩特征，再將訓(xùn)練好的SVM模型加載進(jìn)去，加以預(yù)測(cè)匹配，進(jìn)行相應(yīng)的操作。本系統(tǒng)的總體結(jié)構(gòu)如圖31所示：圖31 系統(tǒng)總體結(jié)構(gòu) System general structure在圖31中，手勢(shì)識(shí)別主要包括手勢(shì)圖像的獲取，提取后圖像的預(yù)處理（包括灰度化和二值化處理），圖像幾何矩的提取，SVM模型的訓(xùn)練以及最后的匹對(duì)。獲取手勢(shì)圖像是由與PC機(jī)相連的攝像頭捕捉，其余的工作則主要由計(jì)算機(jī)完成。而在手勢(shì)識(shí)別這一大的模塊，又可細(xì)分出很多問(wèn)題。用攝像頭捕捉人的手勢(shì)，有一個(gè)如何獲取準(zhǔn)確手區(qū)域的問(wèn)題，另外還要對(duì)采集到的圖像進(jìn)行預(yù)處理，此外光照對(duì)于圖像獲取的影響也很大，如何盡量小的減小其他的干擾也是個(gè)問(wèn)題。我們可以采用轉(zhuǎn)換色彩空間然后灰度化的方法來(lái)克服光照的影響，而在各種二值化的方法中，我們選擇Ostu的全局自動(dòng)閾值分割法獲取手所在區(qū)域，然后采用灰度投影的辦法獲取準(zhǔn)確的手區(qū)域。然后就是對(duì)于靜態(tài)圖像的處理問(wèn)題，如何提取有效的圖像特征是一個(gè)難點(diǎn)，在幾種相關(guān)的圖像描述方法中我們選擇矩描述子來(lái)提取手區(qū)域圖像的特征。另外我們對(duì)于SVM的訓(xùn)練模型如何使用以及SVM在整個(gè)統(tǒng)計(jì)最小化理論中如何體現(xiàn)其優(yōu)勢(shì)都需要加以研究和掌握。進(jìn)而需要將手勢(shì)識(shí)別模塊嵌入到幻燈片控制模塊中。 這需要一個(gè)接口，我們通過(guò)設(shè)置中間變量來(lái)傳遞特征值，實(shí)現(xiàn)當(dāng)圖像狀態(tài)發(fā)生改變時(shí)調(diào)用相應(yīng)的控制函數(shù)。系統(tǒng)的總體流程如圖32所示：圖32 系統(tǒng)的流程圖 System flowchart 功能模塊設(shè)計(jì)本系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)分為三個(gè)模塊：幻燈片控制模塊，手勢(shì)識(shí)別處理模塊和接口模塊。其中手勢(shì)識(shí)別處理模塊可以再細(xì)分為：手圖像的預(yù)處理、手圖像特征的提取、支持向量機(jī)（SVM）的訓(xùn)練模型三個(gè)子模塊。對(duì)于各個(gè)模塊的功能劃分，有必要交代一下，以便更清晰的了解和掌握整個(gè)系統(tǒng)的設(shè)計(jì)思路。其中手勢(shì)識(shí)別模塊是最為核心的部分。下分的三個(gè)子模塊：手勢(shì)的預(yù)處理、手勢(shì)矩特征的提取和訓(xùn)練SVM模型各有分工。手勢(shì)預(yù)處理模塊主要是針對(duì)圖像的獲取位置的選取、圖像的灰度化及二值化處理，并對(duì)相關(guān)算法進(jìn)行的介紹和闡述；手勢(shì)矩特征的提取模塊主要解決圖像幾何矩特征的有關(guān)問(wèn)題，包括矩的有關(guān)概念和Hu矩的相關(guān)計(jì)算；訓(xùn)練SVM模型模塊先介紹一下最優(yōu)化理論，再闡述SVM的有關(guān)應(yīng)用，以及與本課題設(shè)計(jì)相關(guān)的一些知識(shí)?；脽羝刂颇K主要介紹一下幻燈片控制函數(shù)（主要是針對(duì)翻頁(yè)操作的），以及幻燈片研究方面的知識(shí)。接口部分主要解決的就是將兩大模塊結(jié)合起來(lái)的問(wèn)題，如何將手勢(shì)識(shí)別后的值存入變量，并在進(jìn)行相關(guān)手勢(shì)操作時(shí)調(diào)用變量，在調(diào)用時(shí)根據(jù)設(shè)定的不同情況將調(diào)用不同的幻燈片控制函數(shù)，從而使幻燈片翻頁(yè)。 本章小結(jié)本章主要介紹了系統(tǒng)設(shè)計(jì)的總體結(jié)構(gòu)和流程情況，并對(duì)各個(gè)模塊涉及到的問(wèn)題進(jìn)行了介紹。對(duì)各模塊進(jìn)行了功能劃分，并針對(duì)不同模塊的功能進(jìn)行了闡述。闡述了各個(gè)模塊之間的邏輯和功能關(guān)系，作為系統(tǒng)設(shè)計(jì)的框架和基礎(chǔ)。4 手勢(shì)識(shí)別的設(shè)計(jì)和實(shí)現(xiàn)本章主要詳細(xì)闡述系統(tǒng)的核心部分——手勢(shì)識(shí)別模塊的設(shè)計(jì)與實(shí)現(xiàn)，對(duì)相關(guān)算法進(jìn)行了說(shuō)明和介紹。 手圖像的預(yù)處理 手勢(shì)圖像的預(yù)處理是手勢(shì)識(shí)別的第一步，它處理效果的好壞直接影響到最后手勢(shì)識(shí)別的成功與否。本節(jié)主要針對(duì)如何得到比較理想的處理效果，準(zhǔn)確提取手勢(shì)圖像的特征進(jìn)行闡述。手勢(shì)識(shí)別與其他的圖像識(shí)別不同。而手勢(shì)也與其他的圖像不同，它沒(méi)有現(xiàn)成的手勢(shì)圖像庫(kù)可供使用。我們必須首先建立在各種條件下的手勢(shì)樣本庫(kù)。手勢(shì)由攝像頭獲取，樣本庫(kù)主要包括各種手勢(shì)分割的黑白圖像。具體的手勢(shì)樣本采集步驟主要分為以下兩步：（1）可以用兩種方法完成樣本采集：請(qǐng)幾位實(shí)驗(yàn)者在數(shù)字視頻攝像頭前做每類樣本各個(gè)角度的數(shù)字手勢(shì)，編寫程序在攝像頭獲取的實(shí)時(shí)視頻中，每隔一定的幀數(shù)（比如 10 幀）保存一幀圖像，經(jīng)過(guò)預(yù)處理后保存作為樣本。在這個(gè)過(guò)程中控制周圍光照強(qiáng)度變化，同時(shí)實(shí)驗(yàn)者改變手勢(shì)的角度。另一種方法是程序與樣本采集者交互，在實(shí)驗(yàn)者做好手勢(shì)后，操作者通過(guò)鍵盤和樣本采集程序交互，實(shí)現(xiàn)從實(shí)時(shí)視頻中人工選擇樣本保存。相比較第一種方法，第二種方法采集樣本準(zhǔn)確、全面，比如各種光照和各個(gè)角度下的手勢(shì)樣本，但是效率不如第一種方法高效。在本文中樣本統(tǒng)一歸一化為200*240像素大小。 （2）逐個(gè)樣本檢查，去掉不理想的樣本，比如采集樣本時(shí)候手僅有部分在攝像頭視野內(nèi)，或者分割不理想的情況。為方便 Hu 矩程序提取樣本特征，把選中的合格樣本按一定規(guī)律批量命名后保存到相應(yīng)文件夾。這樣就建立起來(lái)了一個(gè)手勢(shì)樣本庫(kù)。 下面說(shuō)明一下如何獲取手勢(shì)圖像的準(zhǔn)確位置。為了更好的對(duì)手的區(qū)域進(jìn)行準(zhǔn)確的特征提取，要求盡可能準(zhǔn)確的獲取手勢(shì)所在區(qū)域，本文采用投影法獲取手勢(shì)所在區(qū)域。具體方式是對(duì)于預(yù)處理后的二值圖像，分別沿垂直方向和水平方向采用投影法，得到手勢(shì)在x方向和 y 方向的坐標(biāo)范圍(x1~ x2),(y1~ y2)。如圖 41(A)是從實(shí)時(shí)視頻中截取的手的 RGB 圖像，圖 41(B)對(duì)應(yīng)的二值化圖像，圖 41(C)通過(guò)灰度投影確定的準(zhǔn)確手區(qū)域，圖41中標(biāo)示出了更準(zhǔn)確的手區(qū)域的范圍。圖 41 采用灰度投影法獲取手所在準(zhǔn)確的手區(qū)域 Accurate hand region gotten by gray projection由攝像頭獲取的手勢(shì)圖像會(huì)因各種噪聲的干擾和影響使圖像質(zhì)量下降。為了抑制噪聲和改善圖像質(zhì)量，必要時(shí)可對(duì)圖像進(jìn)行平滑處理，這可以在空域或頻域中進(jìn)行，在平滑噪聲時(shí)以不損害圖像中邊沿和各種細(xì)節(jié)為準(zhǔn)則。對(duì)于濾除圖像中的噪聲，人們已經(jīng)提出了很多的方法。通常，將數(shù)字圖像的平滑技術(shù)劃分為兩類：一類是全局處理，即對(duì)噪聲圖像的整體或大的塊進(jìn)行校正以得到平滑的圖像，例如在變換域中使用 Wiener 濾波、最小二乘濾波等，使用這些技術(shù)需要知道信號(hào)和噪聲的統(tǒng)計(jì)模型，但對(duì)于大多數(shù)圖像而言，人們不知道或不可能用簡(jiǎn)單的隨機(jī)過(guò)程精確的描述統(tǒng)計(jì)模型，而且這些技術(shù)計(jì)算量也相當(dāng)大；另一類平滑技術(shù)是對(duì)噪聲圖像使用局部算子，當(dāng)對(duì)某一像素進(jìn)行平滑處理時(shí)，僅對(duì)它的局部小鄰域的一些像素加以運(yùn)算，其優(yōu)點(diǎn)是計(jì)算效率高，而且可以多個(gè)像素并行處理，因此可實(shí)現(xiàn)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)處理。 彩色圖像的灰度化首先對(duì)于色彩空間進(jìn)行一下介紹。根據(jù)計(jì)算機(jī)色彩理論，對(duì)一種顏色而言，在計(jì)算機(jī)中有著不同的表達(dá)方式，這樣就形成了各種不同的色彩空間。當(dāng)然各種色彩空間只不過(guò)是顏色在計(jì)算機(jī)內(nèi)不同的表達(dá)形式而已，每一種色彩空間也都有其各自的產(chǎn)生背景、應(yīng)用領(lǐng)域等等。主要的色彩空間有：（1）RGB 模式(紅、綠、藍(lán)三基色模型)這是一種最直接的方法，即使用紅、綠、藍(lán)的亮度值來(lái)表示彩色，其大小限定到一定范圍。這種約定稱為 RGB 模式。RGB 模式是基于自然界中 3 種基色光的混合原理，將紅(R)、綠(G)和藍(lán)(B)3 種基色按照從 0 到 255 的亮度值在每個(gè)色階中分配，從而指定其色彩。當(dāng)不同亮度的基色混合后，便會(huì)產(chǎn)生出 256*256*256 種顏色，約為 1670 萬(wàn)種。例如，一種明亮的紅色可能 R 值為 246，G 值為 20，B 值為 50。當(dāng) 3 種基色的亮度值相等時(shí)，產(chǎn)生灰色。當(dāng) 3 種亮度值都是 255 時(shí)，產(chǎn)生純白色。而當(dāng)所有亮度值都是 0 時(shí)，產(chǎn)生純黑色。當(dāng) 3 種色光混合生成的顏色一般比原來(lái)的顏色亮度值高，所以 RGB 模式產(chǎn)生顏色的方法又被稱為色光加色法。（2）HSI 模式這是基于人眼對(duì)色彩的觀察來(lái)定義的一種模式，在此模式中，所有的顏色都用色相或色調(diào)、飽和度、亮度三個(gè)特性來(lái)描述?！?色相(H)：表示與顏色主波長(zhǎng)有關(guān)的顏色物理特性。從實(shí)驗(yàn)中知道，不同波長(zhǎng)的可見(jiàn)光具有不同的顏色。眾多波長(zhǎng)的光以不同比例混合可以形成各種各樣的顏色，但只要波長(zhǎng)組成情況一定，那么顏色就確定了。所有色彩(紅、橙、黃、綠、青、藍(lán)、紫等)都是表示顏色外貌的屬性。它們就是所有的色相，有時(shí)色相也稱為色調(diào)?！麸柡投?S)：飽和度指顏色的強(qiáng)度或純度，表示色相中灰色成分所占的比例，用 0%100%(純色)來(lái)表示?！袅炼?I)：亮度是顏色的相對(duì)明暗程度，通常用 0% (黑)100% (白)來(lái)度量。（3）CMYK 顏色模式CMYK 顏色模式是一種印刷模式。其中四個(gè)字母分別指青(Cyan)、洋紅(Magenta)、黃(Yellow)、黑(Black)，在印刷中代表四種顏色的油墨。CMYK 模式在本質(zhì)上與 RGB 模式?jīng)]有什么區(qū)別，只是產(chǎn)生色彩的原理不同，在 RGB 模式中由光源發(fā)出的色光混合生成顏色，而在 CMYK 模式中由光線照到有不同比例 C、M、Y、K 油墨的紙上，部分光譜被吸收后，反射到人眼的光產(chǎn)生顏色。由于 C、M、Y、K 在混合成色時(shí)，隨著 C、M、Y、K 四種成分的增多，反射到人眼的光會(huì)越來(lái)越少，光線的亮度會(huì)越來(lái)越低，所有 CMYK 模式產(chǎn)生顏色的方法又被稱為色光減色法。（4）Lab 模式Lab 模式的原型是由 CIE 協(xié)會(huì)在 1931 年制定的一個(gè)衡量顏色的標(biāo)準(zhǔn)，在 1976年被重新定義并命名為 CIELab。此