【正文】 勢(shì)識(shí)別模塊嵌入到幻燈片控制模塊中。系統(tǒng)首先要做好一個(gè)幻燈片的控制系統(tǒng)（在簡(jiǎn)單的對(duì)話框上添加控制按鈕即可完成），再做一個(gè)接口將之與手勢(shì)識(shí)別部分結(jié)合起來(lái)，然后將攝像頭采集到的圖像信息處理后提取幾何矩特征，再將訓(xùn)練好的SVM模型加載進(jìn)去，加以預(yù)測(cè)匹配，進(jìn)行相應(yīng)的操作?！?（2）SVM通過(guò)最大化決策邊界的邊緣來(lái)控制模型的能力。}img=cvRetrieveFrame(capture)。i++) for(j=0。可顯示彩色或灰度的字節(jié)/浮點(diǎn)圖像。 OpenCV的編程O(píng)penCV具有十分強(qiáng)大的功能，主要包括：1）對(duì)圖像數(shù)據(jù)的操作，包括分配、釋放、復(fù)制、設(shè)置和轉(zhuǎn)換數(shù)據(jù)；2）對(duì)圖像和視頻的輸入輸出，指文件和攝像頭作為輸入，圖像和視頻文件作為輸出；3）具有對(duì)矩陣和微量的操作以及線性代數(shù)的算法程序，包括矩陣積、解方程、特征值以及奇異值等；4）可對(duì)動(dòng)態(tài)數(shù)據(jù)結(jié)構(gòu)，如列表、隊(duì)列、集合、樹(shù)和圖等進(jìn)行操作；5）具有基本的數(shù)字圖像處理能力，如進(jìn)行濾波、邊緣檢測(cè)、角點(diǎn)檢測(cè)、采樣與差值、色彩轉(zhuǎn)換、形態(tài)操作、直方圖和圖像金字塔等操作；6）可對(duì)各種結(jié)構(gòu)進(jìn)行分析，包括連接部件分、輪廓處理、距離變換、各種距的計(jì)算、模板匹配、Hough變換、多邊形逼近、直線擬合，橢圓擬合和Delaunay三角劃分等；7）對(duì)攝像頭的定標(biāo)，包括發(fā)現(xiàn)與跟蹤定標(biāo)模式、定標(biāo)、基本矩陣估計(jì)、齊次矩陣估計(jì)和立體對(duì)應(yīng)；8）對(duì)運(yùn)動(dòng)的分析，如對(duì)光流、運(yùn)動(dòng)分割和跟蹤的分析；9）對(duì)目標(biāo)的識(shí)別，可采用特征法和隱馬可夫模型（HMM）法；10）具有基本的GUI功能，包括圖像與視頻顯示、鍵盤(pán)和鼠標(biāo)事件處理及滾動(dòng)條等；11）可對(duì)圖像進(jìn)行標(biāo)注，如對(duì)線、二次曲線和多邊形進(jìn)行標(biāo)注，還可以書(shū)寫(xiě)文字；OpenCV 的主要模塊有：cv——主要的OpenCV 函數(shù)；cvaux——輔助的（實(shí)驗(yàn)性的）OpenCV 函數(shù)；cxcore——數(shù)據(jù)結(jié)構(gòu)與線性代數(shù)支持；highgui——圖像界面函數(shù)。然后再介紹一下OpenCV的幾點(diǎn)特征。它不依賴于其它的外部庫(kù)——盡管也可以使用某些外部庫(kù)。封裝了C中的字符數(shù)組，非常實(shí)用?！　Brush 刷子，填充。CDC有個(gè)常用子類CClientDC（窗口客戶區(qū)），畫(huà)圖通常通過(guò)CClientDC完成。包括數(shù)據(jù)的顯示、用戶操作的響應(yīng)（如菜單的選取、鼠標(biāo)的響應(yīng)）。MFC 提供了MFC AppWizard 自動(dòng)生成框架。MFC提供了一個(gè)Windows應(yīng)用程序開(kāi)發(fā)模式，對(duì)程序的控制主要是由MFC框架完成的，而且MFC也完成了大部分的功能，預(yù)定義或?qū)崿F(xiàn)了許多事件和消息處理，等等。這樣封裝的結(jié)果對(duì)程序員來(lái)說(shuō)，是一套開(kāi)發(fā)模板（或者說(shuō)模式）。//使用push_back添加元素　　for(int i=0。亦即，一旦開(kāi)始定義缺省參數(shù)，就不可再說(shuō)明非缺省的參數(shù)?！　oveto(x,y)。在C++中，對(duì)于上述情況 可以使用引用來(lái)代替指針，使程序更加清晰易懂。//在當(dāng)前位置輸出漢字　　void PutHz(int x,int y,char * str)。例如宏：define abs(a)(a)0?(a):(a))， 當(dāng)使用abs(i++)時(shí)，這個(gè)宏就會(huì)出錯(cuò)。 C++的編程技巧和應(yīng)用C++在編程中有諸多的設(shè)計(jì)技巧，可以方便使用者熟悉和掌握。這些原則主要有：? C++設(shè)計(jì)成靜態(tài)類型、和C同樣高效且可移植的多用途程序設(shè)計(jì)語(yǔ)言。本章主要對(duì)系統(tǒng)的功能及性能進(jìn)行測(cè)試。本章主要介紹系統(tǒng)的總體架構(gòu)和各個(gè)模塊的功能劃分，對(duì)每個(gè)具體模塊涉及的問(wèn)題進(jìn)行了介紹。同時(shí)將相應(yīng)的控制函數(shù)包含在一個(gè)總對(duì)話框的按鈕的定義中，實(shí)現(xiàn)可視化的控制。這些形狀特點(diǎn)能被進(jìn)一步用于構(gòu)造特征向量，而這些特征向量在圖像的平移、旋轉(zhuǎn)、尺度變化時(shí)保持不變。其中，對(duì)于核心的手勢(shì)識(shí)別部分，從識(shí)別技術(shù)來(lái)看，以往的交互系統(tǒng)主要采用基于人工神經(jīng)網(wǎng)絡(luò)(ANN)，隱 Markov 模型(HMM)和幾何邊緣特征等方法。在操縱這些虛擬對(duì)象時(shí)，會(huì)用到跟蹤和識(shí)別這兩項(xiàng)技術(shù)。由于人手變形復(fù)雜，手勢(shì)具有多樣性和多義性，視覺(jué)問(wèn)題本身存在各種困難，這些使得研究基于視覺(jué)的手勢(shì)識(shí)別極富挑戰(zhàn)性。而研究動(dòng)態(tài)手勢(shì)識(shí)別就是針對(duì)人拿著激光筆在白板上書(shū)寫(xiě)形成的手勢(shì)進(jìn)行的。 基于手勢(shì)識(shí)別的幻燈片控制系統(tǒng)是一個(gè)由眾多需求引導(dǎo)、涉及多項(xiàng)技術(shù)難點(diǎn)、學(xué)科綜合性強(qiáng)的課題。作為一種非常重要的交流方式，它不僅是對(duì)于口語(yǔ)的補(bǔ)充，其本身也是人類語(yǔ)言發(fā)展過(guò)程的一部分。而這一時(shí)代的顯著特點(diǎn)之一就是提供了一種新型的交互方式，即人機(jī)交互（HumanComputer Interaction）。而手勢(shì)交互作為一種新的人機(jī)交互方式被越來(lái)越多地采用，特別是基于視覺(jué)的手勢(shì)交互，由于其簡(jiǎn)單、自然、直觀等特性已成為手勢(shì)交互的重要方式之一。近幾年，隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，研究自然和諧的人機(jī)交互技術(shù)(HCI)變得異?；钴S，同時(shí)也取得了可喜的成就。虛擬現(xiàn)實(shí)技術(shù)作為一種新的人際交互技術(shù)，是指利用計(jì)算機(jī)技術(shù)生成虛擬的聲音、圖像等構(gòu)成虛擬環(huán)境，刺激用戶的感官，同時(shí)向用戶提供三維輸入技術(shù)，使用戶能以日常生活的經(jīng)驗(yàn)、技能與虛擬環(huán)境進(jìn)行交互。 現(xiàn)狀綜述 手勢(shì)識(shí)別的研究目的就是設(shè)計(jì)實(shí)現(xiàn)能夠識(shí)別人的特定的手勢(shì)，并以此來(lái)傳遞信息或控制設(shè)備的系統(tǒng)。盡管這種基于被動(dòng)感知方式的手勢(shì)識(shí)別在特定應(yīng)用場(chǎng)合也能夠得到有效的使用，但是由于它的侵犯性和操作復(fù)雜性，很難在實(shí)際中被廣泛使用。一般的基于手勢(shì)識(shí)別的交互系統(tǒng)會(huì)包含有以下幾個(gè)部分：手勢(shì)檢測(cè)和跟蹤；靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別。首先，通過(guò)攝像設(shè)備獲取視頻數(shù)據(jù)流，接著，系統(tǒng)根據(jù)手勢(shì)輸入的交互模型檢測(cè)數(shù)據(jù)流里是否有預(yù)定義的手勢(shì)出現(xiàn)，如果有，則把該手勢(shì)從視頻信號(hào)中分割出來(lái)。神經(jīng)網(wǎng)絡(luò)是一種大規(guī)模并行處理網(wǎng)絡(luò)，由許多具有非線性映射能力的神經(jīng)元組成，神經(jīng)元之間通過(guò)權(quán)相連，神經(jīng)網(wǎng)絡(luò)能實(shí)現(xiàn)復(fù)雜的非線性映射，映射關(guān)系是通過(guò)學(xué)習(xí)(或訓(xùn)練)得到的，神經(jīng)網(wǎng)絡(luò)具有很高的計(jì)算速度、很強(qiáng)的容錯(cuò)性和魯棒性，特別適合用于模式識(shí)別。 課題目標(biāo)及內(nèi)容本課題的研究目的是對(duì)現(xiàn)有的手勢(shì)識(shí)別算法進(jìn)行綜合、改進(jìn)，并與現(xiàn)有的幻燈片控制技術(shù)結(jié)合，得到一個(gè)以手勢(shì)變換來(lái)控制幻燈片的系統(tǒng)，同時(shí)根據(jù)得到的系統(tǒng)，設(shè)計(jì)一個(gè)虛擬交互環(huán)境，來(lái)實(shí)現(xiàn)真實(shí)世界物體與虛擬環(huán)境的互動(dòng)。概述了手勢(shì)識(shí)別及其相關(guān)技術(shù)的發(fā)展和分類，并進(jìn)行了國(guó)內(nèi)外研究現(xiàn)狀分析。詳細(xì)闡述了各主要算法的工作原理，及在本系統(tǒng)中的實(shí)現(xiàn)方式、注意細(xì)節(jié)。 C++編程技術(shù)C++是一種使用非常廣泛的計(jì)算機(jī)編程語(yǔ)言?！　? C++設(shè)計(jì)成盡可能與C兼容，籍此提供一個(gè)從C到C++的平滑過(guò)渡。使用new較之使用malloc（）有以下的幾個(gè)優(yōu)點(diǎn)： 　?。?）new自動(dòng)計(jì)算要分配類型的大小，不使用sizeof運(yùn)算符，比較省事，可以避免錯(cuò)誤。例如：　　inline int Add(int a，int b)。用引用(reference)代替指針進(jìn)行參數(shù)傳遞　　在C語(yǔ)言中，如果一個(gè)函數(shù)需要修改用作參數(shù)的變量值的時(shí)候 ，參數(shù)應(yīng)該聲明為指針類型。 a)　　{　　a++。//使用缺省參數(shù)，在當(dāng)前位置輸出　　PutHzxy(C++語(yǔ)言,10,10)。幾乎所有的代碼都采用了模板類和模版函數(shù)的方式，這相比于傳統(tǒng)的由函數(shù)和類組成的庫(kù)來(lái)說(shuō)提供了更好的代碼重用機(jī)會(huì)。//[]操作符被重載，使得我們可以像訪問(wèn)數(shù)組一樣訪問(wèn)vector中的元素} MFC簡(jiǎn)介 MFC簡(jiǎn)述MFC是一個(gè)編程框架。這些模板都采用了以文檔視為中心的思想，每一個(gè)模板都包含一組特定的類。例如，繼承時(shí)，應(yīng)用程序特定的事件由程序員的派生類來(lái)處理，不感興趣的由基類處理。 重要的MFC 有一些重要的MFC應(yīng)用如下：CWnd 窗口，它是大多數(shù)“看得見(jiàn)的東西”的父類（Windows里幾乎所有看得見(jiàn)的東西都是一個(gè)窗口，大窗口里有許多小窗口），比如視圖CView、框架窗口CFrameWnd、工具條CToolBar、對(duì)話框CDialog、按鈕CButton，等等?！　DC 設(shè)備文本。似于C中的main函數(shù)，是程序執(zhí)行的入口和管理者，負(fù)責(zé)程序建立、消滅，主窗口和文檔模板的建立?！　Palette調(diào)色板。　　CSize 大小，就是（cx,cy）對(duì)（寬、高）。 Integrated Performance Primitives (IPP) 提供了透明接口。③ 統(tǒng)一的結(jié)構(gòu)和功能定義。 cvMoveWindow(win1, 100, 100)。改變窗口尺寸: cvResizeWindow(win1,100,100)。從視頻序列中抓取一幀：OpenCV支持從攝像頭或視頻文件(AVI)中抓取圖像.從攝像頭獲取初始化: CvCapture*capture=cvCaptureFromCAM(0)。該方法從樣本集中選擇一組特征子集，使得對(duì)于特征子集的劃分等價(jià)于對(duì)整個(gè)樣本集的分割，這組特征子集稱為支持向量(SV)。(4)SVM不僅可以用在二類問(wèn)題，還可以很好的處理多類問(wèn)題。而在手勢(shì)識(shí)別這一大的模塊，又可細(xì)分出很多問(wèn)題。其中手勢(shì)識(shí)別處理模塊可以再細(xì)分為：手圖像的預(yù)處理、手圖像特征的提取、支持向量機(jī)（SVM）的訓(xùn)練模型三個(gè)子模塊。對(duì)各模塊進(jìn)行了功能劃分，并針對(duì)不同模塊的功能進(jìn)行了闡述。手勢(shì)由攝像頭獲取，樣本庫(kù)主要包括各種手勢(shì)分割的黑白圖像。這樣就建立起來(lái)了一個(gè)手勢(shì)樣本庫(kù)。通常，將數(shù)字圖像的平滑技術(shù)劃分為兩類：一類是全局處理，即對(duì)噪聲圖像的整體或大的塊進(jìn)行校正以得到平滑的圖像，例如在變換域中使用 Wiener 濾波、最小二乘濾波等，使用這些技術(shù)需要知道信號(hào)和噪聲的統(tǒng)計(jì)模型，但對(duì)于大多數(shù)圖像而言，人們不知道或不可能用簡(jiǎn)單的隨機(jī)過(guò)程精確的描述統(tǒng)計(jì)模型，而且這些技術(shù)計(jì)算量也相當(dāng)大；另一類平滑技術(shù)是對(duì)噪聲圖像使用局部算子，當(dāng)對(duì)某一像素進(jìn)行平滑處理時(shí)，僅對(duì)它的局部小鄰域的一些像素加以運(yùn)算，其優(yōu)點(diǎn)是計(jì)算效率高，而且可以多個(gè)像素并行處理，因此可實(shí)現(xiàn)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)處理。例如，一種明亮的紅色可能 R 值為 246，G 值為 20，B 值為 50。眾多波長(zhǎng)的光以不同比例混合可以形成各種各樣的顏色，但只要波長(zhǎng)組成情況一定，那么顏色就確定了。由于 C、M、Y、K 在混合成色時(shí)，隨著 C、M、Y、K 四種成分的增多，反射到人眼的光會(huì)越來(lái)越少，光線的亮度會(huì)越來(lái)越低，所有 CMYK 模式產(chǎn)生顏色的方法又被稱為色光減色法。本設(shè)計(jì)中首先把 RGB 空間的手勢(shì)圖像變換到Y(jié)CbCr 空間，然后利用 Cb 和 Cr 通道圖像進(jìn)行下一步處理。因?yàn)?Y 通道圖像包含的亮度信息，所以其受光照影響很大。如果僅僅依靠像素本身的屬性來(lái)決定t ，就稱為基于像素屬性的門(mén)限方法。但是，實(shí)際情況中，灰度直方圖不是很平滑的，會(huì)存在一些因?yàn)樾〉陌纪苟a(chǎn)生的局部極小值，這樣給自動(dòng)判斷造成很大的不便。 最大類間方差（Otsu）法這是我們要著重闡述的方法。組內(nèi)均衡性的測(cè)度是方差，則均衡性高的具有較低的方差，均衡性低的具有較高的方差。最小的最佳閾值t。for(j=0。i++) {ul_sum+=ul_Hist_Array[i]。 //灰度均值 d_ut+=i*d_Hist_Array[i]。 b=d_ut*d_wkd_uk。圖像的描述方法有許多種，且每種方法都有其優(yōu)勢(shì)所在。若把二值圖像或灰度圖像看作是二維密度分布函數(shù)，就可以把矩技術(shù)應(yīng)用于圖像分析。其重心坐標(biāo)為：根據(jù)中心矩的定義，很容易推出中心矩181。（1）平移變換：若圖像f(x,y)分別在方向上平移a，b，則平移后的新圖像f39。(x,y)=f(x,y)；則變換前后的矩滿足：同理，若圖像對(duì)y軸做反射變換，即： Hu矩及其計(jì)算 我們知道，如果直接用原點(diǎn)矩或中心矩作為圖像的特征，不能保證特征同時(shí)具有平移、旋轉(zhuǎn)和比例不變性。程序中計(jì)算Hu矩的主要代碼如下：// TODO: initial mat for (int p=0。tmp_21add03 = cvGetReal2D(pCentralMoment,2,1)+cvGetReal2D(pCentralMoment,0,3)。one_I7 = tmp_21sub03*tmp_30add12*(pow(tmp_30add12,2)3*pow(tmp_21add03,2)) tmp_30sub12*tmp_21add03*(3*pow(tmp_30add12,2)pow(tmp_21add03,2))。它建立在樣本數(shù)目足夠多的前提下，所提出的各種方法只有在樣本數(shù)趨向無(wú)窮大時(shí)，其性能才有理論上的保證。下面首先介紹線性最優(yōu)分類超平面的有關(guān)算法。對(duì)于二次規(guī)劃問(wèn)題可以用拉格朗日乘子法求得其解。核函數(shù)的思想是把原本應(yīng)該在高維特征空間中的計(jì)算，通過(guò)核函數(shù)在輸入空間中即可完成，這樣就無(wú)須知道高維變換的顯式公式，況且高維變換公式一般是無(wú)法得到的。LibSVM使用的數(shù)據(jù)格式為： labelindex1：value1index2：value2...其中，label是訓(xùn)練數(shù)據(jù)集的目標(biāo)值，對(duì)于分類，它是標(biāo)識(shí)某類的整數(shù)；編寫(xiě)樣本的Hu矩提取批處理程序。手圖像的預(yù)處理著重介紹了圖像二值化的處理方法和灰度化的實(shí)現(xiàn)，還介紹了幾種其他的實(shí)現(xiàn)方法；手圖像特征的提取，主要是介紹Hu矩的有關(guān)情況，對(duì)幾種矩的算法和意義進(jìn)行了描述；SVM訓(xùn)練模型先介紹了統(tǒng)計(jì)學(xué)習(xí)理論中的最優(yōu)化理論，并基于此理論介紹SVM的思想和方法，還單獨(dú)的講解了LibSVM的應(yīng)用情況。具體如圖51所示：圖51 系統(tǒng)運(yùn)行界面 System operation interface其中涉及到的控制函數(shù)有：Onpptbegin()函數(shù)：這是用來(lái)啟動(dòng)ppt 文件的，該函數(shù)需要在設(shè)置好要打開(kāi)的ppt文件后使用。OnBUTTONQuit()函數(shù)：這是退出函數(shù)，控制運(yùn)行操作的退出。具體的設(shè)計(jì)思路是：將手勢(shì)識(shí)別的結(jié)果（對(duì)二值化圖像計(jì)算的Hu矩特征）保存在一個(gè)全局變量中，然后進(jìn)行手勢(shì)變換的識(shí)別判斷（即從一個(gè)手勢(shì)變?yōu)榱硪粋€(gè)手勢(shì)的識(shí)別），同時(shí)根據(jù)手勢(shì)變換的不同賦予另一個(gè)全局變量不同的值，然后再在啟動(dòng)程序進(jìn)行手勢(shì)處理時(shí)（即本設(shè)計(jì)中的啟動(dòng)視頻后）進(jìn)行調(diào)用：設(shè)置一個(gè)Switch選擇語(yǔ)句，根據(jù)該變量的不同值調(diào)用不同的幻燈片控制函數(shù)，從而實(shí)現(xiàn)兩個(gè)部分的結(jié)合。amp。 else i