【正文】 圖像的外包矩形的邊為坐標(biāo)軸進(jìn)行投影計(jì)算得到輪廓的直方圖作為手的輪廓的特征，如圖51所示。手的面積特征通過計(jì)算手的輪廓的多邊形面積即可。假設(shè)二值化之后的圖像為I(x，Y)，質(zhì)心(Xc，Yc)的計(jì)算公式如下： 51 52 53, 54于指特征的提取是一個(gè)關(guān)鍵的技術(shù)。圖52 輪廓曲線到極坐標(biāo)的轉(zhuǎn)換圖53 局部極值法定位手指 動(dòng)態(tài)手勢(shì)特征在動(dòng)態(tài)于勢(shì)中，由于于在空間和時(shí)間兩個(gè)維度是都會(huì)發(fā)生變化，所以動(dòng)態(tài)手勢(shì)特征包含于的位置變化和于的形狀變化。假設(shè)手的運(yùn)動(dòng)前后位置為()和()，則可以計(jì)算出運(yùn)動(dòng)方向的角度，最后把進(jìn)行量化得到對(duì)應(yīng)的方向編碼。手的形狀變化也是一種動(dòng)態(tài)手勢(shì)特征，這種特征可以簡(jiǎn)單地由一系列靜態(tài)手勢(shì)特征組成。6 手勢(shì)識(shí)別 靜態(tài)手勢(shì)識(shí)別靜態(tài)手勢(shì)識(shí)別的方法有很多，例如基于規(guī)則的方法、模板匹配的方法、基于機(jī)器學(xué)習(xí)的方法等。它是手工地為手勢(shì)之間建立關(guān)系，定義識(shí)別規(guī)則睜引?；谝?guī)則的方法效率很高，缺點(diǎn)是這些規(guī)則需要預(yù)先硬編碼在規(guī)則庫中。在識(shí)別時(shí)把輸入的手勢(shì)特征與模板庫的模板進(jìn)行匹配。在基于模板的識(shí)別方法中比較重要的是定義特征的距離函數(shù)。張國良、吳江琴、高文等人采用改進(jìn)的Hausdorff距離來進(jìn)行手勢(shì)識(shí)別。其中表示元素a和b的距離。在提取到于勢(shì)特征之后，直接或者降維之后使用分類器進(jìn)行分類。 動(dòng)態(tài)手勢(shì)識(shí)別動(dòng)態(tài)手勢(shì)是具有時(shí)間和空間變化，手勢(shì)特征量化編碼之后成為時(shí)間上的符號(hào)序列。直方圖(Histogram)圖像處理領(lǐng)域最基本的直方圖技術(shù)在某些情況下用于動(dòng)態(tài)手勢(shì)識(shí)別是非常有效的。雖然它丟失了序列的時(shí)間特征，但是在一些手勢(shì)種類少而且運(yùn)動(dòng)軌跡區(qū)別明顯的手勢(shì)識(shí)別應(yīng)用，不失為一種好選擇，它的識(shí)別處理效率很高。動(dòng)態(tài)時(shí)間規(guī)整(DTlr，Dynamic Time Warping)經(jīng)典方法動(dòng)態(tài)時(shí)間規(guī)整(DTW，Dynamic Time Warping)在語音識(shí)別領(lǐng)域應(yīng)用得很成功。手勢(shì)識(shí)別與語音識(shí)別有許多相似之處，也可以使用DTW算法進(jìn)行動(dòng)態(tài)手勢(shì)識(shí)別。有限狀態(tài)機(jī)非常適合處理有語言。例如P．Y Hong與M．Turk利用有限狀態(tài)機(jī)實(shí)現(xiàn)了一個(gè)實(shí)時(shí)的動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)瞳引。馬爾可夫鏈?zhǔn)且粋€(gè)隨機(jī)過程，而HMM是一個(gè)雙重隨機(jī)的過程，其中的狀態(tài)轉(zhuǎn)移和觀察符號(hào)都是隨機(jī)過程。HMM是一種概率統(tǒng)計(jì)模型，對(duì)序列的長(zhǎng)短變化適應(yīng)性比較好，適用于動(dòng)態(tài)時(shí)間序列數(shù)據(jù)的識(shí)別。在現(xiàn)有的動(dòng)態(tài)手勢(shì)識(shí)別研究中，HMM的應(yīng)用最多。左右型與全連接形的區(qū)別是它在轉(zhuǎn)移概率矩陣增加了一個(gè)約束，每個(gè)狀態(tài)只能轉(zhuǎn)移到自己或者它后面的狀態(tài)。在語音識(shí)別和手勢(shì)識(shí)別中，通常是使用帶限制的左右型洲。(1)狀態(tài)的集合S={．．，)，其中N為狀態(tài)數(shù)，用仍表示t時(shí)刻的狀態(tài)。(2)觀察符號(hào)的集合O={．．．，)，其中M是集中的符號(hào)數(shù)量。(3)狀態(tài)轉(zhuǎn)移概率分布矩陣A=，其中，表示從轉(zhuǎn)移到的概率。(5)初始狀態(tài)概率分布，表示初始狀態(tài)為的概率。一個(gè)具有N個(gè)狀態(tài)數(shù)的HMM在一共有種不同的長(zhǎng)度為T狀態(tài)轉(zhuǎn)移序列，它的狀態(tài)空間很大的。Forward評(píng)估算法令=P()，1t≤T，l≤i≤N表示在t時(shí)刻為止觀察到的符號(hào)序，并且處于狀態(tài)。然后是介紹一種基于采樣的膚色模型參數(shù)初始化方法，通過對(duì)采集于部圖像樣本，自動(dòng)初始化手部膚色模型、手部面積和臉部面積參數(shù)。在手勢(shì)特征提取部分，使用經(jīng)典的基于輪廓的手指特征提取方法，并且提取運(yùn)動(dòng)向量作為動(dòng)態(tài)手勢(shì)特征。本文手勢(shì)識(shí)別的整體流程圖如圖71所示。交互手勢(shì)的設(shè)計(jì)主要有四條基本原則，分別是唯一性、自然性、易用性和簡(jiǎn)單性。譬如有些需要的是二維平面的手勢(shì)動(dòng)作，有些需要的是三維空間中的于勢(shì)動(dòng)作(如三維虛擬現(xiàn)實(shí)、三維動(dòng)作游戲等)。 GSense手勢(shì)識(shí)別應(yīng)用本文研究的基于多攝像頭的手勢(shì)識(shí)別系統(tǒng)(GSense)是一個(gè)使用兩個(gè)攝像頭作為傳感器，從兩個(gè)視角實(shí)時(shí)捕捉用戶的手勢(shì)動(dòng)作視頻，作為手勢(shì)識(shí)別系統(tǒng)的輸入。本文的基于兩個(gè)應(yīng)用情景來研究手勢(shì)識(shí)別系統(tǒng)，分別是照片瀏覽與拳擊小游戲。在照片瀏覽應(yīng)用中，加入了兩個(gè)有趣的動(dòng)作：由后往前伸于的動(dòng)作，把照片“推”遠(yuǎn)，縮小照片；由前往后縮予的動(dòng)作，把照片“拉回來，放大照片。 GSense應(yīng)用背景下的手勢(shì)設(shè)計(jì)本文研究的手勢(shì)識(shí)別系統(tǒng)有兩個(gè)功能模式，一個(gè)定位模式，另一個(gè)是命令控制模式。靜態(tài)手勢(shì)的定義圖72是本文定義的4種靜態(tài)手勢(shì)。圖72 4種手的靜態(tài)模式 動(dòng)態(tài)手勢(shì)的定義表71 動(dòng)態(tài)手勢(shì)的定義8 Sense手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)基于特定的應(yīng)用背景，本文為了驗(yàn)證提出的手勢(shì)識(shí)別方法的有效性，實(shí)現(xiàn)了一個(gè)手勢(shì)識(shí)別系統(tǒng)GSense。它提供光標(biāo)定位與手勢(shì)動(dòng)作識(shí)別兩種功能。它的系統(tǒng)框架圖如圖所示。其中的手勢(shì)位置是用于轉(zhuǎn)化為系統(tǒng)光標(biāo)位置，手勢(shì)動(dòng)作映射為應(yīng)用軟件的鍵盤快捷鍵。GSense系統(tǒng)使用兩個(gè)普通的攝像頭，型號(hào)為Unify(環(huán)宇飛揚(yáng))3900+。專業(yè)攝像頭的成像質(zhì)量遠(yuǎn)超過本文使用的這種普通的攝像頭。由于硬件設(shè)備的限制，處理難度會(huì)增加。系統(tǒng)使用了兩個(gè)攝像頭，其中一個(gè)安裝在前方屏幕上方，從前方觀察手勢(shì)動(dòng)作．另一個(gè)安裝在底部，從下方觀察手勢(shì)動(dòng)作。用戶站立在屏幕前方，正對(duì)前置攝像頭與底置攝像頭，與前置攝像頭距離大約1．5米。圖83 基于取攝像頭的GSense手勢(shì)識(shí)別系統(tǒng)碗件裝置 GSense系統(tǒng)的詳細(xì)設(shè)計(jì)編程實(shí)現(xiàn)環(huán)境由于實(shí)時(shí)的動(dòng)態(tài)手勢(shì)識(shí)別對(duì)處理效率要求高．所以本文的GSense系統(tǒng)選用C++進(jìn)行編程實(shí)現(xiàn)，界面部分使用MFC。DirectShow是微軟DirectX開發(fā)工具中的一部分，合適于視頻編程處理。系統(tǒng)結(jié)構(gòu)因?yàn)橛鑴?shì)識(shí)別處理具有典型的“管道一過濾器”型(Pipes and Filters)體系結(jié)構(gòu)風(fēng)格，因此在實(shí)現(xiàn)把手勢(shì)檢測(cè)跟蹤、手勢(shì)特征提取、