【文章內容簡介】 ”、“下一張照片”、“第一張照片”、“最后一張照片”、“照片順時針旋轉90度”、“照片逆時針旋轉90度”等。在照片瀏覽應用中，加入了兩個有趣的動作：由后往前伸于的動作，把照片“推”遠，縮小照片；由前往后縮予的動作，把照片“拉回來，放大照片。在拳擊游戲應用中，有3種標準的三維拳擊動作，包括“左勾拳”、“右勾拳”、“平直拳”。 GSense應用背景下的手勢設計本文研究的手勢識別系統(tǒng)有兩個功能模式，一個定位模式，另一個是命令控制模式。本文包含4種靜態(tài)于勢，1 1種動態(tài)手勢。靜態(tài)手勢的定義圖72是本文定義的4種靜態(tài)手勢。其他靜態(tài)手勢被看作無含義的手勢。圖72 4種手的靜態(tài)模式 動態(tài)手勢的定義表71 動態(tài)手勢的定義8 Sense手勢識別系統(tǒng)設計與實現(xiàn)基于特定的應用背景，本文為了驗證提出的手勢識別方法的有效性，實現(xiàn)了一個手勢識別系統(tǒng)GSense。GSense是一個具有手勢識別功能的實時人機交互界面軟件，可以看作是一種支持手勢動作的輸入設備。它提供光標定位與手勢動作識別兩種功能。 GSense系統(tǒng)框架與功能GSense于勢識別系統(tǒng)從兩個攝頭中捕捉用戶的手勢動作視頻，經過手勢檢測與跟蹤、于勢特征提取、基于HMM的手勢識別等處理流程，把用戶的手勢動作映射到具體的操作指令。它的系統(tǒng)框架圖如圖所示。圖81 GSense手勢識別系統(tǒng)圖82 GSense手勢識別系統(tǒng)組成系統(tǒng)的輸入是兩個攝像頭的手勢視頻，輸出是識別出的手勢位置和手勢命令，如圖所示。其中的手勢位置是用于轉化為系統(tǒng)光標位置，手勢動作映射為應用軟件的鍵盤快捷鍵。通過把手勢輸入轉化為系統(tǒng)的標準設備的輸入，這種映射處理的優(yōu)點是可以直接兼容現(xiàn)有的第三方應用軟件。GSense系統(tǒng)使用兩個普通的攝像頭，型號為Unify(環(huán)宇飛揚)3900+。攝像頭的視頻質量越好噪聲越少，處理就會變得越精確。專業(yè)攝像頭的成像質量遠超過本文使用的這種普通的攝像頭。本文的研究從的實用性角度考慮．采用普通的攝像頭進行實驗。由于硬件設備的限制，處理難度會增加。圖83是在GSense手勢識別系統(tǒng)的硬件裝置圖。系統(tǒng)使用了兩個攝像頭，其中一個安裝在前方屏幕上方，從前方觀察手勢動作．另一個安裝在底部，從下方觀察手勢動作。底部攝像頭可以根據具體環(huán)境條件，選擇安裝在頂部。用戶站立在屏幕前方，正對前置攝像頭與底置攝像頭，與前置攝像頭距離大約1．5米。底部攝像頭位置調整為用戶的手伸出時的位置的下方即可。圖83 基于取攝像頭的GSense手勢識別系統(tǒng)碗件裝置 GSense系統(tǒng)的詳細設計編程實現(xiàn)環(huán)境由于實時的動態(tài)手勢識別對處理效率要求高．所以本文的GSense系統(tǒng)選用C++進行編程實現(xiàn)，界面部分使用MFC。攝像頭視頻的實時采集采用了DirectShow。DirectShow是微軟DirectX開發(fā)工具中的一部分，合適于視頻編程處理。圖像處理部分使用了視覺計算中開源的OpenCV庫(openCV 2 0)，主要是使用了它的圖像數(shù)據結構和一些常用見的圖像函數(shù)，例如讀寫圖像、高斯平滑、圖像閾值二值化、查找輪廓等。系統(tǒng)結構因為予勢識別處理具有典型的“管道一過濾器”型(Pipes and Filters)體系結構風格，因此在實現(xiàn)把手勢檢測跟蹤、手勢特征提取、靜態(tài)予勢識別、動態(tài)手勢識別等處理過程封裝成類，把前一階段的處理輸出當作后面的處理階段的輸入。最后在得到于勢識別的結果之后，把手勢信息映射為相應鼠標和鍵盤事件。實時視頻處理為了進行實時的視頻捕獲，在編程實現(xiàn)中不能使用MFC中的OnTimer事件進行處理，因為它的計時精度是有幾十毫秒。系統(tǒng)中使用MFC中的媒體計時器，以獲得1毫秒的計時精度，以支持根據用戶自定義的視頻幀速率進行捕獲。在初始化計時器時，為其指定回調函數(shù)。在回調函數(shù)中，不直進行視頻處理，而向主窗口發(fā)送一條自定義消息，在消息響應函數(shù)實現(xiàn)對視頻的捕獲和手勢識別處理。因為如果在回調函數(shù)中直接處理，如果在系統(tǒng)繁忙的時候，會有大量的函數(shù)調用無法及時完成而導致棧溢出。手部圖像采樣功能本文通過于部圖像采樣手部采樣對膚色模型參數(shù)、手部和臉部面積參數(shù)初始化，以提高系統(tǒng)的適應性。系統(tǒng)默認是使用常用的膚色參數(shù)默認值。在默認的膚色參數(shù)不適用的時候，用戶可以啟用膚色采樣校正功能，以使手勢檢測和跟蹤正常工作。采樣過程的設計如下：系統(tǒng)會在相應的攝像頭畫面中顯示一個矩形框，用戶只需要把手移動到該矩形框，使它完全位于手掌的范圍內。采樣使用了延時開始的策略。用戶可以設定延遲采樣開始的時間(默認3秒之后)。當用戶按下了采樣按鈕之后，一個紅色的矩形框閃爍出現(xiàn)在攝像頭視頻預覽框中，表示處于準備采樣階段，到了采樣開始時間之后，矩形框變?yōu)榫G色，表示正在采集圖像樣本，最后矩形框消失，表示采樣過程完成。在得到采樣圖像之后，對圖像進行統(tǒng)計，自動設置膚色模型的參數(shù)。附錄：1 .程序重要部分代碼我們先來明確一些概念，首先，Android的事件處理機制是基于Listener（監(jiān)聽器）來實現(xiàn)的，比我們今天所說的觸摸屏相關的事件，就是通 過onTouchListener。其次，所有View的子類都可以通過setOnTouchListener()、 setOnKeyListener()等方法來添加對某一類事件的監(jiān)聽器。第三，Listener一般會以Interface（接口）的方式來提供，其中 包含一個或多個abstract（抽象）方法，我們需要實現(xiàn)這些方法來完成onTouch()、onKey()等等的操作。這樣，當我們給某個view設 置了事件Listener，并實現(xiàn)了其中的抽象方法以后，程序便可以在特定的事件被dispatch到該view的時候，通過callbakc函數(shù)給予適 當?shù)捻憫?。看一個簡單的例子，就用最簡單的TextView來說明（事實上和ADT中生成的skeleton沒有什么區(qū)別）。 class GestureTest extends Activity implements OnTouchListener{02.03.@Override04.protected void onCreate(Bundle savedInstanceState) {05.(savedInstanceState)。06.setContentView()。07.08.1