【正文】 基于多攝像頭的手勢識別技術(shù)研究1. 研究背景 22. 手勢識別概述 2 手勢識別的概念 2 手勢識別流程 33. 手勢建模 44. 手勢檢測與跟蹤 45. 手勢特征提取 5 靜態(tài)手勢特征 5 動態(tài)手勢特征 76 手勢識別 8 靜態(tài)手勢識別 8 動態(tài)手勢識別 97 基于多攝像頭的手勢識別 12 GSense系統(tǒng)的手勢詞匯設(shè)計 13 GSense手勢識別應(yīng)用 13 GSense應(yīng)用背景下的手勢設(shè)計 14 動態(tài)手勢的定義 158 Sense手勢識別系統(tǒng)設(shè)計與實現(xiàn) 15 GSense系統(tǒng)框架與功能 16 GSense系統(tǒng)的詳細(xì)設(shè)計 171. 研究背景隨著計算機(jī)硬件與軟件技術(shù)的發(fā)展，人機(jī)交互技術(shù)由傳統(tǒng)的鼠標(biāo)鍵盤時代發(fā)展到了以語音輸入、動作識別等技術(shù)為代表的自然交互時代n1。特別是視覺計算技術(shù)的發(fā)展，使計算機(jī)獲得了初步視覺感知的能力，能“看懂”用戶的動作。其中手勢識別作為一種直觀的、自然的輸入方式，把人們從傳統(tǒng)接觸性的輸入裝置中解放出來，可以以一種更自然的方式與計算機(jī)交互，使計算機(jī)界面變得更加易‘引。手勢主要分為靜態(tài)手勢和動態(tài)手勢兩種，動態(tài)手勢可以看作是連續(xù)的靜態(tài)手勢序列。動態(tài)手勢具有豐富和直觀的表達(dá)能力，與靜態(tài)手勢結(jié)合在一起，能創(chuàng)造出更豐富的語義。利用動態(tài)手勢識別構(gòu)建新型的交互界面，是新一代的人機(jī)交互界面對輸入方式自然性的要求，可以彌補(bǔ)傳統(tǒng)交互方式的不足。基于視覺和手勢識別研究正處于蓬勃發(fā)展的階段，仍存著的許多值得研究的問題。研究基于視覺的動態(tài)手勢識別對于構(gòu)建更加好友的人機(jī)交互界面很有意義。本文研究的是基于多攝像頭的動態(tài)手勢識別方法，利用兩個正交放置的攝像頭來獲取動態(tài)手勢的三維運動信息，以支持三維動作的識別。它是基于兩個應(yīng)用背景的應(yīng)用研究：其中一個是利用手勢控制的照片瀏覽，另一個是三維動作感應(yīng)的拳擊小游戲。作為一個應(yīng)用研究，在研究的過程中需要解決手勢檢測、動態(tài)手勢跟蹤中的于臉遮擋、多攝像頭協(xié)同工作和手勢特征提取、動態(tài)手勢識別等一系問題。2. 手勢識別概述 手勢識別的概念手勢是姿勢的一個子集，姿勢這個概念沒有精確的定義。一般認(rèn)為，手勢概念經(jīng)過人的于轉(zhuǎn)化為的于勢動作，觀察者看到的是于勢動作的圖像雎1。手勢的產(chǎn)生過程如圖21所示。圖21 手勢的產(chǎn)生過程手勢識別的過程則找一個從圖像V到概念動作G的變換而，如圖22所示。圖22 手勢識別的過程 手勢識別流程手勢識別流程包手勢圖像獲取、手勢分割、手勢特征提取、手勢識別四大部分嘲，如圖23所示。圖23 手勢識別流程3. 手勢建模在手勢識別框架中，手勢模型是一個最基本的部分。根據(jù)不同的應(yīng)用背景，于勢識別采用的模型會有不同，而對于不同的手勢模型，采用的手勢檢測與跟蹤算法、特征提取、識別技術(shù)也會有差別。手勢建模主要分為基于表觀的手勢模型與基于三維的于勢模型?；诒碛^的手勢建模是一種二維建模，從二維平面觀察得到的平面圖像信息描述于的特征。 基于表觀的手勢模型主要包括基于顏色的模型與基于輪廓的模型兩種。基于顏色的手勢模型是把手勢圖像看作像素顏色的集合，通過提取手部的顏色的特征來描述手勢?；陬伾氖謩菽Ｐ偷某Ｓ锰卣魇穷伾狈綀D?；谳喞氖謩菽Ｐ褪前咽挚醋饕粋€輪廓，通過提取手部圖像中手的輪廓的幾何特征來描述手勢。4. 手勢檢測與跟蹤手勢檢測與跟蹤是手勢識別處理流程中最前端的處理部分，它處理從攝像頭獲取到手勢圖像(序列)，從中檢測和分割手勢對象。如果是動態(tài)手勢識別，還要對手進(jìn)行跟蹤?；谶\動信息的方法：基于運動信息的方法是假設(shè)在視頻中只有手是運動物體。其中一種方法是背景減法。它要求背景靜止不變，把視頻中的每幀與背景相減，背景相同的部分變?yōu)榱?，不同的部分就認(rèn)為是運動的物體，即手。另一種方法是差幀法，通過當(dāng)前幀與前一幀(前若干幀)相減，檢測出兩幀之間的差異來確定手部運動的起始區(qū)域。但是一般相鄰幀之間的手勢運動幅度不大，差幀法只能檢測出運動的輪廓，一般要以比較低的幀采樣率或者隔若干幀做減法才能正確檢測與分割運動的手部。5. 手勢特征提取手勢特征的提取是與手勢模型密切相關(guān)的，不同的手勢模型會有不同有于勢特征。例如基于模型的手勢模型有手的每個關(guān)節(jié)的狀態(tài)特征，基于表觀模型的手勢特征是輪廓特征、位置特征等。靜態(tài)手勢識別和動態(tài)于勢識別的特征也不同，靜態(tài)手勢的特征只是描述的手的靜態(tài)信息，例如輪廓、面積等。動態(tài)手勢特征是連續(xù)的靜態(tài)特征序列。 靜態(tài)手勢特征常用的靜態(tài)手勢特征有輪廓、位置、面積、手指分布等。手的輪廓特征可以連續(xù)的點來表示。通過邊緣檢測算法，把圖像區(qū)域的邊緣檢測出來，經(jīng)過進(jìn)行平滑和多邊形擬合算法處理，得到多邊形的頂點的序列。在提取于的輪廓比較困難的情況下，或者為了提高計算效率，也可以通過計算輪廓的特征作為手勢特征。例如A．Wilkowski通過以手部圖像的外包矩形的邊為坐標(biāo)軸進(jìn)行投影計算得到輪廓的直方圖作為手的輪廓的特征，如圖51所示。圖51 手的輪廓特征手的位置特征是指手掌的質(zhì)心位置，質(zhì)心位置可以按公式5公式5公式5公式54計算。手的面積特征通過計算手的輪廓的多邊形面積即可。對于二維圖像，質(zhì)心是通過計算零階距和x、Y的一階距得到的。假設(shè)二值化之后的圖像為I(x，Y)，質(zhì)心(Xc，Yc)的計算公式如下： 51 52 53, 54于指特征的提取是一個關(guān)鍵的技術(shù)。經(jīng)典的手指提取方法是利用手指距離手掌中心最遠(yuǎn)這個規(guī)律，把于的輪廓點的坐標(biāo)轉(zhuǎn)換成為以手掌中心位置為原點的極坐標(biāo)系，然后分析輪廓曲線中的局部最大值(如圖52所示)，最后通過映射規(guī)則把點的位置映射為手指。圖52 輪廓曲線到極坐標(biāo)的轉(zhuǎn)換圖53 局部極值法定位手指 動態(tài)手勢特征在動態(tài)于勢中，由于于在空間和時間兩個維度是都會發(fā)生變化，所以動態(tài)手勢特征包含于的位置變化和于的形狀變化。手的位置變化可以通過計算手勢的當(dāng)前位置與上一個位置之間和位置偏移量得到。假設(shè)手的運動前后位置為()和()，則可以計算出運動方向的角度，最后把進(jìn)行量化得到對應(yīng)的方向編碼。圖：53手勢運動方向編碼通過計算于勢運動軌跡相鄰點之間位移，得到運動的方向編碼，組成手勢運動向量特征。手的形狀變化也是一種動態(tài)手勢特征，這種特征可以簡單地由一系列靜態(tài)手勢特征組成。在有些于勢識別研究中，同時考慮手的位置與形狀兩種變化，同時計算上面的兩種特征。6 手勢識別 靜態(tài)手勢識別靜態(tài)手勢識別的方法有很多，例如