【正文】 基于多攝像頭的手勢(shì)識(shí)別技術(shù)研究1. 研究背景 22. 手勢(shì)識(shí)別概述 2 手勢(shì)識(shí)別的概念 2 手勢(shì)識(shí)別流程 33. 手勢(shì)建模 44. 手勢(shì)檢測(cè)與跟蹤 45. 手勢(shì)特征提取 5 靜態(tài)手勢(shì)特征 5 動(dòng)態(tài)手勢(shì)特征 76 手勢(shì)識(shí)別 8 靜態(tài)手勢(shì)識(shí)別 8 動(dòng)態(tài)手勢(shì)識(shí)別 97 基于多攝像頭的手勢(shì)識(shí)別 12 GSense系統(tǒng)的手勢(shì)詞匯設(shè)計(jì) 13 GSense手勢(shì)識(shí)別應(yīng)用 13 GSense應(yīng)用背景下的手勢(shì)設(shè)計(jì) 14 動(dòng)態(tài)手勢(shì)的定義 158 Sense手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) 15 GSense系統(tǒng)框架與功能 16 GSense系統(tǒng)的詳細(xì)設(shè)計(jì) 171. 研究背景隨著計(jì)算機(jī)硬件與軟件技術(shù)的發(fā)展，人機(jī)交互技術(shù)由傳統(tǒng)的鼠標(biāo)鍵盤時(shí)代發(fā)展到了以語(yǔ)音輸入、動(dòng)作識(shí)別等技術(shù)為代表的自然交互時(shí)代n1。特別是視覺(jué)計(jì)算技術(shù)的發(fā)展，使計(jì)算機(jī)獲得了初步視覺(jué)感知的能力，能“看懂”用戶的動(dòng)作。其中手勢(shì)識(shí)別作為一種直觀的、自然的輸入方式，把人們從傳統(tǒng)接觸性的輸入裝置中解放出來(lái)，可以以一種更自然的方式與計(jì)算機(jī)交互，使計(jì)算機(jī)界面變得更加易‘引。手勢(shì)主要分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)兩種，動(dòng)態(tài)手勢(shì)可以看作是連續(xù)的靜態(tài)手勢(shì)序列。動(dòng)態(tài)手勢(shì)具有豐富和直觀的表達(dá)能力，與靜態(tài)手勢(shì)結(jié)合在一起，能創(chuàng)造出更豐富的語(yǔ)義。利用動(dòng)態(tài)手勢(shì)識(shí)別構(gòu)建新型的交互界面，是新一代的人機(jī)交互界面對(duì)輸入方式自然性的要求，可以彌補(bǔ)傳統(tǒng)交互方式的不足?；谝曈X(jué)和手勢(shì)識(shí)別研究正處于蓬勃發(fā)展的階段，仍存著的許多值得研究的問(wèn)題。研究基于視覺(jué)的動(dòng)態(tài)手勢(shì)識(shí)別對(duì)于構(gòu)建更加好友的人機(jī)交互界面很有意義。本文研究的是基于多攝像頭的動(dòng)態(tài)手勢(shì)識(shí)別方法，利用兩個(gè)正交放置的攝像頭來(lái)獲取動(dòng)態(tài)手勢(shì)的三維運(yùn)動(dòng)信息，以支持三維動(dòng)作的識(shí)別。它是基于兩個(gè)應(yīng)用背景的應(yīng)用研究：其中一個(gè)是利用手勢(shì)控制的照片瀏覽，另一個(gè)是三維動(dòng)作感應(yīng)的拳擊小游戲。作為一個(gè)應(yīng)用研究，在研究的過(guò)程中需要解決手勢(shì)檢測(cè)、動(dòng)態(tài)手勢(shì)跟蹤中的于臉遮擋、多攝像頭協(xié)同工作和手勢(shì)特征提取、動(dòng)態(tài)手勢(shì)識(shí)別等一系問(wèn)題。2. 手勢(shì)識(shí)別概述 手勢(shì)識(shí)別的概念手勢(shì)是姿勢(shì)的一個(gè)子集，姿勢(shì)這個(gè)概念沒(méi)有精確的定義。一般認(rèn)為，手勢(shì)概念經(jīng)過(guò)人的于轉(zhuǎn)化為的于勢(shì)動(dòng)作，觀察者看到的是于勢(shì)動(dòng)作的圖像雎1。手勢(shì)的產(chǎn)生過(guò)程如圖21所示。圖21 手勢(shì)的產(chǎn)生過(guò)程手勢(shì)識(shí)別的過(guò)程則找一個(gè)從圖像V到概念動(dòng)作G的變換而，如圖22所示。圖22 手勢(shì)識(shí)別的過(guò)程 手勢(shì)識(shí)別流程手勢(shì)識(shí)別流程包手勢(shì)圖像獲取、手勢(shì)分割、手勢(shì)特征提取、手勢(shì)識(shí)別四大部分嘲，如圖23所示。圖23 手勢(shì)識(shí)別流程3. 手勢(shì)建模在手勢(shì)識(shí)別框架中，手勢(shì)模型是一個(gè)最基本的部分。根據(jù)不同的應(yīng)用背景，于勢(shì)識(shí)別采用的模型會(huì)有不同，而對(duì)于不同的手勢(shì)模型，采用的手勢(shì)檢測(cè)與跟蹤算法、特征提取、識(shí)別技術(shù)也會(huì)有差別。手勢(shì)建模主要分為基于表觀的手勢(shì)模型與基于三維的于勢(shì)模型?；诒碛^的手勢(shì)建模是一種二維建模，從二維平面觀察得到的平面圖像信息描述于的特征。 基于表觀的手勢(shì)模型主要包括基于顏色的模型與基于輪廓的模型兩種?；陬伾氖謩?shì)模型是把手勢(shì)圖像看作像素顏色的集合，通過(guò)提取手部的顏色的特征來(lái)描述手勢(shì)。基于顏色的手勢(shì)模型的常用特征是顏色直方圖?；谳喞氖謩?shì)模型是把手看作一個(gè)輪廓，通過(guò)提取手部圖像中手的輪廓的幾何特征來(lái)描述手勢(shì)。4. 手勢(shì)檢測(cè)與跟蹤手勢(shì)檢測(cè)與跟蹤是手勢(shì)識(shí)別處理流程中最前端的處理部分，它處理從攝像頭獲取到手勢(shì)圖像(序列)，從中檢測(cè)和分割手勢(shì)對(duì)象。如果是動(dòng)態(tài)手勢(shì)識(shí)別，還要對(duì)手進(jìn)行跟蹤?；谶\(yùn)動(dòng)信息的方法：基于運(yùn)動(dòng)信息的方法是假設(shè)在視頻中只有手是運(yùn)動(dòng)物體。其中一種方法是背景減法。它要求背景靜止不變，把視頻中的每幀與背景相減，背景相同的部分變?yōu)榱悖煌牟糠志驼J(rèn)為是運(yùn)動(dòng)的物體，即手。另一種方法是差幀法，通過(guò)當(dāng)前幀與前一幀(前若干幀)相減，檢測(cè)出兩幀之間的差異來(lái)確定手部運(yùn)動(dòng)的起始區(qū)域。但是一般相鄰幀之間的手勢(shì)運(yùn)動(dòng)幅度不大，差幀法只能檢測(cè)出運(yùn)動(dòng)的輪廓，一般要以比較低的幀采樣率或者隔若干幀做減法才能正確檢測(cè)與分割運(yùn)動(dòng)的手部。5. 手勢(shì)特征提取手勢(shì)特征的提取是與手勢(shì)模型密切相關(guān)的，不同的手勢(shì)模型會(huì)有不同有于勢(shì)特征。例如基于模型的手勢(shì)模型有手的每個(gè)關(guān)節(jié)的狀態(tài)特征，基于表觀模型的手勢(shì)特征是輪廓特征、位置特征等。靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)于勢(shì)識(shí)別的特征也不同，靜態(tài)手勢(shì)的特征只是描述的手的靜態(tài)信息，例如輪廓、面積等。動(dòng)態(tài)手勢(shì)特征是連續(xù)的靜態(tài)特征序列。 靜態(tài)手勢(shì)特征常用的靜態(tài)手勢(shì)特征有輪廓、位置、面積、手指分布等。手的輪廓特征可以連續(xù)的點(diǎn)來(lái)表示。通過(guò)邊緣檢測(cè)算法，把圖像區(qū)域的邊緣檢測(cè)出來(lái)，經(jīng)過(guò)進(jìn)行平滑和多邊形擬合算法處理，得到多邊形的頂點(diǎn)的序列。在提取于的輪廓比較困難的情況下，或者為了提高計(jì)算效率，也可以通過(guò)計(jì)算輪廓的特征作為手勢(shì)特征。例如A．Wilkowski通過(guò)以手部圖像的外包矩形的邊為坐標(biāo)軸進(jìn)行投影計(jì)算得到輪廓的直方圖作為手的輪廓的特征，如圖51所示。圖51 手的輪廓特征手的位置特征是指手掌的質(zhì)心位置，質(zhì)心位置可以按公式5公式5公式5公式54計(jì)算。手的面積特征通過(guò)計(jì)算手的輪廓的多邊形面積即可。對(duì)于二維圖像，質(zhì)心是通過(guò)計(jì)算零階距和x、Y的一階距得到的。假設(shè)二值化之后的圖像為I(x，Y)，質(zhì)心(Xc，Yc)的計(jì)算公式如下： 51 52 53, 54于指特征的提取是一個(gè)關(guān)鍵的技術(shù)。經(jīng)典的手指提取方法是利用手指距離手掌中心最遠(yuǎn)這個(gè)規(guī)律，把于的輪廓點(diǎn)的坐標(biāo)轉(zhuǎn)換成為以手掌中心位置為原點(diǎn)的極坐標(biāo)系，然后分析輪廓曲線中的局部最大值(如圖52所示)，最后通過(guò)映射規(guī)則把點(diǎn)的位置映射為手指。圖52 輪廓曲線到極坐標(biāo)的轉(zhuǎn)換圖53 局部極值法定位手指 動(dòng)態(tài)手勢(shì)特征在動(dòng)態(tài)于勢(shì)中，由于于在空間和時(shí)間兩個(gè)維度是都會(huì)發(fā)生變化，所以動(dòng)態(tài)手勢(shì)特征包含于的位置變化和于的形狀變化。手的位置變化可以通過(guò)計(jì)算手勢(shì)的當(dāng)前位置與上一個(gè)位置之間和位置偏移量得到。假設(shè)手的運(yùn)動(dòng)前后位置為()和()，則可以計(jì)算出運(yùn)動(dòng)方向的角度，最后把進(jìn)行量化得到對(duì)應(yīng)的方向編碼。圖：53手勢(shì)運(yùn)動(dòng)方向編碼通過(guò)計(jì)算于勢(shì)運(yùn)動(dòng)軌跡相鄰點(diǎn)之間位移，得到運(yùn)動(dòng)的方向編碼，組成手勢(shì)運(yùn)動(dòng)向量特征。手的形狀變化也是一種動(dòng)態(tài)手勢(shì)特征，這種特征可以簡(jiǎn)單地由一系列靜態(tài)手勢(shì)特征組成。在有些于勢(shì)識(shí)別研究中，同時(shí)考慮手的位置與形狀兩種變化，同時(shí)計(jì)算上面的兩種特征。6 手勢(shì)識(shí)別 靜態(tài)手勢(shì)識(shí)別靜態(tài)手勢(shì)識(shí)別的方法有很多，例如