基于多攝像頭的手勢識別技術(shù)-wenkub
2023-07-08 15:35:07 本頁面
【正文】 特征通過計算手的輪廓的多邊形面積即可。通過邊緣檢測算法，把圖像區(qū)域的邊緣檢測出來，經(jīng)過進行平滑和多邊形擬合算法處理，得到多邊形的頂點的序列。靜態(tài)手勢識別和動態(tài)于勢識別的特征也不同，靜態(tài)手勢的特征只是描述的手的靜態(tài)信息，例如輪廓、面積等。另一種方法是差幀法，通過當(dāng)前幀與前一幀(前若干幀)相減，檢測出兩幀之間的差異來確定手部運動的起始區(qū)域。如果是動態(tài)手勢識別，還要對手進行跟蹤?；陬伾氖謩菽Ｐ褪前咽謩輬D像看作像素顏色的集合，通過提取手部的顏色的特征來描述手勢。根據(jù)不同的應(yīng)用背景，于勢識別采用的模型會有不同，而對于不同的手勢模型，采用的手勢檢測與跟蹤算法、特征提取、識別技術(shù)也會有差別。手勢的產(chǎn)生過程如圖21所示。它是基于兩個應(yīng)用背景的應(yīng)用研究：其中一個是利用手勢控制的照片瀏覽，另一個是三維動作感應(yīng)的拳擊小游戲。利用動態(tài)手勢識別構(gòu)建新型的交互界面，是新一代的人機交互界面對輸入方式自然性的要求，可以彌補傳統(tǒng)交互方式的不足。特別是視覺計算技術(shù)的發(fā)展，使計算機獲得了初步視覺感知的能力，能“看懂”用戶的動作。其中手勢識別作為一種直觀的、自然的輸入方式，把人們從傳統(tǒng)接觸性的輸入裝置中解放出來，可以以一種更自然的方式與計算機交互，使計算機界面變得更加易‘引。基于視覺和手勢識別研究正處于蓬勃發(fā)展的階段，仍存著的許多值得研究的問題。作為一個應(yīng)用研究，在研究的過程中需要解決手勢檢測、動態(tài)手勢跟蹤中的于臉遮擋、多攝像頭協(xié)同工作和手勢特征提取、動態(tài)手勢識別等一系問題。圖21 手勢的產(chǎn)生過程手勢識別的過程則找一個從圖像V到概念動作G的變換而，如圖22所示。手勢建模主要分為基于表觀的手勢模型與基于三維的于勢模型。基于顏色的手勢模型的常用特征是顏色直方圖?；谶\動信息的方法：基于運動信息的方法是假設(shè)在視頻中只有手是運動物體。但是一般相鄰幀之間的手勢運動幅度不大，差幀法只能檢測出運動的輪廓，一般要以比較低的幀采樣率或者隔若干幀做減法才能正確檢測與分割運動的手部。動態(tài)手勢特征是連續(xù)的靜態(tài)特征序列。在提取于的輪廓比較困難的情況下，或者為了提高計算效率，也可以通過計算輪廓的特征作為手勢特征。對于二維圖像，質(zhì)心是通過計算零階距和x、Y的一階距得到的。手的位置變化可以通過計算手勢的當(dāng)前位置與上一個位置之間和位置偏移量得到。在有些于勢識別研究中，同時考慮手的位置與形狀兩種變化，同時計算上面的兩種特征。對于輸入的手勢特征，按照這些規(guī)則判別即可。其中比較經(jīng)典的使用彈性圖匹配(Elastic Graph Matching)方法。Hausdorff距離是用來度量兩個集合之間的相似度，它的數(shù)學(xué)定義如下：A和B是兩個集合，元素個數(shù)分別是n和m?；跈C器學(xué)習(xí)的方法需要預(yù)先使用學(xué)習(xí)樣本來訓(xùn)練分類器。直方圖能反映手勢序列的整體特征。DTW本質(zhì)上是一種動態(tài)規(guī)劃算法。動態(tài)手勢也是一種語言，在為它定義文法之后，有限狀態(tài)機將是一個有力的處理工具。馬爾可夫鏈中觀察值與狀態(tài)是一一對應(yīng)的，HMM中狀態(tài)轉(zhuǎn)移與觀察值不是對應(yīng)的，不能直接觀察到狀態(tài)轉(zhuǎn)移，因此稱為隱馬爾可犬模型。HMM分為全連接型、左右型、帶限制的左右型三類，如圖24所示。HMM的定義HMM是一個三元組名=()。每個狀態(tài)輸出O是根據(jù)觀察概率矩陣B決定的。HMM從一個初始狀態(tài)開始，每個狀態(tài)根據(jù)觀察概率矩陣，輸出一個觀察符號，然后根據(jù)狀態(tài)轉(zhuǎn)移矩陣，轉(zhuǎn)移到新的狀態(tài)。初始化：t=T1，T2，…，1，1≤i≤N遞推：，1tT1，1≤j≤N 終止：, 1≤i≤N7 基于多攝像頭的手勢識別先是手勢詞匯設(shè)計，介紹了在本文研究應(yīng)用背景下的靜態(tài)和動態(tài)手勢設(shè)計。最后是手勢識別部分，靜態(tài)手勢識別采用了基于正交攝像頭協(xié)作的手勢識別策略，動態(tài)手勢識別則使用一種結(jié)合兩套獨立的隱馬爾可夫模型的方法。手勢根據(jù)具體應(yīng)用場景而設(shè)計的，不同應(yīng)用場景對于勢要求差別很大。在對捕獲到的于勢進行實時的檢測和跟蹤、手勢特征提取之后，經(jīng)過手勢識別部分的識別得到手勢信息，最后把這些手勢信息映射為具體應(yīng)用中的命令，充當(dāng)著一種輸入設(shè)備的角色。在拳擊游戲應(yīng)用中，有3種標(biāo)準(zhǔn)的三維拳擊動作，包括“左勾拳”、“右勾拳”、“平直拳”。其他靜態(tài)手勢被看作無含義的手勢。 GSense系統(tǒng)框架與功能GSense于勢識別系統(tǒng)從兩個攝頭中捕捉用戶的手勢動作視頻，經(jīng)過手勢檢測與跟蹤、于勢特征提取、基于HMM的手勢識別等處理流程，把用戶的手勢動作映射到具體的操作指令。通過把手勢輸入轉(zhuǎn)化為系統(tǒng)的標(biāo)準(zhǔn)設(shè)備的輸入，這種映射處理的優(yōu)點是可以直接兼容現(xiàn)有的第三方應(yīng)用軟件。本文的研究從的實用性角度考慮．采用普通的攝像頭進行實驗。底部攝像頭可以根據(jù)具體環(huán)境條件，選擇安裝在頂部。攝像頭視頻的實時采集采用了DirectShow。最后在得到于勢識別的結(jié)果之后，把手勢信息映射為相應(yīng)鼠標(biāo)和鍵盤事件。在回調(diào)函數(shù)中，不直進行視頻處理，而向主窗口發(fā)送一條自定義消息，在消息響應(yīng)函數(shù)實現(xiàn)對視頻的捕獲和手勢識別處理。在默認(rèn)的膚色參數(shù)不適用的時候，用戶可以啟用膚色采樣校正功能，以使手勢檢測和跟蹤正常工作。當(dāng)用戶按下了采樣按鈕之后，一個紅色的矩形框閃爍出現(xiàn)在攝像頭視頻預(yù)覽框中，表示處于準(zhǔn)備采樣階段，到了采樣開始時間之后，矩形框變?yōu)榫G色，表示正在采集圖像樣本，最后矩形框消失，表示采樣過程完成。第三，Listener一般會以Interface（接口）的方式來提供，其中 包含一個或多個abstract（抽象）方法，我們需要實現(xiàn)這些方法來完成onTouch()、onKey()等等的操作。03.Override04.protected void onCreate(Bundle savedInstanceState) {05.(savedInstanceState)。10.// set OnTouchListener o
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1