【文章內(nèi)容簡(jiǎn)介】 ..................... 32 7 手勢(shì)識(shí)別的綜合測(cè)試 ........................................................................................................ 34 結(jié)論 .......................................................................................................................................... 36 總結(jié) ................................................................................................................................... 36 展望與改進(jìn) ....................................................................................................................... 36 參考文獻(xiàn) .................................................................................................................................. 38 致謝 .......................................................................................................................................... 39 1 1 緒論 手勢(shì) 識(shí)別交互 的背景 隨著 整個(gè)社會(huì) 逐步的信息 化 ， 帶給了 我們 一種新的交互方式 ——人機(jī)交互(humanputer interaction)。 而這一 交互活動(dòng)越來(lái)越成為人們?nèi)粘Ｉ畹囊粋€(gè)重要 內(nèi)容。 近幾年來(lái)，隨著計(jì)算機(jī)技術(shù)的 逐漸發(fā)展，出現(xiàn)了一些符合人的習(xí)慣的 人機(jī)交互技術(shù)，如 頭部 跟蹤、 人臉識(shí)別 、表情識(shí)別、唇讀 、 體 勢(shì)識(shí)別以及 手 勢(shì)識(shí)別等等 [1]，并逐步向以人為本的方向邁進(jìn) 。 其中，手勢(shì)的檢測(cè)和識(shí)別技術(shù)作為一種新型的方式，是這些交互技術(shù)當(dāng)中倍受重視的研究和應(yīng)用 的 技術(shù)之一。 手勢(shì)是一種 有著自然性、簡(jiǎn)潔性和直接性的一種 人機(jī)交互手段。 [1]如果能只用 人手作為計(jì)算機(jī)的輸入設(shè)備， 那么 我們就無(wú)需學(xué)習(xí) 其他繁重的硬件設(shè)備 的操作 ， 僅需根據(jù)人們的習(xí)慣，確定一些適當(dāng) 的手勢(shì) ， 即可用簡(jiǎn)單的方式 控制 機(jī)器 。 而手勢(shì)是人的一種很常用的 交流方式 。 像 人可以 用手指的 方向 來(lái)表示 物體的位置 ，用揮手來(lái)表示 過來(lái) 或再見，用一定的手勢(shì)表示數(shù)字等等 [2]。 近幾年來(lái) ， 已經(jīng)有相當(dāng)一部分的 應(yīng)用 采用了這種 手勢(shì)識(shí)別 的方式 作為 跟機(jī)器交互的手段 。 受到了世界各個(gè)國(guó)家的科研機(jī)構(gòu)和科技企業(yè)的重視與青睞，如 IEEE 自 1995 年起召開的人臉與姿勢(shì)自動(dòng)檢測(cè)年會(huì) FG(IEEE Conference on Automatic Face and Gesture Recognition)以促進(jìn)包括手勢(shì)檢測(cè)識(shí)別技術(shù)在內(nèi)的技術(shù)交流與發(fā)展。 [2] 圖 手勢(shì)識(shí)別 應(yīng)用 2 手勢(shì) 及識(shí)別方 式 的分類 手勢(shì) (gesture)本身具有 多義性 和 多樣性 ， 由于領(lǐng)域、 文化背景 等的不同， 對(duì)手勢(shì)的定義 也會(huì)不同 。這里把手勢(shì)定義為：手勢(shì)是人手產(chǎn)生的各種姿勢(shì)和動(dòng)作， 手勢(shì)和姿勢(shì)(posture)的主要區(qū)別在于姿勢(shì)更為強(qiáng)調(diào)身體的 總體 形態(tài)而手勢(shì)更強(qiáng)調(diào)手 的細(xì)節(jié) 。 [1] 手勢(shì)按 時(shí)間關(guān)系 可分為 靜態(tài)手勢(shì) (指姿態(tài)， 又稱 手形 )和動(dòng)態(tài)手勢(shì) (指動(dòng)作，由一系列姿態(tài)組成 )。靜態(tài)手勢(shì)對(duì)應(yīng) 時(shí) 間 上 的一個(gè)點(diǎn)，而動(dòng)態(tài)手勢(shì)對(duì)應(yīng)著 一段時(shí)間內(nèi) 的一條軌跡，需要使用隨時(shí) 間 變化的空間特征來(lái)表述 [3]。 動(dòng)態(tài)手勢(shì)具有豐富和直觀的表達(dá)能力，與靜態(tài)手勢(shì)結(jié)合在一起，能創(chuàng)造出更豐富的語(yǔ)義。 按手勢(shì)目的又可以分為 操控手勢(shì)和交際手勢(shì) [10]。在人機(jī)交互系統(tǒng)中，操控手勢(shì)的一種典型應(yīng)用就是在二維和三維的虛擬環(huán)境中來(lái)操控物體。交流手勢(shì)主要是指在自然環(huán)境中伴隨人們自然對(duì)話的自由形式手勢(shì)。手勢(shì)相對(duì)于語(yǔ)言來(lái)說(shuō)是一種表達(dá)人們想法的單獨(dú)的 補(bǔ)充模式。 在對(duì)話中與手勢(shì)相關(guān)聯(lián)的信息是一種語(yǔ)句的時(shí)間和空間結(jié)構(gòu)，可以用機(jī)器來(lái)提取它們 [11]。 手勢(shì)的識(shí)別方 式 可分為 利用機(jī)械裝置的識(shí)別 和 基于計(jì)算機(jī)視覺的識(shí)別 。 機(jī)械裝置 ， 如 數(shù)據(jù)手套是 虛擬現(xiàn)實(shí)中重要組成部分 ， 可以將手指的復(fù)雜 的三維位置和 動(dòng)作 利用附著的感應(yīng)器傳到 到 計(jì)算機(jī)當(dāng) 中去 。然后可以重新呈 現(xiàn)手部動(dòng)作。數(shù)據(jù)手套傳感 的識(shí)別方法的技術(shù) 關(guān)鍵是手套能不能將手指、手掌、手腕的彎曲真實(shí)的以數(shù)據(jù)形勢(shì)反演到系統(tǒng)數(shù)據(jù)庫(kù)中，讓系統(tǒng)根據(jù)模型對(duì)手勢(shì)進(jìn)行有效識(shí)別 。 由于手部軟組織和計(jì)算復(fù)雜性，數(shù)據(jù)手套的計(jì)算速度總是存在延時(shí)，同時(shí)從人機(jī)交互 的角度手套佩戴也十分不方便。如果多人使用還存在衛(wèi)生等問題 [4]，再加上這些傳感器昂貴的價(jià)格 ，因此數(shù)據(jù)手套等機(jī)械 識(shí)別的方式 在推廣上 會(huì) 受到很 多 的障礙 。 近些年來(lái)，基于計(jì)算機(jī)視覺 的 識(shí)別 方法提供了一種成本較低的 能減少用戶限制的 手勢(shì) 識(shí)別 的方法，這種方法也是本 系統(tǒng)的主攻方向 。 在基于計(jì)算機(jī)視覺的 識(shí)別 方 式 中，通常的做法就是把手勢(shì)識(shí)別問題看成模式識(shí)別問題來(lái)對(duì)待。通過 攝像頭等設(shè)備 來(lái)獲取圖像或視頻，再把它們分解成特征集，然后用這些特征集與預(yù)先定義好的模式進(jìn)行匹配。 基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別技術(shù)需要解決的問題 無(wú)論是利用 數(shù)據(jù)手套還是用手部粘貼高亮標(biāo)簽使作為輸入設(shè)備會(huì)給使用者帶來(lái)不 3 舒適感如出汗等，且設(shè)備價(jià)格昂貴，難以推廣。在上述研究的基礎(chǔ)上，研究者漸漸把研究的重心轉(zhuǎn)移到的不佩戴手套或不粘貼設(shè)備的自然手識(shí)別檢測(cè)技術(shù)之上，以追求使用者更舒適的體驗(yàn)，其中從計(jì)算機(jī)視覺的研究方式入手是當(dāng)前比較主流的研究方向，然而 實(shí)現(xiàn)起來(lái) 難度更大。 首先是要做到的是從背景中將手分割出來(lái)，通常會(huì)用膚色分割的方法基于皮膚的色調(diào)將不同于周圍背景手的區(qū)域分離出來(lái)．但是會(huì)受到光線等因素干擾，分離出手后需要用合適的模型對(duì)手的動(dòng)作建模。之后從模型中估算出參數(shù)，根據(jù)估 算出的參數(shù)對(duì)手勢(shì)進(jìn)行分類，得出結(jié)論。由于在數(shù)據(jù)采集時(shí)容易受到背景干擾，往往要求背景顏色和手的顏色有較好的區(qū)分度。 [4] 其次 人 體 由多個(gè)部分組成，其中手指往往包 含豐富的信息，而頭和手臂所以及人手本身因光滑而產(chǎn)生的大量陰影等 信息則大多為冗余信息，故如何將有用的信息與冗余的信息分離也是提高手勢(shì)識(shí)別能力的關(guān)鍵 。 再次 ，人手是彈性物體，同樣的手勢(shì) 的表現(xiàn)效果可能差別很大 [5]，并且 同樣的用 戶者要重復(fù)做出完全相同的手勢(shì) 也 是不可能的 ，如何降低甚至消除這個(gè)因素的影響對(duì)整個(gè)識(shí)別的準(zhǔn)確率也有一定影響。 最后 ，手勢(shì)往往具有復(fù)雜、多 重的含義，單一的方法很難準(zhǔn)確地解讀人手的具體內(nèi)涵進(jìn)而實(shí)現(xiàn)最終的識(shí)別，故需要綜合多種方法。 [6] 針對(duì)上 面提到的多種 難 題 ，不同的研究 和開發(fā) 人員 提出了 許多種不一樣 的方案 。 綜合以上， 本文將提出一種能適應(yīng) 各種 攝像頭的，能抵抗一定干擾信息的一種 基于計(jì)算機(jī)視覺 的 進(jìn)行 手勢(shì)識(shí)別解決方案。 本程序 主要實(shí)現(xiàn)的 功能 （ 1） 實(shí)現(xiàn)對(duì)攝像頭的發(fā)現(xiàn)和選取，與對(duì)每一幀圖像的采集和縮放。 （ 2）實(shí)現(xiàn) 對(duì) 圖像的清晰化，包括點(diǎn)狀噪聲的去除 、細(xì)節(jié)的還原以及之后整體的銳化。 （ 3）實(shí)現(xiàn) 對(duì)背景信息的剔除，包括 對(duì) 膚色的提取 和分割， 對(duì)陰影和高光區(qū)域 的擴(kuò)散和對(duì)一些孤立點(diǎn)的剔除。 4