【正文】 我已經(jīng)把每一個(gè)方法代表的手勢(shì)的意思寫(xiě)在了注釋里，大家看一下就明白了。 回到今天所要說(shuō)的重點(diǎn)，當(dāng)我們捕捉到 Touch操作的時(shí)候，如何識(shí)別出用戶(hù)的 Gesture？這里我們需要 ，于是我們的 GestureTest類(lèi)就變成了這個(gè)樣子。 這里，我們可以通過(guò) MotionEvent的 getAction()方法來(lái)獲取 Touch事件的類(lèi)型，包括 ACTION_DOWN, ACTION_MOVE, ACTION_UP, 和 ACTION_CANCEL。 14. } 15. 16. Override 17. public boolean onTouch(View v, MotionEvent event) { 18. (this, onTouch, ).show()。 06. setContentView()。第三， Listener一般會(huì)以 Interface（接口）的方式來(lái)提供，其中 包含一個(gè)或多個(gè) abstract（抽象）方法，我們需要實(shí)現(xiàn)這些方法來(lái)完成 onTouch()、 onKey()等等的操作。在實(shí)時(shí)的手勢(shì)跟蹤和識(shí)別中我們還需要增加能夠識(shí)別的手勢(shì)的種類(lèi)，并進(jìn)一步提高識(shí)別的速度和準(zhǔn)確性。 4．在跟蹤階段，針對(duì)待跟蹤目 標(biāo)是手勢(shì)以及要保證系統(tǒng)運(yùn)行的實(shí)時(shí)性這兩個(gè)關(guān)鍵因素，本文選擇了以色彩信息為特征的 Camshift算法用于交互場(chǎng)景的手勢(shì)跟蹤，此算法對(duì)系統(tǒng)資源要求不高，在仿真實(shí)驗(yàn)中表現(xiàn)出較好的實(shí)時(shí)性和魯棒性。 本文在 Microsoft Visual C++6． 0開(kāi)發(fā)環(huán)境下，借助 OpCV開(kāi)源庫(kù)，對(duì)基于計(jì)算機(jī)視覺(jué)的手勢(shì)跟蹤與識(shí)別各個(gè)階段的算法進(jìn)行了研究與驗(yàn)證，具體內(nèi)容總結(jié)如下： 1．在手勢(shì)圖像預(yù)處理階段，為降低光照對(duì)手勢(shì)分割的干擾，選取 YCbCr色彩空間，利用其色度和亮度分離的特性，用最大類(lèi)間方差算法進(jìn)行分割，再用形態(tài)學(xué)方法降噪，仿真實(shí)驗(yàn)表明，在變化光照的情況下，本階段算法的手勢(shì)分割效果良好。點(diǎn)擊“啟動(dòng)視頻輸入 按鈕，系統(tǒng)就開(kāi)始通過(guò) USB 攝像頭捕捉手勢(shì)并進(jìn)行識(shí)別，進(jìn)而實(shí)現(xiàn)對(duì) Word 的簡(jiǎn)單操 作。 本文利用預(yù)定義的數(shù)字手勢(shì) 0,9實(shí)現(xiàn)了對(duì) Word 的操作，我們?cè)诔绦蛑卸x：在 word文件打開(kāi)之前，數(shù)字手勢(shì) 1表示單擊鼠標(biāo)左鍵，數(shù)字手勢(shì) 2表示單擊鼠標(biāo)右鍵，數(shù)字手勢(shì) 5表示雙擊鼠標(biāo)左鍵，從而實(shí)現(xiàn)手勢(shì)對(duì)鼠標(biāo)的簡(jiǎn)單控制；當(dāng) Word文件打 開(kāi)以后數(shù)字手勢(shì) 5 的鼠標(biāo)單擊或雙擊事件不再有效，此時(shí)數(shù)字手勢(shì) 19表示向 Word 文檔輸入數(shù)字 1— 9，即通過(guò)手勢(shì)識(shí)別結(jié)果向 Word文檔中自動(dòng)寫(xiě)入相應(yīng)手勢(shì)所對(duì)應(yīng)的數(shù)字。 手勢(shì)識(shí)別流程圖見(jiàn)圖 57。用Camshift 算法對(duì)具有特定顏色的甘標(biāo)進(jìn)行跟蹤，無(wú)需計(jì)算每幀圖像一 k 所有像素點(diǎn)的顏色概率分布，只需求出比當(dāng) dU搜索窗大一砦的區(qū)域內(nèi)的所有像素點(diǎn)的顏色概率分布，這樣就大大減少了計(jì)算最。為了對(duì)手的區(qū)域進(jìn)行更好的特征提取，文中使用灰度投影法來(lái)獲取準(zhǔn)確的手勢(shì)區(qū)域。 最大類(lèi)問(wèn)方差法的具體流程如下： (1)計(jì)算歸一化直方 圖 h(i)； (2)計(jì)算 灰度 均值 ???2550 )。本文對(duì) 09的 10 個(gè)數(shù)字手勢(shì)進(jìn)行識(shí)別，如圖 5 53所示，其中圖 5— 2是從攝像頭采集的 RGB彩色圖像，圖 53是對(duì)應(yīng)的分割圖片，也就是要保存的手勢(shì)樣本。具體來(lái)說(shuō)，首先進(jìn)行樣本的采集?；谟?jì)算機(jī)視覺(jué)的手勢(shì)跟蹤與識(shí)別流程圖如圖 51所示。手勢(shì)跟蹤是手勢(shì)識(shí)別的基礎(chǔ)，它的好壞直接影響識(shí)別率的大小。視角： 45— 60度 接口： USBl． 1熱插拔 5 基于計(jì)算機(jī)視覺(jué)的手勢(shì)跟蹤與識(shí)別算法實(shí)驗(yàn) 5． 1系統(tǒng)的軟硬件環(huán)境及功能 1．系統(tǒng)環(huán)境 (1)．軟件環(huán)境： 操作系統(tǒng) Windows XP 編程環(huán)境使用 MicrosoftVisual C++6． 0開(kāi)發(fā)，同時(shí) 借助 OpenCVt561T腓。圖 (d)是形態(tài)學(xué)處理后的 H通道圖像直方圖。圖 41(a)是單色背景下的手勢(shì)圖像，圖 (b)是 H通道圖像，在圖 (b)中，人手部和背景之間的輪廓很不清晰，我們采用形態(tài)學(xué)方法對(duì) m)圖像增強(qiáng)得到 (c)圖像。 HSV與 RGB轉(zhuǎn)換的公式如下： ? ? }))(()( 2/)]()[(a r c c o s { 2/12 BGBRGR BRGRH ???? ???? （ 413） )],[ m in ()( 31 BGRBGRS ???? （ 414） )(31 BGRV ??? （ 415） 首先，要計(jì)算被跟蹤目標(biāo)的色彩直方圖。當(dāng)視頻序列一幀一幀變化時(shí)， Camshift利用其自動(dòng)調(diào)節(jié)搜索窗的大小和位置的功能，定位被跟蹤目標(biāo)的位置，并且用當(dāng)前已知定位的結(jié)果來(lái)預(yù)測(cè)下一幀中目標(biāo)的位置，這樣迭代的處理每幀圖像，就形成了動(dòng)態(tài)的跟蹤。這樣，算法就可以自回歸的運(yùn)算下去。 現(xiàn)在我們有了現(xiàn)在狀態(tài)的預(yù)測(cè)結(jié)果，然后我們?cè)偈占F(xiàn)在狀態(tài)的測(cè)量值。 假設(shè)現(xiàn)在的系統(tǒng)狀態(tài)是 k，根據(jù)系統(tǒng)的模型，可以基于系統(tǒng)的上一狀態(tài)而預(yù)測(cè)出現(xiàn)在狀態(tài)： X(k|k1)=A X(k1|k1)+B U(k) (48) 式 (1)中， X(k|k1)是利用上一狀態(tài)預(yù)測(cè)的結(jié)果， X(k1|k1)是上一狀態(tài)最優(yōu)的結(jié)果，U(k)為現(xiàn)在狀態(tài)的控制量，如果沒(méi)有控制量，它可以為 0。他們被假設(shè)成高斯白噪聲(White Gaussian Noise)，他們的 covariance分別是 Q， R（這里我們假設(shè)他們不隨系統(tǒng)狀態(tài)變化而變化）。該系統(tǒng)可用一個(gè)線(xiàn)性隨機(jī)微分方程來(lái)描述： X(k)=A X(k1)+B U(k)+W(k) (46) 再加上系統(tǒng)的 測(cè)量值 ： Z(k)=H X(k)+V(k) (47) 上兩式子中， X(k)是 k時(shí)刻的系統(tǒng)狀態(tài)， U(k)是 k時(shí)刻對(duì)系統(tǒng)的控制量。由于卡爾曼濾波是綜合時(shí)域內(nèi)的信息來(lái)設(shè)計(jì)整個(gè)濾波系統(tǒng)，且適用于多維的情況，因而卡爾曼濾波的應(yīng)用范圍主要在機(jī)器人控制、導(dǎo)航、傳感器數(shù)據(jù)融合等方面，近年來(lái)更被應(yīng)用于圖像處理特別在圖像分割、圖像邊緣檢測(cè)以及視頻序列中的人臉識(shí)別等方面。視頻序列提供了比單幀圖像更豐富的目標(biāo)信息，我們通過(guò)對(duì)其進(jìn)行分析能夠更好地研究運(yùn)動(dòng)物體的跟蹤過(guò)程。每一種描述方法都有其優(yōu)點(diǎn)、缺點(diǎn)，且不存在通用的方法或者最優(yōu)方法。特征提取在廣義上是指一種變換。當(dāng)樣本數(shù)量不是很多時(shí)，需要用很多特征進(jìn)行分類(lèi)器的設(shè)計(jì)，而從計(jì)算復(fù)雜度和分類(lèi)器的性能來(lái)看都是不合適的。如果特征選擇錯(cuò)誤，就不能 準(zhǔn)確分類(lèi)，甚至無(wú)法分類(lèi)。 S=(B? S) ? S (312) 先腐蝕后膨脹的過(guò)程稱(chēng)為開(kāi)運(yùn)算。 s=(B? S) ? S (311) 先膨脹后腐蝕的過(guò)程就稱(chēng)為閉運(yùn)算。 (2)腐蝕：用結(jié)構(gòu)元 S 對(duì)二值圖像曰進(jìn)行腐蝕運(yùn)算表示為 B? S，定義如下： B? S={ SsBsbb ????| } (310) 腐蝕運(yùn)算也是用結(jié)構(gòu)元掃描整幅圖像。我們?cè)俨捎眯螒B(tài)學(xué)處理方法獲得比較理想的手勢(shì)分割效果。通道圖像的二值化效果圖。晟大類(lèi)間方差法的最佳閾值是使組內(nèi)方差的加權(quán)和最小的閾值，其中權(quán)分別代表各組概率。 3．最大類(lèi)間方差法 最大類(lèi)間方差法是通過(guò)使兩組像素的組內(nèi)方差最小來(lái)確定閾值的方法。在這種情況下，我們可以用動(dòng)志閩值法解決。但是，實(shí)際得到的灰度直方圖不平桿，存在由于小的凹凸而產(chǎn)生的局部極小值，這樣給自動(dòng)判斷造成諸多不便。僅由 像素點(diǎn) ),( ji 的灰度值 ),( jif確定 閾值 的方法稱(chēng)為整體閾值選擇法。把其中感興趣的目標(biāo)像素作為前景像素，其余部分作為背景像素。波長(zhǎng)不同的光以不同比例混合能夠形成各種各樣的顏色。 圖 31 圖像平滑效果 3． 1 .2 圖像色彩空間轉(zhuǎn)換 計(jì)算機(jī)色彩理論認(rèn)為，一種顏色在計(jì)算機(jī)中有多種不同的表達(dá)方式，從而形成了各種不同的色彩空間。時(shí)， H(u， v)降為最大值的 l／ e。時(shí)， H(u， v)降為最大值的 1/2。小，同心環(huán)數(shù)越多，模糊程度越厲害。為截止頻率， ? ? 2122),( vuvuD ?? 是點(diǎn)（ u， v）到頻率平面原點(diǎn)的距離。頻域平滑技術(shù)是一維信號(hào) 低通濾波器在二維圖像中的推廣。中值濾波首先是被應(yīng)用到一維信號(hào)處理技術(shù)中，后來(lái)被二維圖像信號(hào)處理技術(shù)所引用。假定有一幅 NXN 個(gè)像素的圖像 ),( yxf ，平滑處理后得 到一幅圖像 ),( yxg 。圖像噪聲的來(lái)源有三種：一是在光電、電磁轉(zhuǎn)換過(guò)程中引入的人為噪聲；二是大氣層電 (磁 )暴、閃電、電壓、浪涌等引起的強(qiáng)脈沖性沖激噪聲；三是自然起伏性噪聲，由物理量的不連續(xù)性或粒子性引起，這類(lèi)噪聲又可分為熱噪聲、散粒噪聲等。 3 手勢(shì)圖像預(yù)處理及特征提取 手勢(shì)圖像的預(yù)處理和特征提取是下一步要進(jìn)行的手勢(shì)跟蹤與識(shí)別的前提，其質(zhì)量的好壞既關(guān)系到手勢(shì)的識(shí)別率，又關(guān)系到所建立的人機(jī)交互系統(tǒng)的整體性能。國(guó)內(nèi)外對(duì)靜態(tài)手勢(shì)識(shí)別做了大量研究。通常一個(gè)完整的手勢(shì)跟蹤與識(shí)別系統(tǒng)，分為以下幾個(gè)部分： (1)手勢(shì)的檢測(cè)與跟蹤：手勢(shì)的檢測(cè)與跟蹤是手勢(shì)識(shí)別的基礎(chǔ)，其好壞將影響識(shí)別率的大小。計(jì)算機(jī)視覺(jué)作為一門(mén)新興的學(xué)科，正在受到越來(lái)越多的關(guān)注。 HMM 作為信號(hào)的一種統(tǒng)計(jì)模型，已經(jīng)在語(yǔ)音信號(hào)處理領(lǐng)域得到了廣泛應(yīng)用，近年來(lái)很多研究者也將 HMM 用于手語(yǔ)識(shí)別領(lǐng)域。實(shí)際問(wèn)題比馬爾可夫鏈所描述的更為復(fù)雜，觀(guān)察到的事件并不是與狀態(tài)一一對(duì)應(yīng)的，而是通過(guò)一組概率分布相聯(lián)系的。 2． 3． 4 隱馬爾可夫模型 (HMM) 在給定前一個(gè)狀態(tài)的情況下，隨機(jī)變量序列的下一個(gè)狀態(tài)的出現(xiàn)是條件獨(dú)立的。屬于同一類(lèi)別的各個(gè)模式之間的差異，有些是由環(huán)境噪聲和傳感器的因素引起的，有些是模式本身所具有的隨機(jī)性質(zhì)引起的。當(dāng)幾個(gè)類(lèi)別的樣本在特征空間的分布符合一定的拓?fù)浣Y(jié)構(gòu)，并且我們知道各個(gè)類(lèi)別的概率分布函數(shù)時(shí)，我們就可以利用統(tǒng)計(jì)分類(lèi)方法進(jìn)行模式識(shí)別。 由式 (23)知，雙向 Hausdorff 距離 H(A, B)是單向距離 h(A， B)和 h(B， A)兩者中的較大者，它度量了兩 個(gè)點(diǎn)集之間的最大不匹配程度。模板匹配的方法多用于靜態(tài)手勢(shì)識(shí)別中，如 Cui Yuntao通過(guò)計(jì)算 模板的相關(guān)系數(shù)來(lái)進(jìn)行預(yù)測(cè)匹配。 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分三層：輸入層、隱含層和輸出層。文獻(xiàn) 『 16]qb M． Yeasin采用了 TDNN(TimeDelay Neutral Network時(shí)延神經(jīng)網(wǎng)絡(luò) )的手勢(shì)識(shí)別技術(shù)。 神經(jīng)網(wǎng)絡(luò)是指利用工程技術(shù)手段模擬人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的一種技術(shù)，其目的是使 機(jī)器具有人腦那樣的感知、學(xué)習(xí)和推理功能。有人以包含 01 和 10變化的隨機(jī)模型作為模型化神經(jīng)系統(tǒng)的基礎(chǔ)。基于多目視覺(jué)的手勢(shì)識(shí)別是通過(guò)兩個(gè)或兩個(gè)以上的攝像機(jī)來(lái)采集圖像，建立的是立體模型。當(dāng)視頻序列一幀一幀變化時(shí)， Camshift 能夠自動(dòng)調(diào)節(jié)搜索窗的大小和位置，定位被跟蹤目標(biāo)的中心和大小，并且用當(dāng)前幀定位的結(jié)果來(lái)預(yù)測(cè)下一幀圖像中目標(biāo)的中心和大小，每幀圖像都這樣處理，就形成了連續(xù)的跟蹤。顏色分割與其他兩種方法相比，具有高效性和魯棒性等特點(diǎn)，得到了廣泛的應(yīng)用。通常用基于可變形模 板的人手模型來(lái)跟蹤人手。圖像差運(yùn)算非常簡(jiǎn)單，這是由于在圖像差運(yùn)算中僅僅涉及到了像素強(qiáng)度的相減。 2． 2 基于計(jì)算機(jī)視覺(jué)的手勢(shì)跟蹤理論 手勢(shì)分割與跟蹤是手勢(shì)識(shí)別的基礎(chǔ)，其好壞將影響識(shí)別率的大小。這就是特征提取和選擇的過(guò)程。 2．預(yù)處理 預(yù)處理的目的是去除噪聲，加強(qiáng)有用的信息，并對(duì)輸入測(cè)量?jī)x器或其他因素所造成的退化現(xiàn)象進(jìn)行復(fù)原?；诮y(tǒng)計(jì)方法的模式識(shí)別主要由 4個(gè)部分組成：數(shù)據(jù)獲取、預(yù)處理、特征提取和選擇、分類(lèi)決策，如圖 21 所示。 有兩種基本的模式識(shí)別方法，即統(tǒng)計(jì)模式識(shí)別方法和結(jié)構(gòu)模式識(shí)別方法。 通常，我們把通過(guò)對(duì)具體的個(gè)別事物進(jìn)行觀(guān)測(cè)所得到的具有時(shí)間和空間分布的信息稱(chēng)為模式，把各模式所屬的類(lèi)別稱(chēng)為模式類(lèi)。 2． 1 模式識(shí)別概述 模式識(shí)別誕生于 20世紀(jì) 20年代，隨著 40 年代計(jì)算機(jī)的出現(xiàn)， 50年代人工智能的興起，模式識(shí)別在 60年代初迅速發(fā)展成 f]學(xué)科 1131?；谝曈X(jué)的手勢(shì)跟蹤與識(shí)別流程圖見(jiàn)圖 11。山東大學(xué)的徐立群 等提出了一種基于顏色概率模型并融合運(yùn)動(dòng)信息進(jìn)行手勢(shì)跟蹤的新方法。例如文獻(xiàn) f81 中使用神經(jīng)網(wǎng)絡(luò)方法和 Hough 變換對(duì)中國(guó)手語(yǔ)中的 20 種手勢(shì)進(jìn)行識(shí)別。 Zhu[6]使用主成分分析方法創(chuàng)建統(tǒng)計(jì)結(jié)構(gòu)，從而識(shí)別活躍對(duì)象的形狀，即模型化系統(tǒng)和彈性對(duì)象的識(shí)別。 國(guó)外很早就開(kāi)始了對(duì)手勢(shì)識(shí)別的研究工作?；谝曈X(jué)的手勢(shì)識(shí)別是計(jì)算機(jī)通過(guò)對(duì)攝像頭拍攝的手勢(shì)圖像進(jìn)行分析 和處理提取出手的位置及形狀。如果有一套可以翻譯手語(yǔ)的系統(tǒng)，則將大大方便聾啞人與正常人之間的交流； (2)利用手勢(shì)對(duì)虛擬現(xiàn)實(shí)中 的智能設(shè)備進(jìn)行控制。手勢(shì)生動(dòng) 、形象、直觀(guān)，而且蘊(yùn)涵著豐富的信息，是人與人溝通的重要媒介。它把機(jī)器作為人機(jī)交互的中心，在人機(jī)交互時(shí)人需要去適應(yīng)機(jī)器的輸入輸出設(shè)備，對(duì)機(jī)器沒(méi)有主動(dòng)控制