【正文】 01.// 用戶輕觸觸摸屏，由 1個(gè) MotionEvent ACTION_DOWN觸發(fā) 02. Override 03. public boolean onDown(MotionEvent e) { 04. // TODO Autogenerated met。 5. } 接下來(lái)，我們實(shí)現(xiàn)了以下 6個(gè)抽象方法，其中最有用的當(dāng)然是 onFling()、 onScroll()和onLongPress()了。 class GestureTest extends Activity implements OnTouchListener, 2. OnGestureListener { 3.... 4.} 隨后，在 onTouch()方法中，我們調(diào)用 GestureDetector的 onTouchEvent()方法，將捕捉到的 MotionEvent交給 GestureDetector 來(lái)分析是否有合適的 callback函數(shù)來(lái)處理用戶的手勢(shì)。待機(jī)可以看看 MotionEvent類的文檔，另外也可以看考TouchPaint例子。 ACTION_DOWN是指按下觸摸屏，ACTION_MOVE是指按下觸摸屏后移動(dòng)受力點(diǎn)， ACTION_UP則是指松 開觸摸屏， ACTION_CANCEL不會(huì)由用戶直接觸發(fā)（所以不在今天的討論 范圍，請(qǐng)參考(MotionEvent)）。 onTouch方法則是實(shí)現(xiàn)了OnTouchListener中的抽象方法，我們只要在這里添加邏輯代碼即 可在用戶觸摸屏幕時(shí)做 出響應(yīng)，就像我們這里所做的 —— 打出一個(gè)提示信息。 19. return false。 12. // show some text 13. ()。 07. 08. // init TextView 09. TextView tv = (TextView) findViewById()。 class GestureTest extends Activity implements OnTouchListener{ 02. 03. Override 04. protected void onCreate(Bundle savedInstanceState) { 05. (savedInstanceState)。這樣，當(dāng)我們給某個(gè) view設(shè) 置了事件 Listener，并實(shí)現(xiàn)了其中的抽象方法以后，程序便可以在特定的事件被 dispatch到該 view的時(shí)候，通過(guò) callbakc函數(shù)給予適 當(dāng)?shù)捻憫?yīng)。其次，所有 View的子類都可以通過(guò) setOnTouchListener()、 setOnKeyListener()等方法來(lái)添加對(duì)某一類事件的監(jiān)聽器?；谟?jì)算機(jī)視覺(jué)的手勢(shì)研究有著重要的理論價(jià)值和應(yīng)用前景，因此我們相信手勢(shì)識(shí)別的研究將會(huì)得到更多的關(guān)注和發(fā)展。 本文的研究還有需要改進(jìn)和進(jìn)一步深入的地方。 5．最后，本文基于 VC++6． 0平臺(tái)開發(fā)了一個(gè)簡(jiǎn)單的 Word數(shù)字錄入系統(tǒng)，將手勢(shì)識(shí)別應(yīng)用于人機(jī)交互中，實(shí)現(xiàn)了從攝像頭輸入手勢(shì)對(duì) Word文檔的操作。同時(shí)針對(duì)同一手勢(shì)樣本屬于多個(gè)類的錯(cuò)分情況，本文提出將基于后驗(yàn)概率的 SVM多分類算法用于手勢(shì)識(shí)別，以概率作為手勢(shì)分類的輸出，在一定程度上減少了誤判發(fā)生，最終測(cè)試樣本集的識(shí)別率達(dá)到98． 9％。 2．在手勢(shì)圖像特征提取階段，根據(jù)識(shí)別對(duì)象是手勢(shì)這一特點(diǎn)，提取幾何矩作為待識(shí)別手勢(shì)的特征并進(jìn)行算法有效性的驗(yàn)證，實(shí)驗(yàn)結(jié)果表明矩特征的旋轉(zhuǎn)、平移、尺 度不變性較好的解決了手勢(shì)采集時(shí)產(chǎn)生的旋轉(zhuǎn)、尺度等不確定性問(wèn)題。由于基于視覺(jué)的手勢(shì)識(shí)別是利用攝像機(jī)采集手勢(shì)信息，無(wú)需購(gòu)買昂貴的設(shè)備，再者它在操作時(shí)更加自然、方便，符合以人為本和自由性的要求，因此對(duì)這一問(wèn)題的研究有著重要的理論價(jià)值和應(yīng)用前景。該手勢(shì)交互系統(tǒng)的功能如下： 打開 Word文件的功能：首先利用跟蹤模塊得到的相對(duì)位置信息來(lái)模擬鼠標(biāo)移動(dòng)事件，讓鼠標(biāo)移動(dòng)到桌面的 Word快捷方式，然后利用數(shù)字手勢(shì) 5的識(shí)別結(jié)果模擬鼠標(biāo)雙擊事件來(lái)打開 Wbrd文件，如圖 59(a)所示； 保存文件和關(guān)閉文件的功能：在完成數(shù)字錄入以后，使用手勢(shì) 0 來(lái)關(guān)閉 Word文件。 表 52 數(shù)字手勢(shì)與它所代表的人機(jī)交互功能的對(duì)照表 如圖 58所示，是 Word數(shù)字錄入系統(tǒng)的交互界面。而定義數(shù)字手勢(shì) O始終是關(guān)閉 Word 文件的手勢(shì)，所以本系統(tǒng)不能輸入數(shù)字 O。mard(EXE)I程，通過(guò)在 VIEW菜單選 Class Wizard，在 Automation選項(xiàng)中選 Add Class，然后選擇 From aType Library，添加 Microsoft Of： fice／ officell文件夾下的 MSWORD． OLB后即完成設(shè)置。 圖 57 手勢(shì)識(shí)別系統(tǒng)流程圖 手勢(shì)跟蹤與識(shí)別在人機(jī)交互中的應(yīng)用 為了驗(yàn)證論文中的手勢(shì)跟蹤、識(shí)別算法，本文基于 VC++6． 0平臺(tái)編寫了一個(gè)簡(jiǎn)單的 Word數(shù)字錄入程序，將手勢(shì)識(shí)別應(yīng)用于人機(jī)交互中，實(shí)現(xiàn)了從攝像頭輸入手勢(shì)對(duì) Word文件的操作。接下來(lái)用支持向量機(jī)算法對(duì)手勢(shì)圖像進(jìn)行分類識(shí)別，對(duì)幾種常見(jiàn)的支持向量機(jī)多值分類算法、基于后驗(yàn)概率的多分類算法以及幾種傳統(tǒng)的分類方法應(yīng)用于手勢(shì)識(shí)別的結(jié)果做了對(duì)比。實(shí)驗(yàn)結(jié)果表明， CamShift跟蹤算法對(duì)系統(tǒng)資源要求不高，實(shí)時(shí)性較好，在實(shí)際的交 互 場(chǎng)景中表現(xiàn)了較強(qiáng)的魯棒性。 圖 54 采用灰度授彩法荻取手所在準(zhǔn)確的手區(qū)域 5． 2 手勢(shì)跟蹤實(shí)驗(yàn)結(jié)果及分析 1手勢(shì)跟蹤系統(tǒng)流程 圖 55 Camshift算法流程圖 2手勢(shì)跟蹤實(shí)驗(yàn) 圖 56 手勢(shì)跟蹤結(jié)果 我們將 CamShift 算法用于手勢(shì)的實(shí)時(shí)跟蹤，本實(shí)驗(yàn)是在 Vc++和 OpenCV的環(huán)境下，利用 USB 接 u 的攝像頭采集圖像，實(shí)驗(yàn)結(jié)果見(jiàn)圖 68，圖中橢圓內(nèi)部是待跟蹤的手勢(shì)。具體方式是對(duì)經(jīng)過(guò)預(yù) 處理的二值圖像，分別在垂直方向和水平方向采用灰度投影法，從而得到手勢(shì)在 X 方向和 Y 方向的坐標(biāo)范圍 (姐一 x2)， (y1 一 y2)。0,1,...255k )()( k 0i0 ???? ?? ??ki ihkw 用 Otsu算法對(duì)圖像做二值化處理的主要代碼如下所示： 但是用 Otsu法得到的手勢(shì)分割圖像還存在一定的噪聲，所以考慮運(yùn)用形態(tài)學(xué)的開運(yùn)算，先膨脹后腐蝕，從而得到較理想的分割效果 (手勢(shì)圖像的形態(tài)學(xué)處理效果請(qǐng)參見(jiàn)圖 3． 4)。(*iT ihiu (3)計(jì)算直方圖零階累積矩 )(kw 和一階累積矩 )(ku 。 (手勢(shì)圖像的 Y通道、 cb通道和 cr通道二值化效果圖請(qǐng)參見(jiàn)圈 33)。 圖 52 2采集的 數(shù)字手勢(shì) RGB圖 像 圖 53 分割得到的數(shù)字手 勢(shì)示意圖 5． 2 .2 手勢(shì)圖像的預(yù)處理 本文將手勢(shì)圖像從 RGB空間變換到 YCbCr空間 (色彩窄間轉(zhuǎn)換的效果圖請(qǐng)參見(jiàn)圖 3— 2)，利用 YCbCr色彩空間亮度和色度分離的特性，在一定程度上克服了光照的干擾，然后用最大類間方差法 otsu)； 對(duì) Cb和 cr通道的圖像進(jìn)行二值化處理。為方便后續(xù)對(duì)樣本進(jìn)行特征提取，把選中的合格樣本按一定規(guī)律批量命名后保存到相應(yīng)文件夾。本文在采集手勢(shì)樣本時(shí)限 制拍攝背景為單色背景，但允許光照強(qiáng)度發(fā)生變化，將拍攝的手勢(shì)圖片統(tǒng)一歸一化為200X240像素大小。對(duì)攝像頭獲取的手勢(shì)圖像進(jìn)行分割得到的黑白手勢(shì)圖像組成樣本庫(kù)。 圖 51 基于計(jì)算機(jī)視覺(jué)的手勢(shì)跟蹤與識(shí)別系統(tǒng)流程圖 5． 2 手勢(shì)圖像預(yù)處理及特征提取實(shí)驗(yàn)結(jié)果 5． 2． 1 手勢(shì)圖像獲取及手勢(shì)樣本庫(kù)的建立 以下是基于 OpenCV接口函數(shù)讀取視頻的主要代碼。最后，本文基于 VC++6． 0平 臺(tái)開發(fā)了一個(gè)簡(jiǎn)單的手勢(shì)交互系統(tǒng) — 咄 rd數(shù)字錄入系統(tǒng)，將手勢(shì)識(shí)別用于人機(jī)交互，實(shí)現(xiàn)了對(duì) Word軟件的 操作。本文采用CamShift 算法對(duì)手勢(shì)實(shí)時(shí)跟蹤，在單色背景下取得了良好的跟蹤效果。首先從輸入的視頻流中捕獲手勢(shì)圖像，對(duì)圖像進(jìn)行預(yù)處理和特征提取，得到理想的手勢(shì)分割效果，并選用矩特征組作為手勢(shì)圖像的特征向量。成像距離： 3cm．無(wú)限遠(yuǎn) (常規(guī) )， 3cm(微距 ) 動(dòng)態(tài)范圍：優(yōu)于 72dB 速度： 320豐 240 15． 35fps； 640幸 480 5． 15fps 分辨率：真 640*480(無(wú)差值 ) (2)．硬件環(huán)境： CPU Pentium(R)D主頻 2． 80G 內(nèi)存 512M 攝像頭多彩 BV39攝像頭 其中 BV39型攝像頭技術(shù)規(guī)格如下 計(jì)算 BackProject， result即為所要的結(jié)果 (二 維彩色概率分布圖 )。 彩色概率分布的 Open CV算法實(shí)現(xiàn)如下： (1)．首先通過(guò)攝像頭捕獲手勢(shì)圖像，將彩色空間轉(zhuǎn)化為 HSV空間，并且得到其中的 H分量： (2)．計(jì)算 H分量的直方圖，即 1維直方圖： 圖 41 反向投影的輸入輸出圖像 在這罩需要考慮 H分量的取值范圍的問(wèn)題， H分量的取值范圍是 fo， 360)，這個(gè)取值范圍的值不能用一 個(gè) bm來(lái)表不，為了能用個(gè) byte表示，需要將 H值做適當(dāng)?shù)牧炕幚?，在這里我們將 H分量的范圍量化到『 0， 2551。在反向 投影前，目標(biāo)圖像中的每一個(gè)象素的值描述的是在這一點(diǎn)的顏色信息，而投影后，圖像中每一個(gè)象素的值就變成了這個(gè)顏色信息出現(xiàn)在此處的可能性的一種離散化的度量。對(duì)比 (b)(c)圖可見(jiàn)，形態(tài)學(xué)處理后的目標(biāo)圖像得到了很好的增強(qiáng)。如圖 41所示。將 RGB色彩空間轉(zhuǎn)化到 HSV空間，獲得 H分量，并計(jì)算它的 1維直方圖。計(jì)算機(jī)圖像處理中常用的色彩空間有RGB， YIQ， YUv， HSV， HSV等，由于膚色對(duì) HSV(色調(diào)、色飽和度、亮度 )色彩空間的 H分量很敏感，所以用 H分量的直方圖建立膚色概率模型。 4． 2． 1 顏色概率模型 為了使用 Camshift算法實(shí)現(xiàn)物體的跟蹤，我們選取目標(biāo)物體的顏色來(lái)作為跟蹤特征，需要通過(guò)顏色概率模型 (Color Probability Model． CPⅦ把每幀圖像轉(zhuǎn)化為顏色概率分布圖。 4． 2 Camshift 跟蹤算法 Camshift(Continuously Adaptive Mean Shit)是連續(xù)的自適應(yīng)的 Mean Shift算法，它是對(duì) Mean Shift算法的改進(jìn)與擴(kuò)展，可以處理跟蹤 目標(biāo)動(dòng)態(tài)變化的情況。 卡爾曼濾波器的原理基本描述了，式子 1， 2， 3， 4和 5就是他的 5個(gè)基本公式。當(dāng)系統(tǒng)進(jìn)入 k+1狀態(tài)時(shí)， P(k|k)就是式子 (2)的 P(k1|k1)。結(jié)合預(yù)測(cè)值和測(cè)量值，我們可以得到現(xiàn)在狀態(tài) (k)的最優(yōu)化估算值 X(k|k)： X(k|k)= X(k|k1)+Kg(k) (Z(k)H X(k|k1)) (410) 其中 Kg為卡爾曼增益 (Kalman Gain)： Kg(k)= P(k|k1) H’ / (H P(k|k 1) H’ + R) (411) 到現(xiàn)在為止，我們已經(jīng)得到了 k狀態(tài)下最優(yōu)的估算值 X(k|k)。式子 1， 2就是卡爾曼濾波器 5個(gè)公式當(dāng)中的前兩個(gè)，也就是對(duì)系統(tǒng)的預(yù)測(cè)。 到現(xiàn)在為止，我們的系統(tǒng)結(jié)果已經(jīng)更新了，可是，對(duì)應(yīng)于 X(k|k1)的 covariance還沒(méi)更新。 首先我們要利用系統(tǒng)的 過(guò)程模型 ，來(lái)預(yù)測(cè)下一狀態(tài)的系統(tǒng)。 對(duì)于滿足上面的條件 (線性隨機(jī)微分系統(tǒng)，過(guò)程和測(cè)量都是高斯白噪聲 )，卡爾曼濾波器是最優(yōu)的信息處理器。 W(k)和 V(k)分別表示過(guò)程和測(cè)量的噪聲。 A和 B是系統(tǒng)參數(shù)，對(duì)于多模型 系統(tǒng)，他們?yōu)榫仃嚒? 首先，我們要引入一個(gè)離散控制過(guò)程的系統(tǒng)。下面介紹卡爾曼濾波的基本原理： 以下是 卡爾曼濾波器 核心的 5個(gè)式子。在估計(jì)過(guò)程中，我們利用系統(tǒng)狀態(tài)方程、量測(cè)方程、白噪聲激勵(lì)的統(tǒng)計(jì)特性、測(cè)量誤差的統(tǒng)計(jì)特性這些已知信 息來(lái)最終來(lái)估計(jì)出所需的信號(hào)。 4． 1 Kalman 跟蹤算法 卡爾曼濾波是在分析已提取信號(hào)相關(guān)信息的基礎(chǔ)上通過(guò)特定算法估計(jì)出所需信號(hào)。視頻是由一系列時(shí)間上連續(xù)的圖像組成 ，它們具有邏輯上的相對(duì)次序關(guān)系。 4 手勢(shì)跟蹤算法研究 視頻序列中運(yùn)動(dòng)物體的跟蹤是計(jì)算機(jī)視覺(jué)中的一個(gè)重要研究課題。在描述圖像時(shí)，可以針對(duì)圖像的特點(diǎn)采取多種不同的描述方法。從一組特征中挑 選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的，叫特征的選擇 。而映射后得到的特征是原始特征的一種組合。根據(jù)待識(shí)別圖像的特征，通過(guò)計(jì)算產(chǎn)生原始特征，稱為特征形成。 如何從眾多特征中找出那些最有效最關(guān)鍵的特征是特征選擇和提取的基本任務(wù)。所以特征選擇是圖像識(shí)別的一個(gè)關(guān)鍵問(wèn)題。 圖 34 手勢(shì)圖像形態(tài)學(xué)處理效果圖 3． 2 手勢(shì)圖像特征提取 圖像識(shí)別是根據(jù)圖像特征進(jìn)行的，顯然這些特征的選擇非常重要，它嚴(yán)重影響到圖像識(shí)別分類器的設(shè)計(jì)、特性及識(shí)別結(jié)果的準(zhǔn)確性。開運(yùn)算具有消除細(xì)小物體，在纖細(xì)處分離物體和平滑較大物體邊界的作用。 S，定義： B。閉運(yùn)算能夠填充物體內(nèi)細(xì)小空洞，連接鄰近物體以及平滑邊界。 S，定義： B針對(duì)二值圖像上的每一個(gè)像素點(diǎn)，如果結(jié)