【文章內(nèi)容簡介】 算具有消除細(xì)小物體，在纖細(xì)處分離物體和平滑較大物體邊界的作用。本文利用Otsu分割方法得到的圖像還存在噪聲，如圖34(a)所示，二值化后的手勢圖手指區(qū)域分割并不完全，這會導(dǎo)致后續(xù)特征值的計算產(chǎn)生一定的偏差從而影響最終的手勢識別結(jié)果，所以我們把分割得到的圖像先進(jìn)行膨脹運(yùn)算，如圖34(b)所示，去掉分割不理想導(dǎo)致的小的“孔洞”；再進(jìn)行腐蝕運(yùn)算得到圖像34(c)。圖34 手勢圖像形態(tài)學(xué)處理效果圖3．2手勢圖像特征提取圖像識別是根據(jù)圖像特征進(jìn)行的，顯然這些特征的選擇非常重要，它嚴(yán)重影響到圖像識別分類器的設(shè)計、特性及識別結(jié)果的準(zhǔn)確性。如果特征選擇錯誤，就不能準(zhǔn)確分類，甚至無法分類。所以特征選擇是圖像識別的一個關(guān)鍵問題。因為實際問題中很難找到那些最關(guān)鍵的特征，或者某些圖像的特征會隨著環(huán)境的變化而變化，這就使得特征的選擇和提取更加復(fù)雜化。如何從眾多特征中找出那些最有效最關(guān)鍵的特征是特征選擇和提取的基本任務(wù)。當(dāng)樣本數(shù)量不是很多時，需要用很多特征進(jìn)行分類器的設(shè)計，而從計算復(fù)雜度和分類器的性能來看都是不合適的。根據(jù)待識別圖像的特征，通過計算產(chǎn)生原始特征，稱為特征形成。原始特征的量很大，或者說圖像樣本是處在一個高維空間中，通過映射降低維數(shù)，用低維空間來表示樣本，即特征提取。而映射后得到的特征是原始特征的一種組合。特征提取在廣義上是指一種變換。從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的，叫特征的選擇。良好的特征應(yīng)具有可靠性、可區(qū)別性、數(shù)量少以及獨(dú)立性等特點(diǎn)。在描述圖像時，可以針對圖像的特點(diǎn)采取多種不同的描述方法。每一種描述方法都有其優(yōu)點(diǎn)、缺點(diǎn)，且不存在通用的方法或者最優(yōu)方法。4 手勢跟蹤算法研究視頻序列中運(yùn)動物體的跟蹤是計算機(jī)視覺中的一個重要研究課題。物體的跟蹤可以理解為確定其在視頻序列不同幀中相對位置的動態(tài)過程。視頻是由一系列時間上連續(xù)的圖像組成，它們具有邏輯上的相對次序關(guān)系。視頻序列提供了比單幀圖像更豐富的目標(biāo)信息，我們通過對其進(jìn)行分析能夠更好地研究運(yùn)動物體的跟蹤過程。4．1 Kalman跟蹤算法卡爾曼濾波是在分析已提取信號相關(guān)信息的基礎(chǔ)上通過特定算法估計出所需信號。其中已提取的信號是由白噪聲引起的隨機(jī)響應(yīng)，并且系統(tǒng)的狀態(tài)轉(zhuǎn)換方程和測量方程已知，其中狀態(tài)轉(zhuǎn)換方程描述的是激勵源與響應(yīng)之間的狀態(tài)傳遞結(jié)構(gòu)，而測量方程則表示量測量與被估計量之間的函數(shù)關(guān)系。在估計過程中，我們利用系統(tǒng)狀態(tài)方程、量測方程、白噪聲激勵的統(tǒng)計特性、測量誤差的統(tǒng)計特性這些已知信息來最終來估計出所需的信號。由于卡爾曼濾波是綜合時域內(nèi)的信息來設(shè)計整個濾波系統(tǒng)，且適用于多維的情況，因而卡爾曼濾波的應(yīng)用范圍主要在機(jī)器人控制、導(dǎo)航、傳感器數(shù)據(jù)融合等方面，近年來更被應(yīng)用于圖像處理特別在圖像分割、圖像邊緣檢測以及視頻序列中的人臉識別等方面。下面介紹卡爾曼濾波的基本原理：以下是卡爾曼濾波器核心的5個式子。 X(k|k1)=A X(k1|k1)+B U(k) (41) P(k|k1)=A P(k1|k1) A’+Q (42) X(k|k)= X(k|k1)+Kg(k) (Z(k)H X(k|k1)) (43)Kg(k)= P(k|k1) H’ / (H P(k|k1) H’ + R) (44)P(k|k)=（IKg(k) H）P(k|k1) (45)下面我們詳細(xì)介紹卡爾曼濾波的過程。首先，我們要引入一個離散控制過程的系統(tǒng)。該系統(tǒng)可用一個線性隨機(jī)微分方程來描述： X(k)=A X(k1)+B U(k)+W(k) (46)再加上系統(tǒng)的測量值： Z(k)=H X(k)+V(k) (47)上兩式子中，X(k)是k時刻的系統(tǒng)狀態(tài)，U(k)是k時刻對系統(tǒng)的控制量。A和B是系統(tǒng)參數(shù)，對于多模型系統(tǒng)，他們?yōu)榫仃?。Z(k)是k時刻的測量值，H是測量系統(tǒng)的參數(shù)，對于多測量系統(tǒng)，H為矩陣。W(k)和V(k)分別表示過程和測量的噪聲。他們被假設(shè)成高斯白噪聲(White Gaussian Noise)，他們的covariance分別是Q，R（這里我們假設(shè)他們不隨系統(tǒng)狀態(tài)變化而變化）。對于滿足上面的條件(線性隨機(jī)微分系統(tǒng)，過程和測量都是高斯白噪聲)，卡爾曼濾波器是最優(yōu)的信息處理器。下面我們來用他們結(jié)合他們的covariances來估算系統(tǒng)的最優(yōu)化輸出。首先我們要利用系統(tǒng)的過程模型，來預(yù)測下一狀態(tài)的系統(tǒng)。假設(shè)現(xiàn)在的系統(tǒng)狀態(tài)是k，根據(jù)系統(tǒng)的模型，可以基于系統(tǒng)的上一狀態(tài)而預(yù)測出現(xiàn)在狀態(tài)：X(k|k1)=A X(k1|k1)+B U(k) (48)式(1)中，X(k|k1)是利用上一狀態(tài)預(yù)測的結(jié)果，X(k1|k1)是上一狀態(tài)最優(yōu)的結(jié)果，U(k)為現(xiàn)在狀態(tài)的控制量，如果沒有控制量，它可以為0。到現(xiàn)在為止，我們的系統(tǒng)結(jié)果已經(jīng)更新了，可是，對應(yīng)于X(k|k1)的covariance還沒更新。我們用P表示covariance：P(k|k1)=A P(k1|k1) A’+Q (49)式(2)中，P(k|k1)是X(k|k1)對應(yīng)的covariance，P(k1|k1)是X(k1|k1)對應(yīng)的covariance，A’表示A的轉(zhuǎn)置矩陣，Q是系統(tǒng)過程的covariance。式子1，2就是卡爾曼濾波器5個公式當(dāng)中的前兩個，也就是對系統(tǒng)的預(yù)測。現(xiàn)在我們有了現(xiàn)在狀態(tài)的預(yù)測結(jié)果，然后我們再收集現(xiàn)在狀態(tài)的測量值。結(jié)合預(yù)測值和測量值，我們可以得到現(xiàn)在狀態(tài)(k)的最優(yōu)化估算值X(k|k)：X(k|k)= X(k|k1)+Kg(k) (Z(k)H X(k|k1)) (410)其中Kg為卡爾曼增益(Kalman Gain)：Kg(k)= P(k|k1) H’ / (H P(k|k1) H’ + R) (411)到現(xiàn)在為止，我們已經(jīng)得到了k狀態(tài)下最優(yōu)的估算值X(k|k)。但是為了要另卡爾曼濾波器不斷的運(yùn)行下去直到系統(tǒng)過程結(jié)束，我們還要更新k狀態(tài)下X(k|k)的covariance：P(k|k)=（IKg(k) H）P(k|k1) (412)其中I為1的矩陣，對于單模型單測量，I=1。當(dāng)系統(tǒng)進(jìn)入k+1狀態(tài)時，P(k|k)就是式子(2)的P(k1|k1)。這樣，算法就可以自回歸的運(yùn)算下去?？柭鼮V波器的原理基本描述了，式子1，2，3，4和5就是他的5個基本公式。根據(jù)這5個公式，可以很容易的實現(xiàn)計算機(jī)的程序。4．2 Camshift跟蹤算法Camshift(Continuously Adaptive Mean Shit)是連續(xù)的自適應(yīng)的Mean Shift算法，它是對Mean Shift算法的改進(jìn)與擴(kuò)展，可以處理跟蹤目標(biāo)動態(tài)變化的情況。當(dāng)視頻序列一幀一幀變化時，Camshift利用其自動調(diào)節(jié)搜索窗的大小和位置的功能，定位被跟蹤目標(biāo)的位置，并且用當(dāng)前已知定位的結(jié)果來預(yù)測下一幀中目標(biāo)的位置，這樣迭代的處理每幀圖像，就形成了動態(tài)的跟蹤。4．2．1顏色概率模型為了使用Camshift算法實現(xiàn)物體的跟蹤，我們選取目標(biāo)物體的顏色來作為跟蹤特征，需要通過顏色概率模型 (Color Probability Model．CPⅦ把每幀圖像轉(zhuǎn)化為顏色概率分布圖。由于本文是手勢跟蹤，因此這里的顏色就是膚色。計算機(jī)圖像處理中常用的色彩空間有RGB，YIQ，YUv，HSV，HSV等，由于膚色對HSV(色調(diào)、色飽和度、亮度)色彩空間的H分量很敏感，所以用H分量的直方圖建立膚色概率模型。HSV與RGB轉(zhuǎn)換的公式如下： （413） （414） （415）首先，要計算被跟蹤目標(biāo)的色彩直方圖。將RGB色彩空間轉(zhuǎn)化到HSV空間，獲得H分量，并計算它的1維直方圖。這里我們把H分量的數(shù)值量化到『O，255]。如圖41所示。圖41(a)是單色背景下的手勢圖像，圖(b)是H通道圖像，在圖(b)中，人手部和背景之間的輪廓很不清晰，我們采用形態(tài)學(xué)方法對m)圖像增強(qiáng)得到(c)圖像。對比(b)(c)圖可見，形態(tài)學(xué)處理后的目標(biāo)圖像得到了很好的增強(qiáng)。然后，根據(jù)獲得的色彩直方圖將原始圖像反向投影成色彩概率分布圖像，如圖(e)。在反向投影前，目標(biāo)圖像中的每一個象素的值描述的是在這一點(diǎn)的顏色信息，而投影后，圖像中每一個象素的值就變成了這個顏色信息出現(xiàn)在此處的可能性的一種離散化的度量。圖(d)是形態(tài)學(xué)處理后的H通道圖像直方圖。彩色概率分布的Open CV算法實現(xiàn)如下：(1)．首先通過攝像頭捕獲手勢圖像，將彩色空間轉(zhuǎn)化為HSV空間，并且得到其中的H分量：(2)．計算H分量的直方圖，即1維直方圖：圖41 反向投影的輸入輸出圖像在這罩需要考慮H分量的取值范圍的問題，H分量的取值范圍是fo，360)，這個取值范圍的值不能用一個bm來表不，為了能用個byte表示，需要將H值做適當(dāng)?shù)牧炕幚?，在這里我們將H分量的范圍量化到『0，2551。(3)根據(jù)獲得的色彩直方圖將原始圖像轉(zhuǎn)化成色彩概率分布圖像，這個過程就被稱作”BackProjection”。計算BackProject，result即為所要的結(jié)果(二維彩色概率分布圖)。5 基于計算機(jī)視覺的手勢跟蹤與識別算法實驗5．1系統(tǒng)的軟硬件環(huán)境及功能1．系統(tǒng)環(huán)境(1)．軟件環(huán)境：操作系統(tǒng)Windows XP編程環(huán)境使用MicrosoftVisual C++6．0開發(fā)，同時借助OpenCVt561T腓。 (2)．硬件環(huán)境：CPU Pentium(R)D主頻2．80G內(nèi)存512M攝像頭多彩BV39攝像頭其中BV39型攝像頭技術(shù)規(guī)格如下Sensor型式：新一代高速CMOS傳感器分辨率：真640*480(無差值)接口：USBl．1熱插拔速度：320豐240 15．35fps；640幸480 5．15fps信噪比：優(yōu)于48dB動態(tài)范圍：優(yōu)于72dB視角：45—60度成像距離：3cm．無限遠(yuǎn)(常規(guī))，3cm(微距)支持格式：VFW，DirectShow2．系統(tǒng)功能本文主要研究基于計算機(jī)視覺的手勢跟蹤與識別。首先從輸入的視頻流中捕獲手勢圖像，對圖像進(jìn)行預(yù)處理和特征提取，得到理想的手勢分割效果，并選用矩特征組作為手勢圖像的特征向量。手勢跟蹤是手勢識別的基礎(chǔ)，它的好壞直接影響識別率的大小。本文采用CamShift算法對手勢實時跟蹤，在單色背景下取得了良好的跟蹤效果。接下來我們對自定義的10個數(shù)字手勢的識別進(jìn)行了仿真實驗，以驗證將基于Flu矩特征和“一對多’’徑向基核函數(shù)SVM相結(jié)合的算法應(yīng)用到手勢識別的可行性。最后，本文基于VC++6．0平臺開發(fā)了一個簡單的手勢交互系統(tǒng)—咄rd數(shù)字錄入系統(tǒng)，將手勢識別用于人機(jī)交互，實現(xiàn)了對Word軟件的 操作?；谟嬎銠C(jī)視覺的手勢跟蹤與識別流程圖如圖51所示。圖51 基于計算機(jī)視覺的手勢跟蹤與識別系統(tǒng)流程圖5．2手勢圖像預(yù)處理及特征提取實驗結(jié)果5．2．1手勢圖像獲取及手勢樣本庫的建立以下是基于OpenCV接口函數(shù)讀取視頻的主要代碼。建立一個良好的樣本庫對于統(tǒng)計識別是非常重要的。對攝像頭獲取的手勢圖像進(jìn)行分割得到的黑白手勢圖像組成樣本庫。具體來說，首先進(jìn)行樣本的采集。本文在采集手勢樣本時限制拍攝背景為單色背景，但允許光照強(qiáng)度發(fā)生變化，將拍攝的手勢圖片統(tǒng)一歸一化為200X240像素大小。然后逐個樣本檢查，去掉不理想的樣本，比如采集樣本時候手僅有部分在攝像頭視野內(nèi)，或者分割不理想的情況。為方便后續(xù)對樣本進(jìn)行特征提取，把選中的合格樣本按一定規(guī)律批量命名后保存到相應(yīng)文件夾。本文對09的10個數(shù)字手勢進(jìn)行識別，如圖553所示，其中圖5—2是從攝像頭采集的RGB彩色圖像，圖53是對應(yīng)的分割圖片，也就是要保存的手勢樣本。圖52 2采集的數(shù)字手勢RGB圖像圖53 分割得到的數(shù)字手勢示意圖5．2 .2手勢圖像的預(yù)處理本文將手勢圖像從RGB空間變換到Y(jié)CbCr空間(色彩窄間轉(zhuǎn)換的效果圖請參見圖3—2)，利用YCbCr色彩空間亮度和色度分離的特性，在一定程度上克服了光照的干擾，然后用最大類間方差法otsu)；對Cb和cr通道的圖像進(jìn)行二值化處理。實驗結(jié)果表明，與Y通道相比，cb和Cr色差通道具有更好的分割效果。(手勢圖像的Y通道、cb通道和cr通道二值化效果圖請參見圈33)。最大類問方差法的具體流程如下：(1)計算歸一化直方圖h(i)；(2)計算灰度均值(3)計算直方圖零階累積矩和一階累積矩用Otsu算法對圖像做二值化處理的主要代碼如下所示：但是用Otsu法得到的手勢分割圖像還存在一定的噪聲，所以考慮運(yùn)用形態(tài)學(xué)的開運(yùn)算，先膨脹后腐蝕，從而得到較理想的分割效果(手勢圖像的形態(tài)學(xué)處理效果請參見圖3．4)。為了對手的區(qū)域進(jìn)行更好的特征提取，文中使用灰度投影法來獲取準(zhǔn)確的手勢區(qū)域。具體方式是對經(jīng)過預(yù)處理的二值圖像，分別在垂直方向和水平方向采用灰度投影法，從而得到手勢在X方向和Y方向的坐標(biāo)范圍(姐一x2)，(y1一y2)。如圖54所示，(a)是從實時視頻中截取的手的RGB圖像，(b)為(a)對應(yīng)的二值化圖像，(c)為通過灰度投影確定的準(zhǔn)確的手區(qū)域。圖54 采用灰度授彩法荻取手所在準(zhǔn)確的手區(qū)域5．2手勢跟蹤實驗結(jié)果及分析1手勢跟蹤系統(tǒng)流程圖55 Camshift算法流程圖2手勢跟蹤實驗圖56 手勢跟蹤結(jié)果我們將CamShift算法用于手勢的實時跟蹤，本實驗是在Vc++和OpenCV的環(huán)境下，利用USB接u的攝像頭采集圖像，實驗結(jié)果見圖68，圖中橢圓內(nèi)部是待跟蹤的手勢。用Camshift算法對具有特定顏色的甘標(biāo)進(jìn)行跟蹤，無需計算每幀圖像一k所有像素點(diǎn)的顏色概率分布，只需求出比當(dāng)dU搜索窗大一砦的區(qū)域內(nèi)的所有像素點(diǎn)的顏色概率分布，這樣就