【文章內(nèi)容簡(jiǎn)介】 算具有消除細(xì)小物體，在纖細(xì)處分離物體和平滑較大物體邊界的作用。本文利用Otsu分割方法得到的圖像還存在噪聲，如圖34(a)所示，二值化后的手勢(shì)圖手指區(qū)域分割并不完全，這會(huì)導(dǎo)致后續(xù)特征值的計(jì)算產(chǎn)生一定的偏差從而影響最終的手勢(shì)識(shí)別結(jié)果，所以我們把分割得到的圖像先進(jìn)行膨脹運(yùn)算，如圖34(b)所示，去掉分割不理想導(dǎo)致的小的“孔洞”；再進(jìn)行腐蝕運(yùn)算得到圖像34(c)。圖34 手勢(shì)圖像形態(tài)學(xué)處理效果圖3．2手勢(shì)圖像特征提取圖像識(shí)別是根據(jù)圖像特征進(jìn)行的，顯然這些特征的選擇非常重要，它嚴(yán)重影響到圖像識(shí)別分類器的設(shè)計(jì)、特性及識(shí)別結(jié)果的準(zhǔn)確性。如果特征選擇錯(cuò)誤，就不能準(zhǔn)確分類，甚至無(wú)法分類。所以特征選擇是圖像識(shí)別的一個(gè)關(guān)鍵問(wèn)題。因?yàn)閷?shí)際問(wèn)題中很難找到那些最關(guān)鍵的特征，或者某些圖像的特征會(huì)隨著環(huán)境的變化而變化，這就使得特征的選擇和提取更加復(fù)雜化。如何從眾多特征中找出那些最有效最關(guān)鍵的特征是特征選擇和提取的基本任務(wù)。當(dāng)樣本數(shù)量不是很多時(shí)，需要用很多特征進(jìn)行分類器的設(shè)計(jì)，而從計(jì)算復(fù)雜度和分類器的性能來(lái)看都是不合適的。根據(jù)待識(shí)別圖像的特征，通過(guò)計(jì)算產(chǎn)生原始特征，稱為特征形成。原始特征的量很大，或者說(shuō)圖像樣本是處在一個(gè)高維空間中，通過(guò)映射降低維數(shù)，用低維空間來(lái)表示樣本，即特征提取。而映射后得到的特征是原始特征的一種組合。特征提取在廣義上是指一種變換。從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的，叫特征的選擇。良好的特征應(yīng)具有可靠性、可區(qū)別性、數(shù)量少以及獨(dú)立性等特點(diǎn)。在描述圖像時(shí)，可以針對(duì)圖像的特點(diǎn)采取多種不同的描述方法。每一種描述方法都有其優(yōu)點(diǎn)、缺點(diǎn)，且不存在通用的方法或者最優(yōu)方法。4 手勢(shì)跟蹤算法研究視頻序列中運(yùn)動(dòng)物體的跟蹤是計(jì)算機(jī)視覺(jué)中的一個(gè)重要研究課題。物體的跟蹤可以理解為確定其在視頻序列不同幀中相對(duì)位置的動(dòng)態(tài)過(guò)程。視頻是由一系列時(shí)間上連續(xù)的圖像組成，它們具有邏輯上的相對(duì)次序關(guān)系。視頻序列提供了比單幀圖像更豐富的目標(biāo)信息，我們通過(guò)對(duì)其進(jìn)行分析能夠更好地研究運(yùn)動(dòng)物體的跟蹤過(guò)程。4．1 Kalman跟蹤算法卡爾曼濾波是在分析已提取信號(hào)相關(guān)信息的基礎(chǔ)上通過(guò)特定算法估計(jì)出所需信號(hào)。其中已提取的信號(hào)是由白噪聲引起的隨機(jī)響應(yīng)，并且系統(tǒng)的狀態(tài)轉(zhuǎn)換方程和測(cè)量方程已知，其中狀態(tài)轉(zhuǎn)換方程描述的是激勵(lì)源與響應(yīng)之間的狀態(tài)傳遞結(jié)構(gòu)，而測(cè)量方程則表示量測(cè)量與被估計(jì)量之間的函數(shù)關(guān)系。在估計(jì)過(guò)程中，我們利用系統(tǒng)狀態(tài)方程、量測(cè)方程、白噪聲激勵(lì)的統(tǒng)計(jì)特性、測(cè)量誤差的統(tǒng)計(jì)特性這些已知信息來(lái)最終來(lái)估計(jì)出所需的信號(hào)。由于卡爾曼濾波是綜合時(shí)域內(nèi)的信息來(lái)設(shè)計(jì)整個(gè)濾波系統(tǒng)，且適用于多維的情況，因而卡爾曼濾波的應(yīng)用范圍主要在機(jī)器人控制、導(dǎo)航、傳感器數(shù)據(jù)融合等方面，近年來(lái)更被應(yīng)用于圖像處理特別在圖像分割、圖像邊緣檢測(cè)以及視頻序列中的人臉識(shí)別等方面。下面介紹卡爾曼濾波的基本原理：以下是卡爾曼濾波器核心的5個(gè)式子。 X(k|k1)=A X(k1|k1)+B U(k) (41) P(k|k1)=A P(k1|k1) A’+Q (42) X(k|k)= X(k|k1)+Kg(k) (Z(k)H X(k|k1)) (43)Kg(k)= P(k|k1) H’ / (H P(k|k1) H’ + R) (44)P(k|k)=（IKg(k) H）P(k|k1) (45)下面我們?cè)敿?xì)介紹卡爾曼濾波的過(guò)程。首先，我們要引入一個(gè)離散控制過(guò)程的系統(tǒng)。該系統(tǒng)可用一個(gè)線性隨機(jī)微分方程來(lái)描述： X(k)=A X(k1)+B U(k)+W(k) (46)再加上系統(tǒng)的測(cè)量值： Z(k)=H X(k)+V(k) (47)上兩式子中，X(k)是k時(shí)刻的系統(tǒng)狀態(tài)，U(k)是k時(shí)刻對(duì)系統(tǒng)的控制量。A和B是系統(tǒng)參數(shù)，對(duì)于多模型系統(tǒng)，他們?yōu)榫仃?。Z(k)是k時(shí)刻的測(cè)量值，H是測(cè)量系統(tǒng)的參數(shù)，對(duì)于多測(cè)量系統(tǒng)，H為矩陣。W(k)和V(k)分別表示過(guò)程和測(cè)量的噪聲。他們被假設(shè)成高斯白噪聲(White Gaussian Noise)，他們的covariance分別是Q，R（這里我們假設(shè)他們不隨系統(tǒng)狀態(tài)變化而變化）。對(duì)于滿足上面的條件(線性隨機(jī)微分系統(tǒng)，過(guò)程和測(cè)量都是高斯白噪聲)，卡爾曼濾波器是最優(yōu)的信息處理器。下面我們來(lái)用他們結(jié)合他們的covariances來(lái)估算系統(tǒng)的最優(yōu)化輸出。首先我們要利用系統(tǒng)的過(guò)程模型，來(lái)預(yù)測(cè)下一狀態(tài)的系統(tǒng)。假設(shè)現(xiàn)在的系統(tǒng)狀態(tài)是k，根據(jù)系統(tǒng)的模型，可以基于系統(tǒng)的上一狀態(tài)而預(yù)測(cè)出現(xiàn)在狀態(tài)：X(k|k1)=A X(k1|k1)+B U(k) (48)式(1)中，X(k|k1)是利用上一狀態(tài)預(yù)測(cè)的結(jié)果，X(k1|k1)是上一狀態(tài)最優(yōu)的結(jié)果，U(k)為現(xiàn)在狀態(tài)的控制量，如果沒(méi)有控制量，它可以為0。到現(xiàn)在為止，我們的系統(tǒng)結(jié)果已經(jīng)更新了，可是，對(duì)應(yīng)于X(k|k1)的covariance還沒(méi)更新。我們用P表示covariance：P(k|k1)=A P(k1|k1) A’+Q (49)式(2)中，P(k|k1)是X(k|k1)對(duì)應(yīng)的covariance，P(k1|k1)是X(k1|k1)對(duì)應(yīng)的covariance，A’表示A的轉(zhuǎn)置矩陣，Q是系統(tǒng)過(guò)程的covariance。式子1，2就是卡爾曼濾波器5個(gè)公式當(dāng)中的前兩個(gè)，也就是對(duì)系統(tǒng)的預(yù)測(cè)?，F(xiàn)在我們有了現(xiàn)在狀態(tài)的預(yù)測(cè)結(jié)果，然后我們?cè)偈占F(xiàn)在狀態(tài)的測(cè)量值。結(jié)合預(yù)測(cè)值和測(cè)量值，我們可以得到現(xiàn)在狀態(tài)(k)的最優(yōu)化估算值X(k|k)：X(k|k)= X(k|k1)+Kg(k) (Z(k)H X(k|k1)) (410)其中Kg為卡爾曼增益(Kalman Gain)：Kg(k)= P(k|k1) H’ / (H P(k|k1) H’ + R) (411)到現(xiàn)在為止，我們已經(jīng)得到了k狀態(tài)下最優(yōu)的估算值X(k|k)。但是為了要另卡爾曼濾波器不斷的運(yùn)行下去直到系統(tǒng)過(guò)程結(jié)束，我們還要更新k狀態(tài)下X(k|k)的covariance：P(k|k)=（IKg(k) H）P(k|k1) (412)其中I為1的矩陣，對(duì)于單模型單測(cè)量，I=1。當(dāng)系統(tǒng)進(jìn)入k+1狀態(tài)時(shí)，P(k|k)就是式子(2)的P(k1|k1)。這樣，算法就可以自回歸的運(yùn)算下去?？柭鼮V波器的原理基本描述了，式子1，2，3，4和5就是他的5個(gè)基本公式。根據(jù)這5個(gè)公式，可以很容易的實(shí)現(xiàn)計(jì)算機(jī)的程序。4．2 Camshift跟蹤算法Camshift(Continuously Adaptive Mean Shit)是連續(xù)的自適應(yīng)的Mean Shift算法，它是對(duì)Mean Shift算法的改進(jìn)與擴(kuò)展，可以處理跟蹤目標(biāo)動(dòng)態(tài)變化的情況。當(dāng)視頻序列一幀一幀變化時(shí)，Camshift利用其自動(dòng)調(diào)節(jié)搜索窗的大小和位置的功能，定位被跟蹤目標(biāo)的位置，并且用當(dāng)前已知定位的結(jié)果來(lái)預(yù)測(cè)下一幀中目標(biāo)的位置，這樣迭代的處理每幀圖像，就形成了動(dòng)態(tài)的跟蹤。4．2．1顏色概率模型為了使用Camshift算法實(shí)現(xiàn)物體的跟蹤，我們選取目標(biāo)物體的顏色來(lái)作為跟蹤特征，需要通過(guò)顏色概率模型 (Color Probability Model．CPⅦ把每幀圖像轉(zhuǎn)化為顏色概率分布圖。由于本文是手勢(shì)跟蹤，因此這里的顏色就是膚色。計(jì)算機(jī)圖像處理中常用的色彩空間有RGB，YIQ，YUv，HSV，HSV等，由于膚色對(duì)HSV(色調(diào)、色飽和度、亮度)色彩空間的H分量很敏感，所以用H分量的直方圖建立膚色概率模型。HSV與RGB轉(zhuǎn)換的公式如下： （413） （414） （415）首先，要計(jì)算被跟蹤目標(biāo)的色彩直方圖。將RGB色彩空間轉(zhuǎn)化到HSV空間，獲得H分量，并計(jì)算它的1維直方圖。這里我們把H分量的數(shù)值量化到『O，255]。如圖41所示。圖41(a)是單色背景下的手勢(shì)圖像，圖(b)是H通道圖像，在圖(b)中，人手部和背景之間的輪廓很不清晰，我們采用形態(tài)學(xué)方法對(duì)m)圖像增強(qiáng)得到(c)圖像。對(duì)比(b)(c)圖可見，形態(tài)學(xué)處理后的目標(biāo)圖像得到了很好的增強(qiáng)。然后，根據(jù)獲得的色彩直方圖將原始圖像反向投影成色彩概率分布圖像，如圖(e)。在反向投影前，目標(biāo)圖像中的每一個(gè)象素的值描述的是在這一點(diǎn)的顏色信息，而投影后，圖像中每一個(gè)象素的值就變成了這個(gè)顏色信息出現(xiàn)在此處的可能性的一種離散化的度量。圖(d)是形態(tài)學(xué)處理后的H通道圖像直方圖。彩色概率分布的Open CV算法實(shí)現(xiàn)如下：(1)．首先通過(guò)攝像頭捕獲手勢(shì)圖像，將彩色空間轉(zhuǎn)化為HSV空間，并且得到其中的H分量：(2)．計(jì)算H分量的直方圖，即1維直方圖：圖41 反向投影的輸入輸出圖像在這罩需要考慮H分量的取值范圍的問(wèn)題，H分量的取值范圍是fo，360)，這個(gè)取值范圍的值不能用一個(gè)bm來(lái)表不，為了能用個(gè)byte表示，需要將H值做適當(dāng)?shù)牧炕幚?，在這里我們將H分量的范圍量化到『0，2551。(3)根據(jù)獲得的色彩直方圖將原始圖像轉(zhuǎn)化成色彩概率分布圖像，這個(gè)過(guò)程就被稱作”BackProjection”。計(jì)算BackProject，result即為所要的結(jié)果(二維彩色概率分布圖)。5 基于計(jì)算機(jī)視覺(jué)的手勢(shì)跟蹤與識(shí)別算法實(shí)驗(yàn)5．1系統(tǒng)的軟硬件環(huán)境及功能1．系統(tǒng)環(huán)境(1)．軟件環(huán)境：操作系統(tǒng)Windows XP編程環(huán)境使用MicrosoftVisual C++6．0開發(fā)，同時(shí)借助OpenCVt561T腓。 (2)．硬件環(huán)境：CPU Pentium(R)D主頻2．80G內(nèi)存512M攝像頭多彩BV39攝像頭其中BV39型攝像頭技術(shù)規(guī)格如下Sensor型式：新一代高速CMOS傳感器分辨率：真640*480(無(wú)差值)接口：USBl．1熱插拔速度：320豐240 15．35fps；640幸480 5．15fps信噪比：優(yōu)于48dB動(dòng)態(tài)范圍：優(yōu)于72dB視角：45—60度成像距離：3cm．無(wú)限遠(yuǎn)(常規(guī))，3cm(微距)支持格式：VFW，DirectShow2．系統(tǒng)功能本文主要研究基于計(jì)算機(jī)視覺(jué)的手勢(shì)跟蹤與識(shí)別。首先從輸入的視頻流中捕獲手勢(shì)圖像，對(duì)圖像進(jìn)行預(yù)處理和特征提取，得到理想的手勢(shì)分割效果，并選用矩特征組作為手勢(shì)圖像的特征向量。手勢(shì)跟蹤是手勢(shì)識(shí)別的基礎(chǔ)，它的好壞直接影響識(shí)別率的大小。本文采用CamShift算法對(duì)手勢(shì)實(shí)時(shí)跟蹤，在單色背景下取得了良好的跟蹤效果。接下來(lái)我們對(duì)自定義的10個(gè)數(shù)字手勢(shì)的識(shí)別進(jìn)行了仿真實(shí)驗(yàn)，以驗(yàn)證將基于Flu矩特征和“一對(duì)多’’徑向基核函數(shù)SVM相結(jié)合的算法應(yīng)用到手勢(shì)識(shí)別的可行性。最后，本文基于VC++6．0平臺(tái)開發(fā)了一個(gè)簡(jiǎn)單的手勢(shì)交互系統(tǒng)—咄rd數(shù)字錄入系統(tǒng)，將手勢(shì)識(shí)別用于人機(jī)交互，實(shí)現(xiàn)了對(duì)Word軟件的 操作。基于計(jì)算機(jī)視覺(jué)的手勢(shì)跟蹤與識(shí)別流程圖如圖51所示。圖51 基于計(jì)算機(jī)視覺(jué)的手勢(shì)跟蹤與識(shí)別系統(tǒng)流程圖5．2手勢(shì)圖像預(yù)處理及特征提取實(shí)驗(yàn)結(jié)果5．2．1手勢(shì)圖像獲取及手勢(shì)樣本庫(kù)的建立以下是基于OpenCV接口函數(shù)讀取視頻的主要代碼。建立一個(gè)良好的樣本庫(kù)對(duì)于統(tǒng)計(jì)識(shí)別是非常重要的。對(duì)攝像頭獲取的手勢(shì)圖像進(jìn)行分割得到的黑白手勢(shì)圖像組成樣本庫(kù)。具體來(lái)說(shuō)，首先進(jìn)行樣本的采集。本文在采集手勢(shì)樣本時(shí)限制拍攝背景為單色背景，但允許光照強(qiáng)度發(fā)生變化，將拍攝的手勢(shì)圖片統(tǒng)一歸一化為200X240像素大小。然后逐個(gè)樣本檢查，去掉不理想的樣本，比如采集樣本時(shí)候手僅有部分在攝像頭視野內(nèi)，或者分割不理想的情況。為方便后續(xù)對(duì)樣本進(jìn)行特征提取，把選中的合格樣本按一定規(guī)律批量命名后保存到相應(yīng)文件夾。本文對(duì)09的10個(gè)數(shù)字手勢(shì)進(jìn)行識(shí)別，如圖553所示，其中圖5—2是從攝像頭采集的RGB彩色圖像，圖53是對(duì)應(yīng)的分割圖片，也就是要保存的手勢(shì)樣本。圖52 2采集的數(shù)字手勢(shì)RGB圖像圖53 分割得到的數(shù)字手勢(shì)示意圖5．2 .2手勢(shì)圖像的預(yù)處理本文將手勢(shì)圖像從RGB空間變換到Y(jié)CbCr空間(色彩窄間轉(zhuǎn)換的效果圖請(qǐng)參見圖3—2)，利用YCbCr色彩空間亮度和色度分離的特性，在一定程度上克服了光照的干擾，然后用最大類間方差法otsu)；對(duì)Cb和cr通道的圖像進(jìn)行二值化處理。實(shí)驗(yàn)結(jié)果表明，與Y通道相比，cb和Cr色差通道具有更好的分割效果。(手勢(shì)圖像的Y通道、cb通道和cr通道二值化效果圖請(qǐng)參見圈33)。最大類問(wèn)方差法的具體流程如下：(1)計(jì)算歸一化直方圖h(i)；(2)計(jì)算灰度均值(3)計(jì)算直方圖零階累積矩和一階累積矩用Otsu算法對(duì)圖像做二值化處理的主要代碼如下所示：但是用Otsu法得到的手勢(shì)分割圖像還存在一定的噪聲，所以考慮運(yùn)用形態(tài)學(xué)的開運(yùn)算，先膨脹后腐蝕，從而得到較理想的分割效果(手勢(shì)圖像的形態(tài)學(xué)處理效果請(qǐng)參見圖3．4)。為了對(duì)手的區(qū)域進(jìn)行更好的特征提取，文中使用灰度投影法來(lái)獲取準(zhǔn)確的手勢(shì)區(qū)域。具體方式是對(duì)經(jīng)過(guò)預(yù)處理的二值圖像，分別在垂直方向和水平方向采用灰度投影法，從而得到手勢(shì)在X方向和Y方向的坐標(biāo)范圍(姐一x2)，(y1一y2)。如圖54所示，(a)是從實(shí)時(shí)視頻中截取的手的RGB圖像，(b)為(a)對(duì)應(yīng)的二值化圖像，(c)為通過(guò)灰度投影確定的準(zhǔn)確的手區(qū)域。圖54 采用灰度授彩法荻取手所在準(zhǔn)確的手區(qū)域5．2手勢(shì)跟蹤實(shí)驗(yàn)結(jié)果及分析1手勢(shì)跟蹤系統(tǒng)流程圖55 Camshift算法流程圖2手勢(shì)跟蹤實(shí)驗(yàn)圖56 手勢(shì)跟蹤結(jié)果我們將CamShift算法用于手勢(shì)的實(shí)時(shí)跟蹤，本實(shí)驗(yàn)是在Vc++和OpenCV的環(huán)境下，利用USB接u的攝像頭采集圖像，實(shí)驗(yàn)結(jié)果見圖68，圖中橢圓內(nèi)部是待跟蹤的手勢(shì)。用Camshift算法對(duì)具有特定顏色的甘標(biāo)進(jìn)行跟蹤，無(wú)需計(jì)算每幀圖像一k所有像素點(diǎn)的顏色概率分布，只需求出比當(dāng)dU搜索窗大一砦的區(qū)域內(nèi)的所有像素點(diǎn)的顏色概率分布，這樣就