【文章內(nèi)容簡介】 正在受到越來越多的關(guān)注。視覺運動分析方法因具有適用范圍廣、抗電子干擾能力強、測量精度高和保密性好等優(yōu)點，在軍事、導(dǎo)航、機器人技術(shù)、氣象分析、醫(yī)療診斷、交通管制、安全防范等領(lǐng)域得到了廣泛的應(yīng)用。 手勢作為人類最自然的表達(dá)方式之一，在日常生活中得到 了廣泛的應(yīng)用。同時，手勢具有適應(yīng)性強、形象生動及簡便易行等特點，比較適合在非特定環(huán)境下對機器人的控制。通常一個完整的手勢跟蹤與識別系統(tǒng)，分為以下幾個部分： (1)手勢的檢測與跟蹤：手勢的檢測與跟蹤是手勢識別的基礎(chǔ)，其好壞將影響識別率的大小。手勢分割的方法大體分為三種：基于運動信息的、基于運動模板的和基于顏色信息的。國內(nèi)外對手勢跟蹤也做了大量研究，常用的有卡爾曼濾波 (Kalmall Filter)、粒子濾波 (Particle Filter)等跟蹤方法。 (2)靜態(tài)手勢識別：靜態(tài)手勢識別是指對于靜態(tài)圖片中手的形 狀和手的姿勢進(jìn)行識別。國內(nèi)外對靜態(tài)手勢識別做了大量研究。例如文獻(xiàn) f81 中提出了一種使用神經(jīng)網(wǎng)絡(luò)方法和Hough 變換對中國手語中的 20種手勢進(jìn)行識別。在文獻(xiàn)『 91 中采用基于表觀的手勢模型，提取八個手勢特征組成特征向量，采用二次分類 (粗分類和細(xì)分類 )的方法對 10 個常用的靜態(tài)手勢進(jìn)行識別。 (3)動態(tài)手勢識別：動態(tài)手勢識別是對連續(xù)的手勢序列進(jìn)行實時的跟蹤，通過對跟蹤到的手勢運動的時空軌跡 (spatial． temporal trajectory)或手勢狀態(tài)軌跡 (state trajectory)進(jìn)行處理，以識別擺手等 動態(tài)手勢。 3 手勢圖像預(yù)處理及特征提取 手勢圖像的預(yù)處理和特征提取是下一步要進(jìn)行的手勢跟蹤與識別的前提，其質(zhì)量的好壞既關(guān)系到手勢的識別率，又關(guān)系到所建立的人機交互系統(tǒng)的整體性能。本章針對圖像采集時所遇到的光照變化、旋轉(zhuǎn)、平移等不確定因素，對手勢圖像的預(yù)處理和特征提取進(jìn)行了分析。 3． 1 手勢圖像預(yù)處理 在手勢圖像的預(yù)處理階段，為了得到理想的分割效果，本文對采集到的手勢圖像采用了圖像平滑、色彩空間轉(zhuǎn)換、圖像二值化以及形態(tài)學(xué)處理等算法以得到準(zhǔn)確的手勢二值化圖像。 3． 1． 1 圖像平滑 圖像平滑的目的是為了消除噪 聲。圖像噪聲的來源有三種：一是在光電、電磁轉(zhuǎn)換過程中引入的人為噪聲；二是大氣層電 (磁 )暴、閃電、電壓、浪涌等引起的強脈沖性沖激噪聲；三是自然起伏性噪聲，由物理量的不連續(xù)性或粒子性引起，這類噪聲又可分為熱噪聲、散粒噪聲等。消除噪聲的方法又可以分為空間域方法或頻率域方法，亦可以分為全局處理方法或局部處理方法等。 1．鄰域平均法 鄰域平均法 I 刎是簡單的空域處理方法。這種方法的基本思想是用幾個像素灰度的平均值來代替每個像素的灰度。假定有一幅 NXN 個像素的圖像 ),( yxf ，平滑處理后得 到一幅圖像 ),( yxg 。 ),( yxg 由下式?jīng)Q定： ??? Snm nmfMyxg ),( ),(1),( （ 31） 式中， 1,...,1,0, ?? Nyx S 是點伍糾所在領(lǐng)域的中點的坐標(biāo)集合，但不包括 ),( yx 點； M是集合內(nèi)坐標(biāo)點的總數(shù)。式 (3． 1)說明，平滑后的圖像中 ),( yxg 每 個像素的灰度值，均由似一鄰域中包含的像素灰度值的平均值來決定。 2．中值濾波法 中值濾波【 211 是一種非線性濾波，由于它在實際運算過程中并不需要圖像的統(tǒng)計特性，所以比較方便。中值濾波首先是被應(yīng)用到一維信號處理技術(shù)中，后來被二維圖像信號處理技術(shù)所引用。在一定的條件下，它可以克服線性濾波器所帶來的圖像細(xì)節(jié)模糊，而且對濾除脈沖干擾及圖像掃描噪聲最為有效。但是對一些細(xì)節(jié)，特別是點、線、尖頂細(xì)節(jié)多的圖像不宜采用中值濾波的方法。 3．頻域平滑技術(shù) 圖像的平滑既能夠在空域中進(jìn)行，又能夠在頻域中進(jìn)行。頻域平滑技術(shù)是一維信號 低通濾波器在二維圖像中的推廣。對于一幅圖像，它的邊緣、跳躍部分以及噪聲都代表圖像的高頻分量，而大面積的背景區(qū)和變化緩慢的部分則代表圖像的低頻分量，用頻域低通濾波器除去其高頻分量就能去掉噪聲，從而使圖像得到平滑。 濾波器的數(shù)學(xué)表達(dá)式為： ),(),(),( vuFvuHvuG ?? （ 32） 其中 F(u， D 為原圖像的傅立葉變換， ),( vuG 為平滑后圖像的傅立葉變換， ),( vuH 是濾波器的轉(zhuǎn)移函數(shù)。常用的低通濾波器有： (1)理想低通濾波器 一個理想低通濾波器的傳遞函數(shù)為： ? Dv)D (u , 1 Dv)D (u , 0 00),( ???vuH （ 33） 其中 D。為截止頻率， ? ? 2122),( vuvuD ?? 是點（ u， v）到頻率平面原點的距離。理 想低通濾波器在處理過程中會產(chǎn)生比較嚴(yán)重的模糊和“振鈴”現(xiàn)象，這是由于 H(u, v)在 D。處由 1 突變到 0，這種理想的 H(u, v )， D 對應(yīng)的沖激響 應(yīng) h(u, v)在空域中表現(xiàn)為同心環(huán)的形式，并且此同心環(huán)數(shù)與 D。成反比， D。小，同心環(huán)數(shù)越多，模糊程度越厲害。正是由于理想低通濾波存在“振鈴 現(xiàn)象，其平滑效果才下降。 (2)巴特沃斯濾波器 一個巴特沃斯濾波器的傳遞函數(shù)為： nDvuDvuH 20),(11),(???????? (34) 其中 D。為截止頻率，當(dāng) D(u, v)= D。時， H(u， v)降為最大值的 1/2。， n 為階數(shù)，取正整數(shù)，階數(shù)刀控制曲線的形狀。由于轉(zhuǎn)移特性曲線較為平滑， 沒有振鈴效應(yīng)，故圖像的模糊將減少。 (3)指數(shù)型濾波器 一個指數(shù)形濾波器的傳遞函數(shù)為： )]),([e x p(),(0nD vuDvuH ?? (35) 其中 Do 為截止頻率， n 為階數(shù)，當(dāng) D(u, v)= D。時， H(u， v)降為最大值的 l／ e。用指數(shù)形濾波器濾波后的圖像比用巴特沃斯濾波器濾波后的圖像模糊一些，但沒有振鈴效應(yīng)。 圖 31(a)(b)(c)(d)分別是原圖像、加椒鹽噪聲的圖像、中值濾波效果圖以及 3 3 鄰域濾波效果圖?？梢姡弥兄禐V波的方法進(jìn)行圖像的平滑處 理效果比較理想，因此本文在手勢預(yù)處理中采用中值濾波法對圖像進(jìn)行平滑。 圖 31 圖像平滑效果 3． 1 .2 圖像色彩空間轉(zhuǎn)換 計算機色彩理論認(rèn)為，一種顏色在計算機中有多種不同的表達(dá)方式，從而形成了各種不同的色彩空間。事實上，各種色彩空間只不過是顏色在計算機內(nèi)不同的表達(dá)形式而已，每一種色彩空『自 J 都有它各自的應(yīng)用領(lǐng)域、產(chǎn)生背景等。下面我們分析幾種常用的色彩空間： 1． HSI 模式 HSI 模式的定義是以人眼對色彩的觀察為依據(jù)的，在 HSI模式中，每種顏色都用色度、飽和度、亮度三個特征來表示。色度 H 與波長有關(guān)，例如 ，不同波長的可見光具有不同的顏色。波長不同的光以不同比例混合能夠形成各種各樣的顏色。飽和度 S 指顏色的強度，表示在色調(diào)中灰色成分所占的比例，用 0％一 100％ (純色 )表示。亮度 I 表示顏色的相對明暗程度，通常用 0％ (黑 )一 100％ (白 )來度量。 將 RGB 轉(zhuǎn)換為 HSI 所用的變換為： ? GB GB 360 ???? 若 若? ?H (36) 其中： (37) 3． 1 .3 圖像二值化 圖像的二值化就是指把多灰度級的圖 像變成只有兩個灰度級的圖像。把其中感興趣的目標(biāo)像素作為前景像素，其余部分作為背景像素。設(shè)圖像 ),( yxf 的灰度值范圍在 [a,b]，二值化的閩值設(shè)為 t( bta ?? )，則圖像一值化的一般表達(dá)式為： ? ty)f(x, 1 ty)f(x, 0),( ???yxg (38) 得到的 ),( yxg 就是二值圖像，閾值 t 不同，得到的二值圖像 ),( yxg 也是不同的。因此要達(dá) 到理想的分割效果，選擇合適的閩值 t 是至關(guān)重要的。圖像二值化方法大致分為三種：整體閩值二值化、局部閩值二值化以及動態(tài)閩值二值化。僅由 像素點 ),( ji 的灰度值 ),( jif確定 閾值 的方法稱為整體閾值選擇法。由像素 點 ),( ji 的灰度值 ),( jif 和像素周圍點局部 灰度 特性確定閾值的方法稱為局部閩值選擇法。當(dāng)閩值選擇不僅取決于該像素閾值以及其周圍各像素的灰度值，而且還與該像素坐標(biāo)位置有關(guān)時 ，稱之為動態(tài)閩值選擇法。 1．模式法 模式法是指當(dāng)扶度直方圖具有雙峰性的時候，目標(biāo)物體和背景的扶度分別在兩個山峰的附近，則將山谷的中心點作為模式法的閩值。但是，實際得到的灰度直方圖不平桿，存在由于小的凹凸而產(chǎn)生的局部極小值，這樣給自動判斷造成諸多不便。針對這種情況，可以先對放度直方圖進(jìn)行平滑處理，再確定閩值。這樣做會產(chǎn)生一些噪聲，但對判斷結(jié)果的影響不大。 2．動態(tài)閾值法 當(dāng)光照不均勻時，用確定閩值二值化方法分割效果不理想。在這種情況下，我們可以用動志閩值法解決。把圖像分成若干個予區(qū)域，對每一個子區(qū)域計算其灰 度直方圖。如果在子區(qū)域中同時存在背景和目標(biāo)物體，那么其獲度直方圖呈雙峰，這時可再用模式法等進(jìn)行二值化處理。這種情況下，每個子區(qū)域一般都不相同，這種二值化方法稱為可變闡值法。 3．最大類間方差法 最大類間方差法是通過使兩組像素的組內(nèi)方差最小來確定閾值的方法。首先定義直方圖函數(shù)為概率函數(shù) P ，其中 )(),...0( Ipp 表示灰度值 0， … ， I 的直方圖概率， ? ?? ? CRicrim a g ecrip ??? /),(,)( ，其中 RxC 是圖像的空間區(qū)域。如果灰度直方圖是雙模式的，則通過灰度直方圖求閩值就是確定最佳闡值 t， 利用闕值 t 把兩種模式分開。根據(jù)閾值 t，可以確定灰度值小于或者等于 t 的像素集的方差以及灰度值大于 t 的像素值的方差。晟大類間方差法的最佳閾值是使組內(nèi)方差的加權(quán)和最小的閾值，其中權(quán)分別代表各組概率。組內(nèi)均衡性的測度是方差，則均衡性高的具有較低的方差，均衡性低的具有較高的方差。 本文用晟大類間方差法 (Otsu)對手勢圖像做二值化處理。圖 33 所示， (a)(b)(c)分別是 Y通道圖像、 cb 通道圖像以及。通道圖像的二值化效果圖。 Y 通道二值化圖像也就是直接荻度化的效果，與西通道以及 cr 通道的二值化圖像相比，分割效果不佳， 因此，本文采用雖大類問方差法對手勢。通道圖像進(jìn)行二值化處理。 圖 33 Y 通道、 cb 通道和 cr 通道二值化圖像 .4 圖像形態(tài)學(xué)處理 由于噪聲的影響，使手勢圖像的分割效果不太理想。我們再采用形態(tài)學(xué)處理方法獲得比較理想的手勢分割效果。形態(tài)學(xué)處理的基本運算有膨脹、腐蝕、開運算和閉運算。 (1)膨脹：用結(jié)構(gòu)元 S 對二值圖像進(jìn)行膨脹運算表示為 B? S，定義如下： B? SbBb S??? (39) 用結(jié)構(gòu)元 S 掃描整幅圖像。初始化輸出圖像的像素值為 0，一旦結(jié)構(gòu)元 S 的原點遇 N值圖像 B 中值為 1 的像素時，結(jié)構(gòu)元整體形狀就與輸出圖像進(jìn)行邏輯“或”運算。 (2)腐蝕：用結(jié)構(gòu)元 S 對二值圖像曰進(jìn)行腐蝕運算表示為 B? S，定義如下： B? S={ SsBsbb ????| } (310) 腐蝕運算也是用結(jié)構(gòu)元掃描整幅圖像。針對二值圖像上的每一個像素點，如果結(jié)構(gòu)元上每一個值為 1 的像素都覆蓋著二值圖像上一個值為 1 的像素，則將二值圖像 B 上與結(jié)構(gòu)元原點對應(yīng)的像素與輸出圖像對應(yīng)點進(jìn)行邏輯“或 運算。 (3)閉運算：用結(jié)構(gòu)元 S 對二值圖像曰進(jìn)行的閉運算表示為 B S，定義： B s=(B? S) ? S (311) 先膨脹后腐蝕的過程就稱為閉運算。閉運算能夠填充物體內(nèi)細(xì)小空洞，連接鄰近物體以及平滑邊界。 (4)開運算：用結(jié)構(gòu)元 S 對二值圖像 B 進(jìn)行的開運算表示為 B。 S，定義： B。 S=(B? S) ? S (312) 先腐蝕后膨脹的過程稱為開運算。開運算具有消除細(xì)小物體，在纖細(xì)處分離物體和平滑較大物體邊界的作用。 本文利用 Otsu 分割方法得到的圖像還存在噪聲，如圖 34(a)所示，二值化后的手勢圖手指區(qū)域分割并不完全，這會導(dǎo)致后續(xù)特征值的計算產(chǎn)生一定的偏差從而影響最終的手勢識 別結(jié)果，所以我們把分割得到的圖像先進(jìn)行膨脹運算，如圖 34(b)所示，去掉分割不理想導(dǎo)致的小的“孔洞”；再進(jìn)行腐蝕運算得到圖像 34(c)。 圖 34 手勢圖像形態(tài)學(xué)處理效果圖