【正文】 構(gòu)元上每一個值為 1 的像素都覆蓋著二值圖像上一個值為 1 的像素，則將二值圖像 B 上與結(jié)構(gòu)元原點對應(yīng)的像素與輸出圖像對應(yīng)點進行邏輯“或 運算。初始化輸出圖像的像素值為 0，一旦結(jié)構(gòu)元 S 的原點遇 N值圖像 B 中值為 1 的像素時，結(jié)構(gòu)元整體形狀就與輸出圖像進行邏輯“或”運算。形態(tài)學處理的基本運算有膨脹、腐蝕、開運算和閉運算。 圖 33 Y 通道、 cb 通道和 cr 通道二值化圖像 .4 圖像形態(tài)學處理 由于噪聲的影響，使手勢圖像的分割效果不太理想。 Y 通道二值化圖像也就是直接荻度化的效果，與西通道以及 cr 通道的二值化圖像相比，分割效果不佳， 因此，本文采用雖大類問方差法對手勢。圖 33 所示， (a)(b)(c)分別是 Y通道圖像、 cb 通道圖像以及。組內(nèi)均衡性的測度是方差，則均衡性高的具有較低的方差，均衡性低的具有較高的方差。根據(jù)閾值 t，可以確定灰度值小于或者等于 t 的像素集的方差以及灰度值大于 t 的像素值的方差。首先定義直方圖函數(shù)為概率函數(shù) P ，其中 )(),...0( Ipp 表示灰度值 0， … ， I 的直方圖概率， ? ?? ? CRicrim a g ecrip ??? /),(,)( ，其中 RxC 是圖像的空間區(qū)域。這種情況下，每個子區(qū)域一般都不相同，這種二值化方法稱為可變闡值法。把圖像分成若干個予區(qū)域，對每一個子區(qū)域計算其灰 度直方圖。 2．動態(tài)閾值法 當光照不均勻時，用確定閩值二值化方法分割效果不理想。針對這種情況，可以先對放度直方圖進行平滑處理，再確定閩值。 1．模式法 模式法是指當扶度直方圖具有雙峰性的時候，目標物體和背景的扶度分別在兩個山峰的附近，則將山谷的中心點作為模式法的閩值。由像素 點 ),( ji 的灰度值 ),( jif 和像素周圍點局部 灰度 特性確定閾值的方法稱為局部閩值選擇法。圖像二值化方法大致分為三種：整體閩值二值化、局部閩值二值化以及動態(tài)閩值二值化。設(shè)圖像 ),( yxf 的灰度值范圍在 [a,b]，二值化的閩值設(shè)為 t( bta ?? )，則圖像一值化的一般表達式為： ? ty)f(x, 1 ty)f(x, 0),( ???yxg (38) 得到的 ),( yxg 就是二值圖像，閾值 t 不同，得到的二值圖像 ),( yxg 也是不同的。 將 RGB 轉(zhuǎn)換為 HSI 所用的變換為： ? GB GB 360 ???? 若 若? ?H (36) 其中： (37) 3． 1 .3 圖像二值化 圖像的二值化就是指把多灰度級的圖 像變成只有兩個灰度級的圖像。飽和度 S 指顏色的強度，表示在色調(diào)中灰色成分所占的比例，用 0％一 100％ (純色 )表示。色度 H 與波長有關(guān)，例如 ，不同波長的可見光具有不同的顏色。事實上，各種色彩空間只不過是顏色在計算機內(nèi)不同的表達形式而已，每一種色彩空『自 J 都有它各自的應(yīng)用領(lǐng)域、產(chǎn)生背景等。可見，用中值濾波的方法進行圖像的平滑處 理效果比較理想，因此本文在手勢預處理中采用中值濾波法對圖像進行平滑。用指數(shù)形濾波器濾波后的圖像比用巴特沃斯濾波器濾波后的圖像模糊一些，但沒有振鈴效應(yīng)。 (3)指數(shù)型濾波器 一個指數(shù)形濾波器的傳遞函數(shù)為： )]),([e x p(),(0nD vuDvuH ?? (35) 其中 Do 為截止頻率， n 為階數(shù)，當 D(u, v)= D。 n 為階數(shù)，取正整數(shù)，階數(shù)刀控制曲線的形狀。為截止頻率，當 D(u, v)= D。正是由于理想低通濾波存在“振鈴 現(xiàn)象，其平滑效果才下降。成反比， D。理 想低通濾波器在處理過程中會產(chǎn)生比較嚴重的模糊和“振鈴”現(xiàn)象，這是由于 H(u, v)在 D。常用的低通濾波器有： (1)理想低通濾波器 一個理想低通濾波器的傳遞函數(shù)為： ? Dv)D (u , 1 Dv)D (u , 0 00),( ???vuH （ 33） 其中 D。對于一幅圖像，它的邊緣、跳躍部分以及噪聲都代表圖像的高頻分量，而大面積的背景區(qū)和變化緩慢的部分則代表圖像的低頻分量，用頻域低通濾波器除去其高頻分量就能去掉噪聲，從而使圖像得到平滑。 3．頻域平滑技術(shù) 圖像的平滑既能夠在空域中進行，又能夠在頻域中進行。在一定的條件下，它可以克服線性濾波器所帶來的圖像細節(jié)模糊，而且對濾除脈沖干擾及圖像掃描噪聲最為有效。 2．中值濾波法 中值濾波【 211 是一種非線性濾波，由于它在實際運算過程中并不需要圖像的統(tǒng)計特性，所以比較方便。 ),( yxg 由下式?jīng)Q定： ??? Snm nmfMyxg ),( ),(1),( （ 31） 式中， 1,...,1,0, ?? Nyx S 是點伍糾所在領(lǐng)域的中點的坐標集合，但不包括 ),( yx 點； M是集合內(nèi)坐標點的總數(shù)。這種方法的基本思想是用幾個像素灰度的平均值來代替每個像素的灰度。消除噪聲的方法又可以分為空間域方法或頻率域方法，亦可以分為全局處理方法或局部處理方法等。 3． 1． 1 圖像平滑 圖像平滑的目的是為了消除噪 聲。本章針對圖像采集時所遇到的光照變化、旋轉(zhuǎn)、平移等不確定因素，對手勢圖像的預處理和特征提取進行了分析。 (3)動態(tài)手勢識別：動態(tài)手勢識別是對連續(xù)的手勢序列進行實時的跟蹤，通過對跟蹤到的手勢運動的時空軌跡 (spatial． temporal trajectory)或手勢狀態(tài)軌跡 (state trajectory)進行處理，以識別擺手等 動態(tài)手勢。例如文獻 f81 中提出了一種使用神經(jīng)網(wǎng)絡(luò)方法和Hough 變換對中國手語中的 20種手勢進行識別。 (2)靜態(tài)手勢識別：靜態(tài)手勢識別是指對于靜態(tài)圖片中手的形 狀和手的姿勢進行識別。手勢分割的方法大體分為三種：基于運動信息的、基于運動模板的和基于顏色信息的。同時，手勢具有適應(yīng)性強、形象生動及簡便易行等特點，比較適合在非特定環(huán)境下對機器人的控制。視覺運動分析方法因具有適用范圍廣、抗電子干擾能力強、測量精度高和保密性好等優(yōu)點，在軍事、導航、機器人技術(shù)、氣象分析、醫(yī)療診斷、交通管制、安全防范等領(lǐng)域得到了廣泛的應(yīng)用。 圖 23： 隱馬爾可夫模型 組成 2． 4 基于計算機視覺的手勢跟蹤與識別系統(tǒng) 計算機視覺研究就是計算機通過對一幅或多幅圖像進行分析，從中獲取三維世界的運動信息或者集合特征，例如物體的位置、形狀、姿態(tài)運動等信息，接下來對這些信息進行分析、處理，以達到認識三維世界的目的。但是應(yīng)用于手勢識別時有很多約束。如圖 23 為隱馬爾可夫模型組成的示意圖。它是一個雙重隨機過程：一是描述狀態(tài)轉(zhuǎn)移的馬爾可夫鏈是基本隨機過程；另一個是描述狀態(tài)和觀察值之間的統(tǒng)計對應(yīng)關(guān)系是隨機過程。隱馬爾可夫模型是在 Markov鏈的基礎(chǔ)之上發(fā)展起來的。每一個時刻的隨機變量有一個度量值，這個度量值的分布與該時刻的狀態(tài)有關(guān)。統(tǒng)計分類方法常用的分類器主要有貝葉斯分類器、線性判別函數(shù)、樹分類器、最小距離分類、近鄰法分 類、聚類分析等。在通常情況下，不同類別的兩個模式之間的距離要大于同一類別的兩個模式之間的距離，這樣就可以將特征空間準確的劃分為幾個區(qū)域，其中各個區(qū)域同各個類別是一一對應(yīng)的。 模式的統(tǒng)計分類方法，又稱為決 策理論識別方法，它是將各模式類別看成是用某個隨機向量實現(xiàn)的集合。常用的統(tǒng)計分類方法有很多，例如‘ 39。如何將分類器設(shè)計得更有效，識別率更高，是需要重點解決的問題。 2． 3． 3 統(tǒng)計分析算法 統(tǒng)計分類算法是在模式識別發(fā)展的過程中建立的經(jīng)典方法，它用概率統(tǒng)計模型得到各類別的特征向量分布，以達到分類的目的。即 h(A， B)實際上首先對點集 A 中的每個點 ia 到距離此點最近的 B 集中點 b，之間的距離 ji ba? 進行排序，然后取該距離中的最大值作為 h(A， B)的值， h(B， A)同理可得。文獻 f181中張良國、吳江琴、高文等人首先改進了 Hausdorff距離，接下來通過比較預處理后的輸入圖像的 Hausdorff 距離和標準模板庫中各種圖像的Hausdorff 距離進行判斷。訓練集包含 M 個樣本，對第 P 個訓練樣本 (P=1,2，?，M)，單元／的實際輸出為郇．，它的第 i個輸入 (也即第 i個神經(jīng)元的輸入 )為 piO ，則： ???Ni pijipi OWu 0 (21) BP 算法中大多選用 S 型函數(shù)作為輸出函數(shù)，即： )e x p (1 1)( pjpjpi uufO ???? (22) 2． 3． 2 基于模板匹配的算法 模板匹配算法就是將輸入的原始數(shù)據(jù)與預先存儲的模板進行匹配，通過測量兩個模板之間的相似度進行識別。圖 22 是一個三層前饋神經(jīng)網(wǎng)絡(luò)模型，輸入層、中間隱含層和輸出層的神經(jīng)元個數(shù)分別為 50 和 9。每一層節(jié)點的輸出只影響下一層節(jié)點的輸出。 BP 神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)了多層網(wǎng)絡(luò)學習的設(shè)想。它是由許多具有非線性映射能力的神經(jīng)元組成的一種大規(guī)模并行處理網(wǎng)絡(luò)，神經(jīng)元之間通過權(quán)相連。神經(jīng)網(wǎng)絡(luò)方法在手勢識別領(lǐng)域得到了廣泛的使用。廣義德爾塔規(guī)則在許多實際問題中得到了成功的應(yīng)用，使得多層感知機類機器成為目自玎使用神經(jīng)網(wǎng)絡(luò)的主要模型之一。到了 50 年代中期和 60年代初期，人們已設(shè)計出稱為感知機 (perceptrons)的學習機器，引起了模式識別理論界人士的重視。 2． 3． 1 神經(jīng)網(wǎng)絡(luò)算法 對人工神經(jīng)網(wǎng)絡(luò)的研究早 在 20 世紀 40 年代就已經(jīng)開始了。這種方法對于用戶手勢的輸入限制較小，可以實現(xiàn)更加自然的人機交互，但由于立體模型的復雜性，需要處理大量的數(shù)據(jù)，識別時間長，無法實現(xiàn)實時的識別。這種方法處理的數(shù)據(jù)量較小，識別速度快，但是對于用戶手勢的輸入限制較大。 2． 3 基于計算機視覺的手勢識別理論 基于視覺的手勢識別可以分為基于單目視覺的手勢識別和基于多目視覺的手勢識別。 Camshift[巧 J(ContinuouslyAdaptive Mean Shift)是一種基于顏色概率模型的跟蹤算法，它是 Mean Shift 算法的改進與擴展，可以處理動態(tài)變化的分布。但是在復雜背景的情況下或者光照變化快時，基于顏色的分割效果不好，為了解決這個問題，目前眾多研究者嘗試利用融合多 種信息的技術(shù)進行手勢分割。 基于顏色信息的分割在圖像分割中占有重要地位。二維模板實現(xiàn)簡單，但對手的姿念有一定限制。模板由平均點集合、點可變性參數(shù)和外部變形構(gòu)成，平均點集合描述的是某一組形狀的平均形狀，點可變性參數(shù)描述的是可變形模板的全局運動。在實際的手勢識別系統(tǒng)中，攝像機的位置是固定的，對手勢序列中相鄰兩幀圖像做差分運算便能有效地保留運動的部分 (即手勢 )，濾除圖像中保持不變的背景區(qū)域。運動估計的依據(jù)是圖像強度發(fā)生變 化，用圖像序列中相鄰圖像的差來表示強度的變化。手勢分割的方法大體分為三種：基于運動信息的、基于運動模板的和基于顏色信息的?；咀龇ㄊ窃跇颖居柧毤A(chǔ)上確定某個判決規(guī)則，使按這種判決規(guī)則對被識別對象進行分類所造成的錯誤識別率最小或引起的損失最小。一般我們把原始數(shù)據(jù)組成的空間叫測量空間，把分類識別賴以進行的空間叫做特征空間，通過變換，可把在維數(shù)較高的測量空間中表示的模式變?yōu)樵诰S數(shù)較低的特征空 間中表示的模式。為了有效地實現(xiàn)分類識別，就要對原始數(shù)據(jù)進行變換，得到最能反映分類本質(zhì)的特征。 3．特征提取 由圖像或波形所獲得的數(shù)據(jù)量是相當大的。這就是數(shù)據(jù)獲取的過程。 圖 21 模式識別 系統(tǒng)的基本構(gòu)成 1．數(shù)據(jù)獲取 為了使計算機能夠?qū)Ω鞣N現(xiàn)象進行分類識別，要用計算機可以運算的符號來表示所研究的對象。實現(xiàn)是指用所設(shè)計的分類器對待識別的樣本進行分類決策。與此相應(yīng)的模式識 別系統(tǒng)都由兩個過程組成，即設(shè)計與實現(xiàn)。模式識別的作用和目的就在于面對某一具體事物時將其 J 下確的歸入某一類別。模式識別是對表征事物或者現(xiàn)象的各種形式的信息進行分析和處理，來實現(xiàn)對事物或現(xiàn)象進行描述、辨認、分類和解釋，是信息科學和人工智能的重要組成部分。但是，由于模式識別涉及到很多復雜的問 題，現(xiàn)有的理論和方法對于解決這些問題還有很多不足之處。它所研究的理論和方法在很多科學和技術(shù)領(lǐng) 域中得到了廣泛的重視，推動了人工智能的發(fā)展，擴大了計算機應(yīng)用的可能性。本章主要介紹基于視覺的手勢識別的一些基礎(chǔ)理論。 圖 11 基于視覺的手勢跟蹤與識別流程圖 2 基于計算機視覺的手勢識別基礎(chǔ)理論 在人與人的交際過程中，經(jīng)常會用到手勢，手勢的語義強大并且直 觀，可以很好地表達思想，與自然語言形成互補。首先對手勢跟蹤與識別各個階段的算法進行了分析，提出基于 Hu 矩特征和“一對多 徑向基核函數(shù)支持向量機相結(jié)合的手勢識別算法，并在 Microsoft Visual C++6． 0 開發(fā)環(huán)境下，借助 OpenCV開源庫，實現(xiàn)了對從攝像頭輸入的 10 個常用手勢的識別，以驗證提出算法的可行性，并以此為基