【正文】 于計算機視覺的手勢跟蹤 與識別?；谝曈X的手勢跟蹤與識別流程圖見圖 11。所以近些年來，手勢識別的研究得到了很大的關注和發(fā)展。 2． 1 模式識別概述 模式識別誕生于 20世紀 20年代，隨著 40 年代計算機的出現， 50年代人工智能的興起，模式識別在 60年代初迅速發(fā)展成 f]學科 1131。幾十年來，模式識別研究取得了大量的成果，在很多方面都得到了廣泛的應用。 通常，我們把通過對具體的個別事物進行觀測所得到的具有時間和空間分布的信息稱為模式，把各模式所屬的類別稱為模式類。人們?yōu)榱苏莆湛陀^事物，就將事物按照相似度組成類別。 有兩種基本的模式識別方法，即統(tǒng)計模式識別方法和結構模式識別方法。設計是指用一定數量的樣本 (叫做訓練集或學習集 )進行分類器的設計?；诮y(tǒng)計方法的模式識別主要由 4個部分組成：數據獲取、預處理、特征提取和選擇、分類決策，如圖 21 所示。通常輸入對象的信息有一維波形、物理參量和邏輯值、二維圖像 3 種類型，通過測量、采樣和量化，可以用矩陣或向量表示二維圖像或 一維波形。 2．預處理 預處理的目的是去除噪聲，加強有用的信息，并對輸入測量儀器或其他因素所造成的退化現象進行復原。例如，一個文字圖像可以有幾千個數據，一個心電圖波形也可能有幾千個數據。這就是特征提取和選擇的過程。 4．分類決策 分類決策就是在特征空間中用統(tǒng)計方法把被識別對象歸為某一類別。 2． 2 基于計算機視覺的手勢跟蹤理論 手勢分割與跟蹤是手勢識別的基礎，其好壞將影響識別率的大小。 基于運動信息的手勢分割是通過對前后兩幀圖像做差分運算來檢測手勢的，當手勢運動時則圖像發(fā)生變化。圖像差運算非常簡單，這是由于在圖像差運算中僅僅涉及到了像素強度的相減。 基于運動模板的手勢分割是用模板匹配方法尋找運動的手勢，一般把二維可變形模板作為插值節(jié)點去近似物體輪廓。通常用基于可變形模 板的人手模型來跟蹤人手。三維模板則不受手的姿態(tài)的限制，但其參數過多使得實現困難。顏色分割與其他兩種方法相比，具有高效性和魯棒性等特點，得到了廣泛的應用。國內外對手勢跟蹤的研究很多，例如 利用粒子濾波 (Particle Filter)對手勢跟蹤獲得了較好的效果。當視頻序列一幀一幀變化時， Camshift 能夠自動調節(jié)搜索窗的大小和位置，定位被跟蹤目標的中心和大小，并且用當前幀定位的結果來預測下一幀圖像中目標的中心和大小，每幀圖像都這樣處理，就形成了連續(xù)的跟蹤?；趩文恳曈X的手勢識別就是通過單個攝像機來 采集手勢圖像，從而建立平面手勢模型。基于多目視覺的手勢識別是通過兩個或兩個以上的攝像機來采集圖像，建立的是立體模型。 基于視覺的手勢識別算法可分為神經網絡算法、模板匹配，統(tǒng)計分析算法、和隱馬爾可夫模型 (Hidden Markov Model HMM)等。有人以包含 01 和 10變化的隨機模型作為模型化神經系統(tǒng)的基礎。 80 年代中期提出的對多層感知機的新訓練算法 (稱為以反擴散學習的廣義德爾塔 (Delta)規(guī)則 )是非常有效的。 神經網絡是指利用工程技術手段模擬人腦神經網絡的結構和功能的一種技術，其目的是使 機器具有人腦那樣的感知、學習和推理功能。它對信息處理具有自組織、自學習等特點，有較強的抗干擾能力。文獻 『 16]qb M． Yeasin采用了 TDNN(TimeDelay Neutral Network時延神經網絡 )的手勢識別技術。它是一種單向傳播的多層前向神經網絡，除輸入輸出節(jié)點外還有一層或多層隱層節(jié)點，同層節(jié)點之 I、日 J 沒有耦合，輸入 信號從輸入層節(jié)點依次傳過各層節(jié)點，最后到達輸出層節(jié)點。 BP 神經網絡結構分三層：輸入層、隱含層和輸出層。 圖 22 三 層前饋神經網絡模型 BP 網絡學習是典型的有導師學習。模板匹配的方法多用于靜態(tài)手勢識別中，如 Cui Yuntao通過計算 模板的相關系數來進行預測匹配。 Hausdorff 距離是描述兩組點集之間相似程度的一種量度，它是兩個點集之間距離的一種定義形式【 191：假設有兩組集合 A={ paaa ..., 21 }， B={ qbbb ..., 21 }，則這兩個點集之上的 Hausdorff 距離定義為： )),(),(m a x (),( ABhBAhBAH ? (23) baBAhBbAa ?? ?? m inm a x),( (24) abABhAaBb ?? ?? m inm a x),( (25) ? 是點集 A和點集 B 間的距離范式 這里，式 (23)稱為雙向 Hausdorff 距離，是 Hausdorff 距離的最基本形式；式 (24)(25)中的 h(A， B)和 h(B， A)分別稱為從 A集合到 B 集合和從 B集合到 A集合的單向 Hausdorff距離。 由式 (23)知，雙向 Hausdorff 距離 H(A, B)是單向距離 h(A， B)和 h(B， A)兩者中的較大者，它度量了兩 個點集之間的最大不匹配程度。統(tǒng)計分類算法是一種監(jiān)督學習的模式識別方法。當幾個類別的樣本在特征空間的分布符合一定的拓撲結構，并且我們知道各個類別的概率分布函數時，我們就可以利用統(tǒng)計分類方法進行模式識別。by． product”方法、決策樹和決策表方法等。屬于同一類別的各個模式之間的差異，有些是由環(huán)境噪聲和傳感器的因素引起的，有些是模式本身所具有的隨機性質引起的。若不滿足上述條件，則對每個特征向量估計其屬于某一類的概率，概率值最大的類就是該點所屬的類別。 2． 3． 4 隱馬爾可夫模型 (HMM) 在給定前一個狀態(tài)的情況下，隨機變量序列的下一個狀態(tài)的出現是條件獨立的。這樣的模型稱為隱馬爾可夫模型 (HMM)。實際問題比馬爾可夫鏈所描述的更為復雜，觀察到的事件并不是與狀態(tài)一一對應的，而是通過一組概率分布相聯系的。 基于以上原因觀察者只能看到觀察值不能直接看到狀態(tài)，即讓觀察者通過一個隨機過程去感知狀態(tài)的情況，所以稱之為“隱” Markov模型。 HMM 作為信號的一種統(tǒng)計模型，已經在語音信號處理領域得到了廣泛應用，近年來很多研究者也將 HMM 用于手語識別領域。首先，動態(tài)手勢信號不滿足馬爾可夫性質，也就是說隨機向量當前的狀態(tài)只與 前 一狀態(tài)有關；其次，僅用隱馬爾可夫模型對手勢建模遠遠 不夠，會導致隱馬爾可夫模型將許多信號作為噪聲處理。計算機視覺作為一門新興的學科，正在受到越來越多的關注。 手勢作為人類最自然的表達方式之一，在日常生活中得到 了廣泛的應用。通常一個完整的手勢跟蹤與識別系統(tǒng)，分為以下幾個部分： (1)手勢的檢測與跟蹤：手勢的檢測與跟蹤是手勢識別的基礎，其好壞將影響識別率的大小。國內外對手勢跟蹤也做了大量研究，常用的有卡爾曼濾波 (Kalmall Filter)、粒子濾波 (Particle Filter)等跟蹤方法。國內外對靜態(tài)手勢識別做了大量研究。在文獻『 91 中采用基于表觀的手勢模型，提取八個手勢特征組成特征向量，采用二次分類 (粗分類和細分類 )的方法對 10 個常用的靜態(tài)手勢進行識別。 3 手勢圖像預處理及特征提取 手勢圖像的預處理和特征提取是下一步要進行的手勢跟蹤與識別的前提，其質量的好壞既關系到手勢的識別率，又關系到所建立的人機交互系統(tǒng)的整體性能。 3． 1 手勢圖像預處理 在手勢圖像的預處理階段，為了得到理想的分割效果，本文對采集到的手勢圖像采用了圖像平滑、色彩空間轉換、圖像二值化以及形態(tài)學處理等算法以得到準確的手勢二值化圖像。圖像噪聲的來源有三種：一是在光電、電磁轉換過程中引入的人為噪聲；二是大氣層電 (磁 )暴、閃電、電壓、浪涌等引起的強脈沖性沖激噪聲；三是自然起伏性噪聲，由物理量的不連續(xù)性或粒子性引起，這類噪聲又可分為熱噪聲、散粒噪聲等。 1．鄰域平均法 鄰域平均法 I 刎是簡單的空域處理方法。假定有一幅 NXN 個像素的圖像 ),( yxf ，平滑處理后得 到一幅圖像 ),( yxg 。式 (3． 1)說明，平滑后的圖像中 ),( yxg 每 個像素的灰度值，均由似一鄰域中包含的像素灰度值的平均值來決定。中值濾波首先是被應用到一維信號處理技術中，后來被二維圖像信號處理技術所引用。但是對一些細節(jié)，特別是點、線、尖頂細節(jié)多的圖像不宜采用中值濾波的方法。頻域平滑技術是一維信號 低通濾波器在二維圖像中的推廣。 濾波器的數學表達式為： ),(),(),( vuFvuHvuG ?? （ 32） 其中 F(u， D 為原圖像的傅立葉變換， ),( vuG 為平滑后圖像的傅立葉變換， ),( vuH 是濾波器的轉移函數。為截止頻率， ? ? 2122),( vuvuD ?? 是點（ u， v）到頻率平面原點的距離。處由 1 突變到 0，這種理想的 H(u, v )， D 對應的沖激響 應 h(u, v)在空域中表現為同心環(huán)的形式，并且此同心環(huán)數與 D。小，同心環(huán)數越多，模糊程度越厲害。 (2)巴特沃斯濾波器 一個巴特沃斯濾波器的傳遞函數為： nDvuDvuH 20),(11),(???????? (34) 其中 D。時， H(u， v)降為最大值的 1/2。由于轉移特性曲線較為平滑， 沒有振鈴效應，故圖像的模糊將減少。時， H(u， v)降為最大值的 l／ e。 圖 31(a)(b)(c)(d)分別是原圖像、加椒鹽噪聲的圖像、中值濾波效果圖以及 3 3 鄰域濾波效果圖。 圖 31 圖像平滑效果 3． 1 .2 圖像色彩空間轉換 計算機色彩理論認為，一種顏色在計算機中有多種不同的表達方式，從而形成了各種不同的色彩空間。下面我們分析幾種常用的色彩空間： 1． HSI 模式 HSI 模式的定義是以人眼對色彩的觀察為依據的，在 HSI模式中，每種顏色都用色度、飽和度、亮度三個特征來表示。波長不同的光以不同比例混合能夠形成各種各樣的顏色。亮度 I 表示顏色的相對明暗程度，通常用 0％ (黑 )一 100％ (白 )來度量。把其中感興趣的目標像素作為前景像素，其余部分作為背景像素。因此要達 到理想的分割效果，選擇合適的閩值 t 是至關重要的。僅由 像素點 ),( ji 的灰度值 ),( jif確定 閾值 的方法稱為整體閾值選擇法。當閩值選擇不僅取決于該像素閾值以及其周圍各像素的灰度值，而且還與該像素坐標位置有關時 ，稱之為動態(tài)閩值選擇法。但是，實際得到的灰度直方圖不平桿，存在由于小的凹凸而產生的局部極小值，這樣給自動判斷造成諸多不便。這樣做會產生一些噪聲，但對判斷結果的影響不大。在這種情況下，我們可以用動志閩值法解決。如果在子區(qū)域中同時存在背景和目標物體，那么其獲度直方圖呈雙峰，這時可再用模式法等進行二值化處理。 3．最大類間方差法 最大類間方差法是通過使兩組像素的組內方差最小來確定閾值的方法。如果灰度直方圖是雙模式的，則通過灰度直方圖求閩值就是確定最佳闡值 t， 利用闕值 t 把兩種模式分開。晟大類間方差法的最佳閾值是使組內方差的加權和最小的閾值，其中權分別代表各組概率。 本文用晟大類間方差法 (Otsu)對手勢圖像做二值化處理。通道圖像的二值化效果圖。通道圖像進行二值化處理。我們再采用形態(tài)學處理方法獲得比較理想的手勢分割效果。 (1)膨脹：用結構元 S 對二值圖像進行膨脹運算表示為 B? S，定義如下： B? SbBb S??? (39) 用結構元 S 掃描整幅圖像。 (2)腐蝕：用結構元 S 對二值圖像曰進行腐蝕運算表示為 B? S，定義如下： B? S={ SsBsbb ????| } (310) 腐蝕運算也是用結構元掃描整幅圖像。 (3)閉運算：用結構元 S 對二值圖像曰進行的閉運算表示為 B s=(B? S) ? S (311) 先膨脹后腐蝕的過程就稱為閉運算。 (4)開運算：用結構元 S 對二值圖像 B 進行的開運算表示為 B。 S=(B? S) ? S (312) 先腐蝕后膨脹的過程稱為開運算。 本文利用 Otsu 分割方法得到的圖像還存在噪聲，如圖 34(a)所示，二值化后的手勢圖手指區(qū)域分割并不完全，這會導致后續(xù)特征值的計算產生一定的偏差從而影響最終的手勢識 別結果，所以我們把分割得到的圖像先進行膨脹運算，如圖 34(b)所示，去掉分割不理想導致的小的“孔洞”；再進行腐蝕運算得到圖像 34(c)。如果特征選擇錯誤，就不能 準確分類，甚至無法分類。因為實際問題中很難找到那些最關鍵的特征，或者某些圖像的特征會隨著環(huán)境的變化而變化，這就使得特征的選擇和提取更加復雜化。當樣本數量不是很多時，需要用很多特征進行分類器的設計，而從計算復雜度和分類器的性能來看都是不合適的。原始