【文章內(nèi)容簡介】 化為較大的值。假定預(yù)測位置與真實值之間在水平和垂直方向上都有177。10像素的誤差，預(yù)測的速度在水平和垂直方向上都有177。３像素的誤差，估計的協(xié)方差矩陣可定義為：。根據(jù)對駕駛員臉部運動的觀察，可以假定系統(tǒng)的噪聲如下：位置系統(tǒng)誤差的標(biāo)準(zhǔn)偏差在水平和垂直方向上都為6像素。因此，狀態(tài)協(xié)方差矩陣Q 可寫為：。類似的，可以假定測量模型在水平和垂直方向上有３像素的誤差。因此可以得到測量噪聲的協(xié)方差矩陣R為：。（5）狀態(tài)更新根據(jù)狀態(tài)模型和測量模型，以及初始條件，狀態(tài)向量可以用Kalman濾波器估計出來。如前所述，Kalman濾波包括預(yù)測和更新兩個步驟。通過觀察可知，協(xié)方差矩陣在幾幀之后逐漸趨于穩(wěn)定。狀態(tài)協(xié)方差矩陣給出了對下一幀臉部位置預(yù)測的不確定性。在下一幀中的搜索窗口可以根據(jù)確定。為了加速計算，用和的值來決定搜索的窗口大小。搜索窗口的寬度和高度分別為AVE_W+和AVE_H+,其中AVE_W和AVE_H分別是平均的臉部窗口寬度和高度，根據(jù)歷史數(shù)據(jù)獲得。和越大，表明估計的不確定性越大，搜索的窗口也越大。當(dāng)臉部突然運動或從圖像中消失導(dǎo)致跟蹤失敗時，可重新啟動Kalman濾波跟蹤并在整幅圖像中檢測臉部區(qū)域。，啟動卡爾曼濾波跟蹤人臉的效果圖。　　　　　(a) 第一幀 (b) 第二幀　　　　　(c) 第二十幀 　 (d) 第五十幀　卡爾曼跟蹤效果圖疲勞檢測 引言本章主要研究在檢測出駕駛員臉部區(qū)域的基礎(chǔ)上，如何檢測與疲勞相關(guān)的眼睛線索。研究表明，～2秒左右的“微睡眠”表現(xiàn)出來的眨眼狀態(tài)，這時的眨眼狀態(tài)與非疲勞狀態(tài)時的眨眼相比，其特征是眼睛的閉合速度較慢，閉眼的持續(xù)時間較長，可以用這些特點來衡量駕駛員的疲勞狀態(tài)。為了檢測出與疲勞相關(guān)的眼睛線索，首先從人臉區(qū)域中定位出眼睛區(qū)域的大致位置。在此基礎(chǔ)上，采用改進的Sobel水平邊緣檢測、8連通區(qū)域判斷、重心模板尋找眼睛對、區(qū)域生長、形態(tài)學(xué)運算及建立規(guī)則集等方法檢測出眼睛的精確位置，計算包括眼睛眨眼速度，眨眼頻率和PERCLOS等，并對比各參數(shù)與疲勞的相關(guān)關(guān)系?！』叶葓D像預(yù)處理 中值濾波人臉圖像中的噪聲往往以孤立點的形式出現(xiàn)，而使用非線性濾波可以有效的去除椒鹽噪聲（孤立噪聲）的影響。中值濾波（Media filtering）是基于排序統(tǒng)計理論的一種能有效抑制噪聲的非線性信號處理技術(shù)。這種濾波器的優(yōu)點是運算簡單而且速度較快，在濾除疊加白噪聲和長尾疊加噪聲方面顯示出極好的性能。中值濾波在濾除噪聲的同時能夠很好的保護信號的細(xì)節(jié)信息(例如邊緣，銳角等)。另外，中值濾波器很容易自適應(yīng)化，從而可以進一步提高其濾波性能。因此，它非常適用于一些線性濾波器無法勝任的數(shù)字圖像處理。中值濾波一般采用一個含有奇數(shù)個點的滑動窗口，用窗口中各點灰度值的中值來替代定點（一般是窗口的中心點）的灰度值。對于奇數(shù)個元素，中值是指按照大小排序后中間的數(shù)值；對于偶數(shù)個元素，中值是指排序后中間兩個元素灰度值的平均值。它的工作步驟如下：將模板在圖中遍歷，并將模板中心與圖中某個像素位置重合；讀取模板中各對應(yīng)像素的灰度值；將這些灰度值從小到大排成一列；找出該灰度值序列中位于中間的值；將此中間值賦給對應(yīng)模板中心位置的像素。由以上步驟可以看出，中值濾波器的主要功能就是讓周圍像素灰度值的差比較大的像素改取與周圍像素灰度值接近的值，從而可以消除孤立的噪聲點。由于它不是簡單的取均值，所以產(chǎn)生的模糊比較少[41]。(a)是對檢測到的人臉圖像加入了椒鹽噪聲，(b)進行３３中值濾波后的圖像。 (a)加入椒鹽噪聲圖像 (b)濾波后圖像　中值濾波　眼睛區(qū)域檢測眼睛檢測是人機交互領(lǐng)域的熱點研究課題，可通過眨眼及眼睛的閉合周期長短來控制計算機[42],眼睛檢測也是基于特征的人臉識別的前提，在許多駕駛員疲勞檢測系統(tǒng)中都采用了眨眼檢測作為特征[43]。現(xiàn)有的眼睛定位方法大致可以分為以下幾類：（1）基于特征的方法[4448]:根據(jù)眼睛的幾何、位置、邊緣、灰度、顏色等特征定位眼睛。該類方法比較簡單，但可能檢測出很多候選的眼睛區(qū)域，一般需要對檢測結(jié)果進行驗證。（2）基于模板匹配的方法[49,50]:用建立好的模板在圖像中搜索高相關(guān)度的區(qū)域。（3）基于變換的方法:如Gabor小波變換的方法[51,52,53]、基于對稱變換的方法[54]等。通過變換能增強眼睛區(qū)域，使眼睛區(qū)域容易檢測出來。眼睛定位是較難的研究課題，目前尚無適應(yīng)所有情況的檢測方法，通常根據(jù)應(yīng)用情況的不同選擇相應(yīng)的檢測方法。基于模板和變換的方法速度較慢，不適合應(yīng)用在本系統(tǒng)中。由于駕駛員疲勞監(jiān)測系統(tǒng)對實時性要求較高，本文用以下方法檢測出眼睛區(qū)域：對經(jīng)過預(yù)處理的駕駛員臉部圖像首先采用改進的水平Sobel邊緣檢測的方法二值化圖像，用連通區(qū)域標(biāo)記的方法檢測出候選的眼睛區(qū)域，再利用先驗知識構(gòu)建規(guī)則集，去除部分干擾矩形，之后建立三角形模板尋找眼睛對，在得到眼睛邊緣后通過區(qū)域生長和形態(tài)學(xué)運算的方法，最后檢測出眼睛區(qū)域。 邊緣檢測算法邊緣是指圖像周圍像素灰度有階躍變化或屋頂狀變化的那些像素的集合，它存在于目標(biāo)與背景、目標(biāo)與目標(biāo)、區(qū)域與區(qū)域之間。圖像邊緣信息在圖像分析和人的視覺中都是非常重要的，是圖像識別中提取圖像特征的一個重要屬性。圖像的邊緣有方向和幅度兩個特性。通常沿邊緣方向的像素變化平緩，而垂直于邊緣走向的像素變化劇烈。這種變化可能呈現(xiàn)階躍型和房頂型。：　灰度變化的類型邊緣檢測算子檢查每個像素的鄰域并對灰度變化率進行量化，也包括方向的確定，一般使用基于方向?qū)?shù)掩模求卷積的方法。常用的邊緣檢測算子[55,56]有Robert梯度算子、拉普拉斯(Laplacian)算子、Sobel算子等。Robert邊緣檢測算子是一種利用局部差分算子來尋找圖像邊緣的算子，它由下式給出： (41)其中f(x,y)是具有整數(shù)像素坐標(biāo)的輸入圖像。拉普拉斯算子是不依賴于邊緣方向的二階微分算子，它是一個標(biāo)量而不是向量，具有旋轉(zhuǎn)不變性即各向同性的性質(zhì)，其算子為，二階微分Laplacian算子對噪聲更敏感，它使噪聲成分加強，在實際應(yīng)用中通常先進行平滑處理，也可以采用高斯拉普拉斯(LOG)算子，常用的LOG算子為。Sobel邊緣檢測算法是先做加權(quán)平均，再微分，然后求梯度，該算法的優(yōu)點是方法簡單處理速度快,并且所得的邊緣光滑連續(xù)，其缺點是邊緣較粗。Sobel邊緣檢測算子：f(i1,j1)f(i,j1)f(i+1,j1)f(i1,j)f(i,j)f(i+1,j)f(i1,j+1)f(i,j+1)f(i+1,j+1)以下兩個卷積核形成了Sobel邊緣檢測算子。每個點都用這兩個核做卷積，一個核對通常的垂直邊緣響應(yīng)最大，而另一個對水平邊緣響應(yīng)最大。邊緣檢測算子的中心與中心像素相對應(yīng)，進行卷積運算。兩個卷積核的最大值作為該點的輸出。運算結(jié)果是一幅邊緣幅度圖像。在邊緣檢測中，Sobel算子對于像素的位置的影響做了加權(quán)，加權(quán)平均邊寬＞2像素，因此效果更好。水平邊緣Sobel算子、垂直邊緣Sobel算子如下：,對得到的人臉圖像上3/5區(qū)域進行水平Sobel邊緣檢測，并且改進了Sobel邊緣檢測，在Sobel邊緣檢測的基礎(chǔ)上減去原像素點的灰度值，這樣在水平邊緣處就會產(chǎn)生高值，而其他像素點處得到的值基本等于０，很容易采用合適的經(jīng)驗值得到一幅人臉二值化圖像。采用如下公式計算像素點的值:SOBE(i,j)=f(i1,j1)+2f(i1,j)+f(i1,j+1)f(i+1,j1)2f(i+1,j)f(i+1,j+1)f(i,j) (42)根據(jù)以下規(guī)則二值化人臉圖像： (43)其中T為二值化的閾值，這里取T=20。通過比較可以看出，基于改進的Sobel邊緣檢測效果較好。　邊緣檢測結(jié)果 連通區(qū)域判斷在二值圖像f中，相互聯(lián)結(jié)的白像素的集合成為一個（白）區(qū)域。程序是通過對圖像f內(nèi)的每個區(qū)域進行標(biāo)記，求得區(qū)域的數(shù)目。由于處理前的f是二值的，像素要么為０（黑），要么為255（白），所以處理后的每個像素的值即為其所處理區(qū)域的區(qū)域標(biāo)號（1,2,3,…）。下面舉例說明采用的８連通判別算法，圖中有A、B、C三個不連通的物體，對這三個物體的標(biāo)識過程如下：　連通區(qū)域判斷① 從左到右，從上到下逐個像素掃描。② 若該點的左上、正上、右上及左前點共4個點的像素值都不為物體，則把數(shù)標(biāo)加1，且此數(shù)組值為1。③ 采用（行坐標(biāo)，列坐標(biāo)）方式標(biāo)記物體。若遇到(1,1)像素為物體A，依次判斷該像素點的右上點(0,2)，正上(0,1)，左上(0,0)及左前(1,0)是否為該物體，優(yōu)先級依次降低的順序為右上點(0,2)，正上點(0,1)，左上點(0,0)及左前點(1，0)。(0,2)的優(yōu)先級最高，而左前(1,0)的優(yōu)先級最低。④ 若右上點為物體，則當(dāng)前點跟右上點，并標(biāo)記和右上點相同的值。如：當(dāng)前點(2,2)，則其右上點(1,3)為物體，所以當(dāng)前點為(2,2)標(biāo)記與右上點(1,3)相同的值。⑤ 若右上點不為物體，則判斷正上點。如：當(dāng)前點(5,4)，則其右上點(4,5)不是物體，則判斷正上點(4,4)為物體，所以當(dāng)前點(5,4)標(biāo)記與正上點(4,4)相同的值。⑥ 同理，若當(dāng)前點的右上點、正上點都不為物體，則同樣的方法依次判斷左上點，若左上點也不為物體，則再判斷左前點。⑦ 若如：當(dāng)前點(1,8)的右上點(0,9)，正上點(0,8)，左上點(0,7)及左前點(1,7)都不為物體，則當(dāng)前點的值在原來的標(biāo)記上加1，以此標(biāo)記來作為另一物體的區(qū)別。⑧ 其中有一特別調(diào)整：從圖可見(10,2)是一個新加標(biāo)記的點，當(dāng)前點(10,3)的右上點(9,4)及左前點(10,2)為不同標(biāo)記，正上點和左上點不為物體，則當(dāng)前點(10,3)標(biāo)記同右上點(9,4)置相同的值。此時，從頭到正在處理的點掃描圖像，把所有同(10,2)標(biāo)記相同的像素值都標(biāo)記成與右上點(9,4)同樣的值。有多少個像素點轉(zhuǎn)換，統(tǒng)計右上點像素值(標(biāo)記值)的數(shù)組就加多少。而把統(tǒng)計左前點的像素值(標(biāo)記值)的數(shù)組置0。經(jīng)過上述處理，標(biāo)記了整幅圖像的連通區(qū)域。但由于圖像中某些邊緣較細(xì)，有可能出現(xiàn)個別像素上的邊緣斷裂的情況，影響到下一步的處理。此時再遍歷整幅圖像,對于每個標(biāo)記的邊緣最右邊的像素點，判斷其右方和下方6個像素范圍內(nèi)是否有另一個已標(biāo)記的圖像邊緣，如果有，將兩個邊緣合并，達到斷裂邊緣恢復(fù)的目的。 去除干擾矩形進行連通區(qū)域判斷后，得到了白色區(qū)域的外接矩形，其中有可能包含一些過高、過長、高比長大的矩形以及孤立點。由于這些矩形明顯不可能是眼睛區(qū)域，所以要首先排除這些點的干擾。去除干擾后得到的二值化圖如下：　去除干擾圖 建立規(guī)則集搜索眼睛邊緣在得到水平邊緣二值化圖像中白色物體的外接矩形后，計算這些矩形內(nèi)物體的重心點，重心坐標(biāo)計算公式如下：　　　， (44)在計算重心的時候，所處理的像素都是黑白的，即f(x,y)只有兩種取值：0（黑）或者255（白），而特征塊所包含的像素一定是白色的，所以在公式中可以完全把f(x,y)省略，直接寫作：　　　， (45)經(jīng)過簡單的推導(dǎo)得到用和表達的重心坐標(biāo)：　　　， 　 (46)：　重心坐標(biāo)圖根據(jù)常識，“ － ”代表眉毛，“ ＋ ”代表眼睛。 眼睛對可能出現(xiàn)的形式為了在橫紋目標(biāo)圖上尋找可能的眼睛對組合，定義和兩種三角形模板，分別用于給定眉毛尋找對應(yīng)眼睛和給定左眼尋找右眼、右眉。定義1：定義為以P為頂點的下等腰三角形，其頂角角度為2，高為h。定義2：定義為以P為頂點的右等腰三角形，其頂角角度為2，高為h?？紤]到眼鏡和頭發(fā)等對結(jié)果的影響，（c）所示。定義3：定義為減去所剩余的等腰梯形區(qū),h2h1?！∪切文０逶谥匦淖鴺?biāo)圖上，搜索眼睛對過程如下：（1）對目標(biāo)圖中的每個重心點依次進行操作。（2）把作為左眉重心點,在區(qū)內(nèi)搜尋相應(yīng)的左眼。如未找到，則為當(dāng)前目標(biāo)重心點為左眼，而沒有左眉，轉(zhuǎn)（5）；否則轉(zhuǎn)（3）。（3）令，搜尋區(qū)內(nèi)所有中心點。若個數(shù)2轉(zhuǎn)（4）；否則轉(zhuǎn)（5）。（4）搜尋區(qū)內(nèi)的中心點。如未找到，說明不存在以為左眼的眼睛對。否則把距最近的那個重心點先作為右眉，再作為右眼。當(dāng)為右眉時，還需在區(qū)內(nèi)搜尋對應(yīng)的右眼。如未找到，則表明該眼睛對不存在；否則與便構(gòu)成了一個眼睛對。當(dāng)為右眼時，則與直接構(gòu)成了一個眼睛對。（5）把作為左眼，搜尋區(qū)內(nèi)所有的重心點。如未找到，說明不存在以為左眼的眼睛對；否則把距最近的那個重心點先作為右眉，再作為右眼。當(dāng)為右眉時，令，在區(qū)內(nèi)搜尋對應(yīng)的右眼。如未找到，則表明該眼睛對不存在；否則與便構(gòu)成了一對眼睛對。當(dāng)為右眼時，則與直接構(gòu)成了一對眼睛對。：　眼睛邊緣圖 區(qū)域生長提取眼睛輪廓區(qū)域生長[57,58]是一種受到人工智能領(lǐng)域中的計算機視覺界十分關(guān)注的圖像分割方法。這種方法是從把一幅圖像分成許多小區(qū)開始的。這些初始的區(qū)域可能是小的鄰域甚至是單個像素點。在每個區(qū)域中，對經(jīng)過適當(dāng)定義的能反映一個物體內(nèi)成員隸屬程度的性質(zhì)進行計算。用于區(qū)分不同物體內(nèi)像素的性質(zhì)包括平均灰度值、紋理或顏色信息。因此，第一步是賦給每個區(qū)域一組參數(shù)，這些參數(shù)的值能夠反映區(qū)域?qū)儆谀膫€物體。接下來，對相鄰區(qū)域的所有邊界進行檢查，相鄰區(qū)域的平均度量之間的差異是計算邊界強度的一個尺度。如果給定邊界兩側(cè)的度量差異明顯，那么這個邊界很強，反之則弱。強邊界允許繼續(xù)存在，而弱邊界則被消除，相鄰區(qū)域被合并。這是一個迭代過程，每一步都重新計算被擴大區(qū)域的物體成員隸屬關(guān)系并消除弱邊界。當(dāng)沒有可以消除的弱邊界時，區(qū)域合并過程結(jié)束。這時，圖像分割也就完成。這個過程會使人感覺是一個物體內(nèi)部不斷增長，直到其邊界對應(yīng)于物體的真正邊界的過程。決定區(qū)域生長結(jié)果的好壞有三個條件，本系統(tǒng)中是選用如下條件進行區(qū)域生長的：