【文章內(nèi)容簡(jiǎn)介】 化為較大的值。假定預(yù)測(cè)位置與真實(shí)值之間在水平和垂直方向上都有177。10像素的誤差，預(yù)測(cè)的速度在水平和垂直方向上都有177。３像素的誤差，估計(jì)的協(xié)方差矩陣可定義為：。根據(jù)對(duì)駕駛員臉部運(yùn)動(dòng)的觀察，可以假定系統(tǒng)的噪聲如下：位置系統(tǒng)誤差的標(biāo)準(zhǔn)偏差在水平和垂直方向上都為6像素。因此，狀態(tài)協(xié)方差矩陣Q 可寫為：。類似的，可以假定測(cè)量模型在水平和垂直方向上有３像素的誤差。因此可以得到測(cè)量噪聲的協(xié)方差矩陣R為：。（5）狀態(tài)更新根據(jù)狀態(tài)模型和測(cè)量模型，以及初始條件，狀態(tài)向量可以用Kalman濾波器估計(jì)出來。如前所述，Kalman濾波包括預(yù)測(cè)和更新兩個(gè)步驟。通過觀察可知，協(xié)方差矩陣在幾幀之后逐漸趨于穩(wěn)定。狀態(tài)協(xié)方差矩陣給出了對(duì)下一幀臉部位置預(yù)測(cè)的不確定性。在下一幀中的搜索窗口可以根據(jù)確定。為了加速計(jì)算，用和的值來決定搜索的窗口大小。搜索窗口的寬度和高度分別為AVE_W+和AVE_H+,其中AVE_W和AVE_H分別是平均的臉部窗口寬度和高度，根據(jù)歷史數(shù)據(jù)獲得。和越大，表明估計(jì)的不確定性越大，搜索的窗口也越大。當(dāng)臉部突然運(yùn)動(dòng)或從圖像中消失導(dǎo)致跟蹤失敗時(shí)，可重新啟動(dòng)Kalman濾波跟蹤并在整幅圖像中檢測(cè)臉部區(qū)域。，啟動(dòng)卡爾曼濾波跟蹤人臉的效果圖?！　　　　?a) 第一幀 (b) 第二幀　　　　　(c) 第二十幀 　 (d) 第五十幀　卡爾曼跟蹤效果圖疲勞檢測(cè) 引言本章主要研究在檢測(cè)出駕駛員臉部區(qū)域的基礎(chǔ)上，如何檢測(cè)與疲勞相關(guān)的眼睛線索。研究表明，～2秒左右的“微睡眠”表現(xiàn)出來的眨眼狀態(tài)，這時(shí)的眨眼狀態(tài)與非疲勞狀態(tài)時(shí)的眨眼相比，其特征是眼睛的閉合速度較慢，閉眼的持續(xù)時(shí)間較長(zhǎng)，可以用這些特點(diǎn)來衡量駕駛員的疲勞狀態(tài)。為了檢測(cè)出與疲勞相關(guān)的眼睛線索，首先從人臉區(qū)域中定位出眼睛區(qū)域的大致位置。在此基礎(chǔ)上，采用改進(jìn)的Sobel水平邊緣檢測(cè)、8連通區(qū)域判斷、重心模板尋找眼睛對(duì)、區(qū)域生長(zhǎng)、形態(tài)學(xué)運(yùn)算及建立規(guī)則集等方法檢測(cè)出眼睛的精確位置，計(jì)算包括眼睛眨眼速度，眨眼頻率和PERCLOS等，并對(duì)比各參數(shù)與疲勞的相關(guān)關(guān)系。　灰度圖像預(yù)處理 中值濾波人臉圖像中的噪聲往往以孤立點(diǎn)的形式出現(xiàn)，而使用非線性濾波可以有效的去除椒鹽噪聲（孤立噪聲）的影響。中值濾波（Media filtering）是基于排序統(tǒng)計(jì)理論的一種能有效抑制噪聲的非線性信號(hào)處理技術(shù)。這種濾波器的優(yōu)點(diǎn)是運(yùn)算簡(jiǎn)單而且速度較快，在濾除疊加白噪聲和長(zhǎng)尾疊加噪聲方面顯示出極好的性能。中值濾波在濾除噪聲的同時(shí)能夠很好的保護(hù)信號(hào)的細(xì)節(jié)信息(例如邊緣，銳角等)。另外，中值濾波器很容易自適應(yīng)化，從而可以進(jìn)一步提高其濾波性能。因此，它非常適用于一些線性濾波器無法勝任的數(shù)字圖像處理。中值濾波一般采用一個(gè)含有奇數(shù)個(gè)點(diǎn)的滑動(dòng)窗口，用窗口中各點(diǎn)灰度值的中值來替代定點(diǎn)（一般是窗口的中心點(diǎn)）的灰度值。對(duì)于奇數(shù)個(gè)元素，中值是指按照大小排序后中間的數(shù)值；對(duì)于偶數(shù)個(gè)元素，中值是指排序后中間兩個(gè)元素灰度值的平均值。它的工作步驟如下：將模板在圖中遍歷，并將模板中心與圖中某個(gè)像素位置重合；讀取模板中各對(duì)應(yīng)像素的灰度值；將這些灰度值從小到大排成一列；找出該灰度值序列中位于中間的值；將此中間值賦給對(duì)應(yīng)模板中心位置的像素。由以上步驟可以看出，中值濾波器的主要功能就是讓周圍像素灰度值的差比較大的像素改取與周圍像素灰度值接近的值，從而可以消除孤立的噪聲點(diǎn)。由于它不是簡(jiǎn)單的取均值，所以產(chǎn)生的模糊比較少[41]。(a)是對(duì)檢測(cè)到的人臉圖像加入了椒鹽噪聲，(b)進(jìn)行３３中值濾波后的圖像。 (a)加入椒鹽噪聲圖像 (b)濾波后圖像　中值濾波　眼睛區(qū)域檢測(cè)眼睛檢測(cè)是人機(jī)交互領(lǐng)域的熱點(diǎn)研究課題，可通過眨眼及眼睛的閉合周期長(zhǎng)短來控制計(jì)算機(jī)[42],眼睛檢測(cè)也是基于特征的人臉識(shí)別的前提，在許多駕駛員疲勞檢測(cè)系統(tǒng)中都采用了眨眼檢測(cè)作為特征[43]?，F(xiàn)有的眼睛定位方法大致可以分為以下幾類：（1）基于特征的方法[4448]:根據(jù)眼睛的幾何、位置、邊緣、灰度、顏色等特征定位眼睛。該類方法比較簡(jiǎn)單，但可能檢測(cè)出很多候選的眼睛區(qū)域，一般需要對(duì)檢測(cè)結(jié)果進(jìn)行驗(yàn)證。（2）基于模板匹配的方法[49,50]:用建立好的模板在圖像中搜索高相關(guān)度的區(qū)域。（3）基于變換的方法:如Gabor小波變換的方法[51,52,53]、基于對(duì)稱變換的方法[54]等。通過變換能增強(qiáng)眼睛區(qū)域，使眼睛區(qū)域容易檢測(cè)出來。眼睛定位是較難的研究課題，目前尚無適應(yīng)所有情況的檢測(cè)方法，通常根據(jù)應(yīng)用情況的不同選擇相應(yīng)的檢測(cè)方法?；谀０搴妥儞Q的方法速度較慢，不適合應(yīng)用在本系統(tǒng)中。由于駕駛員疲勞監(jiān)測(cè)系統(tǒng)對(duì)實(shí)時(shí)性要求較高，本文用以下方法檢測(cè)出眼睛區(qū)域：對(duì)經(jīng)過預(yù)處理的駕駛員臉部圖像首先采用改進(jìn)的水平Sobel邊緣檢測(cè)的方法二值化圖像，用連通區(qū)域標(biāo)記的方法檢測(cè)出候選的眼睛區(qū)域，再利用先驗(yàn)知識(shí)構(gòu)建規(guī)則集，去除部分干擾矩形，之后建立三角形模板尋找眼睛對(duì)，在得到眼睛邊緣后通過區(qū)域生長(zhǎng)和形態(tài)學(xué)運(yùn)算的方法，最后檢測(cè)出眼睛區(qū)域。 邊緣檢測(cè)算法邊緣是指圖像周圍像素灰度有階躍變化或屋頂狀變化的那些像素的集合，它存在于目標(biāo)與背景、目標(biāo)與目標(biāo)、區(qū)域與區(qū)域之間。圖像邊緣信息在圖像分析和人的視覺中都是非常重要的，是圖像識(shí)別中提取圖像特征的一個(gè)重要屬性。圖像的邊緣有方向和幅度兩個(gè)特性。通常沿邊緣方向的像素變化平緩，而垂直于邊緣走向的像素變化劇烈。這種變化可能呈現(xiàn)階躍型和房頂型。：　灰度變化的類型邊緣檢測(cè)算子檢查每個(gè)像素的鄰域并對(duì)灰度變化率進(jìn)行量化，也包括方向的確定，一般使用基于方向?qū)?shù)掩模求卷積的方法。常用的邊緣檢測(cè)算子[55,56]有Robert梯度算子、拉普拉斯(Laplacian)算子、Sobel算子等。Robert邊緣檢測(cè)算子是一種利用局部差分算子來尋找圖像邊緣的算子，它由下式給出： (41)其中f(x,y)是具有整數(shù)像素坐標(biāo)的輸入圖像。拉普拉斯算子是不依賴于邊緣方向的二階微分算子，它是一個(gè)標(biāo)量而不是向量，具有旋轉(zhuǎn)不變性即各向同性的性質(zhì)，其算子為，二階微分Laplacian算子對(duì)噪聲更敏感，它使噪聲成分加強(qiáng)，在實(shí)際應(yīng)用中通常先進(jìn)行平滑處理，也可以采用高斯拉普拉斯(LOG)算子，常用的LOG算子為。Sobel邊緣檢測(cè)算法是先做加權(quán)平均，再微分，然后求梯度，該算法的優(yōu)點(diǎn)是方法簡(jiǎn)單處理速度快,并且所得的邊緣光滑連續(xù)，其缺點(diǎn)是邊緣較粗。Sobel邊緣檢測(cè)算子：f(i1,j1)f(i,j1)f(i+1,j1)f(i1,j)f(i,j)f(i+1,j)f(i1,j+1)f(i,j+1)f(i+1,j+1)以下兩個(gè)卷積核形成了Sobel邊緣檢測(cè)算子。每個(gè)點(diǎn)都用這兩個(gè)核做卷積，一個(gè)核對(duì)通常的垂直邊緣響應(yīng)最大，而另一個(gè)對(duì)水平邊緣響應(yīng)最大。邊緣檢測(cè)算子的中心與中心像素相對(duì)應(yīng)，進(jìn)行卷積運(yùn)算。兩個(gè)卷積核的最大值作為該點(diǎn)的輸出。運(yùn)算結(jié)果是一幅邊緣幅度圖像。在邊緣檢測(cè)中，Sobel算子對(duì)于像素的位置的影響做了加權(quán)，加權(quán)平均邊寬＞2像素，因此效果更好。水平邊緣Sobel算子、垂直邊緣Sobel算子如下：,對(duì)得到的人臉圖像上3/5區(qū)域進(jìn)行水平Sobel邊緣檢測(cè)，并且改進(jìn)了Sobel邊緣檢測(cè)，在Sobel邊緣檢測(cè)的基礎(chǔ)上減去原像素點(diǎn)的灰度值，這樣在水平邊緣處就會(huì)產(chǎn)生高值，而其他像素點(diǎn)處得到的值基本等于０，很容易采用合適的經(jīng)驗(yàn)值得到一幅人臉二值化圖像。采用如下公式計(jì)算像素點(diǎn)的值:SOBE(i,j)=f(i1,j1)+2f(i1,j)+f(i1,j+1)f(i+1,j1)2f(i+1,j)f(i+1,j+1)f(i,j) (42)根據(jù)以下規(guī)則二值化人臉圖像： (43)其中T為二值化的閾值，這里取T=20。通過比較可以看出，基于改進(jìn)的Sobel邊緣檢測(cè)效果較好?！∵吘墮z測(cè)結(jié)果 連通區(qū)域判斷在二值圖像f中，相互聯(lián)結(jié)的白像素的集合成為一個(gè)（白）區(qū)域。程序是通過對(duì)圖像f內(nèi)的每個(gè)區(qū)域進(jìn)行標(biāo)記，求得區(qū)域的數(shù)目。由于處理前的f是二值的，像素要么為０（黑），要么為255（白），所以處理后的每個(gè)像素的值即為其所處理區(qū)域的區(qū)域標(biāo)號(hào)（1,2,3,…）。下面舉例說明采用的８連通判別算法，圖中有A、B、C三個(gè)不連通的物體，對(duì)這三個(gè)物體的標(biāo)識(shí)過程如下：　連通區(qū)域判斷① 從左到右，從上到下逐個(gè)像素掃描。② 若該點(diǎn)的左上、正上、右上及左前點(diǎn)共4個(gè)點(diǎn)的像素值都不為物體，則把數(shù)標(biāo)加1，且此數(shù)組值為1。③ 采用（行坐標(biāo)，列坐標(biāo)）方式標(biāo)記物體。若遇到(1,1)像素為物體A，依次判斷該像素點(diǎn)的右上點(diǎn)(0,2)，正上(0,1)，左上(0,0)及左前(1,0)是否為該物體，優(yōu)先級(jí)依次降低的順序?yàn)橛疑宵c(diǎn)(0,2)，正上點(diǎn)(0,1)，左上點(diǎn)(0,0)及左前點(diǎn)(1，0)。(0,2)的優(yōu)先級(jí)最高，而左前(1,0)的優(yōu)先級(jí)最低。④ 若右上點(diǎn)為物體，則當(dāng)前點(diǎn)跟右上點(diǎn)，并標(biāo)記和右上點(diǎn)相同的值。如：當(dāng)前點(diǎn)(2,2)，則其右上點(diǎn)(1,3)為物體，所以當(dāng)前點(diǎn)為(2,2)標(biāo)記與右上點(diǎn)(1,3)相同的值。⑤ 若右上點(diǎn)不為物體，則判斷正上點(diǎn)。如：當(dāng)前點(diǎn)(5,4)，則其右上點(diǎn)(4,5)不是物體，則判斷正上點(diǎn)(4,4)為物體，所以當(dāng)前點(diǎn)(5,4)標(biāo)記與正上點(diǎn)(4,4)相同的值。⑥ 同理，若當(dāng)前點(diǎn)的右上點(diǎn)、正上點(diǎn)都不為物體，則同樣的方法依次判斷左上點(diǎn)，若左上點(diǎn)也不為物體，則再判斷左前點(diǎn)。⑦ 若如：當(dāng)前點(diǎn)(1,8)的右上點(diǎn)(0,9)，正上點(diǎn)(0,8)，左上點(diǎn)(0,7)及左前點(diǎn)(1,7)都不為物體，則當(dāng)前點(diǎn)的值在原來的標(biāo)記上加1，以此標(biāo)記來作為另一物體的區(qū)別。⑧ 其中有一特別調(diào)整：從圖可見(10,2)是一個(gè)新加標(biāo)記的點(diǎn)，當(dāng)前點(diǎn)(10,3)的右上點(diǎn)(9,4)及左前點(diǎn)(10,2)為不同標(biāo)記，正上點(diǎn)和左上點(diǎn)不為物體，則當(dāng)前點(diǎn)(10,3)標(biāo)記同右上點(diǎn)(9,4)置相同的值。此時(shí)，從頭到正在處理的點(diǎn)掃描圖像，把所有同(10,2)標(biāo)記相同的像素值都標(biāo)記成與右上點(diǎn)(9,4)同樣的值。有多少個(gè)像素點(diǎn)轉(zhuǎn)換，統(tǒng)計(jì)右上點(diǎn)像素值(標(biāo)記值)的數(shù)組就加多少。而把統(tǒng)計(jì)左前點(diǎn)的像素值(標(biāo)記值)的數(shù)組置0。經(jīng)過上述處理，標(biāo)記了整幅圖像的連通區(qū)域。但由于圖像中某些邊緣較細(xì)，有可能出現(xiàn)個(gè)別像素上的邊緣斷裂的情況，影響到下一步的處理。此時(shí)再遍歷整幅圖像,對(duì)于每個(gè)標(biāo)記的邊緣最右邊的像素點(diǎn)，判斷其右方和下方6個(gè)像素范圍內(nèi)是否有另一個(gè)已標(biāo)記的圖像邊緣，如果有，將兩個(gè)邊緣合并，達(dá)到斷裂邊緣恢復(fù)的目的。 去除干擾矩形進(jìn)行連通區(qū)域判斷后，得到了白色區(qū)域的外接矩形，其中有可能包含一些過高、過長(zhǎng)、高比長(zhǎng)大的矩形以及孤立點(diǎn)。由于這些矩形明顯不可能是眼睛區(qū)域，所以要首先排除這些點(diǎn)的干擾。去除干擾后得到的二值化圖如下：　去除干擾圖 建立規(guī)則集搜索眼睛邊緣在得到水平邊緣二值化圖像中白色物體的外接矩形后，計(jì)算這些矩形內(nèi)物體的重心點(diǎn)，重心坐標(biāo)計(jì)算公式如下：　　　， (44)在計(jì)算重心的時(shí)候，所處理的像素都是黑白的，即f(x,y)只有兩種取值：0（黑）或者255（白），而特征塊所包含的像素一定是白色的，所以在公式中可以完全把f(x,y)省略，直接寫作：　　　， (45)經(jīng)過簡(jiǎn)單的推導(dǎo)得到用和表達(dá)的重心坐標(biāo)：　　　， 　 (46)：　重心坐標(biāo)圖根據(jù)常識(shí)，“ － ”代表眉毛，“ ＋ ”代表眼睛。 眼睛對(duì)可能出現(xiàn)的形式為了在橫紋目標(biāo)圖上尋找可能的眼睛對(duì)組合，定義和兩種三角形模板，分別用于給定眉毛尋找對(duì)應(yīng)眼睛和給定左眼尋找右眼、右眉。定義1：定義為以P為頂點(diǎn)的下等腰三角形，其頂角角度為2，高為h。定義2：定義為以P為頂點(diǎn)的右等腰三角形，其頂角角度為2，高為h?？紤]到眼鏡和頭發(fā)等對(duì)結(jié)果的影響，（c）所示。定義3：定義為減去所剩余的等腰梯形區(qū),h2h1?！∪切文０逶谥匦淖鴺?biāo)圖上，搜索眼睛對(duì)過程如下：（1）對(duì)目標(biāo)圖中的每個(gè)重心點(diǎn)依次進(jìn)行操作。（2）把作為左眉重心點(diǎn),在區(qū)內(nèi)搜尋相應(yīng)的左眼。如未找到，則為當(dāng)前目標(biāo)重心點(diǎn)為左眼，而沒有左眉，轉(zhuǎn)（5）；否則轉(zhuǎn)（3）。（3）令，搜尋區(qū)內(nèi)所有中心點(diǎn)。若個(gè)數(shù)2轉(zhuǎn)（4）；否則轉(zhuǎn)（5）。（4）搜尋區(qū)內(nèi)的中心點(diǎn)。如未找到，說明不存在以為左眼的眼睛對(duì)。否則把距最近的那個(gè)重心點(diǎn)先作為右眉，再作為右眼。當(dāng)為右眉時(shí)，還需在區(qū)內(nèi)搜尋對(duì)應(yīng)的右眼。如未找到，則表明該眼睛對(duì)不存在；否則與便構(gòu)成了一個(gè)眼睛對(duì)。當(dāng)為右眼時(shí)，則與直接構(gòu)成了一個(gè)眼睛對(duì)。（5）把作為左眼，搜尋區(qū)內(nèi)所有的重心點(diǎn)。如未找到，說明不存在以為左眼的眼睛對(duì)；否則把距最近的那個(gè)重心點(diǎn)先作為右眉，再作為右眼。當(dāng)為右眉時(shí)，令，在區(qū)內(nèi)搜尋對(duì)應(yīng)的右眼。如未找到，則表明該眼睛對(duì)不存在；否則與便構(gòu)成了一對(duì)眼睛對(duì)。當(dāng)為右眼時(shí)，則與直接構(gòu)成了一對(duì)眼睛對(duì)。：　眼睛邊緣圖 區(qū)域生長(zhǎng)提取眼睛輪廓區(qū)域生長(zhǎng)[57,58]是一種受到人工智能領(lǐng)域中的計(jì)算機(jī)視覺界十分關(guān)注的圖像分割方法。這種方法是從把一幅圖像分成許多小區(qū)開始的。這些初始的區(qū)域可能是小的鄰域甚至是單個(gè)像素點(diǎn)。在每個(gè)區(qū)域中，對(duì)經(jīng)過適當(dāng)定義的能反映一個(gè)物體內(nèi)成員隸屬程度的性質(zhì)進(jìn)行計(jì)算。用于區(qū)分不同物體內(nèi)像素的性質(zhì)包括平均灰度值、紋理或顏色信息。因此，第一步是賦給每個(gè)區(qū)域一組參數(shù)，這些參數(shù)的值能夠反映區(qū)域?qū)儆谀膫€(gè)物體。接下來，對(duì)相鄰區(qū)域的所有邊界進(jìn)行檢查，相鄰區(qū)域的平均度量之間的差異是計(jì)算邊界強(qiáng)度的一個(gè)尺度。如果給定邊界兩側(cè)的度量差異明顯，那么這個(gè)邊界很強(qiáng)，反之則弱。強(qiáng)邊界允許繼續(xù)存在，而弱邊界則被消除，相鄰區(qū)域被合并。這是一個(gè)迭代過程，每一步都重新計(jì)算被擴(kuò)大區(qū)域的物體成員隸屬關(guān)系并消除弱邊界。當(dāng)沒有可以消除的弱邊界時(shí)，區(qū)域合并過程結(jié)束。這時(shí)，圖像分割也就完成。這個(gè)過程會(huì)使人感覺是一個(gè)物體內(nèi)部不斷增長(zhǎng)，直到其邊界對(duì)應(yīng)于物體的真正邊界的過程。決定區(qū)域生長(zhǎng)結(jié)果的好壞有三個(gè)條件，本系統(tǒng)中是選用如下條件進(jìn)行區(qū)域生長(zhǎng)的：