【正文】 疲勞駕駛實(shí)時(shí)監(jiān)測(cè)系統(tǒng)的研究與實(shí)現(xiàn)背景在智能化技術(shù)迅猛發(fā)展的今天，汽車駕駛也在朝著智能化、安全化的方向發(fā)展，對(duì)駕駛員疲勞狀態(tài)的檢測(cè)是汽車智能輔助駕駛的關(guān)鍵技術(shù)。本課題主要實(shí)現(xiàn)駕駛員臉部狀態(tài)的監(jiān)測(cè)、跟蹤及疲勞的判定，為安全駕駛車輛提供保障。人臉是區(qū)別人的重要部分之一，在日常生活中，人類對(duì)人的識(shí)別主要是依靠人臉，通過(guò)人臉人們可以得到很多信息，如年齡、性別、情感等等。通過(guò)識(shí)別人臉特征點(diǎn)，人類可以很輕松的判斷一個(gè)人是否處于疲勞狀態(tài)。即使在不同角度、不同光照、不同遠(yuǎn)近、甚至人臉的部分被遮擋，如佩戴眼鏡等條件下仍能對(duì)人臉做出正確迅速的識(shí)別。據(jù)一般估計(jì)，人在一生中大概可以記住上千個(gè)人臉。由于人臉在日常生活中的特殊作用，對(duì)人臉的研究一直是學(xué)者們研究的焦點(diǎn)，近年來(lái)，微電子技術(shù)的迅猛發(fā)展給人臉研究注入了新的活力，人們正試圖擺脫計(jì)算機(jī)，將人臉識(shí)別引入到日益小型化的嵌入式系統(tǒng)中。疲勞駕駛是造成交通事故的主要原因之一。據(jù)美國(guó)國(guó)家高速公路交通安全部（NHTSA）報(bào)告，2000年美國(guó)國(guó)內(nèi)僅由于駕駛員注意力不集中、疲勞、缺少睡眠等原因造成的死亡約有4700人。駕駛員疲勞或困倦狀態(tài)是1979～1994年間法國(guó)高速公路上30%交通事故的起因。據(jù)我國(guó)公安部提供的資料顯示，2002 年1月至11月全國(guó)道路運(yùn)輸行業(yè)共發(fā)生了一次死亡30人以下、10人以上的重大道路交通事故27起。在這27 起重大交通事故中，有19起的直接或間接誘發(fā)因素是疲勞駕駛。 我國(guó)道路交通事故統(tǒng)計(jì)表　年份事故次數(shù)直接損失（億元）死亡人數(shù)受傷人數(shù)10萬(wàn)人口死亡率2000616971838534187212001754919105930546485200277313710938156211620036675071043724941742004517889107077480864200545025498738469911由于超長(zhǎng)時(shí)間駕駛、夜間駕駛、或缺少睡眠等原因，駕駛員在駕駛時(shí)會(huì)出現(xiàn)疲勞或困倦的狀態(tài)。駕駛員疲勞是生理疲勞和心理疲勞的混合因素造成的，一般包括以下特征：注意力不集中、睡意、打哈欠、反應(yīng)慢、眼睛酸痛或疲勞、厭煩感、有要發(fā)怒的感覺、旋轉(zhuǎn)方向盤的次數(shù)減少且角度變大、看不見路標(biāo)、在車道內(nèi)駕駛有困難，以及微睡眠等[4]。醫(yī)學(xué)專家指出，疲勞不但會(huì)影響駕駛員的反應(yīng)速度、判斷和視覺，也會(huì)影響他的警覺性和對(duì)問(wèn)題的處理能力。特別是疲勞而產(chǎn)生的三分之二秒左右的“微睡眠”期增多，是交通事故發(fā)生的重要誘因[5]。目前，大多數(shù)駕駛員對(duì)疲勞駕駛的潛在危害還缺乏認(rèn)識(shí)，由于缺乏類似“血液酒精含量檢測(cè)儀”之類的儀器對(duì)駕駛員疲勞狀態(tài)進(jìn)行檢測(cè)，交通管理部門還無(wú)法認(rèn)定司機(jī)是否存在疲勞駕駛。交通事故發(fā)生后，現(xiàn)有的交通管理法規(guī)只是針對(duì)事故本身進(jìn)行處罰，而對(duì)疲勞駕駛則缺乏相關(guān)的處罰措施?！∑隈{駛導(dǎo)致錯(cuò)誤的駕駛行為如何有效監(jiān)測(cè)駕駛員的疲勞狀態(tài)，并在其出現(xiàn)睡意時(shí)給予警告或提醒其停車休息已成為眾多研究者關(guān)注的研究方向。對(duì)駕駛員疲勞程度檢測(cè)的研究，屬于智能交通領(lǐng)域，是智能輔助駕駛的一項(xiàng)關(guān)鍵技術(shù)。作為主動(dòng)預(yù)防交通事故的一項(xiàng)措施，應(yīng)用駕駛員疲勞監(jiān)測(cè)系統(tǒng)，可以在一定程度上減少交通事故的發(fā)生，減少交通事故帶來(lái)的危害，使駕駛員駕駛和公眾出行更安全，具有重要的社會(huì)意義和經(jīng)濟(jì)價(jià)值。一般而言，對(duì)于駕駛員疲勞監(jiān)測(cè)系統(tǒng)應(yīng)滿足以下基本要求：友好性，不侵入駕駛員的身體，不影響駕駛員的注意力，使駕駛員易于接受；實(shí)時(shí)性，交通工具一般有較高的行駛速度，監(jiān)測(cè)系統(tǒng)必須快速檢測(cè)出駕駛員的疲勞狀態(tài)，并及時(shí)發(fā)出警告才可能避免交通事故發(fā)生；可靠性，具有高準(zhǔn)確率和低虛警率的系統(tǒng)才能達(dá)到提高駕駛安全性的目的；魯棒性，監(jiān)測(cè)系統(tǒng)必須適應(yīng)各種工作環(huán)境和條件，并具有全天候工作的性能。國(guó)內(nèi)外研究現(xiàn)狀　疲勞檢測(cè)方法的分類目前的研究學(xué)者對(duì)于駕駛員疲勞檢測(cè)方法，大致分為以下三類：（1）基于駕駛員行為特征的檢測(cè)方法：如眼皮的運(yùn)動(dòng)、頭部運(yùn)動(dòng)、眼睛開閉、呼吸狀況、凝視方向、手握方向盤用力的大小、旋轉(zhuǎn)方向盤的角度變化等。（2）基于駕駛員生理參數(shù)的檢測(cè)方法：如腦電圖、心電圖、肌肉活動(dòng)情況等。該類方法能較精確檢測(cè)出駕駛員出現(xiàn)的睡意狀態(tài)，但是駕駛員需要配戴有電極的頭盔等設(shè)備，因此有接觸、侵入式的不足。（3）基于交通工具行為特征的檢測(cè)方法：如車速、車輛行駛的軌跡是否偏離車道等。該種方法的優(yōu)點(diǎn)是非接觸，缺點(diǎn)是這些參數(shù)與交通狀況及車輛的類型有關(guān)，難于制定一個(gè)統(tǒng)一的標(biāo)準(zhǔn)?；隈{駛員行為特征的方法，尤其是檢測(cè)眼睛狀態(tài)，由于其檢測(cè)直接、非侵入性、與駕駛員的生理參數(shù)的變化具有一致性、可接受性強(qiáng)等特點(diǎn)，是多數(shù)研究者廣泛采用的方法。國(guó)內(nèi)外研究概況駕駛員疲勞檢測(cè)技術(shù)作為智能交通系統(tǒng)(ITS)的智能安全輔助駕駛技術(shù)的一部分，國(guó)外發(fā)達(dá)國(guó)家對(duì)該項(xiàng)技術(shù)的研究非常重視，資助了一系列的研究課題，并開發(fā)出了應(yīng)用的產(chǎn)品，建立了相應(yīng)的技術(shù)標(biāo)準(zhǔn)。隨著研究的深入，駕駛員疲勞檢測(cè)的方法有很大的發(fā)展，其中最有代表性的有基于生理信號(hào)的檢測(cè)方法，基于身體反應(yīng)的檢測(cè)方法，基于操控行為的檢測(cè)方法，基于汽車行為的檢測(cè)方法，基于行駛條件的檢測(cè)方法等，! Reference source not 。 疲勞檢測(cè)技術(shù)檢測(cè)技術(shù)　描述準(zhǔn)確性實(shí)用性基于生理信號(hào)的檢測(cè)方法主要檢測(cè)腦電波、眨眼頻率、心率、脈搏頻率以及皮膚電壓等變化好較差基于身體反應(yīng)的檢測(cè)方法主要檢測(cè)駕駛員頭部?jī)A斜度、身體姿勢(shì)的下垂度、眼睛閉合的頻率、駕駛員掌控方向盤的力度等變化很好好基于操控行為的檢測(cè)方法檢測(cè)各種控制器（如：方向盤、加速器、剎車踏板、檔位等）的變換好很好基于汽車行為的檢測(cè)方法檢測(cè)汽車本身的行為（如：速度、側(cè)向加速度、偏行速率、側(cè)向位移等）的變化好很好基于駕駛員反應(yīng)的檢測(cè)方法定時(shí)檢查駕駛員的反應(yīng)好很差基于行駛條件的檢測(cè)方法檢測(cè)行駛時(shí)間及行駛條件（如：白天或者晚上、行駛速度等）很差好（1）卡內(nèi)基梅隆大學(xué)機(jī)器人研究所的Copilot系統(tǒng)Copilot系統(tǒng)采用PERCLOS衡量睜眼和閉眼狀態(tài)。PERCLOS(Percentage of Eyelid Closure Over the Pupil Over Time)定義眼睛被眼皮遮擋的百分比，對(duì)眨眼的測(cè)量是根據(jù)超過(guò)80%的眼睛被遮擋超過(guò)特定的時(shí)間間隔。，它采用紅外照明，根據(jù)眼睛對(duì)紅外光反射在圖像中的光點(diǎn)效應(yīng)，以及視網(wǎng)膜對(duì)不同波長(zhǎng)紅外光的反射率不同，分別用兩個(gè)CCD攝像機(jī)采集波長(zhǎng)為850nm和900nm紅外光照明的圖像，同時(shí)獲得兩幅圖像，根據(jù)這兩幅圖像的差圖像，得到眼睛的位置，并分析眼球的大小，從而得到駕駛員的眼睛睜開程度，該方法可去除眼鏡的影響。　CMURI的Copilot系統(tǒng)（2）內(nèi)華達(dá)大學(xué)(University of Nevada)計(jì)算機(jī)視覺和機(jī)器人實(shí)驗(yàn)室該實(shí)驗(yàn)室采用特殊的硬件設(shè)備，在連續(xù)的兩幀圖像中，分別用兩種不同波長(zhǎng)的紅外光照明，根據(jù)連續(xù)的兩幀圖像，檢測(cè)出眨眼、眼睛凝視方向和頭部運(yùn)動(dòng)等與疲勞相關(guān)的線索，最后用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(DBN)融合這些線索并做出決策。 采用的特殊紅外光源結(jié)構(gòu)示意圖（3）Awake項(xiàng)目Awake項(xiàng)目采用多線索融合的方法，包括在紅外照明下檢測(cè)眼皮的狀態(tài)，檢測(cè)手握方向盤用力的變化，以及旋轉(zhuǎn)方向盤的角度變化等線索。當(dāng)檢測(cè)出駕駛員疲勞時(shí)，可通過(guò)安裝在座位上的振動(dòng)裝置提示駕駛員。該系統(tǒng)選用重型卡車、城市車等多種實(shí)驗(yàn)平臺(tái)?！wake項(xiàng)目的重型卡車實(shí)驗(yàn)平臺(tái)（4）Mitsubishi公司的ASV2。其中方向盤前方是監(jiān)測(cè)駕駛員疲勞狀態(tài)的攝像機(jī)，通過(guò)紅外照明的攝像機(jī)監(jiān)視眼睛的狀態(tài)，在駕駛員出現(xiàn)疲勞狀態(tài)時(shí)，通過(guò)聲音和文字顯示等方法提示駕駛員?！itsubishi的ASV2先進(jìn)安全車內(nèi)部設(shè)備圖國(guó)內(nèi)對(duì)于駕駛員疲勞駕駛造成的交通事故的嚴(yán)重危害已經(jīng)有所關(guān)注，但對(duì)于檢測(cè)駕駛員疲勞的研究還相對(duì)較少。目前國(guó)內(nèi)在駕駛員疲勞檢測(cè)方面的研究有：郭克友等將駕駛員眼部狀態(tài)分為精神飽滿、精神萎靡、打瞌睡三類，用基于Gabor小波的駕駛員眼瞼特征來(lái)分析駕駛員的疲勞狀態(tài)。周玉彬等采用頭戴式攝像機(jī)采集駕駛員眼部圖像來(lái)分析其眨眼狀態(tài)，采用頭戴式攝像機(jī)使眼睛區(qū)域容易從圖像中分割出來(lái)，但由于接觸式、侵入式的缺點(diǎn)使其應(yīng)用受到限制。王鐵生等采用PC機(jī)搭配CCD的方案實(shí)時(shí)采集駕駛員正面圖像并分析其疲勞狀態(tài)，已經(jīng)具有了非接觸式、友好性等特點(diǎn)，但PC機(jī)的體積和電源等因素限制了其仍然不能作為車載疲勞監(jiān)測(cè)系統(tǒng)。吉林大學(xué)王榮本等用基于視覺的方法,通過(guò)檢測(cè)眼睛的開合狀態(tài)來(lái)檢測(cè)疲勞, 出發(fā)點(diǎn)與明尼蘇達(dá)大學(xué)(美)Papaniko lopoulos的方法一致,但是與二者不同的是, 對(duì)眼睛的跟蹤與眼睛開、合識(shí)別方法上, Papaniko lopoulos用模板匹配的方法, 而王榮本等提出了用BP網(wǎng)絡(luò)對(duì)眼睛開、合狀態(tài)進(jìn)行分類, 分類準(zhǔn)確率達(dá)85%。5．合肥工業(yè)大學(xué)在分析了已有的疲勞檢測(cè)算法的基礎(chǔ)上，針對(duì)基于駕駛員疲勞檢測(cè)的難點(diǎn)及DSP芯片的特點(diǎn)，研究檢測(cè)駕駛員臉部與臉部特征點(diǎn)的算法。根據(jù)駕駛員眨眼頻率和持續(xù)駕駛時(shí)間等疲勞數(shù)據(jù)，檢測(cè)疲勞狀態(tài)，系統(tǒng)在判斷駕駛員有睡意時(shí)給予報(bào)警提示。課題工作的難點(diǎn)及重點(diǎn)基于視頻分析的方法，由于非接觸、非侵入、易于使駕駛員接受、檢測(cè)方法直接、安裝靈活方便等優(yōu)點(diǎn)而得到研究者的關(guān)注。國(guó)內(nèi)外大部分研究者都采用了基于視頻的檢測(cè)方法或?qū)⒁曈X線索作為檢測(cè)的一個(gè)重要方面。研究基于視頻分析的方法主要需要解決以下問(wèn)題：（1）光線影響由于天氣的變化，不同時(shí)刻光線的變化以及道路兩邊樹木或建筑物的陰影等的影響，會(huì)使采集到的駕駛員面部圖像出現(xiàn)光照明暗變化，光照不均勻、強(qiáng)陰影、強(qiáng)光照等，從而影響到檢測(cè)效果。（2）背景變化由于交通工具的運(yùn)動(dòng)，使采集的駕駛員視頻圖像處于動(dòng)態(tài)背景中。變化的背景使得諸如背景減法、幀差法等算法不再適用于本系統(tǒng)，給駕駛員圖像分割帶來(lái)了一定的困難。（3）疲勞檢測(cè)算法由于道路狀況、交通工具的運(yùn)動(dòng)給采集原始圖像的穩(wěn)定性帶來(lái)了困難，可能會(huì)造成圖像模糊，給判斷疲勞帶來(lái)一定的困難。同時(shí)，由于駕駛員本身頭部運(yùn)動(dòng)也給疲勞檢測(cè)帶來(lái)了一定的困難。（4）實(shí)時(shí)性疲勞監(jiān)測(cè)系統(tǒng)本身應(yīng)該滿足實(shí)時(shí)性的要求才能在駕駛員出現(xiàn)疲勞時(shí)及時(shí)發(fā)出警報(bào)，從而達(dá)到避免交通事故的目的。（5）準(zhǔn)確性 疲勞監(jiān)測(cè)系統(tǒng)需要具有高檢測(cè)率和低虛警率的特點(diǎn)才能滿足實(shí)際應(yīng)用的要求。系統(tǒng)框架 系統(tǒng)基本結(jié)構(gòu)本系統(tǒng)中，：　疲勞監(jiān)測(cè)系統(tǒng)整體框圖系統(tǒng)主要由圖像采集、圖像處理和圖像輸出模塊構(gòu)成。基本的工作原理是：先由CCD采集連續(xù)的模擬信號(hào)，并經(jīng)過(guò)圖像采集模塊中的A/D轉(zhuǎn)換，變成數(shù)字圖像信號(hào)，然后再由圖像處理模塊對(duì)數(shù)字圖像信號(hào)進(jìn)行運(yùn)算處理，主要包括圖像的預(yù)處理、圖像分割、人臉特征提取、識(shí)別等算法的實(shí)現(xiàn)，并通過(guò)輸出模塊顯示結(jié)果及報(bào)警等。本文主要是研究在DSP上實(shí)現(xiàn)的工作。 硬件結(jié)構(gòu)疲勞監(jiān)測(cè)系統(tǒng)的硬件設(shè)備由三塊電路板組成：CCD攝像頭板，DSP系統(tǒng)板，音視頻壓縮板。CCD攝像頭板帶1/3寸CCD，輸出標(biāo)準(zhǔn)視頻信號(hào)（PAL制式）。DSP系統(tǒng)板包括DSP系統(tǒng)電路、存儲(chǔ)器擴(kuò)展電路、CPLD譯碼電路、網(wǎng)絡(luò)通信接口電路。音視頻壓縮板包括視頻采集電路、音頻編解碼電路、異步串行通信電路、電源模塊。疲勞監(jiān)測(cè)系統(tǒng)的外部接口有5個(gè)： 12V電源輸入接口，音頻輸入輸出接口，報(bào)警輸出接口，串行通信接口，網(wǎng)絡(luò)通信接口。CCD攝像頭板采用SONY 1/3寸CCD，輸出420線PAL制視頻信號(hào)，具有自動(dòng)光圈調(diào)節(jié)功能。DSP系統(tǒng)電路包括DSP配置、時(shí)鐘、存儲(chǔ)器擴(kuò)展等電路，DSP系統(tǒng)是控制核心，主要完成駕駛員面部識(shí)別、疲勞判決、網(wǎng)絡(luò)傳輸控制等任務(wù)。網(wǎng)絡(luò)接口部分由以太網(wǎng)控制器LXT971組成，提供10/100M自適應(yīng)以太網(wǎng)接口。CPLD譯碼電路為FLASH提供分頁(yè)和片選信號(hào)，為UART的兩個(gè)通道提供片選信號(hào)，為ESAM模塊提供數(shù)據(jù)的輸入輸出通道和復(fù)位信號(hào)。視頻解碼器SAA7115對(duì)PAL模擬視頻信號(hào)數(shù)字化，將其轉(zhuǎn)換為4：2：0或4：2：2的數(shù)字視頻信號(hào)。異步串行接口芯片為TL16C550C,提供RS485接口，用來(lái)控制云臺(tái)（解碼器）或其它配套監(jiān)控設(shè)備。電源模塊輸入為12V，其中12V給CCD攝像頭供電，12V經(jīng)過(guò)處理、降壓后得到5V、。：　疲勞監(jiān)測(cè)系統(tǒng)硬件組成原理框圖 軟件結(jié)構(gòu)如上一節(jié)所介紹的，DSP在接收到采集的原始圖像后，將調(diào)用疲勞檢測(cè)程序進(jìn)行處理。采用了由粗到精的策略檢測(cè)人臉的特征，由于沒有紅外照明的“亮點(diǎn)”效應(yīng)，在整幅圖像中直接檢測(cè)眼睛特征難度較大，所以本系統(tǒng)中，先檢測(cè)出駕駛員臉部區(qū)域，然后在臉部區(qū)域中分析眼睛特征，并根據(jù)駕駛員面部運(yùn)動(dòng)的特點(diǎn)，采用了基于Kalman濾波的人臉跟蹤方法，進(jìn)一步提高了駕駛員臉部區(qū)域的檢測(cè)速度。最后根據(jù)檢測(cè)出來(lái)的眼睛閉合時(shí)間和眨眼頻率等線索判斷駕駛員疲勞狀態(tài)。當(dāng)連續(xù)多幀不能正常檢測(cè)出眼睛的狀態(tài)時(shí)，系統(tǒng)能夠自動(dòng)重新初始化，開始新的檢測(cè)周期。　疲勞監(jiān)測(cè)系統(tǒng)軟件結(jié)構(gòu)圖疲勞檢測(cè)模塊是本文研究的主要內(nèi)容，包括以下四個(gè)步驟：① 對(duì)采集的圖像進(jìn)行預(yù)處理，包括光照補(bǔ)償、中值濾波等；② 對(duì)補(bǔ)償后的圖像通過(guò)膚色特征檢測(cè)、去除假臉、定位人臉，并采用卡爾曼濾波預(yù)測(cè)跟蹤；③ 通過(guò)人眼檢測(cè)算法得到眼睛的睜閉程度，計(jì)算眼睛狀態(tài)特征，包括眼睛閉合時(shí)間，眨眼頻率和PERCLOS等，并對(duì)比各參數(shù)與疲勞的相關(guān)關(guān)系；④ 若判斷為疲勞狀態(tài)，傳出相應(yīng)報(bào)警消息進(jìn)行相應(yīng)操作，并處理下一幀圖像。 基于DSP疲勞監(jiān)測(cè)系統(tǒng)框架的優(yōu)勢(shì)現(xiàn)階段，視頻采集的疲勞監(jiān)測(cè)系統(tǒng)按照處理器不同大致可分為三類[19]：①　基于專用視頻圖像芯片的視頻采集處理系統(tǒng)；②　基于PC機(jī)的視頻采集處理系統(tǒng)；③　基于DSP的視頻采集處理系統(tǒng)?；趯Ｓ靡曨l圖像芯片的視頻采集處理系統(tǒng)其核心處理單元為專用圖像芯片，該圖像芯片決定系統(tǒng)的功能，其應(yīng)用主要是針對(duì)某一類產(chǎn)品，