【正文】 ......... 21 圖像差分 —— 運動目標提取 ............................................................................ 21 模型建立和光補償 ............................................................................................ 22 眼部特征檢測 ................................................................................................... 24 本章小結 .......................................................................................................... 25 第 5章 總結 .................................................................................................................. 25 參考文獻 ........................................................................................................................ 26 第 1 章 緒論 課題研究背景與意義 近年來，隨著計算機技術和數字信號處理技術的迅猛發(fā)展，人們用攝像機獲取環(huán)境圖像并將其轉換成數字信號，且利用計算機實現(xiàn)對視覺信息處理的全過程，這就是計算機視覺技術的起源。 如今，計算機視覺已經成為人工智能領域最熱門的課題之一，受到普遍的重視。它既是工程領域，也是科學領域中的一個極富挑戰(zhàn)性的綜合性的學科，融合了圖像處理、模式識別、人工智能、自動控制等不同領域成果，吸引了來自各個學科的研究者加入到對它的研究之中。這里主要有兩類方法：一類是仿生學的方法，即參照人類視覺系統(tǒng)的結構原理，建立相應的處理模塊完成類似的功能和 工作；另一類是工程的方法，即從分析人類視覺過程的功能開始著手。其中第二類方法是目前計算機視覺技術研究的趨向，目前已經發(fā)展起一套獨立的計算理論與算法 ]2,1[ 。人臉的檢測與跟蹤是指在指定輸入的圖像或者視屏序列中確定所有目標人臉的位置、大小、姿勢和運動軌 跡等參數隨時間變化的過程，最初作為人臉識別 (Face Recognition)系統(tǒng)中的一個關鍵環(huán)節(jié)而出現(xiàn) ]4,3[ 。近幾年隨著社會的發(fā)展，在經濟、安全、犯罪和軍事領域需要對用戶身份進行核對，特別像銀行、海關等重要安全部門。在此應用背景之下要求識別系統(tǒng)能夠適應一般場 景下的圖像，由此引起的一系列問題使得研究者開始將人臉檢測和跟蹤作為一個獨立的課題進行研究，使其應用背景遠遠超出人臉識別系統(tǒng)的范疇。在實際應用中需要實時跟蹤、搜索人臉，這就要求算法對于人臉偏轉、遮擋具有較強的魯棒性，既要有較高的檢測速度，滿足實時性的要求；又要有較高的檢測精度，盡量減少誤檢、漏檢的情況。 國內外研究狀況 目前，國外從事人臉檢測與跟蹤問題的研究的機構，比較著名的有 MIT的 AI 實驗室與多媒體實驗室、 CMU的人機結構實驗室等；國內的清華大學、中國科學院計算技術研究所、北京工業(yè)大學等也從事相關的研究。 國內外對于人臉檢測跟蹤的實現(xiàn)方法多種多樣，但是由于任意場景下的人臉準確檢測和跟蹤的復雜度很高，并不存在一個適合各種實際應用下的算法，這也就決定了當前的人臉檢測與跟蹤問題的研究仍然是建立在一定約束條件之上的，如運動的平滑性，遮擋的數目，光照不變條件，目標與背景之間的對比度等。圖像或者視頻序場景中存在的背景復雜、人臉運動的非剛性、目標遮擋等問題，這對檢測和跟蹤帶來的很大的難度。 新的人臉跟蹤算法不斷被提出使得人臉跟蹤技術得到一定的發(fā)展，但是由于運動場景的復雜性，人臉跟蹤算法要實現(xiàn)在不同的環(huán)境行下對多個目標人臉實現(xiàn)實時準確跟蹤還是比較困難的。在實際應用中適應各種強干擾 (光線的強度變化、目標自遮擋、目標間遮擋、背景遮擋等 )，能夠持續(xù)準確的定位目標人臉，實現(xiàn)跟蹤。對目標人臉狀態(tài)改變時 (偏轉、運動、附屬物等 )，精確分割跟蹤。不降準確性的同時算法計算復雜程度相對較小，在現(xiàn)有的硬件條件下，對人臉實時跟蹤。如何解決特定應用場合、特定約束條件下的人臉檢測與跟蹤問題，仍將是該領域研究的主要方向。本文主要研究了彩色圖片和視頻序列中的人臉檢測與跟蹤的問題。最后選取眼部特征作為條件確定人臉區(qū)域。 本文章節(jié)安排如下： 第 1章為緒論，主要討論了本課題的研究內容和背景以及應用范圍，分析了人臉檢測 與跟蹤在國內外的研究狀況，就這一課題的難點進行了論述。人臉檢測的主要方法有基于膚色的檢測方法、基于啟發(fā)式模型的方法和基于統(tǒng)計模型的方法等。 第 3章主要分析了基于膚色的人臉檢測方法檢測視頻圖像中的人臉。 第 4章主要講了通過背景差分法對視頻中運動目標的檢測與追蹤，并基于膚色模型與人臉的眼部特征（啟發(fā)式特征人 臉檢測）相結合對視頻中運動目標的人臉進行檢測與跟蹤。本文主要討論靜止圖像中的人臉檢測問題以及動態(tài)圖像序列中的人臉跟蹤問題。 圖 ]7[ 目前，按照不同的分類角度，可以將人臉檢測問題分為多種類型，如表 ： 表 ]7[ 一般情況下，按照人臉檢測所處理圖像的不同將其分為兩類：基于灰度圖像的人臉檢測和基于彩色圖像的人臉檢測。對于彩色圖像，由于其能夠提供豐富的信息，因此可以采用有別于灰度圖像的處理辦法，利用彩色圖像本身的特性進行人臉檢測。例如， Yang和 Ahuja在 1998年的工作中，利用人的皮膚顏色建立了一個人臉檢測器：首先根據圖像的顏色進行分割，將其劃分為不同的區(qū)域，然后將符合皮膚顏色的區(qū)域進行合并，知道形成橢圓區(qū)域 (近似人臉輪廓 )來判定人臉是否存在 ]17[ 。它的主要手段就是利用人臉膚色與周圍環(huán)境顏色的差異，通過膚色將人臉與背景環(huán)境區(qū)分開來。每個色彩空間也都有其各自的產生背景、應用領域等。 RGB模型 由于彩色圖像的多光譜圖像的一種特殊情況，對應與人類視覺的三基色即紅、綠、籃三個波段，是對人眼的光譜量化性質的近似。而且多數的圖像設 備都是一電荷藕合器件 (CCD)技術為核心，直接感知色彩的 R、 G、 B三個分量，這也使得三基色模型成為圖像成像、顯示、打印等設備的基礎，具有十分重要的作用。它同樣具有 HIS格式中將亮度分優(yōu)點，但由于它可以從 RGB格式線性變化得到， YCrCb與 RGB的轉換公式為： ???????????????????????????????BGRCrCbY0 . 0 8 1 0 . 4 1 9 0 . 5 0 00 . 5 0 0 0 . 3 3 1 0 . 1 6 90 . 1 1 4 0 . 5 8 7 （ ） YCbCr格式直接應用于物體色彩聚類分析的情況不多，相比之下，在其基礎上的變換模型的應用更為普遍。研究表明：盡管不同種族、不同年齡、不同性別的人的膚色看上去不同，但這種不同主要集中在亮度上。在 YCbCr色彩空間里，膚色聚類只在一個很小的范圍內且具有二維高斯模型分布 G=(m,C)，其中 m=E(x)為均值， x=(Cb,Cr)T， C為協(xié)方差矩陣，C=E[(xm)(xm)T]。 HSV（色調 /飽和度 /強度）模型 它采用色調和飽和度來描述顏色，這種格式反映了人類觀察色彩的方式，同時也有利于圖像處理。這種格式的優(yōu)點在于它將亮度 (V)與反映色彩本質特性的兩個參數即色度 (H)與飽和度 (S)分開。若能將光度分量從色彩中提取出去，而只用反映色彩本質特性的色度、飽和度來進行聚類分析，會獲得比較好的效果。 膚色模型建立的步驟：對于一幅被檢測的彩色圖像，首先將 它由 RGB空間裝換到 YCbCR色彩空間，然后根據 (Cb,Cr)值，通過式 ()計算該值所對應的膚色似然度，并且得到整幅圖像的最大膚色似然度。如圖 ： 原始圖像 膚色似然圖像 二值化圖像 圖 膚色分割圖像 膚色分割后，得到一系列的膚色連通區(qū)域，本文采用橢圓準則來檢測每個膚色區(qū)域是否為人臉區(qū)域。根據橢圓面積準側 214llNSe ?? ( 21,ll 為橢圓軸長 )，若檢測區(qū)域的面積 Se 的值超過閾值，則該區(qū)域包含人臉。但是想進一步提高知識模型的適應能力，需要綜合更多的特征，實際上涉及到了圖像理解這一困難的問題，這是此類方法進一步發(fā)展遇到的主要障礙。 基于知識的方法 該方法是首先定位候選人臉區(qū)域，然后再通過人臉的先驗知識來檢驗人臉是否存在。例如，人眼對稱出現(xiàn)在人臉上，鼻子和嘴巴中心的連線垂直于人眼的連線，等等。 Yang 等 ]9[ 提出了基于鑲嵌圖 (馬賽克圖 )的人臉檢測方法，將人臉的五官區(qū)域分別劃分為不同解析度的馬賽克塊，使用一組規(guī)則進行檢驗，并利用邊緣特征進一步驗證。 基于知識的方法所存在的 主要問題是： (1)識別率不高，如果圖像背景存在類人臉區(qū)域，則必然導致誤檢； (2)該方法沒有給出如何確定最恰當的人臉位置的方法； (3)對于不同角度的人臉，由于某些特征不可見，所以不能用這種方法檢測； (4)用與描述人臉特征之間的關系規(guī)則不易設計，規(guī)則制定過高或者過低會造成識別失敗。這個方法就是先要找到固定的人臉特征，然后搜索到人臉。 ChinChuan Han等 ]10[ 則研究了利用形態(tài)學預處理方式實現(xiàn)人臉快速檢測的算法。 (2)利用眼睛近似物分段來指導搜索潛在的人臉區(qū)域。將所有候選人臉區(qū)域正規(guī)化，輸入到一個訓練過的 BP網絡用于鑒別人臉。 固定模板的方法簡單，容易實現(xiàn)，但是也存在缺點： (1)圖像噪聲對檢測結果影響很大，需要對輸入圖像作適當預處理。 基于統(tǒng)計模型方法 由于精確描述人臉特征具有一定困難，因此另一類方法 —— 基于統(tǒng)計模型的方法越來越受到重視。在這個方法里，人臉檢測問題實際上轉化為統(tǒng)計模式識別的二分類問題。這類方法基本分為： (1)基于特征空間的方法 ]12[ ：將人臉區(qū)域圖像變換到某一特征空間，根據其在特征空間中的分布規(guī)律劃分人臉和非人臉兩類模式。 (3)基于概率模型的方法：一種基于貝葉斯判別準則的方法，它的思路是計算輸入圖像區(qū)域屬于人臉模式的后驗概率，據此對所有可能的圖像窗口進行判別。 Osuna等將 SVM方法用于人臉檢測，取得了較好的實驗結果，該方法的基本思路是對每一個 1919? 像素的檢測窗口使用 SVM進行分類，以區(qū)別“人臉”和“非人臉”窗口。與人臉檢測不同，人臉跟蹤是指在視頻或者圖像序列中確定某個人臉的運動軌跡及大小變化的過程。由于人臉運動的不規(guī)則性、場景的復雜性，使得人臉跟蹤的難度加大；另一個就是實時性。 在計算機視覺領域，人臉跟蹤研究是運動目標跟 蹤研究的一個分支問題，然而二者在算法上又存在較多交叉之處。根據跟蹤的方法，人臉的跟蹤算法可以分為三類：一、基于特征檢測方法的人臉跟蹤；二、基于模型的人臉跟蹤；三、基于貝葉斯濾波方法的跟蹤。傳統(tǒng)的人臉特征點跟蹤方法通常是在人的臉部畫上標識點進 行跟蹤。 1)人臉特征點的跟蹤 Kouadio等提出了一種通過加標識點來跟蹤視頻中人臉特征點的方法，這些特征點跟蹤方法的局限是要在被拍攝者臉部添加標識點，而不能直接獲取面部某些特征點的位移。 文獻 ]18[ 提出一種基于 Gabor小波系數的人臉特征點的跟蹤方法，將基于 Gabor小波用于跟蹤視頻中的人臉特征點，在輸入視頻序列的起始幀開中，手動標定需要跟蹤的人臉特征點，提取這些點的小波系數。 2）基于 KLT算法的人臉特征點跟蹤 KLT(Kanade_Lucas_Tomasi)算法是一種以待跟蹤窗口在視頻圖像幀間的誤差二次方和作為度量的跟蹤算法。與傳統(tǒng)的在人臉部畫上標識點的特征點跟蹤方法不同， KLT算法可以從未加標識點的正面人像視頻序列中通過紋理信息直接獲取臉部某些特征點的位移，該文獻還在 KLT算法中加入了基于人臉統(tǒng)計信息的經驗約束，使 KLT算法更加合理有效。這種方法不熟背景復雜程度、人臉運動強度和背景顏色等因素的影響，而只利用圖像的灰度信息，進行形態(tài)運算，運算效率較