【正文】 (3) 如何刻畫描述方式之間的度量。(3) 利用概率密度函數(shù)刻畫視頻中的人臉?lè)植? 如高斯模型等。 進(jìn)展。《計(jì)算機(jī)學(xué)報(bào)》2009年5期基于視頻的人臉識(shí)別研究進(jìn)展*: 本課題得到國(guó)家自然科學(xué)基金(60872084)和教育部高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金(SRFDP20060003102)資助. 嚴(yán)嚴(yán), 男, 1984年生, 博士, 主要研究領(lǐng)域?yàn)槿四樧R(shí)別等. 章毓晉, 男, 1954年生, 博士, 教授, 博士生導(dǎo)師, 主要研究領(lǐng)域?yàn)閳D像工程 (圖像處理、圖像分析、圖像理解及其技術(shù)應(yīng)用). 主頁(yè)：~zhangyujin/嚴(yán) 嚴(yán)1), 2) 章毓晉1), 2)1) (清華大學(xué)信息科學(xué)與技術(shù)國(guó)家實(shí)驗(yàn)室 北京 100084)2) (清華大學(xué)電子工程系 北京 100084)摘 要 近年來(lái)基于視頻的人臉識(shí)別已成為人臉識(shí)別領(lǐng)域最為活躍的研究方向之一. 如何充分利用視頻中人臉的時(shí)間和空間信息克服視頻中人臉?lè)直媛实? 尺度變化范圍大, 光照、姿態(tài)變化比較劇烈以及時(shí)常發(fā)生遮擋等困難是研究的重點(diǎn). 該文對(duì)近期(主要近5年)基于視頻的人臉識(shí)別研究進(jìn)行了詳細(xì)的介紹和討論, 在對(duì)相關(guān)方法分類的基礎(chǔ)上，分析了各類方法中典型技術(shù)的優(yōu)缺點(diǎn), 并概況介紹了常用的視頻人臉數(shù)據(jù)庫(kù)和實(shí)驗(yàn)結(jié)果, 最后展望了基于視頻人臉識(shí)別未來(lái)的發(fā)展方向和趨勢(shì).關(guān)鍵詞 模式識(shí)別。 綜述中圖法分類號(hào) TP3911 引 言人臉識(shí)別具有巨大的理論意義和應(yīng)用價(jià)值. 人臉識(shí)別的研究對(duì)于圖象處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)等領(lǐng)域的發(fā)展具有巨大的推動(dòng)作用, 同時(shí)在生物特征認(rèn)證、視頻監(jiān)控、安全等各個(gè)領(lǐng)域也有著廣泛的應(yīng)用.經(jīng)過(guò)多年研究, 人臉識(shí)別技術(shù)已取得了長(zhǎng)足的進(jìn)步和發(fā)展. 隨著視頻監(jiān)控、信息安全、訪問(wèn)控制等應(yīng)用領(lǐng)域的發(fā)展需求, 基于視頻的人臉識(shí)別已成為人臉識(shí)別領(lǐng)域最為活躍的研究方向之一[14]. 如何充分利用視頻中人臉的時(shí)間和空間信息克服視頻中人臉?lè)直媛实? 尺度變化范圍大, 光照、姿態(tài)變化劇烈以及時(shí)常發(fā)生遮擋等困難是研究的重點(diǎn). 國(guó)內(nèi)外眾多的大學(xué)和研究機(jī)構(gòu), 如美國(guó)的MIT[5]、CMU[6, 7]、UIUC[8, 9]、Maryland大學(xué)[1012]、英國(guó)的劍橋大學(xué)[1315]、日本的Toshiba公司[1618]和國(guó)內(nèi)的中科院自動(dòng)化所[1921]都對(duì)基于視頻的人臉識(shí)別進(jìn)行了廣泛而深入的研究. 鑒于目前現(xiàn)有的人臉識(shí)別國(guó)內(nèi)外綜述文獻(xiàn)主要針對(duì)基于靜止圖像的人臉識(shí)別研究[13], 因此有必要對(duì)現(xiàn)階段基于視頻的人臉識(shí)別研究情況進(jìn)行分析和總結(jié), 期望能夠更好地指導(dǎo)未來(lái)的研究工作.2 人臉識(shí)別概述一個(gè)自動(dòng)的基于視頻的人臉識(shí)別系統(tǒng)包括了人臉檢測(cè)模塊、人臉跟蹤模塊、人臉特征提取模塊和人臉識(shí)別模塊[22]. 關(guān)于人臉檢測(cè)、人臉跟蹤和人臉特征提取的研究進(jìn)展可以參考綜述文獻(xiàn)[13]. 本文重點(diǎn)介紹基于視頻的人臉識(shí)別研究進(jìn)展.人臉識(shí)別問(wèn)題可以定義成: 輸入(查詢)場(chǎng)景中的靜止圖像或者視頻, 使用人臉數(shù)據(jù)庫(kù)識(shí)別或驗(yàn)證場(chǎng)景中的一個(gè)人或者多個(gè)人[1, 2]. 基于靜止圖像的人臉識(shí)別通常是指輸入(查詢)一幅靜止的圖像, 使用人臉數(shù)據(jù)庫(kù)進(jìn)行識(shí)別或驗(yàn)證圖像中的人臉. 而基于視頻的人臉識(shí)別是指輸入(查詢)一段視頻, 使用人臉數(shù)據(jù)庫(kù)進(jìn)行識(shí)別或驗(yàn)證視頻中的人臉. 如不考慮視頻的時(shí)間連續(xù)信息, 問(wèn)題也可以變成采用多幅圖像(時(shí)間上不一定連續(xù))作為輸入(查詢)進(jìn)行識(shí)別或驗(yàn)證. 因此按照上面的分析, 根據(jù)輸入(查詢)和人臉數(shù)據(jù)庫(kù)的不同, 人臉識(shí)別可以分成如表1所示的四種情況:表1 輸入(查詢)和數(shù)據(jù)庫(kù)不同情況下的人臉識(shí)別輸入(查詢) 數(shù)據(jù)庫(kù)圖像(多幅圖像)視頻圖像圖像－圖像(多幅圖像)圖像－視頻視頻視頻－圖像(多幅圖像)視頻－視頻其中“圖像－圖像(多幅圖像)”人臉識(shí)別就是傳統(tǒng)的基于靜止圖像的人臉識(shí)別[13]. 而“圖像－視頻”人臉識(shí)別是指利用人臉圖像作為輸入采用視頻人臉數(shù)據(jù)庫(kù)進(jìn)行識(shí)別或驗(yàn)證. 通常的應(yīng)用領(lǐng)域是基于人臉的視頻信息檢索. 本文重點(diǎn)介紹的基于視頻的人臉識(shí)別主要是指后面兩種情況, 即“視頻－圖像(多幅圖像)”人臉識(shí)別和“視頻－視頻”人臉識(shí)別. “視頻－圖像(多幅圖像)”人臉識(shí)別是指輸入(查詢)一段人臉視頻, 利用靜止圖像人臉數(shù)據(jù)庫(kù)進(jìn)行識(shí)別或驗(yàn)證. “視頻－視頻”人臉識(shí)別是指輸入和數(shù)據(jù)庫(kù)都利用視頻進(jìn)行人臉識(shí)別或驗(yàn)證. 相對(duì)于前面三種情況, “視頻－視頻”人臉識(shí)別可以利用的信息最多. 視頻中可以利用的信息包括[4]: 多幅同一個(gè)人的人臉圖像, 視頻中人臉在時(shí)間和空間上的連續(xù)性, 利用視頻生成的三維(3D)人臉模型等. 需要強(qiáng)調(diào)的是本文這樣分類的目的是為了能夠?qū)φ麄€(gè)人臉識(shí)別領(lǐng)域的研究現(xiàn)狀有一個(gè)宏觀上的認(rèn)識(shí), 并區(qū)分不同情況下的人臉識(shí)別. 事實(shí)上不同情況下人臉識(shí)別采用的技術(shù)可以是相同的, 例如對(duì)所有人臉視頻序列的處理是按照某種規(guī)則(如大小、姿態(tài)、清晰度等)提取一張人臉圖像, 則上面的情況都可以采用基于靜止圖像的人臉識(shí)別技術(shù).本文首先對(duì)現(xiàn)階段基于視頻的人臉識(shí)別研究現(xiàn)狀進(jìn)行了詳細(xì)的分析和討論, 接著介紹了常用的視頻人臉數(shù)據(jù)庫(kù)和實(shí)驗(yàn)結(jié)果, 最后展望了未來(lái)的發(fā)展方向. 本文假設(shè)已經(jīng)得到圖像或者視頻中需識(shí)別人臉的位置. 對(duì)靜止圖像中人臉的定位可參見(jiàn)文獻(xiàn)[2324], 對(duì)視頻中人臉的定位和分割可參見(jiàn)文獻(xiàn)[25].3 基于視頻的人臉識(shí)別根據(jù)上一節(jié)的討論，下面把基于視頻的人臉識(shí)別分成“視頻－圖像(多幅圖像)”人臉識(shí)別和“視頻－視頻”人臉識(shí)別兩種情況分別給予綜述. “視頻－圖像(多幅圖像)”人臉識(shí)別“視頻－圖像(多幅圖像)”人臉識(shí)別是指采用人臉視頻作為輸入(查詢)利用靜止圖像人臉數(shù)據(jù)庫(kù)進(jìn)行識(shí)別或驗(yàn)證. 由于現(xiàn)有的大部分人臉數(shù)據(jù)庫(kù)都是靜止圖像人臉數(shù)據(jù)庫(kù), 如何充分利用視頻中的人臉信息更好地進(jìn)行人臉識(shí)別是現(xiàn)階段迫切需要解決的問(wèn)題.解決這類問(wèn)題的傳統(tǒng)做法[2628]可以分成兩大類: 一類方法對(duì)輸入視頻中的人臉進(jìn)行跟蹤, 尋找滿足一定規(guī)則(如大小、姿態(tài)、清晰度等)的人臉圖像, 然后利用基于靜止圖像的人臉識(shí)別方法. 這類方法的缺點(diǎn)是規(guī)則很難定義, 并且沒(méi)有最大限度地利用人臉視頻中的時(shí)間和空間連續(xù)信息. 另一類方法利用視頻中的空間信息進(jìn)行人臉識(shí)別. 通過(guò)對(duì)輸入視頻中每一幅人臉或者若干幅人臉采用基于靜止圖像的人臉識(shí)別方法[13], 利用各種聯(lián)合規(guī)則[29](如多數(shù)投票或者概率/距離累加等方法)再進(jìn)行最終的識(shí)別. 這類方法的缺點(diǎn)是聯(lián)合規(guī)則常有相當(dāng)?shù)碾S機(jī)性[4].近年來(lái), 一些研究者開始利用視頻中人臉的時(shí)間和空間連續(xù)信息進(jìn)行識(shí)別. 文獻(xiàn)[10]討論了在貝葉斯理論的框架下統(tǒng)一解決人臉識(shí)別和跟蹤問(wèn)題. 采用時(shí)間序列模型刻畫人臉的動(dòng)態(tài)變化, 把身份變量和運(yùn)動(dòng)矢量作為狀態(tài)變量從而引進(jìn)時(shí)間和空間的信息. 利用序貫重要度采樣(Sequential Importance Sampling, SIS)的方法有效估計(jì)出身份變量和運(yùn)動(dòng)矢量的聯(lián)合后驗(yàn)概率分布, 通過(guò)邊緣化提取出身份變量的概率分布. 實(shí)驗(yàn)結(jié)果表明該算法的有效性. 不過(guò)當(dāng)姿態(tài)變化時(shí)識(shí)別率只有57％. 之所以出現(xiàn)姿態(tài)變化時(shí)識(shí)別率低的原因是對(duì)時(shí)間連續(xù)性的利用體現(xiàn)在人臉外觀一致上, 而隨著光照或姿態(tài)的變化會(huì)導(dǎo)致外觀的明顯不同. 因此文獻(xiàn)[11]進(jìn)一步提出了自適應(yīng)外觀變化模型并且采用自適應(yīng)運(yùn)動(dòng)模型更準(zhǔn)確地處理姿態(tài)的變化. 并且對(duì)運(yùn)動(dòng)模型中噪聲的方差和采樣算法中的粒子數(shù)根據(jù)計(jì)算得到外觀模型的誤差進(jìn)行更新. 采用魯棒統(tǒng)計(jì)學(xué)(robust statistics)處理臉部遮擋問(wèn)題. 利用基于貝葉斯人臉識(shí)別[30]方法的似然函數(shù)進(jìn)行權(quán)重更新使得整個(gè)算法更加有效.文獻(xiàn)[31, 32]通過(guò)對(duì)輸入視頻中人臉的臉部特征或外觀的跟蹤進(jìn)行人臉驗(yàn)證. 基本思想是, 如果是正確的輸入(對(duì)應(yīng)數(shù)據(jù)庫(kù)中要驗(yàn)證的人臉), 則跟蹤的軌跡基本一致。(4) 利用動(dòng)態(tài)模型刻畫視頻中人臉隨時(shí)間的動(dòng)態(tài)變化, 如隱馬爾可夫模型等。人臉數(shù)據(jù)降維的目的是得到表達(dá)性特征(如主成分分析等)或鑒別性特征(如線性鑒別分析等)以降低高維人臉數(shù)據(jù)的計(jì)算復(fù)雜度和減弱噪聲、表情、光照等因素的影響[50]. 對(duì)各種常見(jiàn)線性和非線性的降維方法研究的介紹可參考文獻(xiàn)[51].現(xiàn)階段對(duì)降維后的人臉序列描述方式包括矢量、矩陣、概率、動(dòng)態(tài)模型、流形等. 其中采用概率和流形的方法需要大量反映人臉?lè)植嫉臉颖静拍芨鼫?zhǔn)確的刻畫人臉的分布, 達(dá)到較好的性能. 利用動(dòng)態(tài)模型能夠很好地利用時(shí)間和空間的信息, 但是方法相對(duì)比較復(fù)雜, 計(jì)算量一般都比較大. 而利用矢量作為輸入描述方式的主要缺點(diǎn)是樣本選取的隨機(jī)性. 矩陣方式最為簡(jiǎn)單, 并且可以應(yīng)用到時(shí)間上不連續(xù)的多幅圖像情況, 但如何更好地刻畫矩陣之間的度量是一個(gè)值得研究的內(nèi)容.4 常用的視頻人臉數(shù)據(jù)庫(kù)及一些實(shí)驗(yàn)結(jié)果目前基于視頻的人臉識(shí)別常用的視頻人臉數(shù)據(jù)庫(kù)包括Mobo (motion of body)數(shù)據(jù)庫(kù)[52]和Honda/UCSD數(shù)據(jù)庫(kù)[8, 9]. Mobo數(shù)據(jù)庫(kù)最初是CMU為了Human ID計(jì)劃進(jìn)行步態(tài)識(shí)別而采集的數(shù)據(jù)庫(kù). 整個(gè)數(shù)據(jù)庫(kù)包含25個(gè)人在跑步機(jī)上以四種不同的方式行走的視頻序列. 行走的方式包括慢速行走、快速行走、斜面行走和拿球行走. 正面角度拍攝的視頻序列共99段(一段丟失). UCSD/Honda數(shù)據(jù)庫(kù)包含20個(gè)人的共52段視頻. 數(shù)據(jù)庫(kù)中的人臉視頻包含了大規(guī)模的2D(平面內(nèi))和3D(平面外)的頭部旋轉(zhuǎn). 另外還有DXM2VTS數(shù)據(jù)庫(kù)[53].這些視頻人臉數(shù)據(jù)庫(kù)普遍的缺點(diǎn)是沒(méi)有考慮到各種條件的變化. 大部分都是姿態(tài)的變化, 其他的如光照、表情的變化等考慮較少, 并且數(shù)據(jù)庫(kù)的人偏少(50個(gè)人), 無(wú)法進(jìn)行大規(guī)模有效的實(shí)驗(yàn)來(lái)評(píng)價(jià)各種算法的優(yōu)劣.目前大部分的文獻(xiàn)中采用的數(shù)據(jù)庫(kù)以及訓(xùn)練, 測(cè)試方法都不盡相同. 但為了對(duì)目前典型方法的實(shí)驗(yàn)結(jié)果有一個(gè)直觀的認(rèn)識(shí), 表4匯集了在視頻人臉數(shù)據(jù)庫(kù)上一些典型方法的實(shí)驗(yàn)結(jié)果.表4 視頻人臉數(shù)據(jù)庫(kù)上典型方法的實(shí)驗(yàn)結(jié)果方法名稱識(shí)別率典型文獻(xiàn)PCA(多數(shù)投票)%(MoBo)[44]%(Honda/UCSD)LDA(多數(shù)投票)%(MoBo)[44]%(Honda/UCSD)隱馬爾可夫模型%(MoBo)[44]%(Honda/UCSD)基于貝葉斯框架的SIS方法92%以上(MoBo)[10]概率外觀流形法%(無(wú)遮擋) (Honda/UCSD)[9]%(有遮擋) (Honda/UCSD)ARMA模型90%左右(Honda/UCSD)[12]混合高斯模型94%[13]局部線性模型%[21]5 總結(jié)和展望本文介紹了現(xiàn)階段基于視頻的人臉識(shí)別研究進(jìn)展. 在對(duì)人臉識(shí)別不同情況分類的基礎(chǔ)上, 重點(diǎn)介紹了現(xiàn)階段基于視頻的人臉識(shí)別的主要方法, 分析和討論了各種方法的優(yōu)缺點(diǎn), 還介紹了常用的視頻人臉數(shù)據(jù)庫(kù)及一些典型方法的實(shí)驗(yàn)結(jié)果.現(xiàn)階段基于視頻的人臉識(shí)別一般都是把人臉視頻看成一個(gè)整體來(lái)克服分辨率低的問(wèn)題[35]. 對(duì)于光照或者姿態(tài)的單獨(dú)變化可以通過(guò)矩陣、概率或者流形的方式部分解決[9, 18], 但是需要不同條件下的大量的訓(xùn)練樣本. 對(duì)于遮擋問(wèn)題可以采用魯棒統(tǒng)計(jì)學(xué)[11]或者對(duì)臉部的分塊處理[54]來(lái)解決.隨著研究的深入, 基于視頻的人臉識(shí)別需要進(jìn)一步研究的工作包括:(1) 人臉特征的準(zhǔn)確定位本文假設(shè)已經(jīng)得到了圖像或者視頻中人臉的位置, 并且人臉的特征已經(jīng)準(zhǔn)確定位. 但是在實(shí)際應(yīng)用中, 人臉視頻的分辨率過(guò)低常會(huì)使得人臉的檢測(cè)和準(zhǔn)確的特征定位存在一定的困難. 人臉的誤配準(zhǔn)也會(huì)嚴(yán)重影響人臉識(shí)別的結(jié)果. 作為人臉識(shí)別的基礎(chǔ), 準(zhǔn)確和快速的人臉檢測(cè)和特征定位方法是必不可少的.(2) 人臉的超分辨率重建和模糊復(fù)原視頻序列中的人臉由于采集條件和運(yùn)動(dòng)的影響, 人臉圖像分辨率低且人臉模糊. 研究人臉圖像超分辨率技術(shù)[55]和圖像復(fù)原技術(shù)[56]以得到清晰的人臉圖像也是未來(lái)需要重點(diǎn)解決的問(wèn)題.(3) 人臉的3D建模現(xiàn)階段基于二維的人臉識(shí)別方法可以在一定程度上解決姿態(tài)或光照的變化問(wèn)題. 但是人臉是一個(gè)三維的物體, 利用人臉的三維的信息是解決姿態(tài), 光照變化問(wèn)題的最本質(zhì)方法. 現(xiàn)階段利用視頻數(shù)據(jù)生成3D模型的計(jì)算復(fù)雜度很大[42, 5759], 無(wú)法達(dá)到使用要求. 更