【正文】 73 輸入圖像 積分圖像 基于積分圖像的Haarlike特征計算 山世光， 74 何以快速？ ? 全部為定點加 /減法操作！ – 矩形區(qū)域和： 2次加法 1次減法 – 矩形特征計算： 1次減法，或 2次減法，或者 2次加法 1次減法 ? 沒有乘法！ 山世光， 75 AdaBoost分類器 ? AdaBoost分類器 – Adaboost學習算法是用來提高簡單分類算法的性能的 – 通過對一些 弱分類器的組合 來形成一個強分類器 ? 功能 – 將分類性能不好的 弱分類器 提升為分類性能好的 強分類器的學習算法 ? 思想 – 學習一系列分類器，在這個序列中每一個分類器對它前一個分類器導致的 錯誤分類樣例給予更大的重視 山世光， 76 AdaBoost用于人臉模式分類 ? 弱分類器 其中， h表示弱分類器的值， 表示弱學習算法尋找出的閾值， 表示特征值， 表示一個 Harrlike特征。ve Bayes Classifier ? AdaBoost 遍歷所有可能的“矩形窗口”，判斷每個小窗口是否人臉？ 山世光， 65 基于 AdaBoost 的快速人臉檢測 山世光， 66 AdaBoost算法簡介 ? 在 2022年的 ICCV上，當時在 Compaq的研究員 Paul Viola和 Michael 臉檢測系統 – 圖像大小為 384x288時，其速度是平均 每秒 15幀 – 第一個準實時的 (準正面 )人臉檢測系統 – 可以較容易的擴展到 多姿態(tài)人臉檢測 ? 系統在技術上的三個貢獻： – Haarlike矩形特征 作特征，可快速計算 – AdaBoost的分類器設計 – Cascade(分級分類器 )技術 提高檢測速度 山世光， 67 人臉的特征表示方法 ? 矩形特征（ Haarlike特征） – 矩形特征的值是所有 白色 矩形中點的亮度值的和減去所有 灰色 矩形中點的亮度值的和，所得到的差 – 有 4種類型的矩形特征 山世光， 68 Haarlike特征的表示 ? 具體特征可以用一個五元組表示 r(x,y,w,h,style) – 比如： r(2,2,4,2,A)表示下面的特征 ? 特征值即為白色四個像素與黑色四個像素的差值 山世光， 69 問題 ? 如何快速計算 任意矩形 內 所有像素的亮度之和？ – 請大家設計一個算法 – 要求計算量盡可能的小 山世光， 70 ? 需要一幅輔助圖像（積分圖）如下圖所示： 特征的快速計算 ii(x, y) =該點左上面 (紅色 )區(qū)域內所有像素值的和 ！ ? ? ? ? y y x x y x i y x ii 39。inen ? T. Poggio ? ? Paul Viola ? Harry Wechler ? Tim Cootes ? Josef Kittler ? Jonathan Phillips ? Alice O39。( CLFfI ?入射光 反射光 山世光， 30 簡化的人臉成像模型 ? Lambert反射模型（漫反射模型） – 分別為物體表面點漫反射系數，法向量方向，光源的方向，二者夾角； k為入射光強度 – 與視點無關（區(qū)別鏡面反射） snkkI ?? ??? ??? )c o s (?? , sn ??山世光， 31 人臉圖像的生成要素 ? 人臉圖像實際上是三大類關鍵要素共同作用的結果 – 人臉內部屬性 F ? 人臉 3D形狀（表面法向量方向） ? 包括人臉表面的反射屬性（包括反射系數等，通常簡稱為紋理） ? 人臉表情、胡須等屬性的變化； – 外部成像條件 L ? 包括光源（位置和強度等） ? 其他物體或者人體其他部件對人臉的遮擋（比如眼鏡、帽子、頭發(fā)）等。 81% of users select a mon password and 30% write their passwords down or store them in a file. (2022 NTA Monitor Password Survey) ? 損失 – 2022年，僅美國 330萬人次的身份盜用； 670萬信用卡詐騙案 山世光， 6 一種新的技術手段 ? 生物特征識別技術 Biometrics ? 什么是 Biometrics? – Bio——生物 – Metrics——測量 ? 事實含義 – 通過人體自身的生理特征 (what you are)或行為特征 (how you do)進行身份驗證的技術 山世光， 7 Biometrics ? 生理特征 (what you are) – Finger, face, palm, hand, foot, iris, vein... ? 行為特征 (how you do) – 步態(tài)，聲音，敲擊鍵盤，簽名 ... 人人擁有，人各不同！ 山世光， 8 生物特征識別技術 (Biometrics) 山世光， 9 Biometrics孰優(yōu)孰劣？ ? Universality (all users possess this biometric) ? Uniqueness (varies across users) ? Permanence (does not change over time) ? Collectability (can be measured quantitatively) ? Performance (Low error rates and processing time) ? Acceptability (is it acceptable to the users?) ? Circumvention (can it be easily spoofed?) 山世光， 10 Biometrics比較 Biometrics Universality Uniqueness Permanence Collectability Performance Acceptability Circumvention Face H L M H L H L Fingerprint M H H M H M L Hand Geometry M M M H M M M Iris H H H M H L H Retinal Scan H H M L H L H Signature L L L H L H L Voice M L L M L H L Facial Thermogram H H L H M H H 山世光， 11 為什么要做人臉識別？ ? 多學科領域的挑戰(zhàn)性難題 – 模式識別：最典型、最困難的模式識別問題 – 人工智能：人類智能的基本體現 – 計算機視覺：實現人眼的功能 – 下一代人機交互 ? 讓計算機不再“熟視無睹” ? 讓計算機具有人類的情感 ? 廣泛的應用前景 ?… ? 人臉識別相比其他生物特征識別的優(yōu)勢 ?… 山世光， 12 應用模式 典型具體應用 特點說明 應用領域 身份識別 出入境管理 過濾敏感人物 （ 間諜 、 恐怖分子等 ） 國家安全 公共安全 嫌疑人照片比對 公安系統用于確定犯罪嫌疑人身份 敏感人物智能監(jiān)控 監(jiān)控敏感人物 （ 間諜 、 恐怖分子等 ） 網上追逃 在 PDA等移動終端上進行現場比對 會議代表身份識別 防止非法人員進入會場帶來危險因素 關鍵場所視頻監(jiān)控 如銀行大廳 ， 預警可能的不安全因素 家政服務機器人 能夠識別家庭成員的智能機器人 人機交互 自動系統登陸 自動識別用戶身份 ， 提供個性化界面 智能 Agent 自動識別用戶身份 ， 提供個性化界面 真實感虛擬游戲 提供真實感的人物面像 ， 增加交互性 身份驗證 護照 、 身份證 、 駕照等各類證件查驗 海關 、 港口 、 機要部門等查驗持證人的身份是否合法 公共安全 準考證查驗 防止替考問題 教育 機要部門物理門禁 避免鑰匙和密碼被竊取造成失竊 公共安全 機要信息系統門禁 避免單純的密碼被竊取造成信息被竊 信息安全 面像考勤系統 方便 ， 快捷 ， 杜絕代考勤問題 企業(yè)應用 金融用戶身份驗證 避免單純的密碼被竊取造成財產損失 金融安全 電子商務身份驗證 安全可靠的身份驗證手段 金融安全 智能卡 安全可靠的授權 信息安全 會議代表身份驗證 防止非法人員進入會場帶來危險因素 公共安全 屏幕保護程序 方便快捷的允許合法用戶打開屏保 人機交互 山世光， 13 人臉識別相關研究內容 ? 生物特征識別 – 人臉、指紋、虹膜、視網膜、掌紋、 ? 人機交互 (HCI) ? 人臉圖像編碼 /壓縮 ? 表情分析，情感計算 ? 人臉動畫 face animation ? 人臉屬性分類 – 種族、性別、年齡 ? Attractiveness判別 山世光， 14 與其他生物特征識別的比較 ? 生物特征識別：未來的身份驗證方法！ – 生物：指紋、虹膜、人臉、掌紋、手形、視網膜、紅外溫譜 – 行為：筆跡、步態(tài)、聲紋 ? 人臉識別的優(yōu)點 – 可以隱蔽操作，特別適用于安全問題、罪犯監(jiān)控與抓逃應用 – 非接觸式采集，沒有侵犯性，容易接受 – 方便、快捷、強大的事后追蹤能力 – 符合我們人類的識別習慣，可交互性強，無需專家評判 ? 人臉識別的不足 – 不同人臉的相似性大 – 安全性低，識別性能受外界條件的影響非常大 山世光， 15 技術挑戰(zhàn) 光照環(huán)境條件 飾物（眼鏡帽子等） 面部毛發(fā) ( 頭發(fā)，胡須 ) 精神狀態(tài) 健康狀況 化妝、整容 影響人臉圖像表觀的因素 攝像設備 人與攝像設備的位置關系（距離角度等） 圖像存儲質量 年齡變化 意外損傷 山世光， 16 From the same person? Yes? No? … 山世光， 17 沒有想象的那么簡單！ ? How many individuals in this picture? 山世光， 18 沒有想象的那么簡單！ ? How many individuals in this picture? 山世光， 19 人臉識別的基本原理 及其計算模型探討 山世光， 20 我們人類靠什么識別？ ? 天賦的能力還是后天獲得的？ ? 臉形，面部器官結構 – 國田由用，目甲風申 ? 皮膚和膚色 – 光滑