【正文】 73 輸入圖像 積分圖像 基于積分圖像的Haarlike特征計(jì)算 山世光， 74 何以快速？ ? 全部為定點(diǎn)加 /減法操作！ – 矩形區(qū)域和： 2次加法 1次減法 – 矩形特征計(jì)算： 1次減法，或 2次減法，或者 2次加法 1次減法 ? 沒(méi)有乘法！ 山世光， 75 AdaBoost分類(lèi)器 ? AdaBoost分類(lèi)器 – Adaboost學(xué)習(xí)算法是用來(lái)提高簡(jiǎn)單分類(lèi)算法的性能的 – 通過(guò)對(duì)一些 弱分類(lèi)器的組合 來(lái)形成一個(gè)強(qiáng)分類(lèi)器 ? 功能 – 將分類(lèi)性能不好的 弱分類(lèi)器 提升為分類(lèi)性能好的 強(qiáng)分類(lèi)器的學(xué)習(xí)算法 ? 思想 – 學(xué)習(xí)一系列分類(lèi)器，在這個(gè)序列中每一個(gè)分類(lèi)器對(duì)它前一個(gè)分類(lèi)器導(dǎo)致的 錯(cuò)誤分類(lèi)樣例給予更大的重視 山世光， 76 AdaBoost用于人臉模式分類(lèi) ? 弱分類(lèi)器 其中， h表示弱分類(lèi)器的值， 表示弱學(xué)習(xí)算法尋找出的閾值， 表示特征值， 表示一個(gè) Harrlike特征。ve Bayes Classifier ? AdaBoost 遍歷所有可能的“矩形窗口”，判斷每個(gè)小窗口是否人臉？ 山世光， 65 基于 AdaBoost 的快速人臉檢測(cè) 山世光， 66 AdaBoost算法簡(jiǎn)介 ? 在 2022年的 ICCV上，當(dāng)時(shí)在 Compaq的研究員 Paul Viola和 Michael 臉檢測(cè)系統(tǒng) – 圖像大小為 384x288時(shí)，其速度是平均 每秒 15幀 – 第一個(gè)準(zhǔn)實(shí)時(shí)的 (準(zhǔn)正面 )人臉檢測(cè)系統(tǒng) – 可以較容易的擴(kuò)展到 多姿態(tài)人臉檢測(cè) ? 系統(tǒng)在技術(shù)上的三個(gè)貢獻(xiàn)： – Haarlike矩形特征 作特征，可快速計(jì)算 – AdaBoost的分類(lèi)器設(shè)計(jì) – Cascade(分級(jí)分類(lèi)器 )技術(shù) 提高檢測(cè)速度 山世光， 67 人臉的特征表示方法 ? 矩形特征（ Haarlike特征） – 矩形特征的值是所有 白色 矩形中點(diǎn)的亮度值的和減去所有 灰色 矩形中點(diǎn)的亮度值的和，所得到的差 – 有 4種類(lèi)型的矩形特征 山世光， 68 Haarlike特征的表示 ? 具體特征可以用一個(gè)五元組表示 r(x,y,w,h,style) – 比如： r(2,2,4,2,A)表示下面的特征 ? 特征值即為白色四個(gè)像素與黑色四個(gè)像素的差值 山世光， 69 問(wèn)題 ? 如何快速計(jì)算 任意矩形 內(nèi) 所有像素的亮度之和？ – 請(qǐng)大家設(shè)計(jì)一個(gè)算法 – 要求計(jì)算量盡可能的小 山世光， 70 ? 需要一幅輔助圖像（積分圖）如下圖所示： 特征的快速計(jì)算 ii(x, y) =該點(diǎn)左上面 (紅色 )區(qū)域內(nèi)所有像素值的和 ！ ? ? ? ? y y x x y x i y x ii 39。inen ? T. Poggio ? ? Paul Viola ? Harry Wechler ? Tim Cootes ? Josef Kittler ? Jonathan Phillips ? Alice O39。( CLFfI ?入射光 反射光 山世光， 30 簡(jiǎn)化的人臉成像模型 ? Lambert反射模型（漫反射模型） – 分別為物體表面點(diǎn)漫反射系數(shù)，法向量方向，光源的方向，二者夾角； k為入射光強(qiáng)度 – 與視點(diǎn)無(wú)關(guān)（區(qū)別鏡面反射） snkkI ?? ??? ??? )c o s (?? , sn ??山世光， 31 人臉圖像的生成要素 ? 人臉圖像實(shí)際上是三大類(lèi)關(guān)鍵要素共同作用的結(jié)果 – 人臉內(nèi)部屬性 F ? 人臉 3D形狀（表面法向量方向） ? 包括人臉表面的反射屬性（包括反射系數(shù)等，通常簡(jiǎn)稱為紋理） ? 人臉表情、胡須等屬性的變化； – 外部成像條件 L ? 包括光源（位置和強(qiáng)度等） ? 其他物體或者人體其他部件對(duì)人臉的遮擋（比如眼鏡、帽子、頭發(fā)）等。 81% of users select a mon password and 30% write their passwords down or store them in a file. (2022 NTA Monitor Password Survey) ? 損失 – 2022年，僅美國(guó) 330萬(wàn)人次的身份盜用； 670萬(wàn)信用卡詐騙案 山世光， 6 一種新的技術(shù)手段 ? 生物特征識(shí)別技術(shù) Biometrics ? 什么是 Biometrics? – Bio——生物 – Metrics——測(cè)量 ? 事實(shí)含義 – 通過(guò)人體自身的生理特征 (what you are)或行為特征 (how you do)進(jìn)行身份驗(yàn)證的技術(shù) 山世光， 7 Biometrics ? 生理特征 (what you are) – Finger, face, palm, hand, foot, iris, vein... ? 行為特征 (how you do) – 步態(tài)，聲音，敲擊鍵盤(pán)，簽名 ... 人人擁有，人各不同！ 山世光， 8 生物特征識(shí)別技術(shù) (Biometrics) 山世光， 9 Biometrics孰優(yōu)孰劣？ ? Universality (all users possess this biometric) ? Uniqueness (varies across users) ? Permanence (does not change over time) ? Collectability (can be measured quantitatively) ? Performance (Low error rates and processing time) ? Acceptability (is it acceptable to the users?) ? Circumvention (can it be easily spoofed?) 山世光， 10 Biometrics比較 Biometrics Universality Uniqueness Permanence Collectability Performance Acceptability Circumvention Face H L M H L H L Fingerprint M H H M H M L Hand Geometry M M M H M M M Iris H H H M H L H Retinal Scan H H M L H L H Signature L L L H L H L Voice M L L M L H L Facial Thermogram H H L H M H H 山世光， 11 為什么要做人臉識(shí)別？ ? 多學(xué)科領(lǐng)域的挑戰(zhàn)性難題 – 模式識(shí)別：最典型、最困難的模式識(shí)別問(wèn)題 – 人工智能：人類(lèi)智能的基本體現(xiàn) – 計(jì)算機(jī)視覺(jué)：實(shí)現(xiàn)人眼的功能 – 下一代人機(jī)交互 ? 讓計(jì)算機(jī)不再“熟視無(wú)睹” ? 讓計(jì)算機(jī)具有人類(lèi)的情感 ? 廣泛的應(yīng)用前景 ?… ? 人臉識(shí)別相比其他生物特征識(shí)別的優(yōu)勢(shì) ?… 山世光， 12 應(yīng)用模式 典型具體應(yīng)用 特點(diǎn)說(shuō)明 應(yīng)用領(lǐng)域 身份識(shí)別 出入境管理 過(guò)濾敏感人物 （ 間諜 、 恐怖分子等 ） 國(guó)家安全 公共安全 嫌疑人照片比對(duì) 公安系統(tǒng)用于確定犯罪嫌疑人身份 敏感人物智能監(jiān)控 監(jiān)控敏感人物 （ 間諜 、 恐怖分子等 ） 網(wǎng)上追逃 在 PDA等移動(dòng)終端上進(jìn)行現(xiàn)場(chǎng)比對(duì) 會(huì)議代表身份識(shí)別 防止非法人員進(jìn)入會(huì)場(chǎng)帶來(lái)危險(xiǎn)因素 關(guān)鍵場(chǎng)所視頻監(jiān)控 如銀行大廳 ， 預(yù)警可能的不安全因素 家政服務(wù)機(jī)器人 能夠識(shí)別家庭成員的智能機(jī)器人 人機(jī)交互 自動(dòng)系統(tǒng)登陸 自動(dòng)識(shí)別用戶身份 ， 提供個(gè)性化界面 智能 Agent 自動(dòng)識(shí)別用戶身份 ， 提供個(gè)性化界面 真實(shí)感虛擬游戲 提供真實(shí)感的人物面像 ， 增加交互性 身份驗(yàn)證 護(hù)照 、 身份證 、 駕照等各類(lèi)證件查驗(yàn) 海關(guān) 、 港口 、 機(jī)要部門(mén)等查驗(yàn)持證人的身份是否合法 公共安全 準(zhǔn)考證查驗(yàn) 防止替考問(wèn)題 教育 機(jī)要部門(mén)物理門(mén)禁 避免鑰匙和密碼被竊取造成失竊 公共安全 機(jī)要信息系統(tǒng)門(mén)禁 避免單純的密碼被竊取造成信息被竊 信息安全 面像考勤系統(tǒng) 方便 ， 快捷 ， 杜絕代考勤問(wèn)題 企業(yè)應(yīng)用 金融用戶身份驗(yàn)證 避免單純的密碼被竊取造成財(cái)產(chǎn)損失 金融安全 電子商務(wù)身份驗(yàn)證 安全可靠的身份驗(yàn)證手段 金融安全 智能卡 安全可靠的授權(quán) 信息安全 會(huì)議代表身份驗(yàn)證 防止非法人員進(jìn)入會(huì)場(chǎng)帶來(lái)危險(xiǎn)因素 公共安全 屏幕保護(hù)程序 方便快捷的允許合法用戶打開(kāi)屏保 人機(jī)交互 山世光， 13 人臉識(shí)別相關(guān)研究?jī)?nèi)容 ? 生物特征識(shí)別 – 人臉、指紋、虹膜、視網(wǎng)膜、掌紋、 ? 人機(jī)交互 (HCI) ? 人臉圖像編碼 /壓縮 ? 表情分析，情感計(jì)算 ? 人臉動(dòng)畫(huà) face animation ? 人臉屬性分類(lèi) – 種族、性別、年齡 ? Attractiveness判別 山世光， 14 與其他生物特征識(shí)別的比較 ? 生物特征識(shí)別：未來(lái)的身份驗(yàn)證方法！ – 生物：指紋、虹膜、人臉、掌紋、手形、視網(wǎng)膜、紅外溫譜 – 行為：筆跡、步態(tài)、聲紋 ? 人臉識(shí)別的優(yōu)點(diǎn) – 可以隱蔽操作，特別適用于安全問(wèn)題、罪犯監(jiān)控與抓逃應(yīng)用 – 非接觸式采集，沒(méi)有侵犯性，容易接受 – 方便、快捷、強(qiáng)大的事后追蹤能力 – 符合我們?nèi)祟?lèi)的識(shí)別習(xí)慣，可交互性強(qiáng)，無(wú)需專(zhuān)家評(píng)判 ? 人臉識(shí)別的不足 – 不同人臉的相似性大 – 安全性低，識(shí)別性能受外界條件的影響非常大 山世光， 15 技術(shù)挑戰(zhàn) 光照環(huán)境條件 飾物（眼鏡帽子等） 面部毛發(fā) ( 頭發(fā)，胡須 ) 精神狀態(tài) 健康狀況 化妝、整容 影響人臉圖像表觀的因素 攝像設(shè)備 人與攝像設(shè)備的位置關(guān)系（距離角度等） 圖像存儲(chǔ)質(zhì)量 年齡變化 意外損傷 山世光， 16 From the same person? Yes? No? … 山世光， 17 沒(méi)有想象的那么簡(jiǎn)單！ ? How many individuals in this picture? 山世光， 18 沒(méi)有想象的那么簡(jiǎn)單！ ? How many individuals in this picture? 山世光， 19 人臉識(shí)別的基本原理 及其計(jì)算模型探討 山世光， 20 我們?nèi)祟?lèi)靠什么識(shí)別？ ? 天賦的能力還是后天獲得的？ ? 臉形，面部器官結(jié)構(gòu) – 國(guó)田由用，目甲風(fēng)申 ? 皮膚和膚色 – 光滑