【導(dǎo)讀】如果能夠利用人臉遮擋檢測算法及時(shí)發(fā)現(xiàn)不法人員，然后自動(dòng)向監(jiān)控中心等。部門報(bào)警，構(gòu)建預(yù)警機(jī)制，則可以有效的阻止犯罪，降低犯罪率。該方法首先利用人頭級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)來檢測人頭，然后針對(duì)眼睛和嘴。進(jìn)行眼睛和嘴巴的遮擋檢測。實(shí)驗(yàn)結(jié)果表明本文所實(shí)現(xiàn)的人臉遮擋檢測算法在測。試數(shù)據(jù)庫上取得了令人滿意的效果。出認(rèn)證過程中考勤員工的遮擋現(xiàn)象，并給予相關(guān)處理。

　　

【正文】 ork of head detection 浙江工業(yè)大學(xué)碩士學(xué)位論文 23 (a) 兩級(jí)眼睛檢測網(wǎng)絡(luò)訓(xùn)練正樣本樣例 (b) 第一級(jí)眼睛檢測網(wǎng)絡(luò)訓(xùn)練負(fù)樣本樣例浙江工業(yè)大學(xué)碩士學(xué)位論文 24 (c) 第二級(jí)眼鏡檢測網(wǎng)絡(luò)訓(xùn)練負(fù)樣本樣例 圖 36 眼睛檢測級(jí)聯(lián)網(wǎng)絡(luò)訓(xùn)練正、負(fù)樣本樣例 Fig 36 Samples of cascaded work of eye detection (a) 兩級(jí)嘴巴檢測網(wǎng)絡(luò)訓(xùn)練正樣本樣例 (b) 第一級(jí)嘴巴檢測網(wǎng)絡(luò)訓(xùn)練負(fù)樣本樣例 圖 37 嘴巴檢測級(jí)聯(lián)網(wǎng)絡(luò)訓(xùn)練正、負(fù)樣本樣例 Fig 37 Samples of cascaded work of mouth detection 眼睛檢測級(jí)聯(lián)網(wǎng)絡(luò)中，第一級(jí)檢測網(wǎng)絡(luò)中正樣本根據(jù)給定的特征標(biāo)定點(diǎn)進(jìn)行裁剪，得到左眼和右眼，并歸一化到 25 25? ，負(fù)樣本則對(duì)網(wǎng)絡(luò)上搜索得到的自然風(fēng)景、古跡、植物圖片，動(dòng)物世界視頻中截取的圖片以及小部分對(duì)人臉非眼睛區(qū)域隨機(jī)截取的圖片和眼睛遮擋圖片，同樣對(duì)截取的圖片進(jìn)行歸一化處理，最終得到第一級(jí)眼睛檢測訓(xùn)練庫，共計(jì)正樣本 154056 例，負(fù)樣本 240558 例；第二級(jí)檢測網(wǎng)絡(luò)中正樣本與第 一級(jí)訓(xùn)練樣本相同，負(fù)樣本則為第一級(jí)網(wǎng)絡(luò)測試得到的誤判樣本組成。 嘴巴檢測級(jí)聯(lián)網(wǎng)絡(luò)中訓(xùn)練樣本與眼睛檢測網(wǎng)絡(luò)類似，其中第一級(jí)檢測網(wǎng)絡(luò)中正樣本根據(jù)給定的特征標(biāo)定點(diǎn)進(jìn)行裁剪，并歸一化到 32 64? ，負(fù)樣本為隨機(jī)截取網(wǎng)絡(luò)上搜索得到的自然風(fēng)景、古跡、植物圖片并進(jìn)行歸一化處理，最終得到第一浙江工業(yè)大學(xué)碩士學(xué)位論文 25 級(jí)嘴巴檢測訓(xùn)練庫，共計(jì)正、負(fù)樣本 201876 例；第二級(jí)檢測網(wǎng)絡(luò)中正樣本與第一級(jí)訓(xùn)練樣本相同，負(fù)樣本則為第一級(jí)網(wǎng)絡(luò)測試得到的誤判樣本組成。 測試結(jié)果 圖 38 為人臉遮擋檢測流程圖，如圖所示， 首先獲得視頻圖像。將圖像歸一化，并且復(fù)制兩份，一份用于人頭檢測，另一份根據(jù)人頭檢測出的人臉區(qū)域，截取出人臉，對(duì)此人臉進(jìn)行眼睛和嘴巴的檢測。先進(jìn)行人頭檢測，將圖像做灰度處理，并且判斷亮暗，做適當(dāng)?shù)木饣幚?，然后以滑?dòng)窗口的形式將窗口輸入人頭檢測級(jí)聯(lián)網(wǎng)絡(luò)檢測人頭。對(duì)檢測到的人頭窗口做聚類分析得出最佳的人頭窗口區(qū)域。將此區(qū)域坐標(biāo)傳給第二份原圖像（彩色圖），截取出人頭區(qū)域，對(duì)此區(qū)域進(jìn)行亮暗判斷，若過亮或過暗，做 Gamma 變換，然后分別進(jìn)入眼睛級(jí)聯(lián)網(wǎng)絡(luò)與嘴巴級(jí)聯(lián)網(wǎng)絡(luò)檢測眼睛和嘴巴。若沒檢測到眼睛或者嘴巴，則認(rèn)為眼睛 或者嘴巴被遮擋。 開 始視 頻 圖 像 獲 取圖 像 歸 一 化判 斷 全 局 亮 度圖 像 1 圖 片 2灰 度 化沒 檢 測 到 人 頭均 衡 化 處 理過 亮 或 過暗 ？坐 標(biāo) 聚 類 分 析人 頭 ？目 標(biāo) 窗 口 坐 標(biāo) 及 尺寸人 頭 截 取 并 歸 一 化R G B 2 H S V亮 度 判 斷過 亮 或 過暗 ？G a m m a 變 換眼 睛 ？嘴 巴 ？眼 睛 被 遮 擋 嘴 巴 被 遮 擋是否否否是是是是否浙江工業(yè)大學(xué)碩士學(xué)位論文 26 圖 38 人臉遮擋檢測流程圖 Fig 38 Flowchart of face occlusion detection 表 31 為 AR 庫上算法測試結(jié)果。 AR 庫人臉圖片總數(shù)為 1899 張，其中眼睛被遮擋圖片數(shù)量 459 張，嘴巴被遮擋數(shù)量 547 張，其余人臉圖片無遮擋。由表31 可見，與文獻(xiàn) [50]和文獻(xiàn) [51]比較，本文算法在一定程度上提高了準(zhǔn)確率。文獻(xiàn) [50]對(duì) AR 庫將近兩千張圖片都進(jìn)行了測試，文獻(xiàn) [51]隨機(jī)抽選 AR 庫中 100張 圖片進(jìn)行測試，只針對(duì)眼睛遮擋進(jìn)行了檢測。 表 31 AR 庫測試結(jié)果 算法名稱 眼睛檢測準(zhǔn)確率 嘴巴檢測準(zhǔn)確率 人臉遮擋檢測準(zhǔn)確率 本文算法 % % % 加權(quán) LBP 識(shí)別算法 [50] % % _ 投影灰度差算法 [51] 96% _ _ 表 32 自建人臉庫測試準(zhǔn)確率 算法名稱 人頭檢測準(zhǔn)確率 眼睛檢測準(zhǔn)確率 嘴巴檢測準(zhǔn)確率 人臉遮擋檢測準(zhǔn)確率 本文算法 % % % % 表 32 為實(shí)驗(yàn)室自建人臉數(shù)據(jù)庫，總數(shù)為 515 張人臉圖 片，包括 148 張無遮擋人臉圖片， 117 張眼睛遮擋圖片， 139 張嘴巴被遮擋圖片， 111 張眼睛和嘴巴都被遮擋圖片。自建人臉數(shù)據(jù)庫與 AR 庫不同的是，自建數(shù)據(jù)庫均為彩色圖像，且擁有大量背景信息，口罩和墨鏡樣式多種多樣，拍攝為現(xiàn)實(shí)場景，檢測流程比在 AR 庫上多了先檢測人頭的步驟，然后進(jìn)行人臉遮擋檢測。自建人臉庫樣本舉例如圖 39 所示。人臉遮擋檢測準(zhǔn)確率與在 AR 庫上相似，說明本文遮擋檢測算法就較強(qiáng)的魯棒性，可適應(yīng)多種復(fù)制場景，且單張圖片檢測平均速度為 1112ms，可投入實(shí)際場景使用。 浙江工業(yè)大學(xué)碩士學(xué)位論文 27 圖 39 自建人臉測試庫 Fig 39 Selfbuild face testing database 本章小結(jié) 本章詳細(xì)敘述了基于卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋檢測算法，該檢測流程首先對(duì)采集圖像進(jìn)行人頭檢測，然后對(duì)檢測到的人頭檢測進(jìn)行眼睛和嘴巴檢測，以判斷采集的圖像是否存在遮擋情況。在用于檢測 人頭、眼睛和嘴巴的級(jí)聯(lián)網(wǎng)絡(luò)中，第一級(jí)網(wǎng)絡(luò)主要是清除大部分虛景區(qū)域，確定檢測目標(biāo)的大致范圍；第二級(jí)網(wǎng)絡(luò)對(duì)第一級(jí)篩選得到的區(qū)域再次進(jìn)行判斷，得到真正的目標(biāo)區(qū)域。從實(shí)驗(yàn)結(jié)果上看，在不同的場景不同款式的墨鏡口罩，不同的拍攝工具也可以取得不錯(cuò)的識(shí)別率，具有一定的通用性。 浙江工業(yè)大學(xué)碩士學(xué)位論文 28 第 4章 智能 人臉考勤系統(tǒng) 系統(tǒng)設(shè)計(jì) 人臉遮擋檢測技術(shù)通常作為智能監(jiān)控系統(tǒng)或其他應(yīng)用系統(tǒng)的一部分 ， 本章把本文提出的人臉遮擋檢測技術(shù)集成到智能人臉考勤系統(tǒng)中，實(shí)現(xiàn)了一個(gè)基于人臉識(shí)別的智能考勤系統(tǒng) 。 該智能人臉考勤系統(tǒng)分為人臉遮擋檢測和人臉識(shí)別兩個(gè)主要功能 模塊，如圖 41 所示。 基于人臉識(shí)別的智能考勤系統(tǒng)主要用于身份認(rèn)證，防止陌生人和其他非法用戶的入侵 ,同時(shí) 可以免去繁瑣的密碼輸入，交互更加快捷方便。 此軟件需配合攝像頭使用，要使用人臉認(rèn)證。注冊(cè)前，用戶需打開攝像頭，此時(shí)攝像頭采集的實(shí)時(shí)畫面會(huì)顯示在軟件畫面上，當(dāng)畫面中有人臉時(shí)智能考勤軟件會(huì)將人臉圖像用方框框出。用戶使用時(shí)需先進(jìn)行注冊(cè)，注冊(cè)時(shí)用戶需輸入姓名、 ID 信息，然后正面面對(duì)攝像頭，采集人臉圖像存入數(shù)據(jù)庫供今后認(rèn)證時(shí)比對(duì)使用，注冊(cè)過程大約會(huì)持續(xù) 510 秒。 圖 41 智能人臉考勤系統(tǒng)功能模塊圖 Fig 41 Intelligent face attendance system 浙江工業(yè)大學(xué)碩士學(xué)位論文 29 注冊(cè)時(shí)可以適當(dāng)增加人臉表情變化，適當(dāng)調(diào)整面對(duì)攝像頭的角度，以增加人臉認(rèn)證的成功率。進(jìn)行人臉認(rèn)證時(shí)用戶正面面對(duì)攝像頭，采集人臉圖像進(jìn)行認(rèn)證。假如識(shí)別到人臉有遮擋則會(huì)提示人臉有遮擋，然后要求用戶重新采集認(rèn)證人臉圖像?；谌四樧R(shí)別的智能考勤系統(tǒng)考勤系統(tǒng)流程如圖 42 所示。 圖 42 智能人臉考勤系統(tǒng)流程 Fig 42 Flowchart of intelligent face attendance system 人臉識(shí)別模塊 對(duì)于 一張 自由 拍攝的人臉圖像， 在獲取 人臉特征之前， 需要 首先 根據(jù) 人臉對(duì)圖像進(jìn)行歸一化操作， 包括 平移、旋轉(zhuǎn)、縮放 等 ， 將 人臉 置于 一個(gè)相對(duì)固定 的角浙江工業(yè)大學(xué)碩士學(xué)位論文 30 度和 位置，去除因拍攝條件引起的干擾 。使用經(jīng)過 歸一化操作的圖像 作為 深度網(wǎng)絡(luò) 的 輸入訓(xùn)練，也可以 減小 樣本空間的自由度， 防止 網(wǎng)絡(luò) 容量 不足而導(dǎo)致不收斂的情況。 進(jìn)行 人臉歸一化操作，通常 利用 人臉關(guān)鍵點(diǎn)的定位 算法。首先得 到圖像中人臉關(guān)鍵 點(diǎn) 部位的 坐標(biāo) ， 用 這些坐標(biāo)以及 一組 標(biāo)準(zhǔn)化的關(guān)鍵點(diǎn)坐標(biāo)， 將人臉歸一化到標(biāo)準(zhǔn)化的坐標(biāo)上。本文使用了 Dlib 開源 庫 [44]中 程序 計(jì)算人臉檢測和人臉歸 一化，歸一化之后的圖像 直接 作為深度網(wǎng)絡(luò)的輸入，歸一化 前后 的圖像如圖 43 所示。 (a)歸一化前 (b)歸一化后 圖 43 人臉 歸一化 Fig 43 Face normalization 基于深度學(xué)習(xí)的人臉識(shí)別算法 特征提取 的網(wǎng)絡(luò)如圖 44(a)所示， 主要 包括 4 個(gè) 卷積層 以及 相應(yīng)的激活和池化層 。 輸入為 110110 的 RGB 彩色 圖像， 第 1 層卷積層 采用 了步長為 2 的 方式 ，并且在激活層 之后帶有一個(gè) 55 尺寸 的歸一化操作，歸一化 參數(shù) 為 α =，β=。最后計(jì)算 特征時(shí)將 第 3 層的特征和第 4 層的特征進(jìn)行串聯(lián) 并輸入 一個(gè)全連接層 ， 這樣 得到 的特征同時(shí) 帶有最 深層 和 較深層的特征信息 ， 這一點(diǎn)對(duì)于人臉圖像 這種帶有不同層次特征的 圖像 有非常好的效果 。最后 的 輸出 特征為 1024 維向量 。 訓(xùn)練 特征 的 網(wǎng)絡(luò)如 圖 44(b)所示， 同時(shí) 使用分類信號(hào)和驗(yàn)證信號(hào) 。分類 信號(hào)浙江工業(yè)大學(xué)碩士學(xué)位論文 31 用特征 層 連接 一個(gè)全連接層 和 一個(gè) Softmax 回歸 層 ，從而 進(jìn)行一個(gè) 多 分類任務(wù) 訓(xùn)練 ，其中每一個(gè)分類為同一個(gè)人的人臉， 分類 信號(hào)下得到的代價(jià)函數(shù)為分類代價(jià)函數(shù) 。 52 52 32110 110 3輸入3 3 卷積步長 2C onv2 2 池化P ool i ng激活R e l u52 52 3252 52 3226 26 325 5 歸一化L R N24 24 643 3 卷積C onv24 24 6412 12 24激活R e l u池化P ool i ng10 10 9610 10 965 5 96激活R e l u池化P ool i ng3 3 卷積C onv4 4 1284 4 128激活R e l u2 2 卷積C onv4448串聯(lián)C onc a t1024全連接Fc特征層(a) 特征提取 的網(wǎng)絡(luò) 示意圖 1024輸入 1人臉圖像 1 特征網(wǎng)絡(luò)特征 1S of t m a x回歸全連接Fc7000C ont r a s t i ve L os s代價(jià)函數(shù)L os s _ c l a s s i f y 11024輸入 2人臉圖像 2 特征網(wǎng)絡(luò)特征 2S of t m a x回歸全連接Fc7000代價(jià)函數(shù)L os s _ c l a s s i f y 2比對(duì)標(biāo)簽代價(jià)函數(shù)L os s _ ve r i f y (b) 訓(xùn)練特征的網(wǎng)絡(luò)示意圖 圖 44 訓(xùn)練網(wǎng)絡(luò) 示意圖 Fig 44 Train work 驗(yàn)證 信號(hào)使用 Siamese 網(wǎng)絡(luò) 訓(xùn)練 結(jié)構(gòu)，同時(shí)輸入兩個(gè) 圖像 樣本 ，兩個(gè) 特征 以及 比對(duì)標(biāo)簽 一起輸入 到 Contrastive_Loss 層 ，得到 的代價(jià)函數(shù)為驗(yàn)證代價(jià)函數(shù)Loss_verify。 浙江工業(yè)大學(xué)碩士學(xué)位論文 32 總的代價(jià)函數(shù)為分類代價(jià)函數(shù)和驗(yàn)證代價(jià)函數(shù)的綜合 ，如公式（ ）所示。 v e r i f yc l a s s i f yc l a s s i f y L o s sL o s sL o s sL o s s ???? 21 () 其中 ? 是 一個(gè)可調(diào)的超參數(shù)，用以控制分類代價(jià)函數(shù)和驗(yàn)證代價(jià)函數(shù)的權(quán)重 ， 本實(shí)驗(yàn)中 λ 取值 為 1。 PCA 降維 實(shí)驗(yàn) 發(fā)現(xiàn) ， 對(duì)使用 Caffe[40]深度網(wǎng)絡(luò)訓(xùn)練出的特征使用 主成分 分析 （ PCA）降維之后再 采用 余弦距離來計(jì)算相似度可以 達(dá)到 更高的識(shí)別精度。 PCA 是一種 將多個(gè)變量通過線性變換以選出較少個(gè)數(shù)重要變量的一種多元統(tǒng)計(jì)分析方法。 PCA 算法的基本思想是設(shè)法將原來眾多具有一定相關(guān)性的變量，重新組合成一組新的互相無關(guān)的綜合指標(biāo)來代替原來的變量。通常數(shù)學(xué)上的處 理就是將原來的多個(gè)變量作線性組合，作為新的綜合變量。 PCA 算法 的 基本步驟 如下 ： （ 1）假設(shè)一個(gè)訓(xùn)練集有 n 個(gè)樣本 ? ?12, , , nX X X ，每個(gè) 樣本 是一個(gè) p 維變量，那么它可以建立一個(gè) *np的樣本矩陣 M 。 （ 2）計(jì)算 M 的協(xié)方差矩陣 ，先求解出 iX 的平均 ???ni iav XnX 11