【正文】 !未找到引用源。 的特征圖； （ 3）與 96 個神經(jīng)元全連接； 96 個神經(jīng)元進行 Relu 方法激活，最后進行Softmax 二分類。 9 6 2全 連 接分 類9 6激 活R e l u 29 * 1 1 *1 19 * 1 1 *1 19 * 9 * 99 * 9 * 9輸 入卷 積C o n v 1池 化P o o l i n g 19 * 1 1 *1 19 * 1 1 *1 1激 活R e l u 13 * 2 5 *2 53 * 2 5 *2 59 * 1 1 *1 19 * 1 1 *1 1歸 一 化N o r m 1 (a) 眼睛檢測第一級網(wǎng)絡(luò) 浙江工業(yè)大學(xué)碩士學(xué)位論文 20 9 * 1 1 *1 19 * 1 1 *1 19 * 9 * 99 * 9 * 99 62輸 入卷 積C o n v 1池 化P o o l i n g 19 * 1 1 *1 19 * 1 1 *1 1激 活R e l u 1全 連 接分 類3 * 2 5 *2 53 * 2 5 *2 59 * 1 1 *1 19 * 1 1 *1 1歸 一 化N o r m 19 6激 活R e l u 32 0 * 6 *62 0 * 6 *62 0 * 6 *62 0 * 6 *62 0 * 6 *62 0 * 6 *62 0 * 3 *32 0 * 3 *3卷 積C o n v 2激 活R e l u 1歸 一 化N o r m池 化P o o l i n g (b) 眼睛檢測第二級網(wǎng)絡(luò) 圖 33 眼睛檢測的級聯(lián)網(wǎng)絡(luò) Fig 33 Cascaded work of eye detection 第二級眼睛檢測過程 經(jīng)第一級篩選得到的區(qū)域，進入第二級網(wǎng)絡(luò)進行進一步判斷，為了準確檢測給定人頭中是否存在未遮擋的眼睛，第二級網(wǎng)絡(luò)在第一級網(wǎng)絡(luò)的基礎(chǔ)上增加了一個 44? 大小、步長為 1 的卷積操 作，并且對卷積后的特征進行 Relu 函數(shù)進行激活以及歸一化操作，然后以 22? 大小、步長為 2 對特征進行采樣操作，最終采樣后的特征與 96 個神經(jīng)元進行全連接，進行 Softmax 二分類。 9 * 7 * 149 * 7 * 14輸 入卷 積C o n v 19 * 3 * 69 * 3 * 6激 活R e l u3 * 1 6 *3 23 * 1 6 *3 2池 化P o o l i n g 29 6 9 6 2全 連 接分 類 （ a） 第一級嘴 巴檢測網(wǎng)絡(luò) 浙江工業(yè)大學(xué)碩士學(xué)位論文 21 2 0 * 1 5* 3 02 0 * 1 5* 3 02 0 * 7 *1 42 0 * 7 *1 47 5 2輸 入卷 積C o n v 1池 化P o o l i n g 1全 連 接分 類3 * 3 2 *6 43 * 3 2 *6 44 0 * 6 *1 14 0 * 6 *1 14 0 * 3 *54 0 * 3 *5卷 積C o n v 2池 化P o o l i n g6 0 * 2 *36 0 * 2 *3卷 積C o n v 3 （ b） 第二級卷積神經(jīng)網(wǎng)絡(luò) 圖 34 嘴巴檢測的級聯(lián)網(wǎng)絡(luò) Fig 34 Cascaded work of mouth detection 級聯(lián)網(wǎng)絡(luò)訓(xùn)練庫 由于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)需要較大數(shù)量的樣本，本文在訓(xùn)練人頭網(wǎng)絡(luò)時主要采用 CACD2020 數(shù)據(jù)庫以及中科院的 AR 公開人頭數(shù)據(jù)庫，根據(jù)其給定的特征標(biāo)定點，截取訓(xùn)練所需的人頭樣本，負樣本主要為網(wǎng)絡(luò)上搜索得到的自然風(fēng)景、古跡、植物圖片，以及動物世界視頻中截取的圖片，第二級網(wǎng)絡(luò)的負樣本為第 一級網(wǎng)絡(luò)測試得到的誤判樣本。圖 3 3 37 分別給出了訓(xùn)練三個級聯(lián)檢測網(wǎng)絡(luò)的正樣本和負樣本的實例。 浙江工業(yè)大學(xué)碩士學(xué)位論文 22 (a) 兩級人頭檢測網(wǎng)絡(luò)訓(xùn)練正樣本樣例 (b) 第一級 人頭檢測網(wǎng)絡(luò)訓(xùn)練負樣本樣例 (c) 第二級人頭檢測網(wǎng)絡(luò)訓(xùn)練負樣本樣例 圖 35 人頭檢測級聯(lián)網(wǎng)絡(luò)訓(xùn)練正、負樣本樣例 Fig 35 Samples of cascaded work of head detection 浙江工業(yè)大學(xué)碩士學(xué)位論文 23 (a) 兩級眼睛檢測網(wǎng)絡(luò)訓(xùn)練正樣本樣例 (b) 第一級眼睛檢測網(wǎng)絡(luò)訓(xùn)練負樣本樣例浙江工業(yè)大學(xué)碩士學(xué)位論文 24 (c) 第二級眼鏡檢測網(wǎng)絡(luò)訓(xùn)練負樣本樣例 圖 36 眼睛檢測級聯(lián)網(wǎng)絡(luò)訓(xùn)練正、負樣本樣例 Fig 36 Samples of cascaded work of eye detection (a) 兩級嘴巴檢測網(wǎng)絡(luò)訓(xùn)練正樣本樣例 (b) 第一級嘴巴檢測網(wǎng)絡(luò)訓(xùn)練負樣本樣例 圖 37 嘴巴檢測級聯(lián)網(wǎng)絡(luò)訓(xùn)練正、負樣本樣例 Fig 37 Samples of cascaded work of mouth detection 眼睛檢測級聯(lián)網(wǎng)絡(luò)中，第一級檢測網(wǎng)絡(luò)中正樣本根據(jù)給定的特征標(biāo)定點進行裁剪，得到左眼和右眼，并歸一化到 25 25? ，負樣本則對網(wǎng)絡(luò)上搜索得到的自然風(fēng)景、古跡、植物圖片，動物世界視頻中截取的圖片以及小部分對人臉非眼睛區(qū)域隨機截取的圖片和眼睛遮擋圖片，同樣對截取的圖片進行歸一化處理，最終得到第一級眼睛檢測訓(xùn)練庫，共計正樣本 154056 例，負樣本 240558 例；第二級檢測網(wǎng)絡(luò)中正樣本與第 一級訓(xùn)練樣本相同，負樣本則為第一級網(wǎng)絡(luò)測試得到的誤判樣本組成。 測試結(jié)果 圖 38 為人臉遮擋檢測流程圖，如圖所示， 首先獲得視頻圖像。先進行人頭檢測，將圖像做灰度處理，并且判斷亮暗，做適當(dāng)?shù)木饣幚?，然后以滑動窗口的形式將窗口輸入人頭檢測級聯(lián)網(wǎng)絡(luò)檢測人頭。將此區(qū)域坐標(biāo)傳給第二份原圖像（彩色圖），截取出人頭區(qū)域，對此區(qū)域進行亮暗判斷，若過亮或過暗，做 Gamma 變換，然后分別進入眼睛級聯(lián)網(wǎng)絡(luò)與嘴巴級聯(lián)網(wǎng)絡(luò)檢測眼睛和嘴巴。 開 始視 頻 圖 像 獲 取圖 像 歸 一 化判 斷 全 局 亮 度圖 像 1 圖 片 2灰 度 化沒 檢 測 到 人 頭均 衡 化 處 理過 亮 或 過暗 ？坐 標(biāo) 聚 類 分 析人 頭 ？目 標(biāo) 窗 口 坐 標(biāo) 及 尺寸人 頭 截 取 并 歸 一 化R G B 2 H S V亮 度 判 斷過 亮 或 過暗 ？G a m m a 變 換眼 睛 ？嘴 巴 ？眼 睛 被 遮 擋 嘴 巴 被 遮 擋是否否否是是是是否浙江工業(yè)大學(xué)碩士學(xué)位論文 26 圖 38 人臉遮擋檢測流程圖 Fig 38 Flowchart of face occlusion detection 表 31 為 AR 庫上算法測試結(jié)果。由表31 可見，與文獻 [50]和文獻 [51]比較，本文算法在一定程度上提高了準確率。 表 31 AR 庫測試結(jié)果 算法名稱 眼睛檢測準確率 嘴巴檢測準確率 人臉遮擋檢測準確率 本文算法 % % % 加權(quán) LBP 識別算法 [50] % % _ 投影灰度差算法 [51] 96% _ _ 表 32 自建人臉庫測試準確率 算法名稱 人頭檢測準確率 眼睛檢測準確率 嘴巴檢測準確率 人臉遮擋檢測準確率 本文算法 % % % % 表 32 為實驗室自建人臉數(shù)據(jù)庫，總數(shù)為 515 張人臉圖 片，包括 148 張無遮擋人臉圖片， 117 張眼睛遮擋圖片， 139 張嘴巴被遮擋圖片， 111 張眼睛和嘴巴都被遮擋圖片。自建人臉庫樣本舉例如圖 39 所示。 浙江工業(yè)大學(xué)碩士學(xué)位論文 27 圖 39 自建人臉測試庫 Fig 39 Selfbuild face testing database 本章小結(jié) 本章詳細敘述了基于卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋檢測算法，該檢測流程首先對采集圖像進行人頭檢測，然后對檢測到的人頭檢測進行眼睛和嘴巴檢測，以判斷采集的圖像是否存在遮擋情況。從實驗結(jié)果上看，在不同的場景不同款式的墨鏡口罩，不同的拍攝工具也可以取得不錯的識別率，具有一定的通用性。 該智能人臉考勤系統(tǒng)分為人臉遮擋檢測和人臉識別兩個主要功能 模塊，如圖 41 所示。 此軟件需配合攝像頭使用，要使用人臉認證。用戶使用時需先進行注冊，注冊時用戶需輸入姓名、 ID 信息，然后正面面對攝像頭，采集人臉圖像存入數(shù)據(jù)庫供今后認證時比對使用，注冊過程大約會持續(xù) 510 秒。進行人臉認證時用戶正面面對攝像頭，采集人臉圖像進行認證?；谌四樧R別的智能考勤系統(tǒng)考勤系統(tǒng)流程如圖 42 所示。使用經(jīng)過 歸一化操作的圖像 作為 深度網(wǎng)絡(luò) 的 輸入訓(xùn)練，也可以 減小 樣本空間的自由度， 防止 網(wǎng)絡(luò) 容量 不足而導(dǎo)致不收斂的情況。首先得 到圖像中人臉關(guān)鍵 點 部位的 坐標(biāo) ， 用 這些坐標(biāo)以及 一組 標(biāo)準化的關(guān)鍵點坐標(biāo)， 將人臉歸一化到標(biāo)準化的坐標(biāo)上。 (a)歸一化前 (b)歸一化后 圖 43 人臉 歸一化 Fig 43 Face normalization 基于深度學(xué)習(xí)的人臉識別算法 特征提取 的網(wǎng)絡(luò)如圖 44(a)所示， 主要 包括 4 個 卷積層 以及 相應(yīng)的激活和池化層 。最后計算 特征時將 第 3 層的特征和第 4 層的特征進行串聯(lián) 并輸入 一個全連接層 ， 這樣 得到 的特征同時 帶有最 深層 和 較深層的特征信息 ， 這一點對于人臉圖像 這種帶有不同層次特征的 圖像 有非常好的效果 。 訓(xùn)練 特征 的 網(wǎng)絡(luò)如 圖 44(b)所示， 同時 使用分類信號和驗證信號 。 52 52 32110 110 3輸入3 3 卷積步長 2C onv2 2 池化P ool i ng激活R e l u52 52 3252 52 3226 26 325 5 歸一化L R N24 24 643 3 卷積C onv24 24 6412 12 24激活R e l u池化P ool i ng10 10 9610 10 965 5 96激活R e l u池化P ool i ng3 3 卷積C onv4 4 1284 4 128激活R e l u2 2 卷積C onv4448串聯(lián)C onc a t1024全連接Fc特征層(a) 特征提取 的網(wǎng)絡(luò) 示意圖 1024輸入 1人臉圖像 1 特征網(wǎng)絡(luò)特征 1S of t m a x回歸全連接Fc7000C ont r a s t i ve L os s代價函數(shù)L os s _ c l a s s i f y 11024輸入 2人臉圖像 2 特征網(wǎng)絡(luò)特征 2S of t m a x回歸全連接Fc7000代價函數(shù)L os s _ c l a s s i f y 2比對標(biāo)簽代價函數(shù)L os s _ ve r i f y (b) 訓(xùn)練特征的網(wǎng)絡(luò)示意圖 圖 44 訓(xùn)練網(wǎng)絡(luò) 示意圖 Fig 44 Train work 驗證 信號使用 Siamese 網(wǎng)絡(luò) 訓(xùn)練 結(jié)構(gòu)，同時輸入兩個 圖像 樣本 ，兩個 特征 以及 比對標(biāo)簽 一起輸入 到 Contrastive_Loss 層 ，得到 的代價函數(shù)為驗證代價函數(shù)Loss_verify。 v e r i f yc l a s s i f yc l a s s i f y L o s sL o s sL o s sL o s s ???? 21 () 其中 ? 是 一個可調(diào)的超參數(shù)，用以控制分類代價函數(shù)和驗證代價函數(shù)的權(quán)重 ， 本實驗中 λ 取值 為 1。 PCA 是一種 將多個變量通過線性變換以選出較少個數(shù)重要變量的一種多元統(tǒng)計分析方法。通常數(shù)學(xué)上的處 理就是將原來的多個變量作線性組合，作為新的綜合變量。 （ 2）計算 M 的協(xié)方差矩陣 ，先求解出 iX 的平均 ???ni iav XnX 11