【正文】 n our experiments. Furthermore, an attendance record system is designed and implemented which integrates the proposed face occlusion detection algorithm and convolutional neural works based face recognition algorithm. The attendance record system can detect the occurrence of face occlusion during the process of checking attendance and give an alarm to the attendance personnel with occlusion. Key Words: Face Occlusion Detection, Face recognition, Convolutional Neural Network, Caffe浙江工業(yè)大學(xué)碩士學(xué)位論文 1 目 錄 摘要 ??????????????????????????????? i ABSTRACT????????????????????????????? ii 第 1 章 緒論 ???????????????????????????? 1 論文研究背景 ................................................................................................... 1 研究現(xiàn)狀 .......................................................................................................... 4 論文研究?jī)?nèi)容 ................................................................................................... 6 論文組織結(jié)構(gòu) ................................................................................................... 7 第 2 章 卷積神經(jīng)網(wǎng)絡(luò)介紹 ??????????????????????9 卷積神經(jīng)網(wǎng)絡(luò) CNN .................................................. 9 卷積層 .................................................................................................. 10 子采樣層 ............................................................................................... 11 稀疏連接 ............................................................................................... 11 權(quán)值共享 ............................................................................................... 12 Softmax 回歸 .......................................................................................... 12 Caffe 架構(gòu) ...................................................................................................... 13 本章小結(jié) ........................................................ 15 第 3章 基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋檢測(cè)方法 ?????????? 16 算法框架 .................................................... 16 人頭檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò) ........................................... 17 眼睛檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò) ............................................... 19 嘴巴檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò) ........................................... 20 級(jí)聯(lián)網(wǎng)絡(luò)訓(xùn)練庫(kù) ................................................... 21 測(cè)試結(jié)果 .................................................... 24 本章小結(jié) .................................................... 26 第 4 章 智能人臉考勤系統(tǒng) ????????????????????? 27 系統(tǒng)設(shè)計(jì) .................................................... 27 浙江工業(yè)大學(xué)碩士學(xué)位論文 2 人臉識(shí)別模塊 ................................................ 28 基于深度學(xué)習(xí)的人臉識(shí)別算法 .................................................................... 29 PCA 降維 .............................................................................................. 31 實(shí)驗(yàn)結(jié)果 ............................................................................................... 31 系統(tǒng)實(shí)現(xiàn) .................................................... 33 本章小結(jié) .................................................... 36 第 5 章 結(jié)論與展望 ? ??????????????????????? 37 結(jié)論 ........................................................ 37 展望 ........................................................ 38 參考文獻(xiàn) ????????????????????????????? 39 致謝 ??????????????????????????????? 42 攻讀學(xué)位期間參加的科研項(xiàng)目和成果 ????????????????? 43 浙江工業(yè)大學(xué)碩士學(xué)位論文 3 浙江工業(yè)大學(xué)碩士學(xué)位論文 1 第 1章 緒 論 論文研究背景 人臉識(shí)別技術(shù)以其主動(dòng)性、非侵犯性、用戶友好性、非接觸性、不易察覺性和唯一性等優(yōu)點(diǎn)，具有重要的學(xué)術(shù)研究?jī)r(jià)值以及廣闊的應(yīng)用前景 [1]。實(shí)驗(yàn)結(jié)果表明本文所實(shí)現(xiàn)的人臉遮擋檢測(cè)算法在測(cè)試數(shù)據(jù)庫(kù)上取得了令人滿意的效果。 鑒于深度學(xué)習(xí)技術(shù)的強(qiáng)大表達(dá)能力和學(xué)習(xí)能力，本文利用深度學(xué)習(xí)來(lái)研究安防領(lǐng)域中的人臉遮擋檢測(cè)技術(shù)，提出了一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò) 的人臉遮擋檢測(cè)方法。浙江工業(yè)大學(xué)碩士學(xué)位論文 i 基于深度學(xué)習(xí)的人臉遮擋檢測(cè)技術(shù)研究 摘 要 在安防領(lǐng)域，為了逃避安防系統(tǒng)中監(jiān)控?cái)z像頭的監(jiān)視，進(jìn)而實(shí)現(xiàn)其逃避法律處罰的目的，很多違法犯罪嫌疑人使用墨鏡、圍巾、口罩或者直接蒙面的方式來(lái)刻意遮擋自己的人臉特征，這種情況下的遮擋給嫌疑人抓捕和案件偵破帶來(lái)了困難。如果能夠利用人臉遮擋檢測(cè)算法及時(shí)發(fā)現(xiàn)不法人員，然后自動(dòng)向監(jiān)控中心等部門報(bào)警，構(gòu)建預(yù)警機(jī)制，則可以有效的阻止犯罪，降低犯罪率。該方法首先利用人頭級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)人頭，然后針對(duì)眼睛和嘴巴經(jīng)常被遮擋的事實(shí)，分別利用眼睛級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)和嘴巴級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行眼睛和嘴巴的遮擋檢測(cè)。 在此基礎(chǔ)上，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于人臉識(shí)別算法的智能考勤系統(tǒng)，該系統(tǒng)集成了本文所提出的基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋檢測(cè)算法，能夠檢測(cè)出認(rèn)證過(guò)程中考勤員工的遮擋現(xiàn)象，并給予相關(guān)處理。人臉識(shí)別技術(shù)在近幾十年中得到了飛速的發(fā)展，在中國(guó)就 已廣泛的應(yīng)用于公安、安全、海關(guān)、金融、軍隊(duì)、機(jī)場(chǎng)、邊防口岸、安防等多個(gè)重要行業(yè)及領(lǐng)域，以及智能門禁、門鎖、考勤、手機(jī)、數(shù)碼相機(jī)、智能玩具等民用市場(chǎng)?，F(xiàn)有的人臉識(shí)別算法通常在室內(nèi)可控環(huán)境下可以達(dá)到滿意的結(jié)果。這些干擾因素導(dǎo)致所獲取的人臉圖像之間存在較大的差異，給人臉識(shí)別帶來(lái)了極大的困難，使其識(shí)別率難以達(dá)到理想水平。 遮擋是眾多影響人臉識(shí)別性能的因素中非常重要也是不可避免的一個(gè)因素，特別是在安全領(lǐng)域中尤其突出。隨著人們?nèi)粘Ｉ钪信宕餮坨R的比例增大，由眼鏡遮擋造成的問題也就越來(lái)越普遍；環(huán)境污染造成了出門佩戴口罩也越來(lái)越普遍了；在實(shí)際應(yīng)用中，比如智能門禁、視頻監(jiān)控、保安系統(tǒng)、罪犯識(shí)別等，基本均在非配合的環(huán)境下進(jìn)行人臉圖像的采集，易被其他人或者 物所遮擋。圖 11 給出了常用人臉數(shù)據(jù)庫(kù) LFW 數(shù)據(jù)庫(kù) [2]和 AR 人臉數(shù)據(jù)庫(kù) [3]中給出的部分遮擋的人臉圖像樣本 , 圖 12 給出了一些日常生活中的遮擋實(shí)例 [4]。由于遮擋類型多樣、位置隨機(jī)、大小不確定，沒有合適的方法對(duì)遮擋進(jìn)行建模，導(dǎo)致遮擋問題處理起來(lái)非常困難。特別是在安防領(lǐng)域，為了逃避安防系統(tǒng)中監(jiān)控?cái)z像頭的監(jiān)視，進(jìn)而實(shí)現(xiàn)其逃避法律處罰的目的，很多違法犯罪嫌疑人使用墨鏡、圍巾、口罩或者直接蒙面的方式來(lái)刻意遮擋自己的人臉特征（如圖 13 所示），這種情況下的遮擋給嫌疑人抓 捕和案件偵破帶來(lái)了困難。尤其是報(bào)警并阻止蒙面人進(jìn)入銀行、政府區(qū)域、商場(chǎng)或者其他公共場(chǎng)所，能有效的阻止犯罪。通常，人臉遮擋檢測(cè)系統(tǒng)利用監(jiān)控?cái)z像機(jī)連續(xù)的采集場(chǎng)景中的監(jiān)控圖像，利用計(jì)算機(jī)視覺技術(shù)檢測(cè)監(jiān)控圖像中的人臉，并分析人臉上的器官是否不全 (比如因?yàn)槊擅娴仍蚴刮骞俨糠只蛉勘徽趽跗饋?lái) )，如果是則向監(jiān)控中心報(bào)警?，F(xiàn)在，人臉遮擋檢測(cè)技術(shù)已經(jīng)被擴(kuò)展應(yīng)用到其他安防領(lǐng)域，例如智慧社區(qū)的訪客系統(tǒng)，基于人臉識(shí)別的移動(dòng)支付等領(lǐng)域。因此，本文的研究既有一定的理論意義，也具有較強(qiáng)的實(shí)際應(yīng)用價(jià)值?；谔囟ㄕ趽躅愋偷臋z測(cè)方法通常根據(jù)不同種類的遮擋物利用 HOG[15]、 LBP[16]、 SIFT [1718]、 Haarlike[19]等特征提取方法來(lái)提取特征信息，然后基于這些提取到的特征信息利用支持向量機(jī)（ SVM） [20]、 AdaBoost[21]、神經(jīng)網(wǎng)絡(luò) [22]等機(jī)器學(xué)習(xí)方法訓(xùn)練相應(yīng)的分類模型，再使用訓(xùn)練出的分類模型來(lái)判斷是否為異常人臉以及屬于哪種異常類型。文獻(xiàn) [6]在序列圖像的人頭定位的基礎(chǔ)上，依據(jù)正常人臉與異常人臉特征的差異來(lái)定位和識(shí)別異常人臉，實(shí)現(xiàn)了基于人臉中心線檢測(cè)的墨鏡檢測(cè)、基于區(qū)域灰度分布特征的眼部區(qū)域的墨鏡檢測(cè)和基于直線檢測(cè)的口罩檢測(cè)。文獻(xiàn) [26]利用提取簡(jiǎn)單小波特征來(lái)實(shí)現(xiàn)遮擋物為眼鏡的人臉遮擋檢測(cè)。 基于特定遮擋類型的人臉遮擋檢測(cè)方法通常能穩(wěn)定的檢測(cè)具有這些特定遮擋物的遮擋人臉。另外，在實(shí)際的監(jiān)控 應(yīng)用場(chǎng)景中，還可能會(huì)出現(xiàn)非預(yù)期的遮擋物情況，使得該類方法具有很大的局限性。按照經(jīng)驗(yàn)，通過(guò)分區(qū)域計(jì)算膚色比來(lái)判斷是否遮擋，可以適應(yīng)多樣化的人臉遮擋情況。文獻(xiàn) [10]用基于 YCbCr 顏色空間橢圓模型檢測(cè)算法對(duì)區(qū)域人臉進(jìn)行檢測(cè)，以預(yù)先定義的異常行為語(yǔ)義來(lái)判斷是否出現(xiàn)蒙面或臉部遮擋偽裝取款的情況。文獻(xiàn) [12]在定位人臉后通過(guò)計(jì)算皮膚面積比來(lái)確定人臉是否被遮擋。文獻(xiàn) [31]利用基于 B 樣條的主動(dòng)輪廓法和橢圓擬合方法來(lái)估計(jì)人臉位置，然后利用測(cè)量到的不同區(qū)域的膚色比來(lái)確定遮擋類型。該類方法把人臉遮擋檢測(cè)問題轉(zhuǎn)變成正常人臉檢測(cè)和非正常人臉條件下的異常種類判斷問題。文獻(xiàn) [8]將人臉區(qū)域分為眼部區(qū)域和嘴部區(qū)域兩部分，訓(xùn)練了基于 Haar 特征的人眼分類器來(lái)判斷眼部是否存在遮擋，采用基于 Hough 變換的水平直線檢測(cè)結(jié)合分 類器搜索的方法來(lái)檢測(cè)嘴部區(qū)域的異常。文獻(xiàn) [11]提出了基于 Adaboost 的人臉部件檢