【正文】 也是整個(gè)人臉識(shí)別算法的第一步。 人臉檢測(cè)算法要解決以下幾個(gè)核心問(wèn)題： 人臉可能出現(xiàn)在圖像中的任何一個(gè)位置 人臉可能有不同的大小 人臉在圖像中可能有不同的視角和姿態(tài) 人臉可能部分被遮擋 評(píng)價(jià)一個(gè)人臉檢測(cè)算法好壞的指標(biāo)是檢測(cè)率和誤報(bào)率。人臉二分類(lèi)器的原理如下圖所示： 由于人臉可能出現(xiàn)在圖像的任何位置，在檢測(cè)時(shí)用固定大小的窗口對(duì)圖像從上到下、從左到右掃描，判斷窗口里的子圖像是否為人臉，這稱(chēng)為滑動(dòng)窗口技術(shù)（ sliding window）。多尺度滑動(dòng)窗口技術(shù)的原理如下圖所示： 以 512x512 大小的圖像為例，假設(shè)分類(lèi)器窗口為 24x24，滑動(dòng)窗口的步長(zhǎng)為 1，則總共需要掃描的窗口數(shù)為： 即要檢測(cè)一張圖片需要掃描大于 120 萬(wàn)個(gè)窗口！??！計(jì)算量驚人，因此有必要采取某種措施提高效率，具體解決方案本文會(huì)給出。 早期算法 我們將整個(gè)人臉檢測(cè)算法分為 3 個(gè)階段，分別是早期算法， AdaBoost 框架，以及深度學(xué)習(xí)時(shí)代，在接下來(lái)將分這幾部分進(jìn)行介紹。他們用神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉檢測(cè)，用 20x20 的人臉和非人臉圖像訓(xùn)練了一個(gè)多層感知器模型。 AdaBoost 框架 接下來(lái)介紹 AdaBoost 框架之后的方法， boost 算法是基于 PAC 學(xué)習(xí)理論（ probably approximately correct）而建立的一套集成學(xué)習(xí)算法 (ensemble learning)。 VJ框架是人臉檢測(cè)歷史上第一個(gè)最具有里程碑意義的一個(gè)成果，奠定了基于AdaBoost 目標(biāo)檢測(cè)框架的基礎(chǔ)，所以作為重點(diǎn)和大家嘮嘮。如果一個(gè)待檢測(cè)窗口通過(guò)了所有的強(qiáng)分類(lèi)器，則認(rèn)為是人臉，否則是非人臉。這里的 Haarlike 特征定義為圖像中相鄰矩形區(qū)域像素之和的差值。人臉的五官有各自的亮度信息，很符合 Haarlike 特征的特點(diǎn)。在構(gòu)造出積分圖之后，借助于它可以快速計(jì)算出任何一個(gè)矩形區(qū)域內(nèi)的像素之和，以下圖中的矩形框?yàn)槔? 在上圖中，要計(jì)算黑色矩形框內(nèi)的像素值之和。決策樹(shù)的訓(xùn)練算法此處不做詳細(xì)的闡述，需要注意的是這里的特征向量是稀疏的，即每一棵決策樹(shù)只接受少量特征分量的輸入，根據(jù)它們來(lái)做決策。對(duì)于前者，可以理解為一個(gè)負(fù)樣本被每一級(jí)分類(lèi)器都判定為正樣本的概率；對(duì)于后者，可以理解為 一個(gè)正樣本被所有分類(lèi)器都判定為正樣本的概率。 使用其他類(lèi)型的 AdaBoost 分類(lèi)器。另外，檢測(cè)處于各種角度和姿態(tài)的人臉是研究另一個(gè)重點(diǎn)， VJ 方法的分類(lèi)器級(jí)聯(lián)只有一條路徑，是瀑布模型，改進(jìn)的方案有樹(shù)狀級(jí)聯(lián)，金字塔級(jí)聯(lián)等，篇幅所限這里不做過(guò)多解釋?zhuān)鞣N級(jí)聯(lián)方案如下圖所示： 在深度學(xué)習(xí)出現(xiàn)以前工業(yè)界的方案都是基于 VJ算法。 ACF[15]（ Aggregate Channel Features for Multiview Face Detection）是一種為分類(lèi)提供足夠多的特征選擇的方法。 （ 2）生成的決策函數(shù)是需要通過(guò)之前每個(gè)階段的值而不單單是本階段來(lái)判定。并且還拿下了 20xx 年， PASCAL VOC 的 “ 終身成就獎(jiǎng) ” ?；?DPM 的方法在戶外人臉集上都取得了比 ViolaJones 更好的效果，但是由于該模型過(guò)于復(fù)雜，判斷時(shí)計(jì)算復(fù)雜，很難滿足實(shí)時(shí)性的要求。深度學(xué)習(xí)出現(xiàn)以后， DCNN（深度卷積神經(jīng)網(wǎng)絡(luò)）能很好的學(xué)習(xí)到圖像中目標(biāo)物各個(gè)層級(jí)的特征，對(duì)外界的抗干擾能力更強(qiáng)，后序的人臉檢測(cè)方法基本都基于 DCNN 的特征來(lái)優(yōu)化了。 構(gòu)建多尺度的人臉圖像金字塔， 12 將密集的掃描這整幅圖像（不同的尺寸），快速的剔除掉超過(guò) 90%的檢測(cè)窗口，剩下來(lái)的檢測(cè)窗口送入 12calibration調(diào)整它的尺寸和位置，讓它更接近潛在的人臉圖像的附近。然后利用 NMS 進(jìn)行窗口合并，送入48calibration 矯正檢測(cè)窗口作為最后的輸出。 文中影響區(qū)域位置和大小的因素有三種：尺度、 X 方向偏移、 Y 方向 偏移。這種方法使用全卷積網(wǎng)絡(luò)，在同一個(gè)網(wǎng)絡(luò) 中直接預(yù)測(cè)目標(biāo)矩形框和目標(biāo)類(lèi)別置信度。 。輸出圖像中位于點(diǎn) 處的像素用 5 維向量描述了一個(gè)目標(biāo)的矩形框和置信度信息： 第一個(gè)分量是候選框是一個(gè)目標(biāo)的置信度，后面 4項(xiàng)分別為本像素的位置與矩形框左上角、右下角的距離。卷積層 conv4_4 的的輸出被送入 4 個(gè) 的卷積層中。將 conv3_4 和 conv_4_4 的卷積結(jié)果拼接起來(lái)送入后面處理。真實(shí)的類(lèi)別標(biāo)簽值為 ，取值為 0或者 1，分別表示是背景和目標(biāo)。 FacenessNet FacenessNet[19]是一個(gè)典型的由粗到精的工作流，借助了多個(gè)基于 DCNN 網(wǎng)絡(luò)的 facial parts 分類(lèi)器對(duì)人臉進(jìn)行打分，然后根據(jù)每個(gè)部件的得分進(jìn)行規(guī)則分析得到 Proposal 的人臉區(qū)域，最后通過(guò)一個(gè) Refine 的網(wǎng)絡(luò)得到最終的人臉檢測(cè)結(jié)果。 根據(jù) attributeaware 深度網(wǎng)絡(luò)生成人臉部件 map 圖 (partness map)，如上圖Faceness(a)中的顏色圖，文章共使用了 5 個(gè)部件 :hair,eye,nose,mouth,beard. 通過(guò) part 的結(jié)合計(jì)算人臉的 部件之間是有相對(duì)位置關(guān)系的 ,比如頭發(fā)在眼睛上方 ,嘴巴在鼻子下方 ,因此利用部件的 spatial arrangement 可以計(jì)算 face likeliness. 通過(guò)這個(gè)打分對(duì)原始的人臉 proposal 進(jìn)行重排序 . 如圖 Faceness(b)。 MTCNN MTCNN[20]顧名思義是多任 務(wù)的一個(gè)方法，它將人臉區(qū)域檢測(cè)和人臉關(guān)鍵點(diǎn)檢測(cè)放在了一起，同 Cascade CNN 一樣也是基于 cascade 的框架，但是整體思路更加巧妙合理， MTCNN 總體來(lái)說(shuō)分為三個(gè)部分： PNet、 RNet 和 ONet，如下圖所示： Cascade CNN 第一級(jí)的 12 需要在整張圖片上做密集窗口采樣進(jìn)行分類(lèi)，缺陷非常明顯； MTCNN 在測(cè)試第一階段的 PNet 是全卷積網(wǎng)絡(luò)（ FCN），全卷積網(wǎng)絡(luò)的優(yōu)點(diǎn)在于可以輸入任意尺寸的圖像，同時(shí)使用卷積運(yùn)算代替了滑動(dòng)窗口運(yùn)算，大幅提高了效率。該方法目前在很多工業(yè)級(jí)場(chǎng)景中得到了應(yīng)用。 作者分析了小目標(biāo)人臉檢測(cè)的三個(gè)問(wèn)題： Multitask modeling of scales 一方面，我們想要一個(gè)可以檢測(cè)小人臉的小模板；另一方面，我們想要一個(gè)可以利用詳細(xì)特征（即面部）的大模板來(lái)提高準(zhǔn)確性。 如何從預(yù)訓(xùn)練的深度網(wǎng)絡(luò)中最佳地提取尺度不變的特征。然后我們將縮放的輸入圖像輸入到 CNN 中，獲得不同分辨率下人臉預(yù)測(cè)響應(yīng)圖（后續(xù)用于檢測(cè)和回歸）。通過(guò)加入 center loss 使得類(lèi)內(nèi)的特征差異更小（起到聚類(lèi)的作用），提高正負(fù)樣本在特征空間的差異性從而提升分類(lèi)器的性能。實(shí)現(xiàn)方式就是對(duì) VGG 網(wǎng)絡(luò)不同 level 的卷積層輸出做了 3 個(gè)分支（ M1,M2,M3），每個(gè)分支都使用類(lèi)似的流程進(jìn)行檢測(cè)和分類(lèi)，通過(guò)針對(duì)不同尺度特征圖進(jìn)行分析，變相的實(shí)現(xiàn)了多尺度的人臉檢測(cè)。（由于大的卷積核效率問(wèn)題，根據(jù) INCEPTION 的思想，使用 2個(gè) 3*3的卷積核替代一個(gè) 5*5的卷積核，使用 3個(gè) 3*3的卷積核替換 1個(gè) 7*7的卷積核）。 2. 設(shè)計(jì)了低層特征金字塔網(wǎng)絡(luò) ( Lowlevel Feature Pyramid Networks ) 來(lái)更好地融合上下文特征和面部特征，該方法在一次前向過(guò)程中（ in a single shot）可以很好地處理不同尺度的人臉。 結(jié)束語(yǔ) 人臉做為計(jì)算機(jī)視覺(jué)的一個(gè)大的研究