【正文】 方法具有直觀 、 識(shí)別 速 度 快 、 提取的特征在一定程度上對(duì)光照變化不太敏感 。 但是 ， 當(dāng)人臉具有一定 的 表 情或者姿態(tài)變化時(shí) ， 易造成特征提取不精確 、 識(shí)別率較低 ， 近年來(lái)已經(jīng)很少 有 新 的發(fā)展。 基于隱馬爾可夫 模 型的方法 基于 模 板的 方 法利 用 模 板 和整 個(gè) 人 臉 圖像 的 像素 值之 間 的自 相 關(guān) 性 進(jìn)行 識(shí) 別 。 隱馬爾可夫模型采用概率統(tǒng)計(jì)的方法描述時(shí)變信號(hào) ， 在人臉 識(shí) 別中 ， 人 臉 應(yīng) 當(dāng)作為一個(gè)整體來(lái)描述 ， 不僅要包括人臉各個(gè)器官的數(shù)值特征 ， 還包括各個(gè) 器 官 的不同表象和相互關(guān)聯(lián)， 隱 馬爾可夫模型 （ HMM）則提供了解 決 這一問(wèn)題 的 方 法 ， 成為基于模型的人臉識(shí)別方法的典型代表 ， 允許人臉表情有較大變化及 較 大 的頭部轉(zhuǎn)動(dòng)，缺點(diǎn)是實(shí)現(xiàn)的復(fù)雜度較高。 第 3 頁(yè) /共 43 頁(yè) 基于 統(tǒng) 計(jì)的方法 基于統(tǒng)計(jì)的方法將人臉圖像視為隨機(jī)向量 ， 從而用一些統(tǒng)計(jì)方法來(lái)分析人臉 模式 , 這類(lèi)方法有著完備的統(tǒng)計(jì)學(xué)理論支 持 `得到了較好地發(fā)展 ， 出現(xiàn)了一些 較 成 功的算法 。 使變換后的人臉圖像樣木不但處于低維空間 ， 且具有良好的人臉 表 征 能力和聚類(lèi)性。 方 法 神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別領(lǐng) 域 有很長(zhǎng)的應(yīng)用 歷 史 ， 1994 年就出現(xiàn) 了 神經(jīng)網(wǎng)絡(luò)用 于人臉處理的技術(shù)報(bào)道 ， 基于神經(jīng)網(wǎng)絡(luò)的人臉判定方法也是早期的方法之一 。人 工神經(jīng)網(wǎng)絡(luò)是在生物神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展起來(lái)的 ， 基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方 法就是利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力和分類(lèi)能力 ， 通過(guò)對(duì)典型樣木的學(xué)習(xí)和訓(xùn)練 ， 對(duì) 人臉進(jìn)行特征提取與識(shí)別，從而避免了復(fù)雜的特征提取工作。 多分類(lèi)器集成方法 將多個(gè)學(xué)習(xí)系統(tǒng)組合是目前機(jī)器學(xué)習(xí)的熱門(mén)課題之 一 ， 這種技術(shù)已經(jīng)被廣泛 運(yùn)用到模式識(shí)別之 中 。 當(dāng)前人臉識(shí)別方法都只能在特定 約 束條件下取得較好的性 能 , 然而在現(xiàn)實(shí)應(yīng)用 中 ， 人臉的表象會(huì)因?yàn)楣庹辗较?、 姿態(tài) 、 表情變化而產(chǎn) 生 較 大的變 化 ， 每種特定的識(shí)別器只對(duì)其中一部分變化比較敏 感 ， 因此 ， 將可以 整 合 互補(bǔ)信息的多個(gè)分類(lèi)器集成能夠提高整個(gè)系統(tǒng)的分類(lèi)準(zhǔn)確 率 。 人臉活體檢測(cè) 技 術(shù)的現(xiàn)狀 從 20xx 年后，人臉識(shí)別技術(shù)逐漸走向市場(chǎng)，人們開(kāi)始關(guān)心人臉識(shí)別安全問(wèn) 題，于是 構(gòu) 建了模 型 來(lái)模擬 活 體人與 假 冒物體 對(duì) 識(shí)別系 統(tǒng) 的欺騙 。 20xx 年 ， L. Thalheim 通過(guò)實(shí)驗(yàn)發(fā)現(xiàn) ， 用照片或簡(jiǎn)短的視頻畫(huà)面可以輕易地入侵人臉識(shí)別 系 統(tǒng)， 繞過(guò)了身份的驗(yàn)證 。 人臉識(shí)別的安全隱患得以更加體現(xiàn) ， 因此人們?cè)絹?lái)越意 識(shí) 到 活體檢測(cè)的重要性。 人臉識(shí)別技術(shù)的 欺 騙手段 近期， “實(shí)時(shí)人臉捕捉和再扮 演 —— Face2Face”引起了國(guó)內(nèi)科技圈的熱議； 如此便可能造成在一個(gè)人不知情的情況下 ， 他人能夠通過(guò)微博上的照片下載的方 第 4 頁(yè) /共 43 頁(yè) 式 ， 通過(guò)此項(xiàng)技術(shù)模仿他人人臉 ， 再讓人臉運(yùn)動(dòng)根據(jù)活體檢測(cè)要求的動(dòng)作運(yùn) 動(dòng) 起 來(lái)，進(jìn)而順利實(shí)現(xiàn)人臉解鎖，攻破金融、安防、門(mén)禁等領(lǐng)域？ 目前 ， 人臉識(shí)別系統(tǒng)對(duì)采集圖像中的人臉辨認(rèn)準(zhǔn)確率 較 高 ， 卻無(wú)法準(zhǔn)確識(shí)別 采集的人臉圖像是來(lái)自人體本身還是來(lái)自照片 、 視頻或三維模型 。 因此 ， 識(shí) 別 系 統(tǒng)極易受到各種蓄意的攻擊 。 為了解決該問(wèn)題 ， 衍生出人臉識(shí)別領(lǐng)域的另一 個(gè) 方 向一一活體檢 測(cè) ，如要的活體檢測(cè)方法如圖 12 所示。 圖 12 活體檢測(cè)的主要類(lèi)型 活體 檢 測(cè)的 主 要目 的 在 于 確認(rèn) 人 臉 識(shí) 別系 統(tǒng) 所 采 集的 人 臉圖 像 是 來(lái) 自真 人 還是偽造的圖像 ， 將其與識(shí)別系統(tǒng)相結(jié)合 ， 將能夠提供更加安全可靠的人臉 識(shí) 別 性能 。 本報(bào)告旨在通過(guò)對(duì)全球?qū)＠麛?shù)據(jù)的檢索分析 ， 探索人臉識(shí)別領(lǐng)域的活 體 檢 測(cè)方法的主要技術(shù)構(gòu)成及發(fā)展趨勢(shì) ， 從而為企業(yè)的活體檢測(cè)技術(shù)研發(fā)方向 、 專(zhuān) 利 布局及發(fā)展策略提供合理化建議。 如何判斷真?zhèn)危? 成功 圖 13 攻擊人臉識(shí)別系統(tǒng) 第 5 頁(yè) /共 43 頁(yè) 如圖 13 所示 ， 隨著人臉識(shí)別技術(shù)逐漸走向市場(chǎng) ， 人們開(kāi)始關(guān)心人臉識(shí)別的 安全問(wèn)題 ， 于是構(gòu)建了各種模型來(lái)檢測(cè)活體檢測(cè)技術(shù)的可靠性 。 經(jīng)過(guò)不斷的 研 究 發(fā)現(xiàn) ， 用照片和視頻畫(huà)面可以輕易地侵入人臉識(shí)別系統(tǒng) ， 繞過(guò)了身份的驗(yàn)證 ； 利 用畫(huà)質(zhì)非常清晰的照片也可以攻擊虹膜識(shí)別系統(tǒng) ； 指紋紋路也被發(fā)現(xiàn)可以被蠟和 硅膠材料仿制。 對(duì)于人臉識(shí)別技術(shù)來(lái)說(shuō) ， 基本是基于可見(jiàn)光圖像的人臉認(rèn)證技術(shù) ， 其欺騙手 段主要有 3 類(lèi)： （ 1）合法用戶(hù)的人臉照片 根據(jù)目前的識(shí)別技術(shù) ， 人臉照片的欺騙技術(shù)最簡(jiǎn)單 、 最為實(shí)用 ， 可以通過(guò)空 間圖片 、 簡(jiǎn)歷信息 、 偷拍等途徑輕易獲得 。 其主要缺點(diǎn)在于 ： 二維平面結(jié)構(gòu) ； 沒(méi) 有面部表情、語(yǔ)音、眨眼等生理變化。 （ 2）合法用戶(hù)的人臉視頻 人臉視頻除了尋找合法現(xiàn)有視頻外 ， 還可以通過(guò)攝像機(jī) 、 針孔攝像頭等手段 偷拍到。相對(duì)照片而言， 人 臉視頻中含有搖頭 、 微笑、眨眼等活 體 的生理 信 息， 對(duì)識(shí)別系統(tǒng)威脅較大。 （ 3）合法用戶(hù)的三維人臉模型 三維人臉在于真人的相似性方面 ， 與照片和視頻相比存在一定差距 ， 但通過(guò) 對(duì)真人三維人臉的建模 ， 可以模仿眨眼 、 點(diǎn)頭 、 說(shuō)話(huà)等動(dòng)作 ， 其生 理 動(dòng)作更 據(jù) 可 控性 ， 對(duì)于交互式活體檢測(cè)方法 ， 攻擊人可按照系統(tǒng)給出的交 互請(qǐng)求來(lái)制作 相 應(yīng) 的應(yīng)答。 人臉識(shí)別活體驗(yàn) 證 技術(shù)現(xiàn)狀 近些年來(lái) ， 為了提供更加安全可靠的活體人臉識(shí)別技術(shù) ， 各種算法原理得到 不斷的應(yīng)用 。 活體人臉的檢測(cè)技術(shù)主要有 ： 三維深度信息分析 、 面部運(yùn)動(dòng)的 光 流 估計(jì) 、 人臉和語(yǔ)音混合模型 、 傅立葉頻譜分析 、 眨眼檢測(cè) 、 熱紅成像等 ， 其 特 帶 及抗欺騙特 點(diǎn) 如表 11 所示。 第 6 頁(yè) /共 43 頁(yè) 表 11 活體檢測(cè)的欺騙特征 活體檢測(cè) 方 法 用戶(hù)配合 光線(xiàn)影響 附加設(shè)備 抗照片欺騙 抗視頻欺騙 三維深度 信 息 一般 中 無(wú) 一般 弱 臉部運(yùn)動(dòng) 少 中 無(wú) 較強(qiáng) 弱 多膜生物 認(rèn) 證 少或一般 低 有 —— —— 人機(jī)交互 多 低 有 強(qiáng) 一般 傅里葉頻 譜 分析 少 中 無(wú) 一般 一般 眨眼 少 低 無(wú) 較強(qiáng) 弱 熱紅外成像 無(wú) 低 有 強(qiáng) 強(qiáng) 由上表可知 ， 三維深度信息計(jì)算較為復(fù)雜 ， 受光照片影響較大 ， 容易受到照 片的遠(yuǎn)近翻動(dòng) 、 旋轉(zhuǎn)等攻擊 ， 而跟蹤某些特征點(diǎn)技術(shù)難度較大 。 臉部運(yùn)動(dòng)估 計(jì) 適 用于人的身體必然發(fā)生運(yùn)動(dòng)時(shí) ， 而當(dāng)人靜止時(shí)無(wú)法獲取人面部的光流信息 ， 容 易 出現(xiàn)誤判 。 人機(jī)交互的方法需要人的主動(dòng)配合 ， 如讀取一段文字 、 點(diǎn)頭 、 手 勢(shì) 識(shí) 別等 ， 這種方式加大了破解難度 ， 但另一方面也帶來(lái)了身份認(rèn)證的煩瑣 。 傅 里 葉 頻譜分析對(duì)環(huán)境影響有較弱的適應(yīng)性 ， 易受到外界干擾 ， 而且高頻分量的界 定 和 能量 描 述 算 子的 模 型 需 要 在 不同 情 況 下 設(shè)定 ， 穩(wěn) 定 性 不 強(qiáng)。 眨 眼 檢 測(cè) 方 法 是用 SVM 分類(lèi)器訓(xùn)練的二分類(lèi)模 型 ，如果恰好截取的合法身份用戶(hù)有一段眨眼 動(dòng) 作 的視頻 ， 那么這個(gè)會(huì)對(duì)系統(tǒng)造成很大的安全威脅 。 基十紅外成像的活體檢測(cè)方法， 是一種非常有效的檢測(cè)方法 ， 紅外圖像特征分析能力遠(yuǎn)遠(yuǎn)超過(guò)可見(jiàn)光 ， 因?yàn)?熱 紅 外根據(jù)人的體溫會(huì)生成分布不一致的圖像 ， 而一張照片 ， 是個(gè)平面的 ， 溫差很 小 ， 所以區(qū)分能力較強(qiáng)。它的 缺 點(diǎn)是熱紅外成像儀 價(jià) 格較為昂貴，一 般 幾萬(wàn)元 左 右， 不能在便攜式設(shè)備上使用。 此外 ， 北京中安未來(lái)科技的人臉識(shí)別算法在陌生人識(shí)別領(lǐng)域超越人眼準(zhǔn)確率， 并積累了大量的人臉數(shù)據(jù)庫(kù)數(shù)據(jù) 。 其研究成果認(rèn)為 ： 模仿者不能改變視頻中 的 頭 部和人臉運(yùn)動(dòng)，對(duì)需要 被 測(cè) 人主動(dòng)進(jìn)行動(dòng)作（ 例 如搖頭 ） ，在進(jìn) 行 輸入 的 的 視 頻 流過(guò)程中沒(méi)有當(dāng)時(shí)攝像頭采集的視頻流更具有規(guī)則性 ， 活體檢測(cè)技術(shù)完全可以通 過(guò)判斷幀率的方式在第一時(shí)間就會(huì)阻止模仿用戶(hù) ， 活體檢測(cè)的中包含的動(dòng) 作 （ 微 笑 、 眨眼 、 搖頭 ） 是隨機(jī)組合的 ， 再加上活體的連續(xù)性檢測(cè) ， 似的這項(xiàng)技術(shù) 被 模 第 7 頁(yè) /共 43 頁(yè) 仿的難度越來(lái)越 大 。 挑 戰(zhàn)與機(jī)遇 隨著網(wǎng)絡(luò)貿(mào)易 、 國(guó)土安全 、 社會(huì)安全的需要 ， 身份驗(yàn)證已經(jīng)成為安全防護(hù)中 關(guān)注的重點(diǎn) ， 生物特征識(shí)別將迎來(lái)一個(gè)快速發(fā)展的時(shí)期 ， 人臉識(shí)別技術(shù)經(jīng)歷 了 數(shù) 十載的發(fā)展 ， 如今已經(jīng)取得了很大的進(jìn)展 ， 并且在一定領(lǐng)域?qū)崿F(xiàn)了商業(yè)應(yīng)用 ， 人 臉識(shí)別技術(shù)也必將迎來(lái)更為廣闊的發(fā)展機(jī)遇。 人臉識(shí)別系統(tǒng)對(duì)采集圖像中的人臉辨認(rèn)準(zhǔn)確率較高 ， 卻無(wú)法準(zhǔn)確識(shí)別采集的 人臉圖像是來(lái)自人體本身還是來(lái)自照片 、 視頻或三維模型 。 對(duì)于如何鑒別其 為 有 效活體還存在較大的難 點(diǎn) ， 為了更安全的進(jìn)行身份認(rèn)證和檢測(cè)身份來(lái)源的真實(shí)性， 這樣就給人臉識(shí)別技術(shù)工作者提出了更高的要求 。 因此 ， 人臉識(shí)別技術(shù)活體 驗(yàn) 證 是一個(gè)極富挑戰(zhàn)性的問(wèn)題 ， 目前還沒(méi)有一種算法適用各種不同的實(shí)驗(yàn)環(huán)境 。 本項(xiàng) 目通過(guò)對(duì)現(xiàn)有技術(shù)中活體檢測(cè)技術(shù)的檢索分析 ， 對(duì)人臉識(shí)別技術(shù)的發(fā)展有重要意 義。 第 8 頁(yè) /共 43 頁(yè) 第二章 人臉識(shí)別中 的 活體驗(yàn) 證 專(zhuān) 利 檢索分析 專(zhuān) 利信息檢索及 標(biāo) 引 技術(shù)研究邊界定義 人臉識(shí)別中的活體驗(yàn)證技 術(shù) 在美國(guó) 、 日本 、 韓 國(guó) 等發(fā)達(dá)國(guó)家得到了快速發(fā)展。 人臉識(shí) 別 使得被檢測(cè)者由于不需要攜帶自身相關(guān)的認(rèn)證信息 ， 提高了安檢過(guò)程中 的舒適度 ， 加快了認(rèn)證檢測(cè)的速 度 ； 但是典型的人臉識(shí)別系統(tǒng)極其容易被人 臉 照 片 、 視頻或者人造面具所欺騙 ， 急需對(duì)人臉識(shí)別技術(shù)中的活體驗(yàn)證技術(shù)進(jìn)行研發(fā)。 本項(xiàng)目要研究 的 人臉識(shí)別活體驗(yàn)證技 術(shù) ， 主要從三個(gè)方面進(jìn)行界定 ， 一是 其 驗(yàn)證 的目標(biāo)本體為人 臉 ， 即以人臉作為驗(yàn)證的客 體 ； 二是為識(shí)別 ， 并通過(guò)對(duì)人臉 進(jìn) 行 驗(yàn)證和識(shí) 別 ；三是其是主 要 活體驗(yàn)證，從而防止欺騙和攻 擊 。 檢索要素表及注釋 本主題采用如下檢索要素以及如下檢索式進(jìn)行檢索： 表 21 檢索要素表： 關(guān)鍵詞 塊 1：人臉 or 面部 or 臉部 or 人像 or face or facial 塊 2：檢測(cè) or 驗(yàn)證 or 檢驗(yàn) or 判斷 or 識(shí)別 or 認(rèn)證 or 判別 or recognition or authentication or identify 塊 3：活體 or 生命體 or 生物體 or 活人 or VITAL SIGN or “biometric authentication” or “l(fā)iving body” 分類(lèi)號(hào) G06 or G07 檢索歷史記錄 1：以世 界 專(zhuān)利數(shù)據(jù)庫(kù)為檢 索 基礎(chǔ)，其中關(guān)鍵詞為 TIABC=(( 人 臉 or 面 部 or 臉 部 or 人 像 or Face or facial)) AND TIABC=(( 檢 測(cè) or 驗(yàn) 證 or 檢 驗(yàn) or 判 斷 or 識(shí) 別 or 認(rèn) 證 or 判 別 or Recognition or authentication or identify)) AND TIABC=((活體 or 生命體 or 生物 體 or 活人 or VITAL SIGN or “biometric authentic ation” or “l(fā)iving body”))；得 第 9 頁(yè) /共 43 頁(yè) 到 3739 個(gè)結(jié)果（申請(qǐng)?zhí)柡喜⒑? 3180 個(gè)結(jié)果 ） ； 2： 引入 IPC 分類(lèi) 號(hào) 去噪 閱讀文獻(xiàn)的過(guò)程中 ， 發(fā)現(xiàn)較大的噪音 ， 例如 ：CN106487511A 身份認(rèn)證方法 及裝置等 ， 而且本次檢索的主要目的 是 “人臉識(shí)別領(lǐng)域的活體驗(yàn)證技術(shù)相關(guān) 專(zhuān) 利 ”， 委托方的目的是針對(duì)人臉識(shí)別領(lǐng)域的活體驗(yàn)證技術(shù)進(jìn)行分析 ， 其他領(lǐng)域的技術(shù)與 委托方的目的出入較大；因此，決定引入 IPC 分類(lèi)號(hào)（ G06 or G07）進(jìn)行去 噪。 TIABC=(( 人 臉 or 面 部 or 臉 部 or 人 像 or Face or facial)) AND TIABC=(( 檢 測(cè) or 驗(yàn) 證 or 檢 驗(yàn) or 判 斷 or 識(shí) 別 or 認(rèn) 證 or 判 別 or Recognition