【文章內(nèi)容簡介】 相關背景理論知識 計算機視覺理論基本概念 計算機視覺就是用各種成像系統(tǒng)代替視覺器官作為視 覺信息輸入手段，由 計算機來代替大腦完成處理和解釋，并根據(jù)解釋結果做出相應的決策。計算機 視覺的最終研究目標就是使計算機能像人那樣通過對視覺信息的處理來觀察和 2 哈爾濱工業(yè)大學工學碩士學位論文 理解世界，具有自主適應環(huán)境的能力 [1][2]。 人類的視覺系統(tǒng)是功能最強大和完善的視覺系統(tǒng)，但人們并不能描述和解 釋自身的視覺系統(tǒng)是如何對信息進行處理的，因此通過對計算機視覺的研究、 模擬，人們有可能逐步地揭開人類視覺的信息處理機制，從而了解人類的思維 機制、推理機制等。因此， 用計算機信息處理的方法研究人類視覺的機理，建 立人類視覺的計算理論，也是一個非常重要和有趣的研究領域。同樣地，通過 其他途徑，如神經(jīng)解剖學、心理學等方面對人類視覺的研究，也會給計算機視 覺的研究提供啟發(fā)和指導，兩者有相互促進作用 [3]。除了神經(jīng)解剖學、心理 學，對計算機視覺的研究還要借助其它學科的知識，如圖像處理、模式識別 (圖像識別 )、圖像理解 (景物分析 ) 、圖像生成等。 1 圖像處理 圖像處理技術把輸入圖像轉換成具有所希望特性的另一幅圖像。例如，可 通過處理使輸出圖像平滑、或有較高的信 噪比，同時還可 通過增強處理來突 出圖像的細節(jié)，以便于對圖像特征的檢驗。在計算機視覺研究中經(jīng)常需要利用 圖像處理技術進行預處理和特征抽取，如各種數(shù)學變換技術等 2 模式識別（圖像識別） 模式識別技術根據(jù)從圖像抽取的統(tǒng)計特性或結構信息，把圖像分成預定的 類別。例如，人臉識別、文字識別或指紋識別等。在計算機視覺中模式識別技 術經(jīng)常用于對圖像中的某些部分進行處理，例如分割區(qū)域的識別和分類。 3 圖像理解（景物分析） 給定一幅圖像，圖像理解程序不僅描述圖像本身，而且描述和解釋圖像所 代表的景物，以便對圖像代表的內(nèi)容做出決定。在人工 智能視覺研究的初期經(jīng) 常使用景物分析這個術語，以強調二維圖像與三維景物之間的區(qū)別。圖像理解 除了需要復雜的圖像處理技術外還需要具有關于景物成像的物理規(guī)律的知識以 及與景物內(nèi)容有關的知識。 4 圖像生成 根據(jù)圖像的特性如對稱性、紋理漸變性以及圖像目標的動力學知識以及其 它的先驗知識，可以生成一副圖像，或者當圖像信息存在部分缺失時，能夠將 缺失的那一部分信息補上，從而得到完整的圖像信息。例如，對于二維圖像， 通過圖像生成技術能夠得到其三維結構信息，這一點如應用在模式識別研究 中，能夠大大地提高識別系統(tǒng)的魯棒性。 3 哈爾濱工業(yè)大學工學碩士學位論文 Marr 視覺理論 Marr 的視覺計算理論 [4]立足于計算機科學，系統(tǒng)地概括了心理物理學、 神經(jīng)生理學、臨床神經(jīng)病理學等方面已取得的所有重要成果，是迄今為止最系 統(tǒng)的視覺理論。 Marr 的理論的出現(xiàn)對神經(jīng)科學的發(fā)展和人工智能的研究產(chǎn)生 了深遠的影響。 Marr 認為視覺是一個信息處理過程，這個過程根據(jù)外部世界的圖像產(chǎn)生 對觀察者有用的描述，而且這個處理過程是有層次的。整個處理過程如圖 12 示： 模型 3D 表示 簡圖 場景 圖 12 Marr 視覺信息表示過程 Figure 12 The process of representing Marr’s visual information 低層視覺（即視覺處理的第一階段）的目的就是要確定圖像信息的變化是 由哪些因素引起的。這個過程要經(jīng)過兩個步驟來完成：第一步是獲得表示圖像 中的變化和結構的表象。這包括檢測灰度的變化，表示和分析局部的幾何結 構，以及檢測照明的效應等處理，第一步得到的結果被稱為初始簡圖（ Primal Sketch）的表象。 第二 步對初始簡圖進行一系列運算得到能反映可見表面幾何特征的表象， 這種表象被稱為二維半（ D）簡圖，這些運算中包括由立體視覺運算提取深 度信息，根據(jù)灰度影調、紋理等信息恢復表面方向，由運動視覺運算獲取表面 形狀和空間關系信息等。這些運算的結果都集成到 D 圖像這個中間表象層 次，因為這個中間表象已經(jīng)從原始的圖像中去除了許多的多義性，是純粹地表 示了物體表面的特征，其中包括光照、反射率、方向、距離等。根據(jù) D 圖 像表示的這些信息可以可靠地把圖像分成有明確含義的區(qū)域（分割），從而可 得到比線條、 區(qū)域、形狀等更為高層的描述。這個層次的處理稱為中層視覺處 理 (Intermediate Processing）。 Marr 視覺理論中的下一個表象層次是三維模型，它適用于物體的識別， 4 哈爾濱工業(yè)大學工學碩士學位論文 當圖像數(shù)據(jù)具有與目標模型相同的表示形式時，就能夠對圖像進行識別。這個 層次的處理涉及物體本身，并且要依靠和應用與領域有關的先驗知識來構成對 景物的描述，因此被稱為高層視覺處理。 Marr 的視覺計算理論雖然是首次提出的關于視覺的系統(tǒng)理論，并已對計 算機 視覺的研究起了巨大的推動作用，但還遠未解決人類視覺的理論問題，在 實踐中也已遇到了嚴重困難。 Bruce、 Young 等人 [5]認為 Marr 的三層表示模式 是對目標的一種較粗略表示，對于一般的目標識別可能是有效的，但對于需要 很精確地對目標加以描述，從而進行識別的情況卻可能不適用，例如對于人臉 圖像的識別，不同目標具有相同的形狀，同時同一目標具有不同的表現(xiàn)形式， 單純地使用上述的三層表示模式將無法區(qū)分不同的人臉圖像。 基于推理的視覺理論 由于只根據(jù)圖像數(shù)據(jù)本身不能對相應的物體空間結構提供充 分的約束，也 就是說這是一個約束不充分（ under constrained）的問題。因此，為了理解圖像 的內(nèi)容必須要有附加的約束條件。 Gestalt 心理學家發(fā)現(xiàn)的感知組織現(xiàn)象是一 種非常有力的關于象素整體性附加約束。從而為視覺推理提供了基礎。 Gestalt 心理學家所研究的出發(fā)點是 形 ，他們認為任何 形 都是知覺進行 了積極組織或構造的結果或功能，而不是客體本身就有的。在視覺研究中 Gestalt理論認為把點狀數(shù)據(jù)聚集成整體特征的聚集過程是所有其它有意義的處 理過程的基礎。人的視覺系統(tǒng)具有在對景物中的 物體一無所知的情況下從景物 的圖像中得到相對的聚集（ grouping）和結構的能力。這種能力被稱為感知組 織。 感知組織把點狀的傳感數(shù)據(jù)變換成客觀的表象。在這些表象中用于描述的 詞藻不是在點狀定義的圖像中的灰度，而是如形狀、形態(tài)、運動和空間分布這 樣的描述。感知組織通過對傳感器數(shù)據(jù)進行了整體的分析，得到一組宏觀的表 象。這樣的宏觀表象就是進行認知的活動時的基本構件，用它們可構成對外部 世界的描述。 Gestalt 理論反映了人類視覺本質的某些方面，但它對感知組織的基本原 理只是一種公理性的描述，而不是一種機 理性的描述。因此自從在本世紀二十 年代提出以來未能對視覺研究產(chǎn)生根本性的指導作用。但是研究者對感知組織 原 理 的 研 究 一 直 沒 有 停 止 。 特 別 是 在 80 年 代 以 后 ， Lowe[6] ， Witkin Tenenbaum[7]，等人在感知組織的原理，以及在視覺處理中應用方面取得了新 5圖像， (例如 GWN 中 : f????? wi i ),然后用方程中的參數(shù)來表示人臉。在計算 全局形狀統(tǒng)計模型約束局部紋理匹配的結果 [10 17] 匹配，得到形狀和紋理 [18 21] 哈爾濱工業(yè)大學工學碩士學位論文 的重要研究成果，同時它也是本文的理論出發(fā)點。 國內(nèi)外研究現(xiàn)狀 由于本文提出的模型屬于產(chǎn)生式模型，所以首先在這里簡要介紹 一下產(chǎn)生 式模型的國內(nèi)外研究現(xiàn)狀。產(chǎn)生式模型是通過從單一類別的數(shù)據(jù)學習該類個體 的表示。簡而言之，在人臉識別領域中產(chǎn)生式模型通常是通過方程來逼近人臉 N ??i??1 機視覺中，產(chǎn)生式模型流行的原因有多個方面，包括他們能方便地融合先驗知 識，能處理對象各部分和各特征之間的對應，能夠方便的進行圖像的重建等。 但是，現(xiàn)有的產(chǎn)生式模型通常在分類任務中次于判別式模型。 在現(xiàn)有的人臉表示的方法中，一些產(chǎn)生式模型已經(jīng)受到了廣泛的關注。他 們能夠用一些模型參數(shù)精確的重建輸入的人臉圖像。表 11 給出了其中一些經(jīng) 典的方 法： 表 11 現(xiàn)有基于產(chǎn)生式的人臉建模方法 Table 11 Methods of generative model based face modeling 特征臉 Eigen Face 主動形狀模型 ASM 主動表觀模型 AAM 3D 形變模型 小波網(wǎng) GWN 高分辨率文法模型 利用主成分分析 (PCA)方法對圖像降維，找到數(shù)據(jù)表示最佳的投影 方向 [8][9] ～ 對形狀和紋理聯(lián)合統(tǒng)計 (表觀 )模型參數(shù)進行優(yōu)化使得模型與輸入最佳 ～ 對 3D 形狀、紋理、成像參數(shù)等形成的形變模型參數(shù)進行優(yōu)化， 使得 合成的模型圖像最佳匹配輸入圖像，從而得到人臉 3D 形狀和紋理 [22][23] 用一組加權的小波函數(shù)表示人臉圖像 [24][25] 兩個附加層擴展了主動表觀模型，實現(xiàn)了幾乎無損的高分辨率人臉 圖像編碼 [26] 本文主要內(nèi)容 自動人臉識別（ AFR）研究試圖賦予計算機根據(jù)面孔辨別人物身份的能 力。該研究具有重要的科學意義和巨大的應用價值。人們已經(jīng)對其研究了 30 多年。其中恰當?shù)哪軌蚍从吵鋈四槺举|屬性的人臉表示對于這些相關的任務都 起著至關重要的作用。在現(xiàn)有的人臉表示的方法中，一些產(chǎn)生式模型 已經(jīng)受到 6 哈爾濱工業(yè)大學工學碩士學位論文 了廣泛的關注。在計算機視覺中，產(chǎn)生式模型流行的原因有多個方面，包括他 們能方便地融合先驗知識，能處理對象各部分和各特征之間的對應。 本文給出了其中一些經(jīng)典的產(chǎn)生式方法，值得注意的是其中 ―Gabor 小波 網(wǎng) ‖和 ―高分辨率文法模型 ‖這兩種產(chǎn)生式方法是最新提出的產(chǎn)生式算法，他 們在人臉建模方面都取得了矚目的成就。與以前傳統(tǒng)方法相比，這兩種方法都 是以局部模式，而不是以人臉的整體模式作為出發(fā)點。因為隨 著研究的深入， 從人類視覺感知的角度出發(fā)進行進一步的研究是一個必然的趨勢，而局部模型 恰恰非常符合人類視覺感知原理，在人臉識別領域局部建模必將成為主流研究 方向。所以本文對基于局部模型的人臉識別方法進行了系統(tǒng)而深入的研究。提 出了基于稠密局部匹配的人臉識別方法，并通過分別改變算法中的重要參數(shù)： 子塊大小、采樣間隔、保留子塊的數(shù)目做了三個主要的實驗，對 ―驗證部分大 于全部 ‖， ―密集采樣對識別率的影響 ‖，及 ―不同塊大小對識別率的影響 ‖做 了系統(tǒng)全面的分析和說明。最后提出一種更好的符合人類感知原理的局部模 式：局 部視覺基元（ Local Visual Primitive），并將其成功地應用在人臉重建和 識別之中。實驗結果表明此方法不僅可以很好的重建圖像，其識別性能也與已 知的最好結果相當，進一步說明了基于局部模式的人臉識別方法研究的意義及 潛力。 7 哈爾濱工業(yè)大學工學碩士學位論文 第 2章 產(chǎn)生式模型概要 產(chǎn)生式模型概要 視覺識別算法是從一系列訓練樣本中學習模型。產(chǎn)生式模型通過從單一類 別的數(shù)據(jù)學習他們的表 示。在計算機視覺中，產(chǎn)生式模型流行的原因有多個方 面，包括他們能方便地融合先驗知識，能處理對象各部分和各特征之間的對應 等。近些年來產(chǎn)生式模型由于其特有的優(yōu)點已經(jīng)引起研究者的廣泛關注，特別 在物體類別識別等方面已成為主流研究方法之一。此外產(chǎn)生式模型在人臉這個 單一類別中識別不同人身份的人臉識別領域也出現(xiàn)了很多典型的算法。下文將 分別介紹產(chǎn)生式模型的定義、特點、及現(xiàn)有的典型產(chǎn)生式算法在人臉識別領域 中的具體應用。 產(chǎn)生式模型及判別式模型定義 產(chǎn)生式模型和判別式模型是識別領域中已經(jīng)有了非常廣泛 的應用?，F(xiàn)存的 最主要的經(jīng)典算法幾乎都可以劃分到這兩類解決問題的方法之中，而且為了結 合兩者的優(yōu)點衍生出很多這兩種模型的結合算法 [29～ 31]。 究竟產(chǎn)生式模型和判別式模型的本質差異在哪里，這就需要對這兩種模型 的具體定義加以研究?，F(xiàn)在學術界中對于兩種模型并沒有統(tǒng)一的定義，在不同 的研究領域中他們的定義就會有不同側重。在本章中將給出在識別領域中產(chǎn)生 式模型和判別式模型最主流的兩種定義方法。它們分別從不同的角度闡釋兩種 模型本質上的差異。 從概率的角度出發(fā)，兩種模型