【正文】 如計(jì)算下圖中 D區(qū)域內(nèi)的像素之和： 圖 58 。（ a, b, g, h）兩矩形特征；（ c, f） 三矩形特征；（ d）四矩形特征；（ e）“回”字形特征；（ i, j, k, l）“ L”形特征。 Viola 等用到的 Haar 型特征共有 4 種（圖 ~d），我們又增加了 8 種（圖 ~l）。 Haar 特征值計(jì)算 Haar 型特征是 Viola 等提出的一種簡單矩形特征，因類似于 Haar 小波而得名。 if(sumLeft= sumRight) return 1。 sumRight+=alpha*thresh。 double alpha=log10(bt[i])。(Sclissifiersc[i],smat)。i++) { int h=0。 //設(shè)置該點(diǎn)的亮度和 mymDoubleGet(smat,x,y， y_yuv)； (x,y) 27 } for(int i=0。 if(x0) y_yuv = y_yuv + mymDoubleGet(smat,x1,y)。amp。y++) { double y_yuv =(double)((uchar*)(mar+matstep*x))[y]。x++) for(int y=0。 在得到圖像 I的積分圖像后，就可以方便快捷的計(jì)算圖像 I中任意矩形內(nèi)所有像素灰度積分，如圖 54中，點(diǎn) 1的積分圖像 1ii 的值為： 1ii =區(qū)域 A的像素值（ ） 圖 55 點(diǎn)（ x,y）處的積分圖像值 下面是積分圖矩陣的實(shí)現(xiàn)代碼片斷 ： for(int x=0。 54積分圖 為了得到輸入圖像 I的積分圖像，需要逐點(diǎn)掃描圖像一次。 Paul Viola等引入了一種新的圖像的表示方法一積分圖像，利用它可以快速計(jì)算矩形特征?！胺e分圖”能夠在多種尺度下，使用相同的時(shí)間來計(jì)算不同的特征，因此大大提高了檢測(cè)速度。積分圖的含義與此類似。 一個(gè)簡單的微積分類比：如果我 們要經(jīng)常計(jì)算 ()baf xdx? ，那我們會(huì)先計(jì)算( ) ( )F x f x dx?? ，那么 ( ) ( ) ( )baf x dx F b F a??? 。一個(gè) wh? 的特征原型在 WH? 子窗口產(chǎn)生的矩形特征數(shù)量可用下面的公式計(jì)算： 11( 1 ) ( 1 )22XYX Y W w H h??? ? ? ? ? ? ? （ ） 積分圖 積分圖的概念 積分圖像就是將原圖像中任一點(diǎn)的左上方的全部像素相加作為當(dāng)前點(diǎn)像素值所得到的圖像。 假設(shè)訓(xùn)練或者檢測(cè)窗口的大小為 WH? 個(gè)像素， w,h 分別為特征原型的長、寬，圖 52 所示五 種特征原型對(duì)應(yīng)的 wh分別為： 21， 12， 31， 13， 22。 最簡單的 5 個(gè) 矩形 特征模板： 24 (a) (b) (c) (d) (e) 圖 52 人臉檢測(cè)使用的矩形特征值 矩形特征值是指圖像中兩個(gè)或多個(gè)形狀大小相同的矩形內(nèi)所有像素的灰度值之和的差值。 通過改變特征模板的大小和位置，可在圖像子窗口中窮舉出大量的特征。這類特征模板都是由兩個(gè)或多個(gè)全等的矩形相鄰組合而成，特征模板內(nèi)有白色和黑色兩種矩形（定義左上角的為白色，然后依次交錯(cuò)），并將此特征模板的特征值定義為白色矩形像素和減去黑色矩形像素和。 對(duì)于一個(gè) 2424 檢測(cè)器，其內(nèi)的矩形特征數(shù)量超過 160,000 個(gè)，必須通過特定算法甄選合適的矩形特征，并將其組合成強(qiáng)分類器才能檢測(cè)人臉。 矩形特征對(duì)一些簡單的圖形結(jié)構(gòu)，比如邊緣、線段，比較敏感，但是其只能描述特定走向（水平、垂直、對(duì)角）的結(jié)構(gòu)，因此比較粗略。 矩形特征 概述 將矩形特征作為對(duì)輸入圖像的人臉檢測(cè)的特征向量，稱為矩形特征。 Viola 提出將積分圖 (integral image)應(yīng) 用到特征值的計(jì)算之中。 把矩形作為人臉檢測(cè)的特征向量，稱為矩形特征。對(duì)于兩分類問 22 題，只需要弱學(xué)習(xí)算法的準(zhǔn)確性略好于隨機(jī)猜測(cè)，便可以保證 Adaboost算法收斂。特別的，如果所有的弱分類器誤判率都相等，即 1t??? ， 1t??? 上式可簡化為： 21exp( 2 )T?? ?? 可見，強(qiáng)分類器誤判率隨著弱分類器數(shù)量增多和弱分類器誤判率的降低而迅速下降。詳細(xì)的證明過程可參見文獻(xiàn)。 Adaboost 算法性能分 析 強(qiáng)分類器 H(x)對(duì)訓(xùn)練樣本集的誤判率稱為訓(xùn)練誤判率，記為 ? ， 則有： 11[ ( ) ] RiE D H x y NN? ?? ? ? ? 其中， ()1{ 0 ()H x yif iiR if H x yii?? ? 對(duì)于 AdaBoost算法， Freund和 Schapire 給出了關(guān)于訓(xùn)練誤判率的重要理論結(jié)果。 Boosting 算法在分類、建模、圖像分割、數(shù)據(jù)挖掘等領(lǐng)域均已得到簡單而有效的應(yīng)用。一年后， Freund 提出了一種效率更高的Boosting 算法。 1990 年， Schapire 最先構(gòu)造出一種多項(xiàng)式級(jí)的 算法，即最初的 Boosting算法?，F(xiàn)在一般指的是將弱學(xué)習(xí)算法提升為強(qiáng)學(xué)習(xí)算法的一類算法。這就使得基本的 PAC模型不能預(yù)測(cè)學(xué)習(xí)曲線 (1earning curve)。 PAC 模型的不足 在實(shí)際的機(jī)器學(xué)習(xí)中， PAC模型的不足有：模型中強(qiáng)調(diào)最壞情況，它用最壞情況模型來測(cè)量學(xué)習(xí)算法的計(jì)算復(fù)雜度及對(duì)概念空間中的每個(gè)目標(biāo)概念和實(shí)例空間上的每個(gè)分布，用最壞情況下所需要的隨機(jī)樣本數(shù)作為其樣本復(fù)雜度的定義，使得它在實(shí)際中不可用；定義中的目標(biāo)概念和無噪聲的訓(xùn)練數(shù)據(jù)在實(shí)際中是不現(xiàn)實(shí)的。該定義不要求學(xué)習(xí)器輸出零錯(cuò)誤率的假設(shè)，而只要求其錯(cuò)誤率被限定在某常數(shù)ε的范圍內(nèi)(ε可以任意小 )；同時(shí)也 不要求學(xué)習(xí)器對(duì)所有的隨機(jī)抽取樣本序列都能成功，只要其失敗的概率被限定在某個(gè)常數(shù)δ的范圍內(nèi) (δ也可取任意小 )即可。它是考慮樣本復(fù)雜度及計(jì)算復(fù)雜度的一個(gè)基本框架，成功的學(xué)習(xí)被定義為形式化的概率理淪，其模型如圖所示。在某一特定的假設(shè)空間中，對(duì)于給定的樣本，若能找到一似設(shè) h，使得對(duì)該概念類的任何概念都一致，且該算法的樣本復(fù)雜度仍為多項(xiàng)式，則該算法為一致算法。計(jì)算復(fù)雜度 (putational plexity)指學(xué)習(xí)器收斂到成功假設(shè)時(shí)所需的計(jì) 20 算量。對(duì)每個(gè)目標(biāo)概念 ncC? 和實(shí)例 x Xn? ， ()cx 為實(shí)例 x 上的分類值，即 ( ) 1cx? 當(dāng)且僅當(dāng)onx CC? 的任一似設(shè) h指的是規(guī)則，即對(duì)給出的 x Xn? ，算法在多項(xiàng)式時(shí)間內(nèi)為 ()cx 輸出一預(yù)測(cè)值。概念空間指目標(biāo)慨念可以從中選取的所有概念的集合，學(xué)習(xí)器的目標(biāo)就是要產(chǎn)生目標(biāo)概念的一個(gè)假設(shè)，使其能準(zhǔn)確地分類每個(gè)實(shí) 例，對(duì)每個(gè) n≥ 1，定義每個(gè) 2 nXnC ? 為 Xn 上的一系列概念， 1C Un Cn?? 為 X上的概念空間，也稱為概念類。 PAC學(xué)習(xí)模型是考慮樣本復(fù)雜度及計(jì)算復(fù)雜度的一個(gè)基本框架，成功的學(xué)習(xí)被定義為形式化的概率理論。它是研究學(xué)習(xí)及泛化問題的一個(gè)概率框架，不僅可用于神經(jīng)網(wǎng)絡(luò)分類問題，而且可廣泛用于人工智能中的學(xué)習(xí)問題。 Keams和 vallant證明：只要有足夠的數(shù)據(jù)，弱學(xué)習(xí)算法就通過集成的方式生成任意高精度的假設(shè) (強(qiáng)學(xué)習(xí)方法 )。 Keams和 vallant提出了弱學(xué)習(xí)算法與強(qiáng)學(xué)習(xí)算法間的等價(jià)問題，即能否把弱學(xué)習(xí)算法轉(zhuǎn)化為強(qiáng)學(xué)習(xí) 算法。因此，這是該進(jìn) Adaboost性能的一個(gè)關(guān)鍵點(diǎn)所在。如果將所有的 haar特征都用來對(duì)應(yīng)一個(gè)弱分類器，那么其總個(gè)數(shù)將超過數(shù)十萬個(gè)。雖然弱分類器的分類效果很差，但是試想如果將很多個(gè)這樣的弱分類器按照一定的規(guī)則組合起來便可以形成一個(gè)高度準(zhǔn)確的強(qiáng)分類器，這 19 也就是級(jí)聯(lián)分類器。如果一個(gè)假設(shè)能夠顯著地提高猜測(cè)正確的概率，那么這個(gè)假設(shè)就稱為強(qiáng)學(xué)習(xí)。如果一個(gè)假設(shè)能夠稍微地提高猜測(cè)正確的概率，那么這個(gè)假設(shè)就是弱學(xué)習(xí)算法，得到這個(gè)算法的過程稱為弱學(xué)習(xí)。在 PAC學(xué)習(xí)模型中，若存在一個(gè)多項(xiàng)式級(jí)學(xué)習(xí)算法來識(shí)別一組概念，并且識(shí)別正確率很高，那么這組概念是強(qiáng)可學(xué)習(xí)的；而如果學(xué)習(xí)算法識(shí)別一組概念的正確率僅比隨機(jī)猜測(cè)略好，那么這組概念是弱可學(xué)習(xí)的。 弱學(xué)習(xí)與強(qiáng)學(xué)習(xí) 弱分類器的設(shè)計(jì)是集成機(jī)器學(xué)習(xí)的重要內(nèi)容之一，與一般機(jī)器學(xué)習(xí)算法區(qū)別在于弱分類器設(shè)計(jì)無需考慮線性不可分問題，這是集成機(jī)器學(xué)習(xí)吸引大量應(yīng)用研究者關(guān)注的主要原因 。 Intel 實(shí)驗(yàn)室的 Rainer Lienhart 擴(kuò)展了類 Haar 特征，在 Viola 提出的類 Haar 特征的基礎(chǔ)上添加了旋轉(zhuǎn) 45度的類 Haar 特征，在與 Viola 系統(tǒng)相同檢測(cè)率的情況下，降低了 10％的誤檢率。該人臉檢測(cè)系統(tǒng)在實(shí)時(shí)正面人臉檢測(cè)中能夠達(dá)到 15 幀／秒的速率。 Viola 等人在 2020 年提出使用 AdaBoost 學(xué)習(xí)算法的快速人臉檢測(cè)方法，實(shí)現(xiàn)了實(shí)時(shí)的正面人臉檢測(cè)系統(tǒng)。 Haar 特征是一種基于積分圖像的特征，主要在灰度圖像中使用，該特征計(jì)算簡單，提取速度較快。實(shí)驗(yàn)表明， Adaboost 算法能夠顯著提高學(xué)習(xí)精度。繼而對(duì)新的樣本集達(dá)到分類的效果，統(tǒng)計(jì)分類方法有很多具體的方法，它們?nèi)Q于是否采用一個(gè)已知的、參數(shù)型的分布模型。因此， 這是一種監(jiān)督學(xué)習(xí)的模式識(shí)別方法。它主要基于用概率統(tǒng)計(jì)模型得到各類別的特征向量分布，以取得分類的功能。后來又在前兩者的基礎(chǔ)上 發(fā)展出了半監(jiān)督學(xué)習(xí)方法，這種方法的本質(zhì)仍屬于監(jiān)督學(xué)習(xí)。在這里，我們用分類來敘述。模式識(shí)別方法多種多樣，模式識(shí)別系統(tǒng)的最終目標(biāo)是要在表示空間和解釋空間之間找到一種映射關(guān)系。圖 4． 1給出了 Adaboost人臉檢測(cè)算法進(jìn)行訓(xùn)練和檢測(cè)的流程圖，本文也將分訓(xùn)練和檢測(cè)兩個(gè)方面介紹 Adaboost算法。這些弱分類器只需要滿足比隨機(jī)猜測(cè)好一點(diǎn)，就能通過不斷的修正每個(gè)弱分類器的權(quán)值，即挑選那些比較好的分類器，拋棄不好的分類器，從而最終形成由這些弱分類器組成的強(qiáng)分類器，相比較其他的方法而言， Adaboost方法 對(duì)每個(gè)弱分類器的權(quán)值的形成都是無人值守的，完全自動(dòng)化的，因而 Adaboost算法有著比較好的易用性。 Adaboost 算法是 1995 年提出的一種快速人臉檢測(cè)算法，是人臉檢測(cè)領(lǐng)域里程碑式的進(jìn)步，這種算法根據(jù)弱學(xué)習(xí)的反饋，適應(yīng)性地調(diào)整假設(shè)的錯(cuò)誤率，使在效率不降低的情況下，檢測(cè)正確率得到了很大的提高。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來，作為最后的決策分類器。 16 第 4 章 Adaboost 算法 概述 Adaboost 算法簡介 Adaboost 是一種迭代算法，其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器(弱分類器 )，然后把這些弱分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器 (強(qiáng)分類器 )。他將樣本集分為兩個(gè)集合 B 和 N，集合 B 作為子問題工作樣本集進(jìn)行 SVM 訓(xùn)練，并給出了兩階多項(xiàng)式分類器在人臉識(shí)別問題中的應(yīng)用結(jié)果。 目前將該理論已經(jīng)得到了一些應(yīng)用，比如在光學(xué)字符識(shí)別等方面，并且獲得了比較好的效果，不過由于建立完整的理論體系時(shí)間不長，該方法用于人臉檢測(cè)的很少，盡管 SVM 算法的性能在許多實(shí)際問題的應(yīng)用中得到了驗(yàn)證，但是該算法在計(jì)算上存在著一些問題 ，包括訓(xùn)練算法速度慢、算法復(fù)雜而難以實(shí)現(xiàn)以及檢測(cè)階段運(yùn)算量大等等 。該理論針對(duì)小樣本統(tǒng)計(jì)問題建立了一套新的理論體系，在這 種體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸近性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)結(jié)果。 SVM 的理論基礎(chǔ)來自于 Vapnik 等提出 15 的統(tǒng)計(jì)學(xué)習(xí)理論，它的基本思想是，對(duì)于一個(gè)給定的具有有限數(shù)量訓(xùn)練樣本的學(xué)習(xí)任務(wù)，如何在準(zhǔn)確性（對(duì)于給定訓(xùn)練集）和機(jī)器容量（機(jī)器可無錯(cuò)誤地學(xué)習(xí)任意訓(xùn)練集的能力）進(jìn)行折中，以得到最佳的推廣 （ Generalization） 性能。該方法同時(shí)考慮到人臉由左到右各個(gè)特征的自然順序，使用二維 HMM，并采用二維 DCT變換的系數(shù)作為觀察向量。接著對(duì)各塊進(jìn)行KL變換，取每塊若干最大的特征向量作為觀測(cè)值對(duì) HMM進(jìn)行訓(xùn)練。 Nefian等均各人臉從上到下劃分為五個(gè)互有重疊的區(qū)域 (頭發(fā)、額頭、眼、鼻、嘴 )。由于 HMM 是一個(gè)統(tǒng)計(jì)模型，對(duì)于同一特征序列，可能會(huì)對(duì)應(yīng)于許多狀態(tài)序列，特征序列與狀態(tài)序列之間的對(duì)應(yīng)關(guān)系是非確定的。 HMM 使用馬爾科夫鏈來模擬信號(hào)統(tǒng)計(jì)特征的變化，而這種變化又是間接地通過觀察序列來描述的，因此，隱馬爾科夫過程是一個(gè)雙重的隨機(jī)過程。前 提假設(shè)是模型可被定義為一個(gè)參數(shù)化的進(jìn)程。但是，缺點(diǎn)是網(wǎng)絡(luò)結(jié)構(gòu)需要大范圍的調(diào)整（層數(shù)、結(jié)點(diǎn)數(shù)、學(xué)習(xí)速率等等） 才能獲得期望的性能。 1998年， Rowley等增加了一級(jí)神經(jīng)網(wǎng)絡(luò)用以檢測(cè)平面內(nèi)旋轉(zhuǎn)的人臉角度，在對(duì)原圖像進(jìn)行反旋轉(zhuǎn)后，送到正面人臉檢測(cè)器中進(jìn)行檢測(cè)，使得該系統(tǒng)可以檢 14 測(cè)圖像中按任意的角度旋轉(zhuǎn)的人臉。