【正文】 2022/2/14 59 RBF (Radial Basis Function) ? 徑向基函數(shù)（ RBF）網(wǎng)絡(luò)也基于一個(gè)內(nèi)核技術(shù)改進(jìn)的綜合，但它是基于 而不是在正則化理論。一個(gè)典型的RBF 網(wǎng)絡(luò)具有 K個(gè)高斯基函數(shù)由下式給出 Ci是高斯基函數(shù)的中心， σ i2是方差， ω i是權(quán)值函數(shù)， b是偏移項(xiàng) （ 1）參加訓(xùn)練的高斯 RBF網(wǎng)絡(luò) 給定學(xué)習(xí)任務(wù)包括確定的總?cè)藬?shù) ,高斯基函數(shù)，定位自己的中心，計(jì)算 其相應(yīng)的方差，并解出重量 系數(shù)和偏差。合適的選擇K, Ci， σi能夠產(chǎn)生一個(gè)在分類(lèi)和線性回歸都很強(qiáng)大的 RBF神經(jīng)網(wǎng)絡(luò)。（ 2）在傳統(tǒng)的 RBF神經(jīng)網(wǎng)絡(luò)中徑向基函數(shù)是預(yù)定的，而在大集合 RBF網(wǎng)絡(luò)中數(shù)量迭代增加，直到錯(cuò)誤降到設(shè)定的閾值一下。在這兩類(lèi)情況下， RBF中心可以由 k均值聚類(lèi)決定。 2022/2/14 60 RBF ? 與此相反，一個(gè) SVM 與同 RBF核會(huì)自動(dòng)判斷該中心的數(shù)目和位置，以及權(quán)重和閾值，最大限度地減少一個(gè)上界預(yù)期風(fēng)險(xiǎn)。最近， Evgeniou等人表明支持向量機(jī)與 RBF網(wǎng)絡(luò)可以在一個(gè)統(tǒng)一的制定框架中的統(tǒng)計(jì) Vapnik統(tǒng)計(jì)學(xué)習(xí)理論 。因此，支持向量機(jī)提供了較為系統(tǒng) 的分類(lèi)方法相比較于傳統(tǒng)的 RBF和各種其他的神經(jīng)網(wǎng)絡(luò)。 2022/2/14 61 FLD ? Fisher線性判別（ FLD）在特定的子空間中發(fā)現(xiàn)最佳線性投影的一種方法的一個(gè)例子 ，不同于尋找投影能夠最大限度地提高預(yù)測(cè)的方差作為主成分分析， FLD確定投影， Y= WT F X，即最大化類(lèi)間之間的比例 散射和類(lèi)內(nèi)散布。因此，分類(lèi)被簡(jiǎn)化到投影空間。 ? 考慮一個(gè) c類(lèi)的問(wèn)題，由類(lèi)間散布矩陣求出 和類(lèi)內(nèi)散布矩陣 在這里 μ 是所有平均， μ i是第 i類(lèi)的平均， Ni是第 i類(lèi)的樣本數(shù)目 2022/2/14 62 FLD ? 最優(yōu)投影 WF是一個(gè)投影矩陣能夠最大化類(lèi)內(nèi)散射和類(lèi)間散射的比率，公式如下 其中 {wi|i=1,2…m} 是一組廣義 SB和 SW的特征向量，對(duì)應(yīng)于 m個(gè)最大 廣義特征值 {λi|i=1,2….m} 。但是， SB的秩為 c1或更少，因?yàn)樗?C矩陣的總和 為一級(jí)或更小的矩陣。因此，該上界 為 c1。為了避免奇點(diǎn)，我們可以先用 PCA 以降低特征空間到 NC的維數(shù)，并且 然后用熒光檢測(cè)器進(jìn)行降維到 c1。這兩步 程序是用在計(jì)算“的Fisherfaces，比如在我們的實(shí)驗(yàn)中，我們使用一個(gè)單一的高斯來(lái) 模擬男性和女性類(lèi)的分布得到的一維空間。這個(gè)樣品的類(lèi)成員能夠通過(guò)測(cè)定用最大 后驗(yàn)概率，或等效地通過(guò)似然比測(cè)試決定。 2022/2/14 63 Linear and Quadratic Classiers ? 二次分類(lèi)器的決策邊界是由二次型 x中決定的，通過(guò)貝葉斯錯(cuò)誤而得最小化。假設(shè)每個(gè)類(lèi)的分布是高斯，分類(lèi)器的輸出由下式給出 其中 μ i和 （ i=1,2）是相對(duì)應(yīng)的高斯分布的平均值和方差 線性分類(lèi)器是二次分類(lèi)的一種特殊形式，假設(shè) 這樣就簡(jiǎn)化了判別式 對(duì)于這兩種分類(lèi)器， f(x)的符號(hào)決定類(lèi)成員，也相當(dāng)于一個(gè)似然比檢驗(yàn) 2022/2/14 64 Experiments 2022/2/14 65 Experiments ? 在我們的研究中， 256 384像素通過(guò)使用自動(dòng)面部處理系統(tǒng)進(jìn)行來(lái)補(bǔ)償平移，縮放以及輕微的旋轉(zhuǎn)進(jìn)行預(yù)處理。如上圖所示，并使用最大似然估計(jì)人臉檢測(cè)，仿射變形用于幾何形狀對(duì)齊和用于環(huán)境照明亮度歸一化的變化。輸出結(jié)果如圖 “面印痕”被標(biāo)準(zhǔn)化到 80 40 （滿(mǎn)）的分辨率。這些“面印痕”進(jìn)一步分采樣21 12像素“縮略圖”為了我們的低分辨率實(shí)驗(yàn)。 2022/2/14 66 Experiments 上圖示出了已經(jīng)加工好的面輸出（注意的幾個(gè)例子這些面孔含有很少或根本沒(méi)有發(fā)信息） 。在我們的試驗(yàn)中總共有 1755幅縮略圖（ 1044名男性和 711女性）。對(duì)于每個(gè)分類(lèi)器的平均錯(cuò)誤率估計(jì)與 5 fold交叉驗(yàn)證（ CV ） 也就是說(shuō)， 5路數(shù)據(jù)集剖分， 4/5用于訓(xùn)練和五分之一用于測(cè)試，然后后面四組依次旋轉(zhuǎn)。該訓(xùn)練集的平均大小為 1496 （ 793名男性和 713只雌性）和測(cè)試集的平均大小為 259（ 133雄性和雌性 126 ） 2022/2/14 67 Machine Classication ? 支持向量機(jī)分類(lèi)器最初是隨不同的內(nèi)核進(jìn)行測(cè)試 為了探索可能性，表現(xiàn)性的空間。 高斯 RBF核被發(fā)現(xiàn)執(zhí)行 最好的（在錯(cuò)誤率計(jì)算），隨后是三次多項(xiàng)式 內(nèi)核為第二個(gè)最好的。在大集合 RBF實(shí)驗(yàn)， 徑向基數(shù)目增加至錯(cuò)誤跌破設(shè)定的閾值。在大集合 RBF中徑向基的平均數(shù)目被認(rèn)為是 1289對(duì)應(yīng)于訓(xùn)練集數(shù)目的的 86％。該 對(duì)經(jīng)典 RBF網(wǎng)絡(luò)的徑向基數(shù)目為 啟發(fā)式前實(shí)際訓(xùn)練和測(cè)試之前被置為 20。 二次型，線性和 Fisher分類(lèi)器實(shí)現(xiàn)了采用高斯分布和在各種情況下的似然比檢驗(yàn)進(jìn)行分類(lèi)。全部分類(lèi)器均采用 21 12像素的縮略圖的平均錯(cuò)誤率列于表 1，并總結(jié)于如下圖中。 2022/2/14 68 Machine Classication 表一 表二 2022/2/14 69 Machine Classication ? 我們可以知道支持向量機(jī)明顯優(yōu)于其他分類(lèi)器，盡管大集合 RBF神經(jīng)網(wǎng)絡(luò)的性能接近 為支持向量機(jī)。然而，近 90％的訓(xùn)練集是 由集合 RBF保留為徑向基。 相比之下，由雙方發(fā)現(xiàn)支持向量的數(shù)量 ，支持向量機(jī)只有約 20％的訓(xùn)練集。我們還支持向量機(jī)應(yīng)用分類(lèi)在高清晰度圖像上。高斯和立方內(nèi)核支持向量機(jī)同樣在低和高的分辨率，只有輕微的 1 ％的誤差率的差異。 2022/2/14 70 Human Classication ? 為了校準(zhǔn) SVM分類(lèi)器的性能， 還要求人類(lèi)受試者對(duì)低和高清晰度的圖像進(jìn)行性別分類(lèi)?？偣?30個(gè)科目的 （男 22例，女 8例），年齡從 20到 40多歲參加了一個(gè)實(shí)驗(yàn)高分辨率 圖像和 10例（男 6例，女 4例），低 高分辨率圖像。所有受試者被要求盡好的對(duì) 254面進(jìn)行性別分（排名不分先后提交），他們可能沒(méi)有時(shí)間限制。雖然這些測(cè)試 不是那樣全面的機(jī)器實(shí)驗(yàn)， 與人類(lèi)中使用的測(cè)試集是相同的 5倍的一個(gè)在 節(jié)中使用的 CV分區(qū) 2022/2/14 71 SVM vs. Human performance 2022/2/14 72 SVM vs. Human performance 表三 2022/2/14 73 SVM vs. Human performance ? 比較表 1和 2，很顯然，支持向量機(jī)性能 不管是低和高分辨率比人類(lèi)要好 ，在表三中這些結(jié)果表明，支持向量機(jī)比其他任何分類(lèi)具有更好的特性。 同時(shí)也不難理解人類(lèi)受試者在高分辨率圖片上表現(xiàn)的比低分辨率更好。但是 SVM性能不大受分辨率的影響。下面來(lái)看排名前五的人類(lèi)容易錯(cuò)判的圖像。 2022/2/14 74 ? 真正的性別從左到右依次是 FMMFM ? 同時(shí)我們也得到了那些由 SVMs和人類(lèi)判別得到的錯(cuò)誤之間有一定的度， SVM的面部錯(cuò)判幾乎經(jīng)常被人類(lèi)錯(cuò)判（對(duì)于所有 SVM的錯(cuò)誤，人類(lèi)平均錯(cuò)誤率都超過(guò)30%). SVM vs. Human performance 2022/2/14 75 Discussion ? 在本文中，我們提出從面部圖像用各種方法從面部圖像測(cè)定性別的綜合評(píng)價(jià)方法。機(jī)器與人的表現(xiàn)進(jìn)行比較，我們可以得出結(jié)論支持向量機(jī)在低分辨率圖像（ ％）比人類(lèi)在高分辨率的圖像（ ％）表現(xiàn)的還要好。這可以解釋部分事實(shí)：頭發(fā)線索（在我們的數(shù)據(jù)集中大多丟失） 在人類(lèi)的性別區(qū)別是很重要的。 ? 事實(shí)上 人類(lèi)在較低分辨率性能下降不是太奇怪：作為人類(lèi)，我們的一生“訓(xùn)練” 性別分類(lèi)已進(jìn)行了具有從中等至高分辨率的刺激。另一方面，各種機(jī)器分類(lèi)器為每個(gè)分辨率重新訓(xùn)練。該支持向量機(jī)的輸入分辨率的相對(duì)不變性的事實(shí)上是復(fù)雜性（性能）取決于主要在訓(xùn)練樣本的數(shù)目，而不是其維數(shù)。 2022/2/14 76 總結(jié) ? SVM在模式識(shí)別、回歸函數(shù)估計(jì)、預(yù)測(cè)等大量應(yīng)用中取得了良好的效果 ? SVM存在兩個(gè)主要問(wèn)題： ? 二次規(guī)劃的訓(xùn)練速度 ? 核函數(shù)的選擇 ? 前途是光明的，道路是曲折的。