【正文】 練速度。在核緩存機(jī)制中采用簡單的 hash查找算法和隊(duì)列 FILO算法，有效提高了核矩陣查找和喚入喚出操作的效率。設(shè)置核矩陣列參數(shù)，通過調(diào)節(jié)列參數(shù)，可以靈活的根據(jù)系統(tǒng)運(yùn)行情況調(diào)整訓(xùn)練的時間和空間開銷，避免因系統(tǒng)空間開銷過大使系統(tǒng)運(yùn)行效率下降，反而影響訓(xùn)練速度。SVM尋優(yōu) 算法2/27/2023 81活動向量集選擇算法 當(dāng)訓(xùn)練樣本數(shù)非常大的時候，如果系統(tǒng)能夠提供的核緩沖大小很有限，那么能夠同時保存在核緩沖中訓(xùn)練樣本的核函數(shù)數(shù)目在訓(xùn)練樣本數(shù)中所占比例將非常的小。在訓(xùn)練過程中，訓(xùn)練樣本在核緩沖中的核函數(shù)命中率將顯著下降，導(dǎo)致核緩沖中的核函數(shù)被頻繁的喚入喚出，而每執(zhí)行一次喚入喚出操作將引起系統(tǒng)重新計(jì)算訓(xùn)練樣本的核函數(shù)，核緩存的作用被很大程度的削弱了。如果出現(xiàn)這樣的情況，要么增加系統(tǒng)的存儲空間；要么減少訓(xùn)練樣本數(shù)，才能提高系統(tǒng)的訓(xùn)練速度。為解決訓(xùn)練樣本數(shù)多，系統(tǒng)內(nèi)存空間小的矛盾，本文通過活動向量集選擇算法，比較好地解決了這個問題。 SVM尋優(yōu) 算法2/27/2023 82活動向量集選擇算法 算法的主要思想是：定期檢查訓(xùn)練樣本集，在收斂前預(yù)先確定訓(xùn)練樣本集中一些邊界上的點(diǎn)（ alpha=0，或者alpha=C）是否以后不再被啟發(fā)式選擇，或者不再被判定為最有可能違例，如果存在這樣的點(diǎn)，將它們從訓(xùn)練樣本集中剔除出去，減少參加訓(xùn)練的樣本數(shù)。該算法基于如下的認(rèn)識：經(jīng)過多次迭代后，如果樣本的拉格朗日乘子一直為 0，該點(diǎn)被當(dāng)前估計(jì)的支持向量集所確定的超平面區(qū)分得很開，即使以后支持向量集發(fā)生變化，該點(diǎn)也不會是最靠近超平面的點(diǎn)，則可以確定該樣本不是支持向量；經(jīng)過多次迭代后，如果樣本的拉格朗日乘子一直為非常大的 C常數(shù)，即使以后支持向量集發(fā)生變化，該點(diǎn)也不會遠(yuǎn)離超平面，則可以確定該樣本是上邊界處的支持向量SVM尋優(yōu) 算法2/27/2023 83活動向量集選擇算法 ?這樣就可以在 SMO算法收斂前，提前將邊界上的點(diǎn)從訓(xùn)練樣本集中剔除，逐漸縮小參加訓(xùn)練的活動樣本集，從而減少 SMO算法對核緩存空間的要求，提高訓(xùn)練速度。?訓(xùn)練開始前，訓(xùn)練活動集樣本初始化為全部訓(xùn)練樣本。每經(jīng)過一定次數(shù)的迭代（比如迭代 1000次），如果算法還沒有收斂，應(yīng)檢查活動集中的向量，檢查是否有訓(xùn)練樣本可以不參加迭代運(yùn)算。?檢查完當(dāng)前活動向量集中所有樣本后，產(chǎn)生了新的活動向量集。如果新的活動向量集的樣本數(shù)減少一成以上（含一成），則可以收縮當(dāng)前活動向量集，用新的活動向量集替換當(dāng)前活動向量集。當(dāng)活動向量集的樣本數(shù)減少到一定的程度，對核緩存空間的要求不是很大的時候，繼續(xù)減少訓(xùn)練樣本對訓(xùn)練速度的提高就非常有限了，這時就沒有必要再減少訓(xùn)練樣本了。SVM尋優(yōu) 算法2/27/2023 84將工作樣本集的大小固定在算法速度可以容忍的限度內(nèi)，迭代過程選擇一種合適的換入換出策略，將剩余樣本中的一部分與工作樣本集中的樣本進(jìn)行等量交換，即使支持向量的個數(shù)超過工作樣本集的大小，也不改變工作樣本集的規(guī)模，而只對支持向量中的一部分進(jìn)行優(yōu)化。例如 : 算法2.固定工作樣本集 (Osuna et al.)：SVM尋優(yōu) 算法2/27/2023 85SVM applicationslPatternrecognition161。 Features:wordscountslDNAarrayexpressiondataanalysis161。 Features:expr.levelsindiff.conditionslProteinclassificationo Features:AAposition2/27/2023 86HandwrittenDigitsRecognition2/27/2023 87ApplyingSVMstoFaceDetectionl TheSVMfacedetectionsystem1. Rescale the input image several times2. Cut 19x19 window patterns out of the scaled image3. Preprocess the window using masking, light correction and histogram equalization4. Classify the pattern using the SVM5. If the class corresponds to a face, draw a rectangle around the face in the output image.2/27/2023 88ApplyingSVMstoFaceDetectionlExperimentalresultsonstaticimages161。 SetA:313highquality,samenumberoffaces161。 SetB:23mixedquality,totalof155faces2/27/2023 89ApplyingSVMstoFaceDetectionlExtensiontoarealtimesystemAn example of the skin detection module implemented using SVMsFace Detection on the PCbased Color Real Time System2/27/2023 90References2/27/2023 91Questions?!2/27/2023 92EBL的初始狀態(tài)一、一個目標(biāo)概念161。 依賴與具體的應(yīng)用，可以是一個分類，要證明的定理，達(dá)到目標(biāo)的一個計(jì)劃，問題求解程序的啟發(fā)式信息等二、一個訓(xùn)練實(shí)例161。 目標(biāo)概念的實(shí)例三、領(lǐng)域知識161。 用于解釋訓(xùn)練 實(shí)例如何成為目標(biāo)概念的 規(guī)則和事實(shí)集合四、操作標(biāo)準(zhǔn)161。 概念定義可以采取的形式的某種方式的描述第 七 章機(jī)器學(xué)習(xí) 線性分類器2/27/2023 93什么時候物體是一個杯子l 我們討論 EBL采用這個例子。l 目標(biāo)概念：一條規(guī)則，可以用來推斷一個物體是否是一個杯子161。 promise(X)cup(X)(promise是一個合取表達(dá)式 )l 領(lǐng)域知識：161。 liftable(X)∧ holds_liquid(X)cup(X)161。 part(Z,W)∧ concave(W)∧ points_up(W)holds_liquid(X)161。 light(Y)∧ part(Y,handle)liftable(Y)161。 samll(A)light(A)161。 made_of(A,feathers)light(A)第 七 章機(jī)器學(xué)習(xí) 線性分類器2/27/2023 94什么時候物體是一個杯子 (續(xù)一 )l 訓(xùn)練實(shí)例161。 cup(obj1)161。 small(obj1)161。 part(obj1,handle)161。 owns(bob,obj1)161。 part(obj1,bottom)161。 part(obj1,bowl)161。 points_up(bowl)161。 concave(bowl)161。 color(obj1,red)l 操作標(biāo)準(zhǔn)161。 需要目標(biāo)概念用物體的可以觀察的結(jié)構(gòu)化的屬性來定義第 七 章機(jī)器學(xué)習(xí) 線性分類器2/27/2023 95解釋實(shí)例cup(obj1)Holds_liquid(obj1)Points_up(bowl)concave(bowl)part(obj1,bowl)small(obj1)part(obj1,handle)light(obj1)liftable(obj1)第 七 章機(jī)器學(xué)習(xí) 線性分類器2/27/2023 96泛化解釋l 我們的目標(biāo)是用變量替換那些是訓(xùn)練實(shí)例的一部分常量。而保留領(lǐng)域知識中有的常量和限制。l 本例中常量 handle是領(lǐng)域知識中的一部分，因此保留，從而得到泛化樹l 可以有多種方法來建造泛化樹第 七 章機(jī)器學(xué)習(xí) 線性分類器2/27/2023 97泛化數(shù)cup(X)Holds_liquid(X)Points_up(W)concave(W)part(X,W)small(X)part(X,handle)light(X)liftable(X)l 基于泛化樹，得到一條規(guī)則：small(X)∧ part(X,handle)∧ part(X,W)∧ concave(W)∧ Points_up(W)—cup(X)第 七 章機(jī)器學(xué)習(xí) 線性分類器2/27/2023 98連接主義觀點(diǎn)l神經(jīng)元激勵模型不再強(qiáng)調(diào)用符號來解決問題l認(rèn)為智能存在于這種簡單的、相互作用的部件（生物的或人工的神經(jīng)元）組成的系統(tǒng)中l(wèi)調(diào)節(jié)神經(jīng)元之間的連接參數(shù)可以提高智能l神經(jīng)網(wǎng)絡(luò)的問題求接是并行的第 七 章機(jī)器學(xué)習(xí) 2/27/2023 99人工神經(jīng)元l 輸入信號 xi：可能來自環(huán)境也可來自其神經(jīng)元的刺激。不同模型允許輸入?yún)?shù)有不同范圍l 權(quán)值 wi： 描述連接強(qiáng)度l 激勵層l 閾值函數(shù) f第 七 章機(jī)器學(xué)習(xí) ∑wixi f()w1w2wnx1x2xn2/27/2023 100用神經(jīng)元模型構(gòu)造邏輯函數(shù)l McCulloch和 Pitts在 1943年構(gòu)造的邏輯函數(shù)l 輸入信號 ：只有 +1和 1l 閾值函數(shù) f： 大于 0返回 +1，否則返回 1第 七 章機(jī)器學(xué)習(xí) x+y2 ≥0+1+12xy1x∧ yx+y1 ≥0+1+11xy1x∨ y2/27/2023 101七章 機(jī)器學(xué)習(xí) The End.2/27/2023 102演講完畢，謝謝觀看