【正文】 rithm?(x)l ThexClassificationThe transformation many times is made to an infinite dimensional space, usually a function space.Example: x ? cos(uTx)2/27/2023 61Nonlinear,決策函數求得2/27/2023 58非線性分類例子 :2/27/2023 59Nonlinear4.計算 構造并求解最優(yōu)化問題 選擇適當的懲罰參數 其中 時，近似線性可分 SVC的原始問題退化為線性可分SVC的原始問題。實質上是對經驗風險和表達能力匹配一個裁決。所以懲罰參數 約束條件）2/27/2023 56因此，引入一個 懲罰參數 總可以滿足以上約束條件。盡可能小顯然，當 錯劃程度 盡可能大 間隔 作為一種度量來描述錯劃程度。體現(xiàn)了訓練集被錯分的情況，可采用 ,把約束條件放松到 Variable)個訓練點 為此對第 ,決策函數根據最優(yōu)解2/27/2023 55近似線性可分問題不要求所有訓練點都滿足約束條件 為 支持向量 (SV)構造分劃超平面 稱 都與一個訓練點相對應。并據此計算事實上， 的一個正分量 為原始問題中與每個約束條件對應的 Lagrange乘子。上的分類問題也適用 .原始問題最優(yōu)分類面的導出第 七 章機器學習 線性分類器2/27/2023 52支持向量最靠近分類面的樣本點，稱為支持向量 第 七 章機器學習 線性分類器2/27/2023 53求解原始問題為求解原始問題，根據最優(yōu)化理論，我們轉化為對偶問題來求解對偶問題上述方法對一般 的最優(yōu)化問題說明： 只要我們求得該問題的最優(yōu)解 ：第 七 章機器學習 線性分類器2/27/2023 51極大化 “間隔 ”的思想導致求解下列對變量 =1l 分類面則為：161。 w’?x+b1 w?x+bl2b’/k,kl 令 w=k2l2l 平行移動分類面，使：161。=l1161。=l 最大化分類間隔成了訓練階段的目標2/27/2023 48最優(yōu)分類面l 要求分類面能將兩類正確分開 (訓練錯誤率為 0),l 且使分類間隔最大第 七 章機器學習 線性分類器2/27/2023 49固定斜率時，最大間隔分 類面的導出l 設過兩 類中最靠近分類面的點的線分別為：161。i=1,...,n，則：第 七 章機器學習 線性分類器l 誤分次數一定程度上代表分類器的誤差 ||xi||}while(k0)2/27/2023 47分類間隔與誤分次數的關系 l l l {if{i++)l for(i=1。l l dol {l R=max 樣本集中所有點到分類超平面間隔（幾何間隔）中的最小值第 七 章機器學習 線性分類器2/27/2023 46感知機算法第 七 章機器學習 線性分類器l 給定線性可分樣集 S，學習率 η∈ R+l W0=0,161。(w?xi+b)yi),到超平面H的函數間隔：161。 yi), 2023, 2023, Andrew W. Moore第 七 章機器學習 線性分類器2/27/2023 43采樣線性分類，還可以這樣Copyright 169。第 七 章機器學習 2/27/2023 38 線性分類器第 七 章機器學習 線性分類器2/27/2023 39線性分類器定義 l結構風險最小化的一般原則可以用不同的方法實現(xiàn)l支持向量機是其中最成功的一個161。先選擇使置信范圍最小的子集，161。l第一步相當于模型選擇，而第二步則相當于在確定了函數形式后的參數估計。選擇一個適當的函數子集，使之對問題來說有最優(yōu)的分類能力；161。h1≤h2≤…≤ hn≤…≤ hSl同一個子集中置信范圍就相同第 七 章機器學習 2/27/2023 33結構風險最小化原則 SRMl在每一個子集中尋找最小經驗風險l通常它隨著子集復雜度的增加而減小l選擇最小經驗風險與置信范圍之和最小的子集，就可以達到期望風險的最小，l這個子集中使經驗風險最小的函數就是要求的最優(yōu)函數。使各個子集能夠按照置信范圍 φ的大小排列，也就是按 VC維的大小排列，即：161?？紤]分解函數集 S={f(x,w)}為一 需要同時最小化經驗風險和置信范圍。VC維無窮大時這個界就不再成立l這種界往往只在對同一類學習函數進行比較時是有效的，用于指導從函數集中選擇最優(yōu)的函數l在不同函數集之間比較卻不一定成立。2/27/2023 31對 推廣性界的說明l推廣性的界是對于最壞情況的結論l給出的界在很多情況下是松弛的，尤其當 VC維比較高時更是如此。第 七 章機器學習 2/27/2023 30推廣性的界l對于兩類分類問題，對指示函數集中的所有函數，經驗風險和實際風險之間至少以概率 1η第 七 章機器學習 2/27/2023 29VC維與學習過程一致性l如果指示函數集的生長函數是線性的，其 VC維為無窮大161。函數集中的函數 有 2h種形式把 h個樣本的樣本集 分為兩類，l指示函數集的 VC維：161。的對數函數為上界。nhl其中， h是一個整數l可以看出，生長函數要么是線性的，要么以參數為 h+1)G(n)≤h所有函數集的生長函數或者：161。=lim0161。G(n)/n都有161。G(n)=In(max(N(Zn)))H(n)=E(In(N(Zn)))VC維第 七 章機器學習 2/27/2023 24指示函數集的熵和生長函數l指示函數集： {f(x,w)}l樣本集： Zn={zi=(xi,yi)指示函數集的熵（ VC熵）和生長函數161。(w)分別表示在 n個樣本下的經驗風險和真實風險。其中， P表示概率， 對于有界的損失函數，經驗風險最小 如果預測函數集中每個函數都滿足一致性l(w0)→ R Remp(w*|n)為實際的最小真實風險值（期望風險值）161。=RR(w*|n)Remp(w*|n)Min(Remp(w))f(x,w*)(x1,y1)第 七 章機器學習 2/27/2023 21學習過程一致性l學習一致性的結論是統(tǒng)計學習理論的基礎l一致性條件，保證在經驗風險最小化原則下得到的最優(yōu)方法當樣本無窮大時趨近于使期望風險最小的最優(yōu)結果。③ 在這些界的基礎上建立的小樣本歸納推理原則；161。① 經驗風險最小化原則下統(tǒng)計學習一致性的條件；161。有限樣本下經驗風險與期望風險的關系161。l它從理論上較系統(tǒng)地研究了：161。效果通常不如用相對簡單的預測函數。l結果就會喪失推廣能力。l原因是：161。數據集越大，擬合數據的模型就越靈活第 七 章機器學習 2/27/2023 19預測函數復雜性與泛化能力 l對函數表示差l在 M=9，為什么會震蕩？2/27/2023 17多項式系數 第 七 章機器學習 l用不同次數下的w，考察欠 擬合與過擬合 問題l隨著 M的增加，為了擬合隨機噪音， w在變大2/27/2023 18數據集規(guī)模產生的影響泛化性依賴 Ml選擇： M=39l過擬合：161。ERMS標準化平方根 :對訓練數據精確擬合，161。function第 七 章機器學習