人工智能7第七章機器學習(編輯修改稿)
2025-03-09 12:44 本頁面
【文章內(nèi)容簡介】 。l 在采樣感知機算法時，l 若分類間隔 =δ， R=max||xi||i=1,...,n，則：第 七 章機器學習 線性分類器l 誤分次數(shù)一定程度上代表分類器的誤差 l 分類間隔越大的解，它的誤差上界越小。l 最大化分類間隔成了訓練階段的目標2/27/2023 48最優(yōu)分類面l 要求分類面能將兩類正確分開 (訓練錯誤率為 0),l 且使分類間隔最大第 七 章機器學習 線性分類器2/27/2023 49固定斜率時，最大間隔分 類面的導出l 設過兩 類中最靠近分類面的點的線分別為：161。 w’?x+b’=k1l1161。 w’?x+b’=k2l2l 平行移動分類面，使：161。 K1=k2=kl 令 w=w’/k,b=b’/k,則 l1,l2變?yōu)椋?61。 w?x+b=1161。 w’?x+b=1l 分類面則為：161。 w?x+b=0第 七 章機器學習 線性分類器wx+b1wx+b1 wx+b=1wx+b=1 wx+b=02/27/2023 50固定斜率時，最大間隔 的計算 ？l 考慮 2維空間中的間隔情況求出兩條極端直線的距離，即 “間隔 ”：第 七 章機器學習 線性分類器2/27/2023 51極大化 “間隔 ”的思想導致求解下列對變量 和 的最優(yōu)化問題說明： 只要我們求得該問題的最優(yōu)解 ，從而構造分劃超平面 ，求出決策函數(shù) 上述方法對一般 上的分類問題也適用 .原始問題最優(yōu)分類面的導出第 七 章機器學習 線性分類器2/27/2023 52支持向量最靠近分類面的樣本點，稱為支持向量 第 七 章機器學習 線性分類器2/27/2023 53求解原始問題為求解原始問題，根據(jù)最優(yōu)化理論，我們轉化為對偶問題來求解對偶問題為原始問題中與每個約束條件對應的 Lagrange乘子。這是一個不等式約束條件下的二次函數(shù)尋優(yōu)問題，存在唯一解2/27/2023 54線性可分問題計算 ，選擇 的一個正分量 ,并據(jù)此計算事實上， 的每一個分量 都與一個訓練點相對應。而分劃超平面僅僅依賴于 不為零的訓練點 ，而與對應于 為零的那些訓練點無關。稱 不為零的這些訓練點的輸入 為 支持向量 (SV)構造分劃超平面 ,決策函數(shù)根據(jù)最優(yōu)解2/27/2023 55近似線性可分問題不要求所有訓練點都滿足約束條件 ，為此對第 個訓練點 引入 松弛變量 (SlackVariable),把約束條件放松到 體現(xiàn)了訓練集被錯分的情況，可采用 作為一種度量來描述錯劃程度。兩個目標 ： 1.間隔 盡可能大 2.錯劃程度 盡可能小顯然，當 充分大時，樣本點 總可以滿足以上約束條件。然而事實上應避免 太大，所以需在目標函數(shù)對 進行懲罰（即 “軟化 ”約束條件）2/27/2023 56因此，引入一個 懲罰參數(shù) ，新的目標函數(shù)變?yōu)?:體現(xiàn)了經(jīng)驗風險，而 則體現(xiàn)了表達能力。所以懲罰參數(shù) 實質上是對經(jīng)驗風險和表達能力匹配一個裁決。當 時，近似線性可分 SVC的原始問題退化為線性可分SVC的原始問題。 近似線性可分問題2/27/2023 57(廣義 )線性支持向量分類機算法1. 設已知訓練集 ，其中 2.選擇適當?shù)膽土P參數(shù) ，構造并求解最優(yōu)化問題 3.計算 ，選擇 的一個分量 ，并據(jù)此計算出 4.構造分劃超平面 ,決策函數(shù)求得2/27/2023 58非線性分類例子 :2/27/2023 59NonlinearClassificationWhat can we do if the boundary is nonlinear ?Idea: transform the data vectors to a space where the separator is linear2/27/2023 60Nonlinear
環(huán)評公示相關推薦
鄂ICP備17016276號-1