ch07線性判別函數(shù)(編輯修改稿)
2025-08-11 17:57 本頁面
【文章內(nèi)容簡介】 習率需要更多步驟來調(diào)整 ? 但是，由于不用計算最優(yōu)學習率，總的時間開銷往往更小 ? 實踐中的最常見選擇 感知器準 則 函 數(shù) ? 如何構建準則函數(shù) J(a)來求解向量？ ? 令 J(a)等于被 a確定的決策面錯分的樣本數(shù) 分段常數(shù)函數(shù)，不利于梯度搜索（梯度往往為 0） 感知器準 則 函 數(shù) ? 如何構建準則函數(shù) J(a)來求解向量？ ? 感知器準則函數(shù)（ perceptron criterion function） ? 其中， 為被 a錯分的樣 本集 ? 感知器準則函數(shù)正比于錯分 樣本到判決面距離之和 感知器準 則 函 數(shù) 最小化 ? 感知器準則函數(shù)的梯度 ? 梯度下降法迭代公式 ? 其中， 表示被 a(k)錯分的樣本集 感知器準 則 函 數(shù) 最小化 ? 批處理感知器算法 批處理 ：每次修正權向量 a時，需要“成批”考慮所有訓練樣本 ??????????????????感知器準 則 函 數(shù) 最小化 ? 單樣本校正 ? 在批處理感知器算法中，每次校正需要考察所有樣本 ? 單樣本校正每次僅考察一個錯分樣本 ? 順序考慮輸入樣本，一旦發(fā)現(xiàn)某個樣本錯分，立即對當前權向量進行修正 ? 為了保證每個樣本都可以在序列中無限次出現(xiàn)，可以使訓練樣本按順序不斷循環(huán)出現(xiàn)在序列中，直至算法收斂 感知器準 則 函 數(shù) 最小化 ? 固定增量單樣本校正 ? 假設 ? 樣本序列編號 ? 下標表示樣本編號 ? 上標表示分錯的樣本編號 即 ? 迭代公式 ( ) 1k? ?感知器準 則 函 數(shù) 最小化 ? 固定增量單樣本感知器算法 k??a a y感知器準 則 函 數(shù) 最小化 感知器準 則 函 數(shù) 最小化 感知器準 則 函 數(shù) 最小化 感知器準 則 函 數(shù) 最小化 感知器準 則 函 數(shù) 最小化 ? 帶邊沿裕量的變增量感知器算法 ,t k b?ayt k b?ay() kk???a a y線 性不可分情 況 ? 感知器算法本質上是“誤差校正方法”（ errorcorrecting procedure） ? 如果問題本身線性不可分，則校正過程可能永遠無法結束 最小平方 誤 差 ? 包含所有樣本的準則函數(shù)（不僅僅是錯分樣本） ? 不再追求 ，轉而令 ，其中 為任意取定的 正常數(shù) ? 將 線性不等式組 求解轉換成 線性方程組 求解 0t i ?ay t iib?ay ib最小平方 誤 差 ? 樣本個數(shù)為 n，維數(shù)為 d ? Y為 矩陣（ ），其第 i行為 ? b為列向量 ? 則線性方程組可寫為 ? 如果 Y是非奇異的，則解為 ? 通常情況下， ，即 Y的行數(shù)大于列數(shù)，線性方程組超定（ overdetermined）， a通常無精確解 ?nd? ? 1dd?? tiy?nd?最小平方 誤 差 ? 定義誤差向量 ? 在 a無解的情況下，求使得誤差向量長度的平方最小的 a，作為線性方程組的近似解 ? 最小平方誤差 （ 最小誤差平方和 ）準則函數(shù) WidrowHoff算法 ? 采用梯度下降法來求 的極小值 遞歸公式 ?WidrowHoff算法 ? 考慮單樣本情況： WidrowHoff算法或最小均方（LMS）算法
環(huán)評公示相關推薦
鄂ICP備17016276號-1