浙江大學svm(支持向量機)(編輯修改稿)
2025-06-20 11:59 本頁面
【文章內容簡介】 造學習算法的理論 VC維 (函數的多樣性 ) ? 為了研究經驗風險最小化函數集的學習一致收斂速度和推廣性， SLT定義了一些指標來衡量函數集的性能，其中最重要的就是 VC維 (VapnikChervonenkis Dimension)。 ? VC維 ：對于一個指示函數（即只有 0和 1兩種取值的函數）集，如果存在 h個樣本能夠被函數集里的函數按照所有可能的 2h種形式分開，則稱函數集能夠把 h個樣本打散，函數集的 VC維就是能夠打散的最大樣本數目。 ? 如果對任意的樣本數，總有函數能打散它們，則函數集的 VC維就是無窮大。 VC維（續(xù)） ? 一般而言 ,VC維越大 , 學習能力就越強 ,但學習機器也越復雜。 ? 目前還沒有通用的關于計算任意函數集的VC維的理論 ,只有對一些特殊函數集的 VC維可以準確知道。 ? N維實數空間中線性分類器和線性實函數的VC維是 n+1。 ? Sin(ax)的 VC維為無窮大。 ? …… VC維（續(xù)） Open problem: 對于給定的學習函數集 ,如何用理論或實驗的方法計算其 VC維是當前統(tǒng)計學習理論研究中有待解決的一個難點問題。 三個里程碑定理 ()( ) ( VC ) l i m 0()l i m 0()l i m 0xannxxHnnHnnGnn?????????收 斂 的 充 分 必 要 條 件 熵快 收 斂 速 度 的 充 分 條 件 與 概 率 測 度 無 關 的 快 收 斂 充 要 條 件推廣性的界 ? SLT系統(tǒng)地研究了經驗風險和實際風險之間的關系 ,也即推廣性的界。 ? 根據 SLT中關于函數集推廣性界的理論 ,對于指示函數集中所有的函數 ,經驗風險 和實際風險 之間至少以概率 滿足如下關系 : 其中， h是函數集的 VC維 ,n是樣本數。 ()empRw()Rw 1 ??( l n ( 2 / ) 1 ) l n ( / 4 )( ) ( )e m ph n hRRn??? ????推廣性的界（續(xù) 1） ? 學習機器的實際風險由兩部分組成 : ? 訓練樣本的經驗風險 ? 置信范圍 (同置信水平 有關 ,而且同學習機器的 VC維和訓練樣本數有關。 ? 在訓練樣本有限的情況下 ,學習機器的 VC維越高 ,則置信范圍就越大 ,導致實際風險與經驗風險之間可能的差就越大。 ( l n ( 2 / ) 1 ) l n ( / 4 )( ) ( )e m ph n hRRn??? ????( ) ( ) ( )e m p nRR h??? ? ?1 ??推廣性的界（續(xù) 2） ? 在設計分類器時 , 不但要使經驗風險最小化 ,還要使 VC維盡量小 ,從而縮小置信范圍 ,使期望風險最小。 ? 尋找反映學習機器的能力的更好參數，從而得到更好的界是 SLT今后的重要研究方向之一。 結構風險最小化 ? 傳統(tǒng)機器學習方法中普遍采用的經驗風險最小化原則在樣本數目有限時是不合理的 ,因此，需要同時最小化經驗風險和置信范圍。 ? 統(tǒng)計學習理論提出了一種新的策略 ,即把函數集構造為一個函數子集序列 ,使各個子集按照 VC維的大小排列 。在每個子集中尋找最小經驗風險 ,在子集間折衷考慮經驗風險和置信范圍 ,取得實際風險的最小。這種思想稱作 結構風險最小化 (Structural Risk Minimization)， 即 SRM準則。 結構風險最小化（續(xù) 1） 結構風險最小化（續(xù) 2） ? 實現(xiàn) SRM原則的兩種思路 ?在每個子集中求最小經驗風險 ,然后選擇使最小經驗風險和置信范圍之和最小的子集。 ?設計函數集的某種結構使每個子集中都能取得最小的經驗風險 ,然后只需選擇適當的子集使置信范圍最小 ,則這個子集中使經驗風險最小的函數就是最優(yōu)函數。 支持向量機方法實際上就是這種思路的實現(xiàn)。 支持向量機概述 ?支持向量機概述 ?支持向量機理論 ?支持向量機 ?核函數 ?支持向量機實現(xiàn) 支持向量機概述 ? 1963年， Vapnik在解決模式識別問題時提出了支持向量方法 ,這種方法從訓練集中選擇一組特征子集 ,使得對特征子集的劃分等價于對整個數據集的劃分 ,這組特征子集就被稱為支持向量 (SV)。 ? 1971年， Kimeldorf提出使用線性不等約束重新構造 SV的核空間 ,解決了一部分線性不可分問題。 ? 1990年， Grace,Boser和 Vapnik等人開始對 SVM進行研究。 ? 1995年， Vapnik正式提出統(tǒng)計學習理論。 支持向量機理論 ? SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。 ? 最優(yōu)分類面就是要求分類線不但能將兩類正確分開 (訓練錯誤率為 0),且使分類間隔最大。 ? SVM考慮尋找一個滿足分類要求的超平面 ,并且使訓練集中的點距離分類面盡可能的遠 ,也就是尋找一個分類面使它兩側的空白區(qū)域 (margin)最大。 ? 過兩類樣本中離分類面最近的點且
黨政相關相關推薦
鄂ICP備17016276號-1