浙江大學(xué)svm(支持向量機)(編輯修改稿)
2025-06-20 11:59 本頁面
【文章內(nèi)容簡介】 造學(xué)習(xí)算法的理論 VC維 (函數(shù)的多樣性 ) ? 為了研究經(jīng)驗風(fēng)險最小化函數(shù)集的學(xué)習(xí)一致收斂速度和推廣性， SLT定義了一些指標(biāo)來衡量函數(shù)集的性能，其中最重要的就是 VC維 (VapnikChervonenkis Dimension)。 ? VC維 ：對于一個指示函數(shù)（即只有 0和 1兩種取值的函數(shù)）集，如果存在 h個樣本能夠被函數(shù)集里的函數(shù)按照所有可能的 2h種形式分開，則稱函數(shù)集能夠把 h個樣本打散，函數(shù)集的 VC維就是能夠打散的最大樣本數(shù)目。 ? 如果對任意的樣本數(shù)，總有函數(shù)能打散它們，則函數(shù)集的 VC維就是無窮大。 VC維（續(xù)） ? 一般而言 ,VC維越大 , 學(xué)習(xí)能力就越強 ,但學(xué)習(xí)機器也越復(fù)雜。 ? 目前還沒有通用的關(guān)于計算任意函數(shù)集的VC維的理論 ,只有對一些特殊函數(shù)集的 VC維可以準(zhǔn)確知道。 ? N維實數(shù)空間中線性分類器和線性實函數(shù)的VC維是 n+1。 ? Sin(ax)的 VC維為無窮大。 ? …… VC維（續(xù)） Open problem: 對于給定的學(xué)習(xí)函數(shù)集 ,如何用理論或?qū)嶒灥姆椒ㄓ嬎闫?VC維是當(dāng)前統(tǒng)計學(xué)習(xí)理論研究中有待解決的一個難點問題。 三個里程碑定理 ()( ) ( VC ) l i m 0()l i m 0()l i m 0xannxxHnnHnnGnn?????????收 斂 的 充 分 必 要 條 件 熵快 收 斂 速 度 的 充 分 條 件 與 概 率 測 度 無 關(guān) 的 快 收 斂 充 要 條 件推廣性的界 ? SLT系統(tǒng)地研究了經(jīng)驗風(fēng)險和實際風(fēng)險之間的關(guān)系 ,也即推廣性的界。 ? 根據(jù) SLT中關(guān)于函數(shù)集推廣性界的理論 ,對于指示函數(shù)集中所有的函數(shù) ,經(jīng)驗風(fēng)險 和實際風(fēng)險 之間至少以概率 滿足如下關(guān)系 : 其中， h是函數(shù)集的 VC維 ,n是樣本數(shù)。 ()empRw()Rw 1 ??( l n ( 2 / ) 1 ) l n ( / 4 )( ) ( )e m ph n hRRn??? ????推廣性的界（續(xù) 1） ? 學(xué)習(xí)機器的實際風(fēng)險由兩部分組成 : ? 訓(xùn)練樣本的經(jīng)驗風(fēng)險 ? 置信范圍 (同置信水平 有關(guān) ,而且同學(xué)習(xí)機器的 VC維和訓(xùn)練樣本數(shù)有關(guān)。 ? 在訓(xùn)練樣本有限的情況下 ,學(xué)習(xí)機器的 VC維越高 ,則置信范圍就越大 ,導(dǎo)致實際風(fēng)險與經(jīng)驗風(fēng)險之間可能的差就越大。 ( l n ( 2 / ) 1 ) l n ( / 4 )( ) ( )e m ph n hRRn??? ????( ) ( ) ( )e m p nRR h??? ? ?1 ??推廣性的界（續(xù) 2） ? 在設(shè)計分類器時 , 不但要使經(jīng)驗風(fēng)險最小化 ,還要使 VC維盡量小 ,從而縮小置信范圍 ,使期望風(fēng)險最小。 ? 尋找反映學(xué)習(xí)機器的能力的更好參數(shù)，從而得到更好的界是 SLT今后的重要研究方向之一。 結(jié)構(gòu)風(fēng)險最小化 ? 傳統(tǒng)機器學(xué)習(xí)方法中普遍采用的經(jīng)驗風(fēng)險最小化原則在樣本數(shù)目有限時是不合理的 ,因此，需要同時最小化經(jīng)驗風(fēng)險和置信范圍。 ? 統(tǒng)計學(xué)習(xí)理論提出了一種新的策略 ,即把函數(shù)集構(gòu)造為一個函數(shù)子集序列 ,使各個子集按照 VC維的大小排列 。在每個子集中尋找最小經(jīng)驗風(fēng)險 ,在子集間折衷考慮經(jīng)驗風(fēng)險和置信范圍 ,取得實際風(fēng)險的最小。這種思想稱作 結(jié)構(gòu)風(fēng)險最小化 (Structural Risk Minimization)， 即 SRM準(zhǔn)則。 結(jié)構(gòu)風(fēng)險最小化（續(xù) 1） 結(jié)構(gòu)風(fēng)險最小化（續(xù) 2） ? 實現(xiàn) SRM原則的兩種思路 ?在每個子集中求最小經(jīng)驗風(fēng)險 ,然后選擇使最小經(jīng)驗風(fēng)險和置信范圍之和最小的子集。 ?設(shè)計函數(shù)集的某種結(jié)構(gòu)使每個子集中都能取得最小的經(jīng)驗風(fēng)險 ,然后只需選擇適當(dāng)?shù)淖蛹怪眯欧秶钚?,則這個子集中使經(jīng)驗風(fēng)險最小的函數(shù)就是最優(yōu)函數(shù)。 支持向量機方法實際上就是這種思路的實現(xiàn)。 支持向量機概述 ?支持向量機概述 ?支持向量機理論 ?支持向量機 ?核函數(shù) ?支持向量機實現(xiàn) 支持向量機概述 ? 1963年， Vapnik在解決模式識別問題時提出了支持向量方法 ,這種方法從訓(xùn)練集中選擇一組特征子集 ,使得對特征子集的劃分等價于對整個數(shù)據(jù)集的劃分 ,這組特征子集就被稱為支持向量 (SV)。 ? 1971年， Kimeldorf提出使用線性不等約束重新構(gòu)造 SV的核空間 ,解決了一部分線性不可分問題。 ? 1990年， Grace,Boser和 Vapnik等人開始對 SVM進(jìn)行研究。 ? 1995年， Vapnik正式提出統(tǒng)計學(xué)習(xí)理論。 支持向量機理論 ? SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。 ? 最優(yōu)分類面就是要求分類線不但能將兩類正確分開 (訓(xùn)練錯誤率為 0),且使分類間隔最大。 ? SVM考慮尋找一個滿足分類要求的超平面 ,并且使訓(xùn)練集中的點距離分類面盡可能的遠(yuǎn) ,也就是尋找一個分類面使它兩側(cè)的空白區(qū)域 (margin)最大。 ? 過兩類樣本中離分類面最近的點且
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1