統(tǒng)計學(xué)習(xí)理論與svm（支持向量機）-全文預(yù)覽
【正文】 ? ? ?? ? ? ? ? ? ? ?x1 =(0, 0), y1 = +1 x2 =(1, 0), y2 = +1 x3 =(2, 0), y3 = 1 x4 =(0, 2), y4 = 1 可調(diào)用 Matlab中的二次規(guī)劃程序，求得 ?1, ?2, ?3, ?4的值，進而求得 w和 b的值。 支持向量機理論 ? SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。 支持向量機概述 ?支持向量機概述 ?支持向量機理論 ?支持向量機 ?核函數(shù) ?支持向量機實現(xiàn) 支持向量機概述 ? 1963年， Vapnik在解決模式識別問題時提出了支持向量方法 ,這種方法從訓(xùn)練集中選擇一組特征子集 ,使得對特征子集的劃分等價于對整個數(shù)據(jù)集的劃分 ,這組特征子集就被稱為支持向量 (SV)。這種思想稱作 結(jié)構(gòu)風(fēng)險最小化 (Structural Risk Minimization)， 即 SRM準則。 ? 尋找反映學(xué)習(xí)機器的能力的更好參數(shù)，從而得到更好的界是 SLT今后的重要研究方向之一。 ? 根據(jù) SLT中關(guān)于函數(shù)集推廣性界的理論 ,對于指示函數(shù)集中所有的函數(shù) ,經(jīng)驗風(fēng)險 和實際風(fēng)險 之間至少以概率 滿足如下關(guān)系 : 其中， h是函數(shù)集的 VC維 ,n是樣本數(shù)。 ? N維實數(shù)空間中線性分類器和線性實函數(shù)的VC維是 n+1。 ? VC維 ：對于一個指示函數(shù)（即只有 0和 1兩種取值的函數(shù)）集，如果存在 h個樣本能夠被函數(shù)集里的函數(shù)按照所有可能的 2h種形式分開，則稱函數(shù)集能夠把 h個樣本打散，函數(shù)集的 VC維就是能夠打散的最大樣本數(shù)目。 ? 神經(jīng)網(wǎng)絡(luò)的過學(xué)習(xí)問題是經(jīng)驗風(fēng)險最小化原則失敗的一個典型例子。 ? 期望風(fēng)險和經(jīng)驗風(fēng)險都是 w的函數(shù) ,概率論中的大數(shù)定理只說明了當(dāng)樣本趨于無窮多時經(jīng)驗風(fēng)險將在概率意義上趨近于期望風(fēng)險 ,并沒有保證兩個風(fēng)險的 w是同一點 ,更不能保證經(jīng)驗風(fēng)險能夠趨近于期望風(fēng)險。 經(jīng)驗風(fēng)險最小化原則 ? 對于未知的概率分布 ,最小化風(fēng)險函數(shù) , 只有樣本的信息可以利用 ,這導(dǎo)致了定義的期望風(fēng)險是無法直接計算和最小化的。 ? 上述原則意味著，當(dāng)解決模式識別或回歸估計問題時， 必須設(shè)法去“直接”尋找待求的函數(shù) ，而不是 首先估計密度，然后用估計的密度來構(gòu)造待求的函數(shù)。 ? 學(xué)習(xí)機器 (LM)，它能夠?qū)崿F(xiàn)一定的函數(shù)集 f(x, a)，a屬于 A，其中 A是參數(shù)集合。 ? 統(tǒng)計學(xué)習(xí)理論 ?一種研究有限樣本估計和預(yù)測的數(shù)學(xué)理論 統(tǒng)計學(xué)習(xí)理論的發(fā)展簡況 ? 學(xué)習(xí)過程的數(shù)學(xué)研究 ? F. Rosenblatt于 1958,1962年把感知器作為一個學(xué)習(xí)機器模型 ? 統(tǒng)計學(xué)習(xí)理論的開始 ? Novikoff(1962)證明了關(guān)于感知器的第一個定理 ? 解決不適定問題的正則化原則的發(fā)現(xiàn) ?Tikhonov(1963), Ivanov(1962), Phillips(1962) ? Vanik和 Chervonenkis(1968)提出了 VC熵 和 VC維的概念 ? 提出了統(tǒng)計學(xué)習(xí)理論的核心概念 ? 得到了關(guān)于收斂速度的非漸進界的主要結(jié)論 SLT的發(fā)展簡況 (續(xù) ) ?Vapnik和 Chervonenkis(1974)提出了 結(jié)構(gòu)風(fēng)險最小化（ SRM） 歸納原則 。 ? 統(tǒng)計學(xué)習(xí)理論 —— 在研究 小樣本 統(tǒng)計估計和預(yù)測的過程中發(fā)展起來的一種新興理論 。SVM與傳統(tǒng)方法的區(qū)別 ?要較好地實現(xiàn) 傳統(tǒng)方法 ，需要人工選擇（構(gòu)造）一些數(shù)目相對較少的“巧妙的特征” ?SVM方法 則是自動地選擇（構(gòu)造）一些數(shù)目較少的“巧妙的特征” ?在實際應(yīng)用中，可通過 構(gòu)造兩層（或多層）SVM來選擇“巧妙的特征” SLT amp。 ? SLTamp。 SVM的地位和作用 ? 是統(tǒng)計學(xué)習(xí)方法的優(yōu)秀代表 ? 有嚴密的數(shù)學(xué)依據(jù)，得到了嚴格的數(shù)學(xué)證明 ? 有力反駁 —— “復(fù)雜的理論是沒有用的，有用的是簡單的算法”等錯誤觀點 ? 充分表明 —— “ 沒有什么比一個好的理論更實用了 ”等基本的科學(xué)原則 概述 SLT amp。 SVM ) 目錄 ? 概述 ? 統(tǒng)計學(xué)習(xí)理論中的基本概念 ? 統(tǒng)計學(xué)習(xí)理論的發(fā)展簡況 ? 統(tǒng)計學(xué)習(xí)理論的基本內(nèi)容 ? 支持向量機概述 ? 研究現(xiàn)狀 ? 參考文獻 SLT amp。因此，需要 仔細地選擇一個低維的特征空間 ，在這個空間中用常規(guī)的統(tǒng)計技術(shù)來求解一個逼近。 SLTamp。 SLT中的基本概念 ? 統(tǒng)計方法 —— 從觀測自然現(xiàn)象或者專門安排的實驗所得到的數(shù)據(jù)去推斷該事務(wù)可能的規(guī)律性 。 ? 模式識別 ?對表征事務(wù)或現(xiàn)象的各種形式 (數(shù)值、文字及邏輯關(guān)系等 )信息進行處理和分析 ,以對事務(wù)或現(xiàn)象進行描述、辨認、分類和解釋的過程 。 ? 訓(xùn)練器 (S)，對每個輸入向量 x返回一個輸出值 y，產(chǎn)生輸出的根據(jù)是同樣固定但未知的條件分布函數(shù) F(
公司管理相關(guān)推薦
鄂ICP備17016276號-1