統(tǒng)計(jì)學(xué)習(xí)理論與svm支持向量機(jī)(已修改)
2024-09-15 12:29 本頁面
【正文】 浙江大學(xué)研究生 《 人工智能引論 》 課件 第八章 統(tǒng)計(jì)學(xué)習(xí)理論與 SVM (Chapter8 SLT amp。 SVM ) 目錄 ? 概述 ? 統(tǒng)計(jì)學(xué)習(xí)理論中的基本概念 ? 統(tǒng)計(jì)學(xué)習(xí)理論的發(fā)展簡況 ? 統(tǒng)計(jì)學(xué)習(xí)理論的基本內(nèi)容 ? 支持向量機(jī)概述 ? 研究現(xiàn)狀 ? 參考文獻(xiàn) SLT amp。 SVM的地位和作用 ? 是統(tǒng)計(jì)學(xué)習(xí)方法的優(yōu)秀代表 ? 有嚴(yán)密的數(shù)學(xué)依據(jù)，得到了嚴(yán)格的數(shù)學(xué)證明 ? 有力反駁 —— “復(fù)雜的理論是沒有用的，有用的是簡單的算法”等錯(cuò)誤觀點(diǎn) ? 充分表明 —— “ 沒有什么比一個(gè)好的理論更實(shí)用了 ”等基本的科學(xué)原則 概述 SLT amp。 SVM的數(shù)學(xué)基礎(chǔ) ?概率論與數(shù)理統(tǒng)計(jì) ?泛函分析 “For God so loved the world that he gave his one and only Son, that whoever believes in him shall not perish but have eternal life. For God did not send his Son into the world to condemn the world, but to save the world through him.” from JOHN 3:1617 NIV SLTamp。SVM所堅(jiān)持的“基本信念” ? 傳統(tǒng)的估計(jì)高維函數(shù)依賴關(guān)系的方法所堅(jiān)持的信念 ?實(shí)際問題中總存在較少數(shù)目的一些“ 強(qiáng)特征 ”，用它們的簡單函數(shù)（如線性組合）就能較好地逼近未知函數(shù)。因此，需要 仔細(xì)地選擇一個(gè)低維的特征空間 ，在這個(gè)空間中用常規(guī)的統(tǒng)計(jì)技術(shù)來求解一個(gè)逼近。 ? SLTamp。SVM所堅(jiān)持的信念 ?實(shí)際問題中存在較大數(shù)目的一些“ 弱特征 ”，它們“巧妙的”線性組合可較好地逼近未知的依賴關(guān)系。因此， 采用什么樣的“弱特征”并不十分重要，而形成“巧妙的”線性組合更為重要。 SLTamp。SVM與傳統(tǒng)方法的區(qū)別 ?要較好地實(shí)現(xiàn) 傳統(tǒng)方法 ，需要人工選擇（構(gòu)造）一些數(shù)目相對(duì)較少的“巧妙的特征” ?SVM方法 則是自動(dòng)地選擇（構(gòu)造）一些數(shù)目較少的“巧妙的特征” ?在實(shí)際應(yīng)用中，可通過 構(gòu)造兩層（或多層）SVM來選擇“巧妙的特征” SLT amp。 SVM集以下模型于一身： ?結(jié)構(gòu)風(fēng)險(xiǎn)最小化（ SRM） 模型 ?數(shù)據(jù)壓縮模型 ?構(gòu)造復(fù)合特征的一個(gè)通用模型 在希爾伯特空間中的內(nèi)積回旋可以 看作是構(gòu)造特征的一種標(biāo)準(zhǔn)途徑。 ?對(duì)實(shí)際數(shù)據(jù)的一種模型 一個(gè)小的支持向量集合可能足以對(duì)不同的機(jī)器代表整個(gè)訓(xùn)練集。 SLT中的基本概念 ? 統(tǒng)計(jì)方法 —— 從觀測自然現(xiàn)象或者專門安排的實(shí)驗(yàn)所得到的數(shù)據(jù)去推斷該事務(wù)可能的規(guī)律性 。 ? 統(tǒng)計(jì)學(xué)習(xí)理論 —— 在研究 小樣本 統(tǒng)計(jì)估計(jì)和預(yù)測的過程中發(fā)展起來的一種新興理論 。 【 注意 】：這里所說的“小樣本”是相對(duì)于無窮樣本而言的，故只要樣本數(shù)不是無窮，都可稱為小樣本，更嚴(yán)格地說，應(yīng)該稱為“ 有限樣本 ”。 統(tǒng)計(jì)學(xué)習(xí)理論中的基本概念（續(xù)） ? 機(jī)器學(xué)習(xí) ?主要研究從采集樣本出發(fā)得出目前尚不能通過原理分析得到的規(guī)律 ,并利用這些規(guī)律對(duì)未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進(jìn)行預(yù)測 。 ? 模式識(shí)別 ?對(duì)表征事務(wù)或現(xiàn)象的各種形式 (數(shù)值、文字及邏輯關(guān)系等 )信息進(jìn)行處理和分析 ,以對(duì)事務(wù)或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過程 。 ? 統(tǒng)計(jì)學(xué)習(xí)理論 ?一種研究有限樣本估計(jì)和預(yù)測的數(shù)學(xué)理論 統(tǒng)計(jì)學(xué)習(xí)理論的發(fā)展簡況 ? 學(xué)習(xí)過程的數(shù)學(xué)研究 ? F. Rosenblatt于 1958,1962年把感知器作為一個(gè)學(xué)習(xí)機(jī)器模型 ? 統(tǒng)計(jì)學(xué)習(xí)理論的開始 ? Novikoff(1962)證明了關(guān)于感知器的第一個(gè)定理 ? 解決不適定問題的正則化原則的發(fā)現(xiàn) ?Tikhonov(1963), Ivanov(1962), Phillips(1962) ? Vanik和 Chervonenkis(1968)提出了 VC熵 和 VC維的概念 ? 提出了統(tǒng)計(jì)學(xué)習(xí)理論的核心概念 ? 得到了關(guān)于收斂速度的非漸進(jìn)界的主要結(jié)論 SLT的發(fā)展簡況 (續(xù) ) ?Vapnik和 Chervonenkis(1974)提出了 結(jié)構(gòu)風(fēng)險(xiǎn)最小化（ SRM） 歸納原則 。 ?Vapnik和 Chervonenkis(1989)發(fā)現(xiàn)了經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化歸納原則和最大似然方法一致性的充分必要條件 ,完成了對(duì)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化歸納推理的分析 。 ?90年代中期 ,有限樣本情況下的機(jī)器學(xué)習(xí)理論研究逐漸成熟起來 ,形成了較完善的理論體系 —統(tǒng)計(jì)學(xué)習(xí)理論 (Statistical Learning Theory,簡稱 SLT) 統(tǒng)計(jì)學(xué)習(xí)理論的基本內(nèi)容
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1