統(tǒng)計學(xué)習(xí)理論與svm支持向量機(已修改)
2025-09-10 12:29 本頁面
【正文】 浙江大學(xué)研究生 《 人工智能引論 》 課件 第八章 統(tǒng)計學(xué)習(xí)理論與 SVM (Chapter8 SLT amp。 SVM ) 目錄 ? 概述 ? 統(tǒng)計學(xué)習(xí)理論中的基本概念 ? 統(tǒng)計學(xué)習(xí)理論的發(fā)展簡況 ? 統(tǒng)計學(xué)習(xí)理論的基本內(nèi)容 ? 支持向量機概述 ? 研究現(xiàn)狀 ? 參考文獻 SLT amp。 SVM的地位和作用 ? 是統(tǒng)計學(xué)習(xí)方法的優(yōu)秀代表 ? 有嚴(yán)密的數(shù)學(xué)依據(jù)，得到了嚴(yán)格的數(shù)學(xué)證明 ? 有力反駁 —— “復(fù)雜的理論是沒有用的，有用的是簡單的算法”等錯誤觀點 ? 充分表明 —— “ 沒有什么比一個好的理論更實用了 ”等基本的科學(xué)原則 概述 SLT amp。 SVM的數(shù)學(xué)基礎(chǔ) ?概率論與數(shù)理統(tǒng)計 ?泛函分析 “For God so loved the world that he gave his one and only Son, that whoever believes in him shall not perish but have eternal life. For God did not send his Son into the world to condemn the world, but to save the world through him.” from JOHN 3:1617 NIV SLTamp。SVM所堅持的“基本信念” ? 傳統(tǒng)的估計高維函數(shù)依賴關(guān)系的方法所堅持的信念 ?實際問題中總存在較少數(shù)目的一些“ 強特征 ”，用它們的簡單函數(shù)（如線性組合）就能較好地逼近未知函數(shù)。因此，需要 仔細地選擇一個低維的特征空間 ，在這個空間中用常規(guī)的統(tǒng)計技術(shù)來求解一個逼近。 ? SLTamp。SVM所堅持的信念 ?實際問題中存在較大數(shù)目的一些“ 弱特征 ”，它們“巧妙的”線性組合可較好地逼近未知的依賴關(guān)系。因此， 采用什么樣的“弱特征”并不十分重要，而形成“巧妙的”線性組合更為重要。 SLTamp。SVM與傳統(tǒng)方法的區(qū)別 ?要較好地實現(xiàn) 傳統(tǒng)方法 ，需要人工選擇（構(gòu)造）一些數(shù)目相對較少的“巧妙的特征” ?SVM方法 則是自動地選擇（構(gòu)造）一些數(shù)目較少的“巧妙的特征” ?在實際應(yīng)用中，可通過 構(gòu)造兩層（或多層）SVM來選擇“巧妙的特征” SLT amp。 SVM集以下模型于一身： ?結(jié)構(gòu)風(fēng)險最小化（ SRM） 模型 ?數(shù)據(jù)壓縮模型 ?構(gòu)造復(fù)合特征的一個通用模型 在希爾伯特空間中的內(nèi)積回旋可以 看作是構(gòu)造特征的一種標(biāo)準(zhǔn)途徑。 ?對實際數(shù)據(jù)的一種模型 一個小的支持向量集合可能足以對不同的機器代表整個訓(xùn)練集。 SLT中的基本概念 ? 統(tǒng)計方法 —— 從觀測自然現(xiàn)象或者專門安排的實驗所得到的數(shù)據(jù)去推斷該事務(wù)可能的規(guī)律性 。 ? 統(tǒng)計學(xué)習(xí)理論 —— 在研究 小樣本 統(tǒng)計估計和預(yù)測的過程中發(fā)展起來的一種新興理論 。 【 注意 】：這里所說的“小樣本”是相對于無窮樣本而言的，故只要樣本數(shù)不是無窮，都可稱為小樣本，更嚴(yán)格地說，應(yīng)該稱為“ 有限樣本 ”。 統(tǒng)計學(xué)習(xí)理論中的基本概念（續(xù)） ? 機器學(xué)習(xí) ?主要研究從采集樣本出發(fā)得出目前尚不能通過原理分析得到的規(guī)律 ,并利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預(yù)測 。 ? 模式識別 ?對表征事務(wù)或現(xiàn)象的各種形式 (數(shù)值、文字及邏輯關(guān)系等 )信息進行處理和分析 ,以對事務(wù)或現(xiàn)象進行描述、辨認(rèn)、分類和解釋的過程 。 ? 統(tǒng)計學(xué)習(xí)理論 ?一種研究有限樣本估計和預(yù)測的數(shù)學(xué)理論 統(tǒng)計學(xué)習(xí)理論的發(fā)展簡況 ? 學(xué)習(xí)過程的數(shù)學(xué)研究 ? F. Rosenblatt于 1958,1962年把感知器作為一個學(xué)習(xí)機器模型 ? 統(tǒng)計學(xué)習(xí)理論的開始 ? Novikoff(1962)證明了關(guān)于感知器的第一個定理 ? 解決不適定問題的正則化原則的發(fā)現(xiàn) ?Tikhonov(1963), Ivanov(1962), Phillips(1962) ? Vanik和 Chervonenkis(1968)提出了 VC熵 和 VC維的概念 ? 提出了統(tǒng)計學(xué)習(xí)理論的核心概念 ? 得到了關(guān)于收斂速度的非漸進界的主要結(jié)論 SLT的發(fā)展簡況 (續(xù) ) ?Vapnik和 Chervonenkis(1974)提出了 結(jié)構(gòu)風(fēng)險最小化（ SRM） 歸納原則 。 ?Vapnik和 Chervonenkis(1989)發(fā)現(xiàn)了經(jīng)驗風(fēng)險最小化歸納原則和最大似然方法一致性的充分必要條件 ,完成了對經(jīng)驗風(fēng)險最小化歸納推理的分析 。 ?90年代中期 ,有限樣本情況下的機器學(xué)習(xí)理論研究逐漸成熟起來 ,形成了較完善的理論體系 —統(tǒng)計學(xué)習(xí)理論 (Statistical Learning Theory,簡稱 SLT) 統(tǒng)計學(xué)習(xí)理論的基本內(nèi)容
公司管理相關(guān)推薦
鄂ICP備17016276號-1