【正文】 判斷所對應(yīng)的代價也不一樣 n 期望以較小的代價達(dá)到 “ 趣利避害 ” 的目的n 典型評價方法： ROC (Receiver Operating Characteristics)機器學(xué)習(xí)中的五個挑戰(zhàn)性問題（續(xù)）68 機器學(xué)習(xí)中的主要理論問題n 統(tǒng)計類機器學(xué)習(xí)需要滿足獨立同分布條件，該要求太過苛刻 n 沒有一般的指導(dǎo)原則來尋找問題線性表示的空間 n 沒有好的方法來支持信息向符號的映射 n 機器學(xué)習(xí)沒有一勞永逸的解決方案 n 領(lǐng)域知識與數(shù)據(jù)分析不可避免 69 機器學(xué)習(xí)的發(fā)展趨勢n 主方向的改變n 不再單獨做 “ 會學(xué)習(xí)的機器（人） ”n 越來越朝著 “ 智能數(shù)據(jù)分析 ” 的方向發(fā)展n 已成為智能數(shù)據(jù)分析的支撐技術(shù) n 側(cè)重點的改變n 傳統(tǒng) ML強調(diào) “ 學(xué)習(xí)本身是目的 ”n 當(dāng)前 ML強調(diào) “ 學(xué)習(xí)本身是手段 ” n 新的機器學(xué)習(xí)方法不斷涌現(xiàn)n 流形學(xué)習(xí)、增強學(xué)習(xí)、多示例學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、Ranking學(xué)習(xí)、數(shù)據(jù)流學(xué)習(xí) …… 70 幾種重要的機器學(xué)習(xí)方法n 統(tǒng)計學(xué)習(xí)理論與支持向量機n 統(tǒng)計學(xué)習(xí)理論（ SLT）n 支持向量機（ SVM）n 隱馬爾可夫模型（ HMM）n 貝葉斯網(wǎng)絡(luò)（ Bayesian Network）n ……71 統(tǒng)計學(xué)習(xí)理論與支持向量機n SLTSVM的地位與作用n SLTSVM所堅持的 “基本信念 ”n 統(tǒng)計學(xué)習(xí)理論（ SLT）的核心內(nèi)容n 結(jié)構(gòu)風(fēng)險最小化原理n 支持向量機（ SVM）概述72SLTSVM的地位與作用n 是統(tǒng)計學(xué)習(xí)方法的優(yōu)秀代表n 有嚴(yán)密的數(shù)學(xué)依據(jù)，得到了嚴(yán)格的數(shù)學(xué)證明n 有力反駁 —— “復(fù)雜的理論是沒有用的，有用的是簡單的算法 ”等錯誤觀點n 充分表明 —— “沒有什么比一個好的理論更實用了 ”等基本的科學(xué)原則73SLTSVM所堅持的 “基本信念 ”n 傳統(tǒng)的估計高維函數(shù)依賴關(guān)系的方法認(rèn)為n 實際問題中總存在較少數(shù)目的一些 “強特征 ”，用它們的簡單函數(shù)（如線性組合）就能較好地逼近未知函數(shù)。n SLTSVM所堅持的基本信念n 實際問題中存在較大數(shù)目的一些 “弱特征 ”，它們 “巧妙的 ”線性組合可較好地逼近未知的依賴關(guān)系。74統(tǒng)計學(xué)習(xí)理論（ SLT）的核心內(nèi)容n SLT被公認(rèn)為是目前針對 有限樣本 統(tǒng)計估計和預(yù)測學(xué)習(xí)的最佳理論，它從理論上系統(tǒng)地研究了：n 經(jīng)驗風(fēng)險最小化原則成立的條件n 有限樣本下經(jīng)驗風(fēng)險與期望風(fēng)險的關(guān)系n 如何利用這些理論找到新的學(xué)習(xí)原則和方法n ……n SLT的主要內(nèi)容n 基于經(jīng)驗風(fēng)險原則的統(tǒng)計學(xué)習(xí)過程的一致性理論n 學(xué)習(xí)過程收斂速度的非漸進(jìn)理論n 控制學(xué)習(xí)過程的推廣能力的理論n 構(gòu)造學(xué)習(xí)算法的理論75結(jié)構(gòu)風(fēng)險最小化原理n 傳統(tǒng)機器學(xué)習(xí)方法中普遍采用的經(jīng)驗風(fēng)險最小化原則在樣本數(shù)目有限時是不合理的 ,因此，需要同時最小化經(jīng)驗風(fēng)險和置信范圍。在每個子集中尋找最小經(jīng)驗風(fēng)險 ,在子集間折衷考慮經(jīng)驗風(fēng)險和置信范圍 ,取得實際風(fēng)險的最小。76結(jié)構(gòu)風(fēng)險最小化示意圖77 支持向量機（ SVM）的基本思想n SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。n SVM考慮尋找一個滿足分類要求的超平面 ,并且使訓(xùn)練集中的點距離分類面盡可能的遠(yuǎn) ,也就是尋找一個分類面使它兩側(cè)的空白區(qū)域 (margin)最大。78支持向量（ SV）示意圖79廣義最優(yōu)分類面示意圖80支持向量機（ SVM）的基本原理n 很多情況下，訓(xùn)練數(shù)據(jù)集是 線性不可分 的， Vapnik等人提出了用廣義分類面來解決這一問題。n 分類函數(shù)只涉及到訓(xùn)練樣本之間的內(nèi)積運算 (xi81支持向量機 (SVM)的數(shù)學(xué)表示n 在最優(yōu)分類面中采用適當(dāng)?shù)膬?nèi)積函數(shù)就可以實現(xiàn)某一非線性變換后的線性分類 ,而計算復(fù)雜度卻沒有增加。 SVM的理論基礎(chǔ)比 NN更堅實，更像一門嚴(yán)謹(jǐn)?shù)?“科學(xué) ”（三要素：問題的表示、問題的解決、證明）168。 NN —— 強烈依賴于工程技巧168。 NN設(shè)計者需要用高超的工程技巧彌補了數(shù)學(xué)上的缺陷84 SVM的 主要應(yīng)用領(lǐng)域n 手寫數(shù)字識別n 語音識別n 人臉識別n 文本分類n ……85 隱馬爾可夫模型 (HMM)n 馬爾可夫模型的由來n 馬爾可夫過程n 一個實驗 —— 球缸模型n HMM的基本原理n HMM的形式化描述n HMM的三個基本問題n HMM的三個主要算法86馬爾可夫模型（ MM）的由來 n 1870年，俄國有機化學(xué)家 Vladimir V. Markovnikov第一次提出 Markov Model（ MM）n MM本質(zhì)上是一種隨機過程n HMM是一個 二重 Markov隨機過程 ，包括具有狀態(tài)轉(zhuǎn)移概率的 Markov鏈和輸出觀測值的隨機過程n HMM的狀態(tài)是不確定或不可見的，只有通過觀測序列的隨機過程才能表現(xiàn)出來n 最成功的應(yīng)用領(lǐng)域之一 —— 語音識別87 Markov過程n 過程或系統(tǒng)在時刻 T0所處狀態(tài)為已知的條件下，過程在時刻 TT0所處狀態(tài)的條件分布與過程在時刻 t0之前所處的狀態(tài)無關(guān)。88一個實驗 —— 球缸模型n 設(shè)有 N個缸，每個缸中裝有很多彩球，球的顏色由一組概率分布描述。n 根據(jù)這個缸中彩球顏色的概率分布，隨機選擇一個球，記下球的顏色，記為 O1，再把球放回缸中。n 最后我們可以得到一個描述球的顏色的序列 O1,O2,… ，稱為觀察值序列。n HMM是一個雙重隨機過程，兩個組成部分：n 馬爾可夫鏈 ：描述狀態(tài)的轉(zhuǎn)移，用 轉(zhuǎn)移概率描述。93Markov鏈（ ?, A）隨機過程（ B）狀態(tài)序列 觀察值序列q1, q2, ..., qT o1, o2, ..., oTHMM的組成HMM的組成示意圖94HMM的形式化描述n N是可能的狀態(tài)空間n M是給定的一個觀測值空間n A稱作時間無關(guān)狀態(tài)轉(zhuǎn)移概率分布n B 是在給定狀態(tài)下觀察值概率分布條件n π是在初始時刻狀態(tài)空間的概率分布n 模型 λ＝ (N, M, π, A, B) 用來描述 HMM 其中， N, M, π, B, A稱為 HMM的五元組 可簡寫為： λ ＝（ π, A, B）95HMM中的三個基本問題n 問題 1：給定觀察序列 O=O1,O2,…O T,以及模型 λ＝（ π, A, B） , 如何計算 P(O|λ)？n 問題 2：給定觀察序列 O=O1,O2,…O T以及模型 λ,如何選擇一個對應(yīng)的狀態(tài)序列 Q = q1,q2,…q T，使得Q能夠最為合理的解釋觀察序列 O？n 問題 3：如何調(diào)整模型參數(shù) λ＝（ π, A, B） , 使得P(O|λ)最大？ 96HMM的三個基本算法n 前向－后向算法 （解決問題 1）n 這個算法是用來計算給定一個觀測值序列 O以及一個模型 λ時，由模型 λ產(chǎn)生出觀測值序列 O的概率 。n BaumWelch 算法 （解決問題 3）n 這個算法實際上是解決 HMM訓(xùn)練，即 HMM參數(shù)估計問題，或者說，給定一個觀察值序列 O，該算法能確定一個模型 λ ，使 P(O| λ)最大。n 作為大規(guī)模數(shù)據(jù)庫中先進(jìn)的數(shù)據(jù)分析工具， KDD的研究已經(jīng)成為數(shù)據(jù)庫及人工智能領(lǐng)域研究的一個熱點。n 知識發(fā)現(xiàn) （ Knowledge Discovery in Database）：是用數(shù)據(jù)庫管理系統(tǒng)來存儲數(shù)據(jù)，用機器學(xué)習(xí)的方法來分析數(shù)據(jù)，挖掘大量數(shù)據(jù)背后隱藏的知識，也稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)。n 以神經(jīng)信息學(xué)、腦機工程（ BME）等為代表的新一代AI技術(shù)將取得重大突破，并將成為未來 AI中新的研究熱點。n ……110THANKS FOR YOUR PRESENCE!“We are a scientific society devoted to the study of artificial intelligence. Our incorporating charter, with the characteristic precision of legal documents goes no further than to record the words ‘a(chǎn)rtificial intelligence’ as an indicator of our proper object of concern. Of the semantics behind these terms, by its silence, it leaves it to us, the society, to determine.” by Allen Newell, “AAAI President’s Message” (1980)111演講完畢，謝謝觀看！