【文章內(nèi)容簡介】 夠可利用的訓練樣本才能學習得到一個好的分類模型。但是，在實際應用中發(fā)現(xiàn)要滿足這兩個條件往往是困難的。遷移學習是運用已有的知識對不同但相關領域問題進行求解。它放寬了傳統(tǒng)機器學習中的兩個基本假設，目的是遷移已有的知識來解決目標領域中僅有少量有標簽樣本數(shù)據(jù)甚至沒有的學習問題。 2020/11/17 史忠植 人工智能： 機器學習 43 內(nèi)容提要 機器學習概述 歸納學習 類比學習 統(tǒng)計學習 強化學習 進化計算 群體智能 知識發(fā)現(xiàn) 小結(jié) 2020/11/17 史忠植 人工智能： 機器學習 44 統(tǒng)計學習 統(tǒng)計方法是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。 科學規(guī)律性的東西一般總是隱藏得比較深，最初總是從其數(shù)量表現(xiàn)上通過統(tǒng)計分析看出一些線索，然后提出一定的假說或?qū)W說，作進一步深入的理論研究。當理論研究 提出一定的結(jié)論時，往往還需要在實踐中加以驗證。就是說，觀測一些自然現(xiàn)象或?qū)ｉT安排的實驗所得資料，是否與理論相符、在多大的程度上相符、偏離可能是朝哪個方向等等問題，都需要用統(tǒng)計分析的方法處理。 列聯(lián)表及列聯(lián)表分析 ? 研究兩個屬性變量之間是否有聯(lián)系 ? 研究步驟： ? 通過問卷調(diào)查或統(tǒng)計資料獲得屬性 變量的信息 ? 整理問卷或統(tǒng)計資料獲得列聯(lián)表數(shù)據(jù) ? 通過統(tǒng)計假設檢驗 兩個屬性變量是 否具有獨立性 2020/11/17 史忠植 人工智能： 機器學習 45 邏輯回歸 基本理論和方 法 ? 研究某一事件發(fā)生的概率 P=P(y=1)與若干因素之間的關系 ? qq xxp ??? ???? ?110在 0和 1之間 任意范圍之間的數(shù)量 若干個狀態(tài)的標量 2020/11/17 史忠植 人工智能： 機器學習 46 邏輯回歸 模型 ? 人們通常把 p的某個函數(shù) f(p)假設為變量的函數(shù)形式，取 ? 稱之為 logit函數(shù)，也叫邏輯變換。 ? 因此，邏輯變換是取列聯(lián)表中優(yōu)勢的對數(shù)。當概率在 01取值時， Logit可以取任意實數(shù)，避免了線性概率模型的結(jié)構(gòu)缺陷。 ()( ) l n l n1 ( ) 1xpfpxp??????2020/11/17 史忠植 人工智能： 機器學習 47 邏輯變換 ? logistic變換 ? Logistic回歸模型 ),(1ln ?????? ppqq xxpp ??? ????? ?1101ln優(yōu)勢比 2020/11/17 史忠植 人工智能： 機器學習 48 概率 p的預測 ? P與多因素之間的關系預測 qqqqxxxxeep ?????????????? ??1101101)( 11011qq xxep ??? ?????? ?qq xxpp ??? ????? ?1101ln2020/11/17 史忠植 人工智能： 機器學習 49 P與單因素之間的關系圖 p x 1 xxeep10101 ????????01 ??最可能成功范圍 最不可能成功范圍 2020/11/17 史忠植 人工智能： 機器學習 50 回歸系數(shù)的含義 ? 優(yōu)勢比 (Odds Ratio)— 事件發(fā)生與不發(fā)生的概率比 ? 優(yōu)勢比與單變量系數(shù)之間的關系 ? qq xxeppOR ??? ???????1101),,(),1,( 2121 qiqi xxxxORexxxxOR i ???? ????????優(yōu)勢比減小優(yōu)勢比增加00ii??2020/11/17 史忠植 人工智能： 機器學習 51 支持向量機 ? 支持向量機（ support vector machine: SVM）是一種二類分類方法，它的基本模型是定義在特征空間上的間隔最大的線性分類器。支持向量機方法是建立在統(tǒng)計學習理論的 VC 維理論和結(jié)構(gòu)風險最小原理基礎上的。它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其他機器學習問題中。 2020/11/17 史忠植 人工智能： 機器學習 52 統(tǒng)計學習問題 ? 學習問題的表示 – 學習的目的就是，在聯(lián)合概率分布函數(shù) F(x,y)未知、所有可用的信息都包含在訓練集中的情況下，尋找函數(shù) f(x,w0)，使它（在函數(shù)類 f(x,w)， (w W）上最小化風險泛函 ? 模式別別問題 ?? ),()),(,()( yxdFwxfyLwR??????w)f ( x ,y1w)f ( x ,y ,0)),(,(，若若wxfyL2020/11/17 史忠植 人工智能： 機器學習 53 經(jīng)驗風險最小化原則 (ERM ) ? 最小化經(jīng)驗風險 (訓練樣本錯誤率 ) ???Niiie m p wxfdLnwR1)),(,(1)(? 用 ERM準則代替期望風險最小化并沒有經(jīng)過充分的理論論證，只是直觀上合理的想當然做法 ? 這種思想?yún)s在多年的機器學習方法研究中占據(jù)了主要地位。人們多年來將大部分注意力集中到如何更好地最小化經(jīng)驗風險上。 ? 而實際上，即使可以假定當 n趨向于無窮大時經(jīng)驗風險也不一定趨近于期望風險，在很多問題中的樣本數(shù)目也離無窮大相去甚遠 ，如神經(jīng)網(wǎng)絡。 2020/11/17 史忠植 人工智能： 機器學習 54 學習機器實際風險的界 ? 學習機器實際風險的界 – 其中 n樣本數(shù)量， h是 VC維， Φ是遞減函數(shù) ? 兩種方法： – 神經(jīng)網(wǎng)絡 : 保持置信范圍固定（通過選擇一個適當構(gòu)造的機器）并最小化經(jīng)驗風險。 – 支持向量機 (SVM): 保持經(jīng)驗風險固定（比如等于零）并最小化置信范圍。 )()()(hnwRwRe m p ???2020/11/17 史忠植 人工智能： 機器學習 55 結(jié)構(gòu)風險最小化原則 ? 函數(shù)集 Fk={F(x,w)。w∈Wk}, k=1,2,…,n ? F1 F2 … Fn ? VC維： h1≤h2≤…≤hn ? 在使保證風險（風險的上界）最小的子集中選擇使經(jīng)驗風險最小的函數(shù) ? ? ?2020/11/17 史忠植 人工智能： 機器學習 56 2020/11/17 史忠植 人工智能： 機器學習 57 Sn S* 經(jīng)驗風險 Empirical risk 置信范圍 Confidence interval 風險界限 Bound on the risk h1 h* hn h S1 S* Sn 結(jié)構(gòu)風險最小化歸納原則 (SRM) 最大間隔分類器 ? 不但能將兩類正確分開，而且使分類間隔最大。 ? h≤min( ［ R2A2］ ,N)+1 H1 H2 H 2/| | w || 2020/11/17 史忠植 人工智能： 機器學習 58 2020/11/17 史忠植 人工智能： 機器學習 59 考慮 2維空間中極端直線之間的間隔情況 [ x ]1[ x ]2)1w x b? ? ?（)1w x b? ? ? ?（D21 bw?21 bw??????2222 121 1bbDww wDw?????????? ?2212D ???求出兩條極端直線的距離： 如何計算分劃間隔 ？ 特征空間與核函數(shù) ? Mercer定理：要保證 L2(C)下的對稱函數(shù) 能以正的系數(shù)展開成 (即 描述了在某個特征空間中的一個積 )， 其中緊集 ， 充分必要條件是，對使得 的所有 ,條件 成立。 RCCK ??:? ? ? ? ? ?????1,kkkk vuavuK ??? ?vuK ,0?g? ? ? ? ? ? 0, ?? ? dudvvgugvuK? ? ??? duug 2NRC ?2020/11/17 史忠植 人工智能： 機器學習 60 特征空間與核函數(shù) ?Mercer核 – 多項式核 – 高斯徑向基函數(shù)核 – Sigmoid核 （只在部分參數(shù)值情況下才滿足核函數(shù)的定義 ） 2020/11/17 史忠植 人工智能： 機器學習 61 2020/11/17 史忠植 人工智能： 機器學習 62 提升方法 ? 弱學習機（ weak learner): 對一定分布的訓練樣本給出假設（僅僅強于隨機猜測） 根據(jù)有云猜測可能會下雨 ? 強學習機（ strong learner): 根據(jù)得到的弱學習機和相應的權重給出假設（最大程度上符合實際情況：almost perfect expert) 根據(jù) CNN,ABC,CBS以往的預測表現(xiàn)及實際天氣情況作出綜合準確的天氣預測 ? 弱學習機 強學習機 Boosting 2020/11/17 史忠植 人工智能： 機器學習 63 提升方法 ? 過程 : – 在一定的權重條件下訓練數(shù)據(jù)，得出分類法Ct – 根據(jù) Ct的錯誤率調(diào)整權重 Set of weighted instances Classifier Ct train classifier adjust weights 2020/11/17 史忠植 人工智能： 機器學習 64 提升流程 (loop1) 強學習機 弱學習機 原始訓練集 加權后的訓練集 加權后的假設 X1?1:1 弱假設 2020/11/17 史忠植 人工智能： 機器學習 65 提升流程 (loop2) 強學習機 弱學習機 原始訓練集 加權后的訓練集 加權后的假設 Y3?1:1 弱假設 2020/11/17 史忠植 人工智能： 機器學習 66 提升流程 (loop3) 強學習機 弱學習機 原始訓練集 加權后的訓練集 加權后的假設 Z7?1: