【文章內(nèi)容簡(jiǎn)介】 夠可利用的訓(xùn)練樣本才能學(xué)習(xí)得到一個(gè)好的分類模型。但是，在實(shí)際應(yīng)用中發(fā)現(xiàn)要滿足這兩個(gè)條件往往是困難的。遷移學(xué)習(xí)是運(yùn)用已有的知識(shí)對(duì)不同但相關(guān)領(lǐng)域問題進(jìn)行求解。它放寬了傳統(tǒng)機(jī)器學(xué)習(xí)中的兩個(gè)基本假設(shè)，目的是遷移已有的知識(shí)來解決目標(biāo)領(lǐng)域中僅有少量有標(biāo)簽樣本數(shù)據(jù)甚至沒有的學(xué)習(xí)問題。 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 43 內(nèi)容提要 機(jī)器學(xué)習(xí)概述 歸納學(xué)習(xí) 類比學(xué)習(xí) 統(tǒng)計(jì)學(xué)習(xí) 強(qiáng)化學(xué)習(xí) 進(jìn)化計(jì)算 群體智能 知識(shí)發(fā)現(xiàn) 小結(jié) 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 44 統(tǒng)計(jì)學(xué)習(xí) 統(tǒng)計(jì)方法是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。 科學(xué)規(guī)律性的東西一般總是隱藏得比較深，最初總是從其數(shù)量表現(xiàn)上通過統(tǒng)計(jì)分析看出一些線索，然后提出一定的假說或?qū)W說，作進(jìn)一步深入的理論研究。當(dāng)理論研究 提出一定的結(jié)論時(shí)，往往還需要在實(shí)踐中加以驗(yàn)證。就是說，觀測(cè)一些自然現(xiàn)象或?qū)ｉT安排的實(shí)驗(yàn)所得資料，是否與理論相符、在多大的程度上相符、偏離可能是朝哪個(gè)方向等等問題，都需要用統(tǒng)計(jì)分析的方法處理。 列聯(lián)表及列聯(lián)表分析 ? 研究?jī)蓚€(gè)屬性變量之間是否有聯(lián)系 ? 研究步驟： ? 通過問卷調(diào)查或統(tǒng)計(jì)資料獲得屬性 變量的信息 ? 整理問卷或統(tǒng)計(jì)資料獲得列聯(lián)表數(shù)據(jù) ? 通過統(tǒng)計(jì)假設(shè)檢驗(yàn) 兩個(gè)屬性變量是 否具有獨(dú)立性 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 45 邏輯回歸 基本理論和方 法 ? 研究某一事件發(fā)生的概率 P=P(y=1)與若干因素之間的關(guān)系 ? qq xxp ??? ???? ?110在 0和 1之間 任意范圍之間的數(shù)量 若干個(gè)狀態(tài)的標(biāo)量 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 46 邏輯回歸 模型 ? 人們通常把 p的某個(gè)函數(shù) f(p)假設(shè)為變量的函數(shù)形式，取 ? 稱之為 logit函數(shù)，也叫邏輯變換。 ? 因此，邏輯變換是取列聯(lián)表中優(yōu)勢(shì)的對(duì)數(shù)。當(dāng)概率在 01取值時(shí)， Logit可以取任意實(shí)數(shù)，避免了線性概率模型的結(jié)構(gòu)缺陷。 ()( ) l n l n1 ( ) 1xpfpxp??????2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 47 邏輯變換 ? logistic變換 ? Logistic回歸模型 ),(1ln ?????? ppqq xxpp ??? ????? ?1101ln優(yōu)勢(shì)比 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 48 概率 p的預(yù)測(cè) ? P與多因素之間的關(guān)系預(yù)測(cè) qqqqxxxxeep ?????????????? ??1101101)( 11011qq xxep ??? ?????? ?qq xxpp ??? ????? ?1101ln2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 49 P與單因素之間的關(guān)系圖 p x 1 xxeep10101 ????????01 ??最可能成功范圍 最不可能成功范圍 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 50 回歸系數(shù)的含義 ? 優(yōu)勢(shì)比 (Odds Ratio)— 事件發(fā)生與不發(fā)生的概率比 ? 優(yōu)勢(shì)比與單變量系數(shù)之間的關(guān)系 ? qq xxeppOR ??? ???????1101),,(),1,( 2121 qiqi xxxxORexxxxOR i ???? ????????優(yōu)勢(shì)比減小優(yōu)勢(shì)比增加00ii??2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 51 支持向量機(jī) ? 支持向量機(jī)（ support vector machine: SVM）是一種二類分類方法，它的基本模型是定義在特征空間上的間隔最大的線性分類器。支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的 VC 維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的。它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 52 統(tǒng)計(jì)學(xué)習(xí)問題 ? 學(xué)習(xí)問題的表示 – 學(xué)習(xí)的目的就是，在聯(lián)合概率分布函數(shù) F(x,y)未知、所有可用的信息都包含在訓(xùn)練集中的情況下，尋找函數(shù) f(x,w0)，使它（在函數(shù)類 f(x,w)， (w W）上最小化風(fēng)險(xiǎn)泛函 ? 模式別別問題 ?? ),()),(,()( yxdFwxfyLwR??????w)f ( x ,y1w)f ( x ,y ,0)),(,(，若若wxfyL2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 53 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則 (ERM ) ? 最小化經(jīng)驗(yàn)風(fēng)險(xiǎn) (訓(xùn)練樣本錯(cuò)誤率 ) ???Niiie m p wxfdLnwR1)),(,(1)(? 用 ERM準(zhǔn)則代替期望風(fēng)險(xiǎn)最小化并沒有經(jīng)過充分的理論論證，只是直觀上合理的想當(dāng)然做法 ? 這種思想?yún)s在多年的機(jī)器學(xué)習(xí)方法研究中占據(jù)了主要地位。人們多年來將大部分注意力集中到如何更好地最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)上。 ? 而實(shí)際上，即使可以假定當(dāng) n趨向于無窮大時(shí)經(jīng)驗(yàn)風(fēng)險(xiǎn)也不一定趨近于期望風(fēng)險(xiǎn)，在很多問題中的樣本數(shù)目也離無窮大相去甚遠(yuǎn) ，如神經(jīng)網(wǎng)絡(luò)。 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 54 學(xué)習(xí)機(jī)器實(shí)際風(fēng)險(xiǎn)的界 ? 學(xué)習(xí)機(jī)器實(shí)際風(fēng)險(xiǎn)的界 – 其中 n樣本數(shù)量， h是 VC維， Φ是遞減函數(shù) ? 兩種方法： – 神經(jīng)網(wǎng)絡(luò) : 保持置信范圍固定（通過選擇一個(gè)適當(dāng)構(gòu)造的機(jī)器）并最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)。 – 支持向量機(jī) (SVM): 保持經(jīng)驗(yàn)風(fēng)險(xiǎn)固定（比如等于零）并最小化置信范圍。 )()()(hnwRwRe m p ???2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 55 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則 ? 函數(shù)集 Fk={F(x,w)。w∈Wk}, k=1,2,…,n ? F1 F2 … Fn ? VC維： h1≤h2≤…≤hn ? 在使保證風(fēng)險(xiǎn)（風(fēng)險(xiǎn)的上界）最小的子集中選擇使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的函數(shù) ? ? ?2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 56 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 57 Sn S* 經(jīng)驗(yàn)風(fēng)險(xiǎn) Empirical risk 置信范圍 Confidence interval 風(fēng)險(xiǎn)界限 Bound on the risk h1 h* hn h S1 S* Sn 結(jié)構(gòu)風(fēng)險(xiǎn)最小化歸納原則 (SRM) 最大間隔分類器 ? 不但能將兩類正確分開，而且使分類間隔最大。 ? h≤min( ［ R2A2］ ,N)+1 H1 H2 H 2/| | w || 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 58 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 59 考慮 2維空間中極端直線之間的間隔情況 [ x ]1[ x ]2)1w x b? ? ?（)1w x b? ? ? ?（D21 bw?21 bw??????2222 121 1bbDww wDw?????????? ?2212D ???求出兩條極端直線的距離： 如何計(jì)算分劃間隔 ？ 特征空間與核函數(shù) ? Mercer定理：要保證 L2(C)下的對(duì)稱函數(shù) 能以正的系數(shù)展開成 (即 描述了在某個(gè)特征空間中的一個(gè)積 )， 其中緊集 ， 充分必要條件是，對(duì)使得 的所有 ,條件 成立。 RCCK ??:? ? ? ? ? ?????1,kkkk vuavuK ??? ?vuK ,0?g? ? ? ? ? ? 0, ?? ? dudvvgugvuK? ? ??? duug 2NRC ?2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 60 特征空間與核函數(shù) ?Mercer核 – 多項(xiàng)式核 – 高斯徑向基函數(shù)核 – Sigmoid核 （只在部分參數(shù)值情況下才滿足核函數(shù)的定義 ） 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 61 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 62 提升方法 ? 弱學(xué)習(xí)機(jī)（ weak learner): 對(duì)一定分布的訓(xùn)練樣本給出假設(shè)（僅僅強(qiáng)于隨機(jī)猜測(cè)） 根據(jù)有云猜測(cè)可能會(huì)下雨 ? 強(qiáng)學(xué)習(xí)機(jī)（ strong learner): 根據(jù)得到的弱學(xué)習(xí)機(jī)和相應(yīng)的權(quán)重給出假設(shè)（最大程度上符合實(shí)際情況：almost perfect expert) 根據(jù) CNN,ABC,CBS以往的預(yù)測(cè)表現(xiàn)及實(shí)際天氣情況作出綜合準(zhǔn)確的天氣預(yù)測(cè) ? 弱學(xué)習(xí)機(jī) 強(qiáng)學(xué)習(xí)機(jī) Boosting 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 63 提升方法 ? 過程 : – 在一定的權(quán)重條件下訓(xùn)練數(shù)據(jù)，得出分類法Ct – 根據(jù) Ct的錯(cuò)誤率調(diào)整權(quán)重 Set of weighted instances Classifier Ct train classifier adjust weights 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 64 提升流程 (loop1) 強(qiáng)學(xué)習(xí)機(jī) 弱學(xué)習(xí)機(jī) 原始訓(xùn)練集 加權(quán)后的訓(xùn)練集 加權(quán)后的假設(shè) X1?1:1 弱假設(shè) 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 65 提升流程 (loop2) 強(qiáng)學(xué)習(xí)機(jī) 弱學(xué)習(xí)機(jī) 原始訓(xùn)練集 加權(quán)后的訓(xùn)練集 加權(quán)后的假設(shè) Y3?1:1 弱假設(shè) 2020/11/17 史忠植 人工智能： 機(jī)器學(xué)習(xí) 66 提升流程 (loop3) 強(qiáng)學(xué)習(xí)機(jī) 弱學(xué)習(xí)機(jī) 原始訓(xùn)練集 加權(quán)后的訓(xùn)練集 加權(quán)后的假設(shè) Z7?1: