智能決策理論與方法-文庫吧在線文庫
【正文】 一個(gè)輸入層、一個(gè)輸出層以及多層隱單元。如果用符號(hào) Xp表示第 p個(gè)輸入模式特征矢量，用符號(hào)Yp表示對(duì)應(yīng)的第 p個(gè)輸出基準(zhǔn)矢量。創(chuàng)建一個(gè) BP網(wǎng)絡(luò)，最小輸入為 0，最大輸入為 10，兩隱含層，第一層神經(jīng)元函數(shù)為 tansig函數(shù)，第二層神經(jīng)元函數(shù)為 purelin函數(shù)。o39。 。記p(x,y)表示對(duì)象 x為 y類的概率分布。 (在無法求得期望風(fēng)險(xiǎn)的情形下找到了它的一個(gè)上界 )? 不等式右邊與樣本的具體分布無關(guān)，即 Vapnik的統(tǒng)計(jì)學(xué)習(xí)理論 無需假設(shè)樣本分布 ， 克服了高維分布對(duì)樣本點(diǎn)需求隨維數(shù)而指數(shù)增長(zhǎng)的問題 。決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 支持向量機(jī)v 支持向量分類模型? 基本分類思想 ：支持向量機(jī)的 核心思想 是將 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則 引入到分類問題中。1，則稱此向量 xi為 支持向量，此時(shí)， d+=d=1/|w|， margin=2/|w|。具體地，設(shè)連續(xù)屬性集C’={c1,c2,...,cm}，對(duì)于任意 ci?C’選擇長(zhǎng)度為 l(i)的二進(jìn)制編碼表示分割點(diǎn) cij(j=1,2,...,ki1)，則表示屬性 ci的所有分割點(diǎn)的串長(zhǎng)為 l(i)(ki1)，分割點(diǎn) cij與長(zhǎng)度為 l(i)的二進(jìn)制編碼之間的值對(duì)應(yīng)關(guān)系可由下式確定： 式中 m(s)是長(zhǎng)度為 l(i)的二進(jìn)制編碼中第 s位的編碼值。把當(dāng)前群體中的個(gè)體按與適應(yīng)值成比例的概率復(fù)制到新的群體中，復(fù)制過程應(yīng)用賭盤技術(shù)選擇要被復(fù)制的串。 s1’= 00110 10110 11011 01000 10101 11101 00110 10011v 基于 GA算法的離散化算例 ：? 問題與參數(shù)： 一個(gè)含有連續(xù)屬性集 C’={c1,c2,c3}和一個(gè)決策屬性 d的決策表，各項(xiàng)參數(shù)確定為： k1=k2=3， k3=4， l(3)=5 ， l(1)=l(2)=4， N=40， Pc=， Pm=；停機(jī)條件是 M=50或分類能力 ?(C’,d)?。 決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 遺傳算法例： 設(shè)染色體 s1= 00110 10010 11011 01100 10101 11101 00111 10011 s2= 10110 10100 01011 01101 00101 10101 10001 10101按箭頭所指進(jìn)行交叉，得到兩條新的染色體。選擇 l(1)=l(2)=l(3)=5，則l=53+53+52=40，問題的搜索空間規(guī)模為 240≈1012 00110 10010 11011 01100 10101 11101 00111 10011表示了分割點(diǎn)集的一條染色體。 決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 遺傳算法v 遺傳算法示例 ：基于 GA的連續(xù)屬性集離散化問題求解? 問題描述 ：? 基于 GA的離散化思想 ：將連續(xù)屬性離散化的分割點(diǎn)選擇問題轉(zhuǎn)化為分割點(diǎn)組合的尋優(yōu)問題。 xi為輸入向量，對(duì)應(yīng)的類標(biāo)簽為 yi(+1或 1)。 VC維在其中起重要作用，實(shí)際上置信范圍是 h的增函數(shù)。決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 支持向量機(jī)? 如果 成立，則稱經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則（ Empirical Risk Minimization, ERM）具有一致性。v 20世紀(jì) 90年代 Vapnik提出了支持向量機(jī) (Support Vector Machines,SVM)，它被看作是高維空間函數(shù)表達(dá)的一般方法。許多現(xiàn)實(shí)的數(shù)據(jù)包含大量的噪聲，如果神經(jīng)網(wǎng)絡(luò)規(guī)模太大，并且網(wǎng)絡(luò)訓(xùn)練時(shí)間控制不適當(dāng)，那么神經(jīng)網(wǎng)絡(luò)既會(huì)獲得數(shù)據(jù)中的有用信息，也會(huì)得到不希望的噪聲。)? = 50。v Matlab提供了一套神經(jīng)網(wǎng)絡(luò)工具箱 (Neural Networks Toolbox)，其中包含了一組 new函數(shù)，用以創(chuàng)建各種類型的神經(jīng)網(wǎng)絡(luò)。? 上述過程一直持續(xù)到所有的輸出單元得到輸出為止，最后一層的輸出就是網(wǎng)絡(luò)的輸出。決策理論與方法 智能決策理論與方法v 基本神經(jīng)元及感知機(jī)模型 ：機(jī)器學(xué)習(xí) — 神經(jīng)網(wǎng)絡(luò)wj1wjiwjnyjf(?iwijxi?j)x1xixn決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 神經(jīng)網(wǎng)絡(luò)? 神經(jīng)元函數(shù) f的選擇線性函數(shù)： f(x)=?x帶限的線性函數(shù)： ?為最大輸出。 A3沒有改變?nèi)魏涡畔⒘?，無分類價(jià)值，可以刪除。決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 歸納學(xué)習(xí)：決策樹A0A1 A1A2 11 1111 001 011 0T2T1T11 T12T111 T112T21 T22T決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 歸納學(xué)習(xí)：決策樹v ID3算法 (Quinlan)： ID3算法對(duì) CLS做了兩方面的改進(jìn)： (1)增加窗口技術(shù)； (2)以信息熵的下降速度 (信息增益 )作為測(cè)試屬性選擇標(biāo)準(zhǔn)。決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 歸納學(xué)習(xí)：泛化動(dòng)物哺乳類 鳥類企鵝食肉類 蹄類 飛禽類 走禽類虎 印度豹 長(zhǎng)頸鹿 斑馬 信天翁 鷹 駝鳥第 1層第 2層第 3層第 4層決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 歸納學(xué)習(xí)：決策樹v 決策樹學(xué)習(xí) 是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)算法。v 常用泛化方法 ：? 將常量轉(zhuǎn)為變量規(guī)則 ：對(duì)于概念 F(v)，如果 v的某些取值a,b,… 使 F(v)成立，則這些概念可被泛化為：對(duì)于 v的所有值， F(v)均成立：決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 歸納學(xué)習(xí)：泛化? 消除條件規(guī)則 ：一個(gè)合取條件可看作是對(duì)滿足此概念的可能實(shí)例集的一個(gè)約束。決策理論與方法 智能決策
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1