智能決策理論與方法-閱讀頁
2025-02-23 17:32本頁面
【正文】 。決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 支持向量機(jī)? 如果 成立，則稱經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則（ Empirical Risk Minimization, ERM）具有一致性。因此提出了 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則 (Structural Risk Minimization, SRM)， 為小樣本統(tǒng)計(jì)理論奠定了基礎(chǔ)。 (在無法求得期望風(fēng)險(xiǎn)的情形下找到了它的一個(gè)上界 )? 不等式右邊與樣本的具體分布無關(guān)，即 Vapnik的統(tǒng)計(jì)學(xué)習(xí)理論 無需假設(shè)樣本分布 ， 克服了高維分布對樣本點(diǎn)需求隨維數(shù)而指數(shù)增長的問題 。VC維置維置信度信度決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 支持向量機(jī)? 討論 ：(1)如果 l/h較大，則期望風(fēng)險(xiǎn) (實(shí)際風(fēng)險(xiǎn) )主要由經(jīng)驗(yàn)風(fēng)險(xiǎn)來決定，因此對于大樣本集經(jīng)驗(yàn)風(fēng)險(xiǎn)經(jīng)常能給出較好結(jié)果。 VC維在其中起重要作用，實(shí)際上置信范圍是 h的增函數(shù)。結(jié)論：要想使實(shí)際風(fēng)險(xiǎn)最小不僅要 使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小 ， 還同時(shí)需要 使分類器函數(shù) f的 VC維 h盡可能最小 ，這就是 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則 。決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 支持向量機(jī)v 支持向量分類模型? 基本分類思想 ：支持向量機(jī)的 核心思想 是將 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則 引入到分類問題中。在數(shù)學(xué)上歸結(jié)為一個(gè)求解不等式約束條件的 二次規(guī)劃問題 。 xi為輸入向量，對應(yīng)的類標(biāo)簽為 yi(+1或 1)。統(tǒng)一 (1),(2)得：yi(wxi+b) ?1 對于樣本集的任一向量 (點(diǎn) )xi，其到超平面 H的距離為：決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 支持向量機(jī)那么， margin的大小可按下式計(jì)算：margin=d++dd+=min{di|i?{1,2,...,l},yi=+1}。1，則稱此向量 xi為 支持向量，此時(shí)， d+=d=1/|w|， margin=2/|w|。因此分類問題轉(zhuǎn)為二次凸規(guī)劃問題：決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 支持向量機(jī)? 線性不可分 ：可引入 核函數(shù) 將線性不可分問題轉(zhuǎn)換為高維空間的線性可分問題，常見核函數(shù)有： d次多項(xiàng)式函數(shù) 高斯徑向基函數(shù) 神經(jīng)網(wǎng)絡(luò)核函數(shù)決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 遺傳算法v 遺傳算法 (Geic Algorithm, GA)是一種借鑒生物界自然選擇和自然遺傳機(jī)制的高度并行、隨機(jī)、自適應(yīng)搜索算法，它利用結(jié)構(gòu)化的隨機(jī)交換技術(shù)組合群體中各個(gè)結(jié)構(gòu)中最好的生存因素，形成最佳代碼串并使之一代一代地進(jìn)化，最終獲得滿意的優(yōu)化結(jié)果。 決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 遺傳算法v 遺傳算法示例 ：基于 GA的連續(xù)屬性集離散化問題求解? 問題描述 ：? 基于 GA的離散化思想 ：將連續(xù)屬性離散化的分割點(diǎn)選擇問題轉(zhuǎn)化為分割點(diǎn)組合的尋優(yōu)問題。 3 kiki121……決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 遺傳算法? 遺傳編碼 ： 用編碼形式表示決策變量的初始解。具體地，設(shè)連續(xù)屬性集C’={c1,c2,...,cm}，對于任意 ci?C’選擇長度為 l(i)的二進(jìn)制編碼表示分割點(diǎn) cij(j=1,2,...,ki1)，則表示屬性 ci的所有分割點(diǎn)的串長為 l(i)(ki1)，分割點(diǎn) cij與長度為 l(i)的二進(jìn)制編碼之間的值對應(yīng)關(guān)系可由下式確定： 式中 m(s)是長度為 l(i)的二進(jìn)制編碼中第 s位的編碼值。 l(i)的選擇與樣本的規(guī)模有關(guān)。選擇 l(1)=l(2)=l(3)=5，則l=53+53+52=40，問題的搜索空間規(guī)模為 240≈1012 00110 10010 11011 01100 10101 11101 00111 10011表示了分割點(diǎn)集的一條染色體。從粗糙集理論的角度，離散化往往會(huì)破壞信息系統(tǒng)中原來的不可分辨關(guān)系，即原來兩個(gè)可分辨的對象可能變?yōu)椴豢煞直?，這樣等價(jià)類包含的對象數(shù)量增加，而等價(jià)類數(shù)量減少，分類能力可能減弱。把當(dāng)前群體中的個(gè)體按與適應(yīng)值成比例的概率復(fù)制到新的群體中，復(fù)制過程應(yīng)用賭盤技術(shù)選擇要被復(fù)制的串。? 設(shè)種群數(shù)為 N，則將賭盤分成 N份，第 i份的比例按如下值確定：決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 遺傳算法s4s2s1決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 遺傳算法? 交叉算子 ：按一定的概率從交配池中任選 2條染色體進(jìn)行多點(diǎn)雜交 (隨機(jī)互換兩個(gè)染色體某些位上的基因 )。 決策理論與方法 智能決策理論與方法機(jī)器學(xué)習(xí) — 遺傳算法例： 設(shè)染色體 s1= 00110 10010 11011 01100 10101 11101 00111 10011 s2= 10110 10100 01011 01101 00101 10101 10001 10101按箭頭所指進(jìn)行交叉，得到兩條新的染色體。方法如下：挑選 1條染色體串，按概率確定它們是否發(fā)生變異，若未發(fā)生變異，另取 1條染色體串，否則，先產(chǎn)生 m個(gè)隨機(jī)數(shù) r(i)(ci?C’)，隨機(jī)數(shù)的范圍為 1到 l(i)(ki1)，然后對該串的第 位進(jìn)行改變。 s1’= 00110 10110 11011 01000 10101 11101 00110 10011v 基于 GA算法的離散化算例 ：? 問題與參數(shù)： 一個(gè)含有連續(xù)屬性集 C’={c1,c2,c3}和一個(gè)決策屬性 d的決策表，各項(xiàng)參數(shù)確定為： k1=k2=3， k3=4， l(3)=5 ， l(1)=l(2)=4， N=40， Pc=， Pm=；停機(jī)條件是 M=50或分類能力 ?(C’,d)?。決策理論與方法 智能決策理論與方法
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1