《ann神經(jīng)網(wǎng)絡(luò)》ppt課件(文件)
【正文】 ? SVM本質(zhì)上是兩類分類器 . ? 常用的 SVM多值分類器構(gòu)造方法有 : SVR?回歸問(wèn)題 : 就是在訓(xùn)練樣本上找到一個(gè)函數(shù) ,它可以從輸入域近似映射到實(shí)數(shù)值上 .輸出值不再是二值 . 在 SVM中 ,回歸問(wèn)題被轉(zhuǎn)化為分類問(wèn)題來(lái)解 . .,.{ ( , ) , 1 , ... } ,{ ( , ) , 1 , ... }.TTTiTTiy w x bDDD x y i i lD x y i i l????????? ? ? ?? ? ? ?一 個(gè) 超 平 面 的 帶 是 指 該 超 平 面 沿 y 軸依 次 上 下 平 移 所 掃 過(guò) 的 區(qū) 域如 果 該 超 平 面 的 帶 包 含 了 訓(xùn) 練 集 中 所 有 的 訓(xùn) 練 點(diǎn)則 該 超 平 面 就 是 一 個(gè) 硬 超 平 面構(gòu) 造 正 類 點(diǎn) 和 負(fù) 類 點(diǎn) 兩 個(gè) 集 合 + 和 : 這 樣 就 形 成 了 一 個(gè) 對(duì) 正 負(fù) 兩 類 點(diǎn) 進(jìn) 行 線 性 分 劃 的 問(wèn) 題 了 :??帶 與 硬 帶 超 平 面支持向量機(jī) SVR? ( , , ( ) ) | ( ) | m a x{ 0 , | ( ) |:, .c x y f x y f x y f x????? ? ? ? ?不 敏 感 損 失 函 數(shù)其 有 一 個(gè) 特 點(diǎn) 對(duì) 樣 本 點(diǎn) 來(lái) 說(shuō) 存 在 著 一 個(gè) 不 為目 標(biāo) 函 數(shù) 提 供 任 何 任 何 損 失 值 的 區(qū) 域 即 帶,11111m i n ( ) ( ) ( ) ( , )2( ) ( )( ) 0.0 , 1 , 2 , ,li i j j i jijjli i i i iiiniiiiQ a KystC i l? ? ? ?? ? ? ? ?????????????? ? ?? ? ? ???????? ? ??????xx? SVR存在問(wèn)題： ? 核函數(shù)及參數(shù)難以選擇 ? SVR與 BP的對(duì)比 單元四 模糊集及應(yīng)用 ? 模糊邏輯 ? 模糊綜合評(píng)價(jià) 模糊邏輯 ? 模糊邏輯的基本思想是任何事情都允許有一定的程度。 ? 例如：天氣很熱；昨天的雨很大；他很高 ? 而布爾邏輯表達(dá)的是明顯的差別，迫使我們?cè)诩系某蓡T和非成員之間劃出明顯的界限。 ? 模糊或多值邏輯是波蘭的邏輯學(xué)家和哲學(xué)家Jan Lukasiewicz在 20世紀(jì) 30年代引入的。這個(gè)人應(yīng)該是很高。 ? 設(shè)想將無(wú)數(shù)的椅子排成一行。他接受模糊的機(jī)率。 ? 模糊依 賴于 模糊集理 輪 ，模糊 邏輯 只是 該 理 論的一小部分。模糊邏輯使用介于 0(完全為假 )和 1(完全為真 )之間邏輯值的連續(xù)區(qū)間。按照這種表示方法，男性的身高應(yīng)該包含全體男性的身高。在經(jīng)典的集合論中， X的清晰集 A定義為函數(shù) fA (x)，稱為 A的特征函數(shù)： ? fA(x): X ??{0, 1}, 其中 ??????AxAxxf Ai f0 ,i f1 ,)(? 該集合將 X的論域?qū)?yīng)到兩個(gè)元素。 如果 x部分在集合 A中 ， 則 0 μ A(x) 1。 現(xiàn) 在回到 “ 高個(gè)子男人 ” 的例子 。 ???????????????????????????????????bxbxbaabbxbaxaabaxaxbaxS1221220),。(?隸屬度函數(shù)的形式 只要是函數(shù)值都是位于 [0,1]的區(qū)間內(nèi)的函數(shù)，都可成為隸屬函數(shù)常見(jiàn)的隸屬函數(shù)： ■ 三角形隸屬函數(shù) ： ■ 梯形隸屬函數(shù)： ■ 高斯函數(shù)隸屬函數(shù)： ■ s 函數(shù)隸屬函數(shù)： ■ ? 函數(shù)隸屬函數(shù)： (a) 三角形隸屬函數(shù) 。 (b) ? 函數(shù)隸屬函數(shù) 。 ? 這種方法，首先對(duì)每個(gè)因素單獨(dú)評(píng)判，然后對(duì)所有因素綜合評(píng)判。 模糊綜合評(píng)價(jià)法的步驟： ? 確定評(píng)價(jià)因素指標(biāo)集（一般為二級(jí)指標(biāo)） ? 確定評(píng)價(jià)集 ? 確定各評(píng)價(jià)指標(biāo)權(quán)重 ? 建立二級(jí)指標(biāo)的模糊評(píng)價(jià)矩陣 ? 計(jì)算各一級(jí)評(píng)價(jià)指標(biāo)評(píng)價(jià)結(jié)果 ? 計(jì)算最終評(píng)價(jià)結(jié)果 ? 模糊綜合評(píng)價(jià)法舉例 。 ? 特點(diǎn)在于評(píng)判逐對(duì)進(jìn)行，對(duì)被評(píng)價(jià)對(duì)象有唯一的評(píng)價(jià)值，不受被評(píng)價(jià)對(duì)象所處對(duì)象集合的影響。 模糊綜合評(píng)價(jià)法 ? 模糊綜合評(píng)價(jià)法是一種基于模糊數(shù)學(xué)的綜合評(píng)標(biāo)方法，最早是由我國(guó)的學(xué)者汪培莊提出的。 (c) 高斯函數(shù)隸屬函數(shù)。(1),。 ?男性身高 論域 包含三 個(gè) 集： short men、 average men和 tall men。對(duì)于論域X中的任何元素 x，隸屬函數(shù) μA(x)等于 x是集合A中元素的程度，該程度的取值為 0到 1，表示隸屬度，也稱作集合 A中元素 x的隸屬值。 ? 在模糊 理論 中， 論 域 X的模糊集 A定 義為 函 數(shù) μA(x)， 稱為 集合 A的 隸屬函數(shù) μA(x): X ? [0, 1], 其中： 如果 x完全在集合 A中 ， 則 μ A(x) = 1。在本例中，“高個(gè)子男人”的模糊集將身高值對(duì)應(yīng)到相對(duì)應(yīng)的成員資格值。 (a)布 爾 值 (b)模糊值 布 爾 和模糊 邏輯 的 邏輯 值 范圍 模糊集 ? 集合的概念 ? 某些指定的對(duì)象集在一起就成為一個(gè)集合，也簡(jiǎn)稱集 .集合中的每個(gè)對(duì)象叫做這個(gè)集合的元素。 ? 和二值的布爾邏輯不同，模糊邏輯是多值的。 ? 事實(shí)上， Zadeh將可能性理論擴(kuò)展到數(shù)學(xué)邏輯的形式系統(tǒng)中，他引入了新概念以應(yīng)用自然語(yǔ)言的術(shù)語(yǔ)。隨后的椅子越來(lái)越不像椅子，最后是一根圓木。 ? 1937年，哲學(xué)家 Max Black發(fā)表了論文“ Vagueness: an exercise in logical analysis”。使用該范圍內(nèi)的一個(gè)數(shù)值來(lái)表示某個(gè)命題為真或假的可能性。但是 David真的矮嗎？這種分界可以這么武斷嗎？ ? 模糊邏輯能反映人類是怎樣思考的。 ? 模糊邏輯并不是說(shuō)邏輯本身是模糊的，而是指用來(lái)描述模糊的邏輯。 ? ② 支持向量樣本集具有一定的魯棒性 。從本質(zhì)上看 ,它避開(kāi)了從歸納到演繹的傳統(tǒng)過(guò)程 ,實(shí)現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報(bào)樣本的“轉(zhuǎn)導(dǎo)推理” (transductive inference) ,大大簡(jiǎn)化了通常的分類和回歸等問(wèn)題。 ? ② 對(duì)特征空間劃分的最優(yōu)超平面是 SVM的目標(biāo) ,最大化分類邊界的思想是 SVM方法的核心 。 :: : 1 。 最優(yōu)分類面 設(shè)線性可分的樣本集 : D維空間中的線性判別函數(shù) : 這樣分類間隔就等于 ,因此要求分類間隔最大 ,就要求 最大 .而要求分類面對(duì)所有樣本正確分類 ,就是要求滿足 { , }, 1 , ... , { 1 , 1 }, di i i ix y i l y x R? ? ? ?121 1 2 21 1 2 2~~1 , 2 : 1 212: ( ) , 0.: 0 。 線性判別函數(shù)和判別面 廣義線性判別函數(shù) ? 如果建立一個(gè)二次判別函數(shù) g(x)=(xa)(xb)，則可以很好的解決上述分類問(wèn)題。 SVM的理論基礎(chǔ) ? 由于 SVM 的求解最后轉(zhuǎn)化成二次規(guī)劃問(wèn)題的求解，因此 SVM 的解是全局唯一的最優(yōu)解 ? SVM在解決 小樣本、非線性及高維模式識(shí)別 問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到 函數(shù)擬合 等其他機(jī)器學(xué)習(xí)問(wèn)題中 . 線性判別函數(shù)和判別面 ? 一個(gè)線性判別函數(shù) (discriminant function)是指由 x的各個(gè)分量的線性組合而成的函數(shù) ? 兩類情況 :對(duì)于兩類問(wèn)題的決策規(guī)則為
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1