【正文】 缺點(diǎn)：不能逐步學(xué)習(xí)，有問(wèn)題時(shí)只能重新搜索。 缺點(diǎn)：容易由于個(gè)別錯(cuò)誤例子推出錯(cuò)誤假設(shè) ? 模型驅(qū)動(dòng) 優(yōu)點(diǎn)：抗干擾性強(qiáng)，用整個(gè)例子集對(duì)假設(shè)進(jìn)行統(tǒng)計(jì)。在網(wǎng)絡(luò)的初始結(jié)構(gòu)確定以后利用修改后適于置信度輸出的函數(shù)的誤差反傳算法， CFBP算法進(jìn)行訓(xùn)練。 ......… . 與人工智能原理的結(jié)合 ......… . ? 用符號(hào)和聯(lián)接學(xué)習(xí)相結(jié)合的方法來(lái)修正非確定性推理規(guī)則集的參數(shù)和結(jié)構(gòu)學(xué)習(xí)系統(tǒng)，首先，將初始規(guī)則集映射成相應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)，有規(guī)則的置信度決定聯(lián)接的權(quán)值。有人提出如下方案： ? 利用不完善的領(lǐng)域理論和帶有噪聲的數(shù)據(jù)進(jìn)行解釋學(xué)習(xí)，產(chǎn)生一種近似正確的解釋結(jié)構(gòu)（規(guī)則樹(shù)）。其中最多的是模式識(shí)別、通訊、控制、信號(hào)處理等方面。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 ? 該門(mén)科學(xué)起源于心理學(xué)、生理學(xué)、生物學(xué)、醫(yī)學(xué)等科學(xué)，研究發(fā)展過(guò)程中又涉及到數(shù)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域。） 各種函數(shù) ? 網(wǎng)絡(luò)學(xué)習(xí)的結(jié)果是：比較相近的輸入樣本在輸出平面上映射的位置也比較接近。因此，這種網(wǎng)絡(luò)對(duì)于樣本的畸變和噪聲的容差大。 .......… . 自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò) ........… . ? 網(wǎng)絡(luò)學(xué)習(xí)時(shí)對(duì)權(quán)的調(diào)整不只是對(duì)興奮的那個(gè)細(xì)胞所對(duì)應(yīng)的權(quán)進(jìn)行，而對(duì)其周?chē)?Nc區(qū)域內(nèi)的神經(jīng)元同時(shí)進(jìn)行調(diào)整。如果輸出神經(jīng)元 j與輸入 n個(gè)神經(jīng)元之間的聯(lián)接用wj表示，對(duì)應(yīng)其一類(lèi)樣本 x輸入，使 yj達(dá)到匹配最大。 此過(guò)程的反復(fù)過(guò)程中 ， 各種不同輸入樣本將會(huì)分別映射到不同的細(xì)胞上 。 ? 網(wǎng)絡(luò)形成過(guò)程： 開(kāi)始是無(wú)序的 ， 當(dāng)輸入樣本出現(xiàn)后各個(gè)細(xì)胞反映不同 ， 強(qiáng)者依照 “ 勝者為王 ” 的原則 ， 加強(qiáng)自己的同時(shí)對(duì)周?chē)?xì)胞進(jìn)行壓抑 。 如果在二維空間上描述這些細(xì)胞 ， 則 ， 功能相近的細(xì)胞聚在一起 ， 靠得比較近 。 模型是以實(shí)際神經(jīng)細(xì)胞中的一種特征敏感的細(xì)胞為模型的 。此時(shí)贏者的權(quán)向量與輸入向量的歐氏距離最小。 ? 人類(lèi)等生物的生長(zhǎng)過(guò)程。 ? 勝者為王 。 自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò) ? 概述 ? 這種抑制使神經(jīng)細(xì)胞之間出現(xiàn)競(jìng)爭(zhēng) ， 一個(gè)興奮最強(qiáng)的神經(jīng)細(xì)胞對(duì)周?chē)窠?jīng)細(xì)胞的抑制也強(qiáng) 。 即一個(gè)細(xì)胞興奮后 ， 通過(guò)它的分支會(huì)對(duì)周?chē)渌窠?jīng)細(xì)胞產(chǎn)生抑制 。是應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。當(dāng)輸出 f(u)0時(shí)，其輸出不一定為１，而是一個(gè) (有時(shí)只是 0)的值，表示所得到的概率為多少。理論上，多層前饋網(wǎng)絡(luò)在不考慮結(jié)果規(guī)模的前提下，可以模擬任意的輸出函數(shù)。 210)(21111? ?????PPmlPlPl ytE No No Y e s Y e s 給定輸入向量和目標(biāo)輸出 初始化 求隱層、輸出層各單元輸出 求目標(biāo)值與實(shí)際輸出的偏差 e e 滿(mǎn)足要求？ 全部 ei滿(mǎn)足？ 計(jì)算隱層單元誤差 求誤差梯度 權(quán)值學(xué)習(xí) E N D 前饋型神經(jīng)網(wǎng) ? 多層感知器 ? n層網(wǎng)絡(luò)可以以 n1個(gè)超曲面構(gòu)成一個(gè)符合曲面，彌補(bǔ)了單層感知器的缺陷。 ? 先求誤差，用梯度下降的方法求誤差的傳遞。 )()(. . .)(12011012101iniijjjnjikkvknkvkllxwfxxwfxxwfyv???????????前饋型神經(jīng)網(wǎng) ? 多 層感知器 ? 采用 BP算法學(xué)習(xí)時(shí)要求傳遞函數(shù)為有界連續(xù)可微函數(shù)如 sigmoid函數(shù)。前一層的輸出是下一層的輸入。如樣本不能用一個(gè)超平面分開(kāi)，就會(huì)產(chǎn)生當(dāng)年 Minsky等提出的不可分問(wèn)題。 前饋型神經(jīng)網(wǎng) －單層感知器 ?例子： 2維空間 Txxx ),( 21? T ),(21? )( 2211 ???? xwxwfy希望找到一根直線(xiàn)，把 A, B兩類(lèi)樣本分開(kāi)，其分界線(xiàn)為 : 21212 wxwwx ???? 解有無(wú)數(shù)個(gè)。 ? 如： ........… . 前饋型神經(jīng)網(wǎng) －單層感知器 ........… . ),2,1,...2,1(其中, kllBlASxSx BBAA ??????則存在一組權(quán)值 wij使得公式 (1)滿(mǎn)足 : 1,。而方程（ 1）就是把這個(gè) n為空間分為 SA、 SB兩個(gè)子空間，其分界線(xiàn)為 n1維的超平面。關(guān)鍵是學(xué)習(xí)算法及網(wǎng)絡(luò)設(shè)計(jì)方法： ? 輸出 yi等于 ： )( jjiji xwfy ??? ? (1) ??????0101)(?jjj uuuf　　　　　　　　　　　　其中 前饋型神經(jīng)網(wǎng) －單層感知器 ? 分類(lèi)方法： ? 如果輸入 x有 k個(gè)樣本 ， xp, p=1, 2, … , k, x?Rn ? 當(dāng)將這些樣本分別輸入到單輸出的感知器中，在一定的和下，輸出有兩種可能 +1或 1。采用階躍函數(shù)作為傳遞函數(shù)。 前饋型神經(jīng)網(wǎng) ? 單層感知器 w 1 θ Y x 1 x n w n Σ 前饋型神經(jīng)網(wǎng) ? 基本原理，結(jié)構(gòu)簡(jiǎn)單。上層單元與下層所有單元相聯(lián)接。 應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型 ， 最要原因是有 BP學(xué)習(xí)方法 。 基本原理 －優(yōu)缺點(diǎn) ? 評(píng)價(jià) ? 優(yōu)點(diǎn)： 并行性；分布存儲(chǔ)；容錯(cuò)性；學(xué)習(xí)能力 ? 缺點(diǎn)： 不適合高精度計(jì)算；學(xué)習(xí)問(wèn)題沒(méi)有根本解決，慢；目前沒(méi)有完整的設(shè)計(jì)方法，經(jīng)驗(yàn)參數(shù)太多。 ? 非凸性： 一個(gè)系統(tǒng)的演化方向，在一定條件下，將取決于某個(gè)特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。神經(jīng)網(wǎng)絡(luò)不但處理的信息有各種各樣，而且在處理信息的同時(shí)，非線(xiàn)性動(dòng)力系統(tǒng)本身也在不斷變化。聯(lián)想記憶是非局域性的典型例子。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互聯(lián)接所決定。這種行為在數(shù)學(xué)上表現(xiàn)為一種非線(xiàn)性。大腦的智慧就是一種非線(xiàn)性現(xiàn)象。如：Hopfield網(wǎng)絡(luò) ? 反饋型局部聯(lián)接網(wǎng)絡(luò)：特例，每個(gè)神經(jīng)元的輸出只與其周?chē)纳窠?jīng)元相連，形成反饋網(wǎng)絡(luò)。而網(wǎng)絡(luò)本身還是前饋型的 x 1 x2 x n y 1 y2 y n 基本原理 －網(wǎng)絡(luò)模型 ? 前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)：外部看還是一個(gè)前向網(wǎng)絡(luò)，內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互聯(lián)著。 f(u) f(u) f(u)1 1 10 0 0u u u( a) (b ) (c )基本原理 －網(wǎng)絡(luò)結(jié)構(gòu) ? 人腦神經(jīng)網(wǎng)絡(luò)： 人腦中約有１４０億個(gè)神經(jīng)細(xì)胞 ， 根據(jù) Stubbz的估計(jì)這些細(xì)胞被安排在約１０００個(gè)主要模塊內(nèi) ， 每個(gè)模塊上有上百個(gè)神經(jīng)網(wǎng)絡(luò) ， 每個(gè)網(wǎng)絡(luò)約有１０萬(wàn)個(gè)神經(jīng)細(xì)胞 。 y i s i x 1 x 2 x n u i θ i 基本原理 －神經(jīng)元模型 ? 轉(zhuǎn)移函數(shù)： ? 神經(jīng)細(xì)胞的輸出對(duì)輸入的反映 。 多輸入單輸出 。 在網(wǎng)的結(jié)構(gòu)之中，一條出問(wèn)題不會(huì)觸大錯(cuò)，網(wǎng)絡(luò)結(jié)構(gòu)不會(huì)隨知識(shí)增加變化很大 信息傳遞方式 符號(hào) 脈沖形式，以頻率表示 信息 處理方式 樹(shù)、網(wǎng)等，一條一條執(zhí)行，并行處理較難 原理上是并行結(jié)構(gòu)，與生物信息處理機(jī)制一致 基本原理 －神經(jīng)元模型 細(xì)胞核 細(xì)胞質(zhì) 樹(shù)突 突觸 來(lái)自其他細(xì)胞 細(xì)胞膜 軸突 神經(jīng)末梢 基本原理 －神經(jīng)元模型 ? 神經(jīng)元 ? 每一個(gè)細(xì)胞處于兩種狀態(tài) 。 闡明有關(guān)人腦結(jié)構(gòu)及其功能以及相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)律。一個(gè)是總結(jié)出常人都不懂得規(guī)律；一個(gè)是沒(méi)完沒(méi)了向他出示、重復(fù)一樣?xùn)|西，就象教一個(gè)小孩子說(shuō)話(huà)。成年人和嬰兒。 神經(jīng)網(wǎng)絡(luò)是制造一個(gè)嬰兒，一個(gè)幼兒，一個(gè)可以學(xué)習(xí)，不斷完善，從一些自然知識(shí)中汲取智慧的生命成長(zhǎng)過(guò)程。 ? 不同之處： ? 人工智能研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，解決需人類(lèi)專(zhuān)家才能處理的復(fù)雜問(wèn)題。 ? IJCNN等大會(huì) ? Neural Computing, IEEE Neural Network 等期刊 概述 ? 人工智能與神經(jīng)網(wǎng)絡(luò) ? 共同之處：研究怎樣使用計(jì)算機(jī)來(lái)模仿人腦工作過(guò)程。該方法克服了感知器非線(xiàn)性不可分類(lèi)問(wèn)題，給神經(jīng)網(wǎng)絡(luò)研究帶來(lái)了新的希望。 概述 － 發(fā)展史 ? 1986年美國(guó)的一個(gè)平行計(jì)算研究小組提出了前項(xiàng)反饋神經(jīng)網(wǎng)絡(luò)的 Back Propagation（ BP）學(xué)習(xí)算法。T等做出了半導(dǎo)體芯片。證明了網(wǎng)絡(luò)可達(dá)到穩(wěn)定的離散和連續(xù)兩種情況?；舅枷胧菍?duì)于一個(gè)給定的神經(jīng)網(wǎng)絡(luò)，對(duì)于一個(gè)能量函數(shù)，這個(gè)能量函數(shù)是正比于每一個(gè)神經(jīng)元的活動(dòng)值和神經(jīng)元之間的聯(lián)接權(quán)。 概述 － 發(fā)展史 ? 1982年 John J. Hopfield（物理學(xué)家）提出了全聯(lián)接網(wǎng)絡(luò)，離散的神經(jīng)網(wǎng)絡(luò)模型。 圖 能劃分的、不能劃分的 概述 － 發(fā)展史 ? 七十年代 ,據(jù)說(shuō)全球只有幾十個(gè)人在研究，但還是成功的。 ——神經(jīng)網(wǎng)絡(luò)研究一度達(dá)到低潮。對(duì)于非線(xiàn)性或其他分類(lèi)會(huì)遇到很大困難。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮。 jiijij SSww ????概述 － 發(fā)展史 赫布規(guī)則 意義 （提出了變化的概念） ? 提出了一個(gè)神經(jīng)網(wǎng)絡(luò)里信息是儲(chǔ)藏在突觸連接的權(quán)中的概念 ? 連接權(quán)的學(xué)習(xí)律是正比于兩個(gè)被連接神經(jīng)細(xì)胞的活動(dòng)狀態(tài)值的乘積 ? 假設(shè)權(quán)是對(duì)稱(chēng)的 ? 細(xì)胞的互相連接的結(jié)構(gòu)是他們權(quán)的改變創(chuàng)造出來(lái)的 概述 － 發(fā)展史 ? 1957年 Frank Rosenblatt定義了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱(chēng)為感知器 (Perceptron) 。 ——赫布規(guī)則（ p129) 多用于自組織網(wǎng)絡(luò)的學(xué)習(xí)。 ——標(biāo)志神經(jīng)計(jì)算時(shí)代的開(kāi)始 輸出表達(dá)式 圖 ??????????iixxy01概述 － 發(fā)展史 MP模型的 意義 ： ? MP模型能完成一定的邏輯運(yùn)算 ?第一個(gè)采用集體并行計(jì)算結(jié)構(gòu)來(lái)描述人工神經(jīng)元和網(wǎng)絡(luò)工作。描述了一個(gè)簡(jiǎn)單的人工神經(jīng)元模型的活動(dòng)是服從二值（興奮和抑制）變化的。而且一個(gè)單元的活動(dòng)程度與他周?chē)幕顒?dòng)數(shù)目和活動(dòng)密度成正比。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。 ? 長(zhǎng)期以來(lái)人類(lèi)的夢(mèng)想，機(jī)器既能超越人的計(jì)算能力，又有類(lèi)似于人的識(shí)別、分析、聯(lián)想等能力。 ? 計(jì)算機(jī)速度為納秒級(jí)，人腦細(xì)胞反應(yīng)時(shí)間是毫秒級(jí)。,..,( 21 ?maaas ?????????? mm axaxax ...2211第六章 機(jī)器學(xué)習(xí) ? 概述 ? 實(shí)例學(xué)習(xí) ? 基于解釋的學(xué)習(xí) ? 決策樹(shù)學(xué)習(xí) ? 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 第六章 機(jī)器學(xué)習(xí) ? 概述 ? 實(shí)例學(xué)習(xí) ? 基于解釋的學(xué)習(xí) ? 決策樹(shù)學(xué)習(xí) ? 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 人工神經(jīng)元網(wǎng)絡(luò) ? 概述 ? 基本原理 ? 前饋型人工神經(jīng)元網(wǎng)絡(luò) ? 自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò) ? 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 ? 與人工智能原理的結(jié)合 參考書(shū)： 《 人工神經(jīng)網(wǎng)絡(luò)的模型及其應(yīng)用 》 復(fù)旦大學(xué)出版社，張立明 概述 ? 什么叫人工神經(jīng)網(wǎng)絡(luò) ? 采用物理可實(shí)現(xiàn)的系統(tǒng)來(lái)模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。這里的屬性和類(lèi)具有廣泛的意義。設(shè) X的符號(hào) ai， Y的符號(hào) bj， p(ai|bj)為當(dāng) Y為 bj時(shí)， X為 ai的概率，則有： ? 平均互信息量 ? 用平均互信息量來(lái)表示信號(hào) Y所能提供的關(guān)于 X的信息量的大小，用 I(X, Y)表示： ????????riiirrapapaIapaIapaIapXH1211)(l o g)()()(...)2()()()()(?? ???