【正文】 17/65 人工神經(jīng)元模型 ? 每一個(gè)細(xì)胞處于兩種狀態(tài) 。所謂功能性接觸是指非永久性接觸 ,它是神經(jīng)元之間信息傳遞的奧秘之處。 10/65 根本原理 第十頁，共八十七頁。 神經(jīng)網(wǎng)絡(luò)是制造一個(gè)嬰兒，一個(gè)幼兒，一個(gè)可以學(xué)習(xí)，不斷完善，從一些自然知識中汲取智慧的生命成長過程。 ? 計(jì)算機(jī)速度為納秒級，人腦細(xì)胞反響時(shí)間是毫秒級。 ? 60年代末期至 80年代中期，神經(jīng)網(wǎng)絡(luò)控制與神經(jīng)網(wǎng)絡(luò)進(jìn)入低潮 第二頁，共八十七頁。 3/65 人工神經(jīng)網(wǎng)絡(luò)的進(jìn)展 (續(xù) ) ? 高潮階段〔二十世紀(jì)八十年代〕 ? 1982和 1984年，美國加州理工學(xué)院的生物物理學(xué) J. J. Hopfield在美國科學(xué)院院刊發(fā)表的兩 篇文章，有力地推動了人工神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用，并引發(fā)了研究神經(jīng)網(wǎng)絡(luò)的一次熱潮。而計(jì)算機(jī)不如人。 ? 同樣是模仿人腦，但所考慮的角度不同。 11/65 第十一頁，共八十七頁。 14/65 第十四頁，共八十七頁。 ? 突觸聯(lián)接有強(qiáng)度 。θ 表示神經(jīng)元的閾值 。 21/65 神經(jīng)元的輸入－輸出特性滿足一定的區(qū)間線性關(guān)系 , 0001kkAy K A A AAA?? ? ??式中， K、 Ak均表示常量。 第二十三頁，共八十七頁。 同一層內(nèi)單元的相互連接使它們之間有彼此牽制作用。 數(shù)據(jù)聚類 、 壓縮 ?，F(xiàn)有的大多數(shù)神經(jīng)網(wǎng)絡(luò)模型都有這種分類能力。 ? 非凸性：系統(tǒng)演化的多樣性 ? 一個(gè)系統(tǒng)的演化方向，在一定條件下，將取決于某個(gè)特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài) ? 非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 權(quán)值修正學(xué)派認(rèn)為：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)值，以獲得期望的輸出的過程。 應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型 ， 最要原因是有 BP學(xué)習(xí)方法 。 ? 把樣本 xp看作為在 n維狀態(tài)空間中的一個(gè)矢量，那么 k個(gè)樣本為輸入空間的 k個(gè)矢量 ? 前向神經(jīng)網(wǎng)絡(luò)就是將 n維空間分為 SA、 SB兩個(gè)子空間，其分界線為 n1維的超平面。 如樣本不能用一個(gè)超平面分開，就會產(chǎn)生當(dāng)年 Minsky等提出的不可分問題 如：異或問題。因此，網(wǎng)絡(luò)可以用一個(gè)連續(xù)的超曲面〔而不僅僅是一個(gè)超平面〕來完成劃分輸入樣本空間的功能。 第四十八頁，共八十七頁。 第五十一頁，共八十七頁。 56/65 第五十六頁，共八十七頁。 ? ?? hrates, orates: 隱層、輸出層單元的學(xué)習(xí)率。 BP網(wǎng)絡(luò)學(xué)習(xí)舉例 63/65 圖 BP網(wǎng)絡(luò)舉例 第六十三頁，共八十七頁。 ? 截止目前，人們已經(jīng)提出了上百種神經(jīng)網(wǎng)絡(luò)模型 ,下表簡介最著名的幾種。 69/65 第六十九頁，共八十七頁。 71/65 第七十一頁，共八十七頁。 74/65 自組織競爭神經(jīng)網(wǎng)絡(luò) ? 概述 ? 在實(shí)際的神經(jīng)網(wǎng)絡(luò)中 ， 存在一種側(cè)抑制的現(xiàn)象 。 76/65 自組織競爭神經(jīng)網(wǎng)絡(luò) ? 概述 ? 自組織競爭神經(jīng)網(wǎng)絡(luò)是在 “無師自通〞的現(xiàn)象的根底上生成的。各個(gè)細(xì)胞分別對各種輸入敏感，可以代表各種輸入，反映各種輸入樣本的特征。 80/65 Nc(t)的形狀和變化情況 Nc(t0) Nc(t1) Nc(t2) Nc(t0) Nc(t1) Nc(t2) 第八十頁，共八十七頁?！舱{(diào)整區(qū)域函數(shù)有。 86/65 與人工智能原理的結(jié)合 ? 神經(jīng)網(wǎng)絡(luò)存在的問題： ? 網(wǎng)絡(luò)結(jié)構(gòu)大不宜實(shí)現(xiàn) ? 學(xué)習(xí)時(shí)間長效率低等 ? 提出的改進(jìn)方案： ? 利用不完善的領(lǐng)域理論和帶有噪聲的數(shù)據(jù)進(jìn)行解釋學(xué)習(xí)，產(chǎn)生一種近似正確的解釋結(jié)構(gòu)〔規(guī)那么樹〕。優(yōu)化計(jì)算和組合優(yōu)化問題求解。 n層網(wǎng)絡(luò)可以以 n1個(gè)超曲面構(gòu)成一個(gè)符合曲面，彌補(bǔ)單層感知器的缺陷。 ? 其他方案 …… 第八十六頁，共八十七頁。具有自然聚類的效果。如果輸出神經(jīng)元 j與輸入 n個(gè)神經(jīng)元之間的聯(lián)接用wj表示，對應(yīng)其一類樣本 x輸入，使 yj到達(dá)匹配最大。功能不同的離得比較遠(yuǎn)。 第七十六頁，共八十七頁。 這種側(cè)抑制在脊髓和海馬中存在 ， 在人眼的視網(wǎng)膜中也存在 。 具有前一種活動方式的神經(jīng)網(wǎng)絡(luò) ， 稱為確定性網(wǎng)絡(luò) 。 對于互連型結(jié)構(gòu)網(wǎng)絡(luò) ,沒有明顯的層次 ,任意兩處理單元之間都是可達(dá)的 ,具有輸出單元到隱單元 (或輸入單元 )的反響連接 ， 這樣就形成另一類網(wǎng)絡(luò) ,稱之為反響網(wǎng)絡(luò) 。 神經(jīng)網(wǎng)絡(luò)模型 66/65 第六十六頁，共八十七頁。因?yàn)榫W(wǎng)絡(luò)的輸出向量 (1， 0， 0)、 (0，1， 0)、 (0， 0， 1)可以表示多種模式或狀態(tài)。 ? ?? epochs: 最大訓(xùn)練過程的迭代數(shù)。 58/65 第五十八頁，共八十七頁。 ? 將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的連接權(quán)值，使得輸出誤差信號到達(dá)最小。 ? 當(dāng)輸出 f(u)0時(shí)，其輸出不一定為 １ ，而是一個(gè)(有時(shí)只是 0)的值，表示所得到的概率為多少。從后往前算。 44/65 + + + + + + + + X1 X2 二維輸入感知器及其在狀態(tài)空間中的劃分 第四十四頁，共八十七頁。 第四十一頁，共八十七頁。上層單元與下層所有單元相聯(lián)接 ? 特性函數(shù)可以是線性閾值的。 從不同角度考慮，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有不同的分類。 33/65 根本原理－優(yōu)缺點(diǎn) ? 評價(jià) ? 優(yōu)點(diǎn)： 并行性；分布存儲；容錯性；學(xué)習(xí)能力 ? 缺點(diǎn)： 不適合高精度計(jì)算；學(xué)習(xí)問題沒有根本解決，慢；目前沒有完整的設(shè)計(jì)方法， 經(jīng)驗(yàn)參數(shù)太多 。 根據(jù)給定的概率密度函數(shù) ， 通過自組織網(wǎng)絡(luò)來響應(yīng)在空間 Rn中服從這一概率分布的一組向量樣本 X1，X2， … ， Xk。 聯(lián)想記憶 。 27/65 根本原理－網(wǎng)絡(luò)模型 ? 廣泛互連網(wǎng)絡(luò)：所有計(jì)算單元之間都有連接，即網(wǎng)絡(luò)中任意兩個(gè)神經(jīng)元之間都可以或可能是可達(dá)的。 x 1 x2 x n y 1 y2 y n 第二十四頁，共八十七頁。 22/65 人工神經(jīng)元模型 ? 以上三種特性函數(shù)的圖像依次如以下圖中的 (a)、 (b)、 (c)所示 ? 神經(jīng)細(xì)胞的輸出對輸入的反映 。 19/65 于是，人工神經(jīng)元的輸入