【文章內(nèi)容簡介】 , 戴葵 等譯 .《神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)》 , 機(jī)械工業(yè)出版社 , 2023.38 神經(jīng)元的組成部分示意圖39 生理神經(jīng)元的結(jié)構(gòu)說明n 神經(jīng)元由兩部分組成 n 細(xì)胞體 (cell body或 soma)n 突 (process)：實(shí)現(xiàn)神經(jīng)元間的信息傳遞n 軸突 (axon)：長度可達(dá) 1m，把本神經(jīng)元的輸出發(fā)送至其它相連接的神經(jīng)元 n 樹突 (dendrite)：一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來自其它神經(jīng)元的生物信號(hào) n 突觸 (synapse)：是軸突的末端與樹突進(jìn)行信號(hào)傳遞的界面，通過突觸向其它神經(jīng)元發(fā)送信息。n 對(duì)某些突觸的刺激促使神經(jīng)元 觸發(fā) (fire)。只有神經(jīng)元所有輸入的總效應(yīng)達(dá)到閾值電平，它才能開始工作。 n ……40 人工神經(jīng)網(wǎng)絡(luò)（ ANN）的組成n 人工神經(jīng)網(wǎng)絡(luò) （ Artificial Neural Nets, ANN）：一種由模擬神經(jīng)元組成的，以處理單元 PE (processing element)為節(jié)點(diǎn)，用加權(quán)有向弧 (鏈 )相互連接而成的有向圖。n 處理單元： 對(duì)生理神經(jīng)元的模擬；n 有向弧： 軸突 突觸 樹突對(duì)的模擬，有向弧的權(quán)值表示兩處理單元間相互作用的強(qiáng)弱。 41ANN的組成示意圖42 ANN的數(shù)學(xué)描述n 令來自其它處理單元（神經(jīng)元） i的信息為 xi，它們與本處理單元的互相作用強(qiáng)度為 wi， i = 0,1,…， n1，處理單元的內(nèi)部閾值為 θ。那么本神經(jīng)元的輸入為n 處理單元的輸出為43常用的激發(fā)函數(shù)（作用函數(shù)）n 上述 f()稱為 激發(fā)函數(shù) （ 作用函數(shù) ）n 常用的激發(fā)函數(shù)閾值型 分段線性飽和型 S型函數(shù)44 典型的 ANNn 常見的 ANNn 感知器 (Perceptron) n 反向傳播 (BP)網(wǎng) n 自適應(yīng)共振 (ART) n 雙向聯(lián)想存儲(chǔ)器 (BAM) n BSB模型，也稱盒中腦模型n CPN(Counter Propagation Network)，也稱對(duì)流網(wǎng)n Hopfield網(wǎng) n MadaLine n 認(rèn)知機(jī) (Neocognitron) n ……45 BP網(wǎng)簡介n 反向傳播 (backpropagation, BP)算法 ： 是一種計(jì)算單個(gè)權(quán)值變化引起網(wǎng)絡(luò)性能變化值的較為簡單的方法。n 1986年 , Rumelhart Mclelland首次提出n 至今應(yīng)用最廣的人工神經(jīng)網(wǎng)絡(luò) n 由于 BP算法過程包含從輸出節(jié)點(diǎn)開始，反向地向第一隱含層 (即最接近輸入層的隱含層 )傳播由總誤差引起的權(quán)值修正，所以稱為 “反向傳播 ”。 46BP網(wǎng)的基本結(jié)構(gòu)n BP網(wǎng)的三個(gè)層次n 輸入層n 隱含層n 輸出層n 特點(diǎn)：相鄰層神經(jīng)元間全互連，通層神經(jīng)元無連接47BP網(wǎng)的基本思路n 正向傳播過程 ： 當(dāng)給 BP網(wǎng)提供一個(gè)輸入模式時(shí)，該模式由輸入層傳到隱含層，經(jīng)隱含層神經(jīng)元作用函數(shù)處理后傳送到輸出層，再經(jīng)由輸出層神經(jīng)元作用函數(shù)處理后產(chǎn)生一個(gè)輸出模式。n 反向傳播過程 ： 若輸出模式與期望的輸出模式有誤差，就從輸出層反向?qū)⒄`差逐層傳送到輸入層，把誤差 “分?jǐn)?”給各神經(jīng)元并修改連接權(quán)，使 BP網(wǎng)實(shí)現(xiàn)從輸入模式到輸出模式的正確映射。n 對(duì)于一組訓(xùn)練模式，可逐個(gè)用訓(xùn)練模式作為輸入，反復(fù)進(jìn)行誤差檢測和反向傳播過程，直到不出現(xiàn)誤差為止。48BP網(wǎng)的簡單實(shí)例－解決 XOR問題n 作用函數(shù) f(ai)為閾值型，即1111輸入層 隱含層 輸出層49利用 BP網(wǎng)解決 XOR問題（續(xù)）n 上部隱含層 完成一個(gè)線性分類n 輸入模式 (0, 0)為一類，輸出 0n (0, 1), (1, 0), (1, 1)為另一類，輸出 1n 下部隱含層 完成另一個(gè)線性分類n (0, 0), (0, 1), (1, 0) 為一類，輸出 0n (1, 1)為另一類，輸出 1n 兩個(gè)隱含神經(jīng)元已對(duì)輸入空間進(jìn)行了初步劃分，這種預(yù)處理實(shí)際上完成了對(duì)輸入空間的特征抽象，從而為實(shí)現(xiàn)復(fù)雜的模式分類奠定了基礎(chǔ)。n 輸出層 基于隱含層的輸出，完成最終的分類：n (0, 0)和 (1, 1)為一類，輸出為 0n (0, 1)和 (1, 0)為一類，輸出為 150 不確定性推理n 精確推理的局限性n 不確定性推理的定義及意義n 不確定性推理中的基本問題n 不確定性推理的分類n 關(guān)于不確定性推理方法的說明51? 推理n 依據(jù)已知事實(shí)（證據(jù)）、相關(guān)知識(shí)（規(guī)則）n 證明某個(gè)假設(shè)成立 or 不成立? 精確推理及其不足n 將原本為不確定性的關(guān)系 “ 硬性 ” 轉(zhuǎn)化為精確關(guān)系n 將原本不存在明確界限的事物 “ 人為 ” 劃定界限n 歪曲了現(xiàn)實(shí)情況的本來面目n 舍棄了事物的某些重要屬性n 失去了真實(shí)性n …… 精確推理的局限性52 不確定性推理的定義及意義1. 定義n 也稱 “不精確性推理 ”n 從不確定性的初始證據(jù)（即已知事實(shí)）出發(fā)n 運(yùn)用不確定性的知識(shí)（或規(guī)則）n 推出具有一定程度的不確定性但卻是合理或近乎合理的結(jié)論2. 意義n 使計(jì)算機(jī)對(duì)人類思維的模擬更接近于人類的真實(shí)思維過程53 不確定性推理中的基本問題n 不確定性的表示與度量n 不確定性匹配n 不確定性的傳遞算法n 不確定性的合成54 不確定性推理方法的分類1. 不確定性推理的兩條研究路線n 模型方法n 在推理一級(jí)上擴(kuò)展確定性推理n 不確定證據(jù)和知識(shí)與某種度量標(biāo)準(zhǔn)對(duì)應(yīng)n 給出更新結(jié)論不確定性的算法n 構(gòu)成相應(yīng)的不確定性推理模型n 控制方法n 在控制策略一級(jí)上處理不確定性n 無統(tǒng)一的不確定性處理模型，其效果依賴于控制策略552. 不確定性推理方法的分類不確定性推理模型方法控制方法數(shù)值方法非數(shù)值方法概率統(tǒng)計(jì)方法模糊推理方法粗糙集方法絕對(duì)概率方法貝葉斯方法證據(jù)理論方法HMM方法發(fā)生率計(jì)算相關(guān)性制導(dǎo)回溯、機(jī)緣控制、啟發(fā)式搜索等可信度方法56 關(guān)于不確定性推理方法的說明n 數(shù)值方法n 對(duì)不確定性的一種定量表示和處理方法n 其研究及應(yīng)用較多，已形成多種應(yīng)用模型n 非數(shù)值方法n 除數(shù)值方法外的其它處理不確定性的模型方法n 典型代表： “發(fā)生率計(jì)算方法 ”，它采用集合來描述和處理不確定性，且滿足概率推理的性質(zhì)57關(guān)于不確定性推理方法的說明（續(xù) 1）n 概率統(tǒng)計(jì)方法n 有完整、嚴(yán)密的數(shù)學(xué)理論n 為不確定性的合成與傳遞提供了現(xiàn)成的數(shù)學(xué)公式n 最早、最廣泛地用于不確定性知識(shí)的表示與處理n 已成為不確定性推理的重要手段n 證據(jù)理論方法n 1967年 Dempster首次提出， 1976年 Shafer完善n 可表示并處理 “不知道 ”等不確定性信息58關(guān)于不確定性推理方法的說明（續(xù) 2）n 模糊推理方法n 可表示并處理由模糊性引起的不確定性n 已廣泛應(yīng)用于不確定性推理n 粗糙集理論方法n 1981年 Z. Pawlak首次提出n 一種新的可表示并處理 “含糊 ”等不確定性的數(shù)學(xué)方法n 可用于不確定性推理、數(shù)據(jù)挖掘等領(lǐng)域59 機(jī)器學(xué)習(xí)n 機(jī)器學(xué)習(xí)的定義n 機(jī)器學(xué)習(xí)的地位和作用n 機(jī)器學(xué)習(xí)的發(fā)展歷程n 機(jī)器學(xué)習(xí)中的五個(gè)挑戰(zhàn)性問題n 機(jī)器學(xué)習(xí)中的主要理論問題n 機(jī)器學(xué)習(xí)的發(fā)展趨勢60 機(jī)器學(xué)習(xí)的定義n 何謂 機(jī)器學(xué)習(xí) （ Machine Learning） ？n Tom M. Mitchell認(rèn)為：機(jī)器學(xué)習(xí)是 計(jì)算機(jī)利用經(jīng)驗(yàn)改善系統(tǒng)自身性能的行為 。 n 其它定義： “令 W是給定世界的有限或無限的所有觀測對(duì)象的集合，由于我們觀察能力的限制，只能能獲得這個(gè)世界的一個(gè)有限的子集 Q(為 W的子集 )，稱為樣本集。機(jī)器學(xué)習(xí)就是 根據(jù)這個(gè)樣本集，推算這個(gè)世界的模型，使它對(duì)這個(gè)世界（盡可能地）為真。 ”n 機(jī)器學(xué)習(xí)是 “神經(jīng)科學(xué)（含認(rèn)知科學(xué)）＋數(shù)學(xué)＋計(jì)算 ”的有機(jī)結(jié)合61 機(jī)器學(xué)習(xí)的地位和作用n 機(jī)器學(xué)習(xí)是 AI的核心研究內(nèi)容n 已成為整個(gè)計(jì)算機(jī)領(lǐng)域中 最活躍、應(yīng)用潛力最明顯 的領(lǐng)域之一 n 美國航空航天局 JPL實(shí)驗(yàn)室的科學(xué)家們?cè)?2023年 9月出版的《 Science》上撰文指出： “機(jī)器學(xué)習(xí)對(duì)科學(xué)研究的整個(gè)過程正起到越來越大的支持作用， …… ，該領(lǐng)域在今后的若干年內(nèi)將取得穩(wěn)定而快速的發(fā)展。 ” n 機(jī)器學(xué)習(xí)研究的熱門程度還可以從該領(lǐng)域的國際權(quán)威期刊 Journal of Machine Learning Research的影響因子看出，據(jù)美國科學(xué)引文檢索公司（ ISI）統(tǒng)計(jì)， 2023年