【正文】 n 知識(shí)發(fā)現(xiàn) （ Knowledge Discovery in Database）：是用數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù)，用機(jī)器學(xué)習(xí)的方法來(lái)分析數(shù)據(jù)，挖掘大量數(shù)據(jù)背后隱藏的知識(shí)，也稱(chēng)數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)。n HMM是一個(gè)雙重隨機(jī)過(guò)程，兩個(gè)組成部分：n 馬爾可夫鏈 ：描述狀態(tài)的轉(zhuǎn)移，用 轉(zhuǎn)移概率描述。 NN設(shè)計(jì)者需要用高超的工程技巧彌補(bǔ)了數(shù)學(xué)上的缺陷84 SVM的 主要應(yīng)用領(lǐng)域n 手寫(xiě)數(shù)字識(shí)別n 語(yǔ)音識(shí)別n 人臉識(shí)別n 文本分類(lèi)n ……85 隱馬爾可夫模型 (HMM)n 馬爾可夫模型的由來(lái)n 馬爾可夫過(guò)程n 一個(gè)實(shí)驗(yàn) —— 球缸模型n HMM的基本原理n HMM的形式化描述n HMM的三個(gè)基本問(wèn)題n HMM的三個(gè)主要算法86馬爾可夫模型（ MM）的由來(lái) n 1870年，俄國(guó)有機(jī)化學(xué)家 Vladimir V. Markovnikov第一次提出 Markov Model（ MM）n MM本質(zhì)上是一種隨機(jī)過(guò)程n HMM是一個(gè) 二重 Markov隨機(jī)過(guò)程 ，包括具有狀態(tài)轉(zhuǎn)移概率的 Markov鏈和輸出觀測(cè)值的隨機(jī)過(guò)程n HMM的狀態(tài)是不確定或不可見(jiàn)的，只有通過(guò)觀測(cè)序列的隨機(jī)過(guò)程才能表現(xiàn)出來(lái)n 最成功的應(yīng)用領(lǐng)域之一 —— 語(yǔ)音識(shí)別87 Markov過(guò)程n 過(guò)程或系統(tǒng)在時(shí)刻 T0所處狀態(tài)為已知的條件下，過(guò)程在時(shí)刻 TT0所處狀態(tài)的條件分布與過(guò)程在時(shí)刻 t0之前所處的狀態(tài)無(wú)關(guān)。n 分類(lèi)函數(shù)只涉及到訓(xùn)練樣本之間的內(nèi)積運(yùn)算 (xi在每個(gè)子集中尋找最小經(jīng)驗(yàn)風(fēng)險(xiǎn) ,在子集間折衷考慮經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍 ,取得實(shí)際風(fēng)險(xiǎn)的最小。 ”n 機(jī)器學(xué)習(xí)是 “神經(jīng)科學(xué)（含認(rèn)知科學(xué)）＋數(shù)學(xué)＋計(jì)算 ”的有機(jī)結(jié)合61 機(jī)器學(xué)習(xí)的地位和作用n 機(jī)器學(xué)習(xí)是 AI的核心研究?jī)?nèi)容n 已成為整個(gè)計(jì)算機(jī)領(lǐng)域中 最活躍、應(yīng)用潛力最明顯 的領(lǐng)域之一 n 美國(guó)航空航天局 JPL實(shí)驗(yàn)室的科學(xué)家們?cè)?2023年 9月出版的《 Science》上撰文指出： “機(jī)器學(xué)習(xí)對(duì)科學(xué)研究的整個(gè)過(guò)程正起到越來(lái)越大的支持作用， …… ，該領(lǐng)域在今后的若干年內(nèi)將取得穩(wěn)定而快速的發(fā)展。n 1986年 , Rumelhart Mclelland首次提出n 至今應(yīng)用最廣的人工神經(jīng)網(wǎng)絡(luò) n 由于 BP算法過(guò)程包含從輸出節(jié)點(diǎn)開(kāi)始，反向地向第一隱含層 (即最接近輸入層的隱含層 )傳播由總誤差引起的權(quán)值修正，所以稱(chēng)為 “反向傳播 ”。37 人工神經(jīng)網(wǎng)絡(luò) n 生理神經(jīng)元的結(jié)構(gòu)n 人工神經(jīng)網(wǎng)絡(luò)的組成n 人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)描述n 典型的人工神經(jīng)網(wǎng)絡(luò)n BP網(wǎng)簡(jiǎn)介【注】：關(guān)于人工神經(jīng)網(wǎng)絡(luò)的詳細(xì)原理及應(yīng)用可參見(jiàn)： Martin T. Hagan 等著 , 戴葵 等譯 .《神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)》 , 機(jī)械工業(yè)出版社 , 2023.38 神經(jīng)元的組成部分示意圖39 生理神經(jīng)元的結(jié)構(gòu)說(shuō)明n 神經(jīng)元由兩部分組成 n 細(xì)胞體 (cell body或 soma)n 突 (process)：實(shí)現(xiàn)神經(jīng)元間的信息傳遞n 軸突 (axon)：長(zhǎng)度可達(dá) 1m，把本神經(jīng)元的輸出發(fā)送至其它相連接的神經(jīng)元 n 樹(shù)突 (dendrite)：一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來(lái)自其它神經(jīng)元的生物信號(hào) n 突觸 (synapse)：是軸突的末端與樹(shù)突進(jìn)行信號(hào)傳遞的界面，通過(guò)突觸向其它神經(jīng)元發(fā)送信息。 劇本的組成 （ 1） 進(jìn)入條件 ：指出劇本所描述的事件可能發(fā)生的先決條件，即事件發(fā)生的 前提條件 。通過(guò)推理網(wǎng)絡(luò)而實(shí)現(xiàn)的推理不能保證其正確性。 語(yǔ)義網(wǎng)絡(luò)的基本思想 ：在這種網(wǎng)絡(luò)中，用 “ 節(jié)點(diǎn) ” 代替概念，用節(jié)點(diǎn)間的 “ 連接弧 ”( 稱(chēng)為 聯(lián)想弧 )代替概念之間的關(guān)系，因此，語(yǔ)義網(wǎng)絡(luò)又稱(chēng) 聯(lián)想網(wǎng)絡(luò) 。如： 化學(xué)反應(yīng) 方面的知識(shí)。 b）模塊性 ：產(chǎn)生式是規(guī)則庫(kù)中的最基本的知識(shí)單元，形式相同，易于模塊化管理。n 謂詞公式：用連詞 （ ?, ?, ?等） 把原子謂詞公式組成的合適公式。 ”n 對(duì)應(yīng)的謂詞公式： ??x[愛(ài) (x) ? ? ?y 緣故 (x, y)] ? ??t[恨 (t) ? ? ?s 緣故 (t, s)]114. 一階謂詞表示法的優(yōu)、缺點(diǎn)(1) 優(yōu)點(diǎn)n 自然性n 接近自然語(yǔ)言，容易接受n 精確性n 用于表示精確知識(shí)n 嚴(yán)密性n 有嚴(yán)格的形式定義和推理規(guī)則n 易實(shí)現(xiàn)性n 易于轉(zhuǎn)換為計(jì)算機(jī)內(nèi)部形式12一階謂詞表示法的優(yōu)、缺點(diǎn)（續(xù)）(2) 缺點(diǎn)n 無(wú)法表示不確定性知識(shí)n 所能表示的知識(shí)范圍太狹窄n 難以表示啟發(fā)性知識(shí)及元知識(shí)n 未能充分利用與問(wèn)題本身特性有關(guān)的知識(shí)n 組合爆炸n 經(jīng)常出現(xiàn)事實(shí)、規(guī)則等的組合爆炸n 效率低n 推理與知識(shí)的語(yǔ)義完全割裂13 產(chǎn)生式表示法n 1943年 E. Post第一次提出n 稱(chēng)為 “Post機(jī) ”的計(jì)算模型n 一種描述形式語(yǔ)言的語(yǔ)法n AI中應(yīng)用最多的知識(shí)表示方法之一n Feigenbaum研制的化學(xué)分子結(jié)構(gòu)專(zhuān)家系統(tǒng)DENDRALn Shortliffe研制的的診斷感染性疾病的專(zhuān)家系統(tǒng)MYCINn ……14P ? Q CF = [0, 1]或 IF P THEN Q CF = [0, 1]其中， P是產(chǎn)生式的 前提 ， Q是一組 結(jié)論 或 操作 ，CF(Certainty Factor)為 確定性因子 ，也稱(chēng) 置信度 。此外，在求解復(fù)雜問(wèn)題時(shí) 容易引起組合爆炸 。 框架理論的基本思想 ：認(rèn)為人們對(duì)現(xiàn)實(shí)世界中各種事物的認(rèn)識(shí)都是以一種類(lèi)似于框架的結(jié)構(gòu)存儲(chǔ)在記憶中的，當(dāng)面臨一個(gè)新事物時(shí)，就從記憶中找出一個(gè)合適的框架，并根據(jù)實(shí)際情況對(duì)其細(xì)節(jié)加以修改、補(bǔ)充，從而形成對(duì)當(dāng)前事物的認(rèn)識(shí)。 c） 自然性 ：直觀地把事物的屬性及其語(yǔ)義聯(lián)系表示出來(lái)，便于理解，自然語(yǔ)言與語(yǔ)義網(wǎng)絡(luò)的轉(zhuǎn)換比較容易實(shí)現(xiàn)，故 語(yǔ)義網(wǎng)絡(luò)表示法在自然語(yǔ)言理解系統(tǒng)中的應(yīng)用最為廣泛 。 1. 概念依賴(lài)?yán)碚? 【 難點(diǎn) 】在人類(lèi)的各種知識(shí)中， 常識(shí)性知識(shí) 是數(shù)量最多、涉及面最寬、關(guān)系最復(fù)雜的知識(shí)，很難把它們形式化地表示出來(lái)交給計(jì)算機(jī)處理。29? 廣義的知識(shí)表示語(yǔ)言n 任何程序設(shè)計(jì)語(yǔ)言n 例如： C, C++, Java, XML, etc.? 狹義的人工智能語(yǔ)言n 把知識(shí)和智能傳授給計(jì)算機(jī)的表示語(yǔ)言n 專(zhuān)門(mén)用于編程求解 AI問(wèn)題n 典型代表： LISP語(yǔ)言、 PROLOG語(yǔ)言n …… 知識(shí)表示語(yǔ)言301. LISP語(yǔ)言概況n 提出 ： 1960年，美國(guó) AI之父 McCarthy首次給出n 含義 ： LISP是 LISt Processer（表處理器）之意n 目的 ：為處理 AI中的符號(hào)編程問(wèn)題而設(shè)計(jì)n 理論基礎(chǔ) ：符號(hào)集上的遞歸函數(shù)論n 地位 ： AI歷史上第一個(gè)，且使用范圍最廣泛的符號(hào)處理語(yǔ)言，為 AI的發(fā)展做出重大貢獻(xiàn)【說(shuō)明】 : 詳細(xì)語(yǔ)法可參見(jiàn)陸汝鈐的《人工智能》（下冊(cè)）312. PROLOG語(yǔ)言概況n 提出 ： 1973年，馬賽大學(xué)的 Colmerauer首次給出n 含義 ：是 PROgramming in LOGic之意n 目的 ：專(zhuān)門(mén)用于處理 AI中的邏輯推理問(wèn)題n 理論基礎(chǔ) ：一階謂詞演算的歸結(jié) (Resolution)原理n 作用 ：給一階謂詞演算中的說(shuō)明性命題以過(guò)程性解釋【說(shuō)明】 : 詳細(xì)語(yǔ)法可參見(jiàn)陸汝鈐的《人工智能》（下冊(cè)）321. 概述? 定義n 專(zhuān)家系統(tǒng) （ Expert Systems,ES） 是一種以知識(shí)為基礎(chǔ)、能對(duì)某一專(zhuān)門(mén)領(lǐng)域的問(wèn)題提供 “ 專(zhuān)家級(jí) ” 解答的計(jì)算機(jī)程序。 41ANN的組成示意圖42 ANN的數(shù)學(xué)描述n 令來(lái)自其它處理單元（神經(jīng)元） i的信息為 xi，它們與本處理單元的互相作用強(qiáng)度為 wi， i = 0,1,…， n1，處理單元的內(nèi)部閾值為 θ。n 輸出層 基于隱含層的輸出，完成最終的分類(lèi)：n (0, 0)和 (1, 1)為一類(lèi)，輸出為 0n (0, 1)和 (1, 0)為一類(lèi)，輸出為 150 不確定性推理n 精確推理的局限性n 不確定性推理的定義及意義n 不確定性推理中的基本問(wèn)題n 不確定性推理的分類(lèi)n 關(guān)于不確定性推理方法的說(shuō)明51? 推理n 依據(jù)已知事實(shí)（證據(jù)）、相關(guān)知識(shí)（規(guī)則）n 證明某個(gè)假設(shè)成立 or 不成立? 精確推理及其不足n 將原本為不確定性的關(guān)系 “ 硬性 ” 轉(zhuǎn)化為精確關(guān)系n 將原本不存在明確界限的事物 “ 人為 ” 劃定界限n 歪曲了現(xiàn)實(shí)情況的本來(lái)面目n 舍棄了事物的某些重要屬性n 失去了真實(shí)性n …… 精確推理的局限性52 不確定性推理的定義