【正文】 ord大學(xué) Feigenbaum開發(fā)成功世界上第一個(gè)專家系統(tǒng) ——DENDRALn 1977年 Feigenbaum在 IJCAI’77 上提出 “ 知識(shí)工程”n …… 專家系統(tǒng)332. 專家系統(tǒng)的成功范例 (以農(nóng)業(yè)為例 )n 美國的農(nóng)業(yè)專家系統(tǒng)n 1986年開發(fā)的 COMAX/GOSSYM系統(tǒng)n 加州大學(xué) Davis分校開發(fā)的 CALEX系統(tǒng)n 農(nóng)業(yè)專家系統(tǒng)開發(fā)工具： LEVEL5, VPEXPERT, INSIGHT, etc. n ……n 中國的農(nóng)業(yè)專家系統(tǒng)n 中科院智能機(jī)械所開發(fā)的 施肥專家系統(tǒng)n 中國農(nóng)科院作物研究所開發(fā)的 品種選育專家系統(tǒng)n 華中理工大學(xué)開發(fā)的 園藝專家系統(tǒng)n 浙江大學(xué)與中國農(nóng)科院聯(lián)合開發(fā)的 蠶育種專家系統(tǒng)、飼料配方專家系統(tǒng)n …… 343. 專家系統(tǒng)的基本結(jié)構(gòu)解釋器知識(shí)庫知識(shí)庫管理推理機(jī)知識(shí)獲取界面網(wǎng)絡(luò)35關(guān)于專家系統(tǒng)的基本結(jié)構(gòu)的說明n 推理機(jī)、知識(shí)庫： 是專家系統(tǒng)中最核心部分n 知識(shí)庫管理 ：檢查知識(shí)的內(nèi)容是否有問題n 知識(shí)獲?。?是知識(shí)工程的瓶頸n 解釋器 ：解釋推理的結(jié)果及在推理過程中發(fā)生的一切n 界面： 是讓專家系統(tǒng) “ 接近群眾 ” 的重要手段n 網(wǎng)絡(luò)接口： 網(wǎng)上多個(gè)專家系統(tǒng)可構(gòu)成分布式專家系統(tǒng)364. 專家系統(tǒng)的生命周期n 第一階段： 需求分析 （ REQ）n 第二階段： 系統(tǒng)設(shè)計(jì) （ DES）n 第三階段： 知識(shí)獲取 （ ACQ）n 第四階段： 原型測試 （ PRT）n 第五階段： 知識(shí)求精 （ REF）n 第六階段： 系統(tǒng)包裝 （ PCK）n 第七階段： 系統(tǒng)集成 （ ITG）【說明】：第七階段并非最后階段，后面階段可返回到前面階段。 n 其它定義： “令 W是給定世界的有限或無限的所有觀測對象的集合，由于我們觀察能力的限制，只能能獲得這個(gè)世界的一個(gè)有限的子集 Q(為 W的子集 )，稱為樣本集。78支持向量（ SV）示意圖79廣義最優(yōu)分類面示意圖80支持向量機(jī)（ SVM）的基本原理n 很多情況下，訓(xùn)練數(shù)據(jù)集是 線性不可分 的， Vapnik等人提出了用廣義分類面來解決這一問題。n 最后我們可以得到一個(gè)描述球的顏色的序列 O1,O2,… ，稱為觀察值序列。n 以神經(jīng)信息學(xué)、腦機(jī)工程（ BME）等為代表的新一代AI技術(shù)將取得重大突破，并將成為未來 AI中新的研究熱點(diǎn)。88一個(gè)實(shí)驗(yàn) —— 球缸模型n 設(shè)有 N個(gè)缸，每個(gè)缸中裝有很多彩球，球的顏色由一組概率分布描述。76結(jié)構(gòu)風(fēng)險(xiǎn)最小化示意圖77 支持向量機(jī)（ SVM）的基本思想n SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。n 反向傳播過程 ： 若輸出模式與期望的輸出模式有誤差，就從輸出層反向?qū)⒄`差逐層傳送到輸入層，把誤差 “分?jǐn)?”給各神經(jīng)元并修改連接權(quán)，使 BP網(wǎng)實(shí)現(xiàn)從輸入模式到輸出模式的正確映射。 （ 3） 道具 ：描述事件中可能出現(xiàn)的有關(guān)物體。由于所有的概念節(jié)點(diǎn)均通過聯(lián)想弧彼此相連， Quillian希望他的語義網(wǎng)絡(luò)能用于知識(shí)推導(dǎo)。 d）清晰性 ：產(chǎn)生式有固定的格式，既便于規(guī)則設(shè)計(jì)，又易于對規(guī)則庫中的知識(shí)進(jìn)行一致性、完整性檢測。Q PQ P,Q析取 ： Disjunction(or) P ? Q P|Q P。 （ 3）領(lǐng)域問題的求解過程可被表示為一系列相對獨(dú)立的操作，而且每個(gè)操作可被表示為一條或多條產(chǎn)生式規(guī)則。27 劇本（腳本）表示法 劇本表示法是 1975年 . Schank依據(jù)他的 概念依賴?yán)碚摱岢龅囊环N知識(shí)表示方法。 n ……40 人工神經(jīng)網(wǎng)絡(luò)（ ANN）的組成n 人工神經(jīng)網(wǎng)絡(luò) （ Artificial Neural Nets, ANN）：一種由模擬神經(jīng)元組成的，以處理單元 PE (processing element)為節(jié)點(diǎn)，用加權(quán)有向弧 (鏈 )相互連接而成的有向圖。因此，需要 仔細(xì)地選擇一個(gè)低維的特征空間 ，在這個(gè)空間中用常規(guī)的統(tǒng)計(jì)技術(shù)來求解一個(gè)逼近。82支持向量機(jī) (SVM)示意圖83SVM與神經(jīng)網(wǎng)絡(luò)（ NN）的對比168。n Viterbi算法 （解決問題 2）n 這個(gè)算法解決了給定一個(gè)觀測值序列 O和一個(gè)模型 λ ，在最佳意義上確定一個(gè)狀態(tài)序列 Q的問題。 97HMM的典型應(yīng)用 —— 語音識(shí)別98 數(shù)據(jù)挖掘n 數(shù)據(jù)挖掘的由來n 數(shù)據(jù)挖掘的創(chuàng)立n 數(shù)據(jù)挖掘的主要應(yīng)用n 數(shù)據(jù)挖掘 vs. 知識(shí)發(fā)現(xiàn)n 數(shù)據(jù)挖掘的基本過程n 數(shù)據(jù)挖掘系統(tǒng)的基本結(jié)構(gòu)n 數(shù)據(jù)挖掘的基本問題n 數(shù)據(jù)挖掘的發(fā)展趨勢99n 人類已進(jìn)入一個(gè)嶄新的信息時(shí)代 n 數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)量急劇膨脹，但知識(shí)相對貧乏 n 需要從海量數(shù)據(jù)庫和大量繁雜信息中提取有價(jià)值的知識(shí)，進(jìn)一步提高信息的利用率n 產(chǎn)生了一個(gè)新的研究方向：基于數(shù)據(jù)庫的知識(shí)發(fā)現(xiàn)（ Knowledge Discovery in Database），以及相應(yīng)的數(shù)據(jù)挖掘（ Data Mining）理論和技術(shù)的研究 數(shù)據(jù)挖掘的由來100KDD的創(chuàng)立n 基于數(shù)據(jù)庫的知識(shí)發(fā)現(xiàn)（ KDD）一詞首次出現(xiàn)在1989年舉行的第 11屆 AAAI學(xué)術(shù)會(huì)議上n 1995年在加拿大蒙特利爾召開了第 1屆 KDD國際學(xué)術(shù)會(huì)議（ KDD’95）n 由 Kluwers Publishers出版， 1997年創(chuàng)刊的“Knowledge Discovery and Data Mining”是該領(lǐng)域中的第一本學(xué)術(shù)刊物 101數(shù)據(jù)挖掘數(shù)據(jù)庫技術(shù) 概率統(tǒng)計(jì)高性能計(jì)算人工智能機(jī)器學(xué)習(xí) 可視化數(shù)據(jù)挖掘是多學(xué)科交叉的產(chǎn)物102KDD已經(jīng)成為 AI的研究熱點(diǎn)n 目前，關(guān)于 KDD的研究工作已經(jīng)被眾多領(lǐng)域所關(guān)注，如信息管理、商業(yè)、醫(yī)療、金融、過程控制等領(lǐng)域。 SVM —— 嚴(yán)格的數(shù)學(xué)推理168。因此， 采用什么樣的 “弱特征 ”并不十分重要，而形成 “巧妙的 ”線性組合更為重要。 41ANN的組成示意圖42 ANN的數(shù)學(xué)描述n 令來自其它處理單元（神經(jīng)元） i的信息為 xi，它們與本處理單元的互相作用強(qiáng)度為 wi， i = 0,1,…， n1，處理單元的內(nèi)部閾值為 θ。 1. 概念依賴?yán)碚? 【 難點(diǎn) 】在人類的各種知識(shí)中， 常識(shí)性知識(shí) 是數(shù)量最多、涉及面最寬、關(guān)系最復(fù)雜的知識(shí)，很難把它們形式化地表示出來交給計(jì)算機(jī)處理。 框架理論的基本思想 ：認(rèn)為人們對現(xiàn)實(shí)世界中各種事物的認(rèn)識(shí)都是以一種類似于框架的結(jié)構(gòu)存儲(chǔ)在記憶中的，當(dāng)面臨一個(gè)新事物時(shí)，就從記憶中找出一個(gè)合適的框架，并根據(jù)實(shí)際情況對其細(xì)節(jié)加以修改、補(bǔ)充，從而形成對當(dāng)前事物的認(rèn)識(shí)。 ”n 對應(yīng)的謂詞公式： ??x[愛 (x) ? ? ?y 緣故 (x, y)] ? ??t[恨 (t) ? ? ?s 緣故 (t, s)]114. 一階謂詞表示法的優(yōu)、缺點(diǎn)(1) 優(yōu)點(diǎn)n 自然性n 接近自然語言，容易接受n 精確性n 用于表示精確知識(shí)n 嚴(yán)密性n 有嚴(yán)格的形式定義和推理規(guī)則n 易實(shí)現(xiàn)性n 易于轉(zhuǎn)換為計(jì)算機(jī)內(nèi)部形式12一階謂詞表示法的優(yōu)、缺點(diǎn)（續(xù)）(2) 缺點(diǎn)n 無法表示不確定性知識(shí)n 所能表示的知識(shí)范圍太狹窄n 難以表示啟發(fā)性知識(shí)及元知識(shí)n 未能充分利用與問題本身特性有關(guān)的知識(shí)n 組合爆炸n 經(jīng)常出現(xiàn)事實(shí)、規(guī)則等的組合爆炸n 效率低n 推理與知識(shí)的語義完全割裂13 產(chǎn)生式表示法n 1943年 E. Post第一次提出n 稱為 “Post機(jī) ”的計(jì)算模型n 一種描述形式語言的語法n AI中應(yīng)用最多的知識(shí)表示方法之一n Feigenbaum研制的化學(xué)分子結(jié)構(gòu)專家系統(tǒng)DENDRALn Shortliffe研制的的診斷感染性疾病的專家系統(tǒng)MYCINn ……14P ? Q CF = [0, 1]或 IF P THEN Q CF = [0, 1]其中， P是產(chǎn)生式的 前提 ， Q是一組 結(jié)論 或 操作 ，CF(Certainty Factor)為 確定性因子 ，也稱 置信度 。 b）模塊性 ：產(chǎn)生式是規(guī)則庫中的最基本的知識(shí)單元，形式相同，易于模塊化管理。 語義網(wǎng)絡(luò)的基本思想 ：在這種網(wǎng)絡(luò)中，用 “ 節(jié)點(diǎn) ” 代替概念，用節(jié)點(diǎn)間的 “ 連接弧 ”( 稱為 聯(lián)想弧 )代替概念之間的關(guān)系，因此，語義網(wǎng)絡(luò)又稱 聯(lián)想網(wǎng)絡(luò) 。 劇本的組成 （ 1） 進(jìn)入條件 ：指出劇本所描述的事件可能發(fā)生的先決條件，即事件發(fā)生的 前提條件 。n 1986年 , Rumelhart Mclelland首次提出n 至今應(yīng)用最廣的人