【正文】 解釋學(xué)習(xí) 與深度學(xué)習(xí) ExplanationBased Learning and Deep Learning 史忠植 中國(guó)科學(xué)院計(jì)算技術(shù)研究所 高級(jí)人工智能 第九章 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 2 內(nèi)容提要 概述 解釋學(xué)習(xí)模型 解釋泛化學(xué)習(xí)方法 全局取代解釋泛化方法 解釋特化學(xué)習(xí)方法 解釋泛化的邏輯程序 不完全領(lǐng)域知識(shí)下的解釋學(xué)習(xí) 深度學(xué)習(xí) 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 3 概述 基于解釋的學(xué)習(xí)： ? 一種從單個(gè)觀察中抽象出通用規(guī)則的方法 ? 目標(biāo)是下次可以快速地解決類似的問題 ? 記憶 —— 通過保存結(jié)果和避免從零開始解決問題來提高速度 ? 更進(jìn)一步 EBL從觀察到規(guī)則 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 4 解釋學(xué)習(xí) 解釋學(xué)習(xí) (ExplanationBased Learning, 簡(jiǎn)稱 EBL)是一種分析學(xué)習(xí)方法，在領(lǐng)域知識(shí)指導(dǎo)下 , 通過對(duì)單個(gè)問題求解實(shí)例的分析 , 構(gòu)造出求解過程的因果解釋結(jié)構(gòu) , 并獲取控制知識(shí) ,以便用于指導(dǎo)以后求解類似問題。 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 5 解釋學(xué)習(xí) 1983年美國(guó) Illinois大學(xué)的 DeJong提出。 1986年 , Mitchell, Keller 和 KedarCabelli 提出了解釋的泛化 (ExplanationBased Generalization, 簡(jiǎn)稱EBG)的統(tǒng)一框架 , 1986年 DeJong 和 Mooney提出全局取代解釋泛化Explanation Generalization using Global Substitutions, 縮寫 EGGS) 方法 1987年卡耐基 梅隆大學(xué)的 Minton 和 Carbonell提出解釋特化 (ExplanationBased Specialization， 簡(jiǎn)寫 EBS)學(xué)習(xí)方法 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 6 為什么要用 EBL ? 解釋為什么一個(gè)想法是好的比提出一個(gè)想法容易得多 ? 一旦理解了一件事，就可以泛化并重用于其它情況 ? 從例子中抽象出通用規(guī)則 ? 通過對(duì)一棵證明樹的常量變量化 , EBL可以同時(shí)創(chuàng)建兩棵證明樹 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 7 基本的 EBL ? 給定一個(gè)例子，使用背景知識(shí)構(gòu)建一棵證明樹 ? 同時(shí)，為可變化的目標(biāo)構(gòu)建一棵泛化證明樹 ? 構(gòu)建一條新規(guī)則（葉子 = 根） ? 去掉所有與目標(biāo)中變量真正無關(guān)的條件 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 8 解釋學(xué)習(xí) (1)通過分析一個(gè)求解實(shí)例來產(chǎn)生解釋結(jié)構(gòu) 。 (2)對(duì)該解釋結(jié)構(gòu)進(jìn)行泛化 , 獲取一般的控制規(guī)則。 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 9 解釋的含義 1) 對(duì)所產(chǎn)生的結(jié)論的推理過程作詳細(xì)說明，以增加系統(tǒng)的可接受性； 2) 對(duì)錯(cuò)誤決策進(jìn)行追蹤，發(fā)現(xiàn)知識(shí)庫(kù)中知識(shí)的缺陷和錯(cuò)誤的概念； 3) 對(duì)初學(xué)的用戶進(jìn)行訓(xùn)練。 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 10 解釋的方法 1) 預(yù)制文本法。預(yù)先用自然語言寫好，并插入程序中； 2) 執(zhí)行追蹤法。遍歷目標(biāo)樹，通過總結(jié)與結(jié)論相關(guān)的目標(biāo)，檢索相關(guān)規(guī)則，以說明結(jié)論是如何得到的； 3) 策略解釋法。明確表示控制知識(shí)，即用元知識(shí)概括地描述，與領(lǐng)域規(guī)則完全分開。從策略的概括表示中產(chǎn)生解釋，能為用戶提供問題求解策略的解釋。 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 11 EBL的效率 ? 選擇一條通用規(guī)則 ? 太多規(guī)則 推理太慢 ? 目標(biāo)驅(qū)動(dòng) 極大地提高了速度 ? 盡可能的通用 ? 可操作性 一個(gè)子目標(biāo)是可操作的，意思是容易解決 ? 可操作性和通用性之間的平衡 ? 對(duì) EBL學(xué)習(xí)效率的實(shí)驗(yàn)分析 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 12 解釋學(xué)習(xí)模型 概念描述空間 概念空間 例子空間 D1 不可操作的 可操作 D2 C1 I1 I2 I3 解釋學(xué)習(xí)的空間描述 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 13 可操作特性 系 統(tǒng) 可 變 性 粒 度 確 定 性 GENESIS 動(dòng)態(tài) 二進(jìn)制 不保證 LEX2 動(dòng)態(tài) 二進(jìn)制 不保證 SOAR 動(dòng)態(tài) 二進(jìn)制 不保證 PRODIGY 靜態(tài) 連續(xù) 不保證 MetaLEX 動(dòng)態(tài) 連續(xù) 保證 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 14 解釋學(xué)習(xí)的模型 EXE 概念描述的轉(zhuǎn)換 結(jié)果是否可操作 D1 D2 KB PS Y N 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 15 解釋泛化學(xué)習(xí)方法 解釋泛化學(xué)習(xí)問題： ? 已知： ? 目標(biāo)概念 ? 訓(xùn)練例 ? 領(lǐng)域理論 ? 可操作性標(biāo)準(zhǔn) ? 欲求： ? 訓(xùn)練實(shí)例的泛化，使之滿足以下條件 1) 是目標(biāo)概念的充分概念描述 2) 滿足可操作性標(biāo)準(zhǔn) 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 16 EBL方法 1. 解釋 ? 利用領(lǐng)域理論知識(shí)解釋為什么訓(xùn)練例滿足目標(biāo)概念的定義 2. 泛化 ? 確定解釋成立的最通用的條件 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 17 例 子 ? 目標(biāo)概念：一對(duì)物體 x,y， SAFETOSTACK(x,y)， 其中STACK(x,y)?NOT(FRAGILE(y))∨LIGHTER(x,y) 。 ? 訓(xùn)練實(shí)例： ? ON(OBJ1,OBJ2) ? ISA(OBJ1,BOX) ? ISA(OBJ2,ENDTABLE) ? COLOR(OBJ1,RED) ? COLOR(OBJ2,BLUE) ? VOLUME(OBJ1,1) ? DENSITY(OBJ1,.1) ? … 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 18 ? 領(lǐng)域知識(shí)： ? VOLUME(p1,v1)∧DENSITY(p1,d1)→WEIGHT(p1,v1*d1) ? WEIGHT(p1,w1)∧WEIGHT(p2,w2)∧LESS(w1,w2)→LIGHTER(p1,p2) ? ISA(p1,ENDTABLE)→WEIGHT(p1,5)(default) ? LESS(.1,5) ? … ? 可操作標(biāo)準(zhǔn)：概念定義必須要用描述實(shí)例中的謂詞，或者選自領(lǐng)域知識(shí)易于評(píng)測(cè)的謂詞。 ? 確定： ? 訓(xùn)練實(shí)例的泛化是對(duì)目標(biāo)概念給以充分定義，并且滿足可操作性標(biāo)準(zhǔn)。 例 子 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 19 SAFETOSTACK(OBJ1,OBJ2)解釋樹 SAFETOSTACK(OBJ1,OBJ2) LIGHTER(OBJ1,OBJ2) WEIGHT(OBJ1,.1) LESS(.1,5) WEIGHT(OBJ2,5) VOLUME(OBJ1,1) DENSITY(OBJ1,.1) ISA(OBJ2,ENDTABLE) 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 20 SAFETOSTACK(OBJ1,OBJ2)解釋的泛化過程 SAFETOSTACK(p1,p2) LIGHTER(x,y) WEIGHT(p1,v1*d1) WEIGHT(x,w1) LESS(w1,w2) WEIGHT(y,w2) WEIGHT(p2,5) VOLUME(p1,v1) DENSITY(p1,d1) ISA(p2,ENDTABLE) SAFETOSTACK(x,y) LIGHTER(p1,p2) LIGHTER(p1,p2) WEIGHT(p1,w1) LESS(w1,w2) WEIGHT(p2,w2) {x/p1,v1*d1/w1} {y/p2,5/w2} VOLUME(x,v1) DENSITY(x,d1) LESS(v1*d1,5) ISA(y,ENDTABLE) R3: R4: R2: R1: {x/p1,y/p2} {x/p1,y/p2} 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 21 解釋與泛化交替進(jìn)行 1. 問題的邏輯描述 ? 邏輯的表示方法使 EBG的語義更為清楚，為學(xué)習(xí)提供了方便的語言環(huán)境 2. 產(chǎn)生解釋結(jié)構(gòu) ? 從目標(biāo)開始反向推理，分解目標(biāo)。應(yīng)用規(guī)則時(shí)，同時(shí)將規(guī)則應(yīng)用到變量化的目標(biāo)概念上，這樣就同時(shí)生成了解釋結(jié)構(gòu)和泛化的解釋結(jié)構(gòu) 3. 生成控制規(guī)則 ? 將泛化的解釋結(jié)構(gòu)的所有葉結(jié)點(diǎn)的合取作為前件，以定點(diǎn)的目標(biāo)概念為后件，略去解釋結(jié)構(gòu)的中間部件，生成泛化的產(chǎn)生式規(guī)則。 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 22 全局取代解釋泛化方法 1986年 DeJong和 Mooney提出全局取代解釋泛化方法。在 EBG方法中，通過實(shí)例解釋結(jié)構(gòu)的目標(biāo)概念回歸，忽略析取實(shí)現(xiàn)泛化。 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 23 STRIPS的例子 ? 初始世界模型： ),( 1RR OB O TI N R OO M),( 21 RB OXI N R OOM),( 211 RRDC ON N E C T S)( 1B OXB OX...)],(),()[,( yzxC O N N E C T SzyxC O N N E C T Szyx ??)],()()[( 1RxI N R OO MxB O Xx ??),( 321 RRDC ON N E C T S? 目標(biāo)公式： 2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 24 STRIPS采用的操作符 ),( 21 rrdG OT HR U),(),(:Pr 211 rrdC O N N E C T SrR OB O TI N R O OMe o n d i t i o n ?),(: 1rR O B O TI N R O O Ml i s tD e l e t e),(: 2rR OB O TI N R O OMl i s tA d d),( 21 rrdbP USHT HR U),(),(:Pr 211 rrdC O N N E C T SrR O B OTI N R OO Me o n d i t i o n ?),(: 1rR O B O TI N R O O Ml i s tD e l e t e),(: 2rR OB O TI N R O OMl i s tA d d),( 1rbI N R O O M),( 2rbI N R OO M),( 1rbI N R O OM?2020/11/4 高級(jí)人工智能 解釋學(xué)習(xí) 史忠植 25 三角表 ),( 1RR OB O TI N R OO M),( 211 RRDC ON N E C T S ),( 21 rrdG OT HR U),( 2RR OB OTI N R OO M),( 21 RB OXI N R OOM),( 211 RRDC ON N E C T S),( zyxC ON N E C T S),( yzxC O N N E C T