【正文】 blem space search) ? Results in learning a new rule that prevents impasse in future similar situations 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 50 Production Memory Working Memory Processing East South North Propose Operator Compare Operators North East South East North = South Apply Operator Output Input Select Operator If cell in direction d is not a wall, propose operator move d If operator o1 will move to a bonus food and operator o2 will move to a normal food, operator o1 o2 If an operator is selected to move d create output movedirection d empty cell operator o1 North East South movedirection North This slide borrowed from John Laird 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 51 Processing: Subgoals East South North Propose Operator Compare Operators Apply Operator Output Input Select Operator Tie Impasse Evaluateoperator (North) North = 10 Evaluateoperator (South) Evaluateoperator (East) = 10 = 10 = 5 Chunking creates rule that applies evaluateoperator North East South East North = South = 10 Chunking creates rules that create preferences based on what was tested This slide borrowed from John Laird 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 52 Representation and Methodology Memories Rule Memory Working Memory Procedural Knowledge Longterm Knowledge Declarative Knowledge Shortterm Knowledge Match Conflict Resolution Act This slide borrowed from John Laird 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 53 九宮問題 2 3 1 8 4 7 6 5 初始狀態(tài) 1 2 3 8 4 7 6 5 目標(biāo)狀態(tài) 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 54 求解過程 1. G1 solveeight puzzle 2. P1 eightpuzzle sd 3. S1 4. O1 placeblank 5. =G2 (resolvenochange) 6. P2 eightpuzzle 7. S1 8. =G3 (resolvetieoperator) 9. P3 tie (left, up, down) 2 3 1 8 4 7 6 5 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 55 evaluateobject(O2(left)) 12.=G4 (resolvenochange) eightpuzzle left left place1 2 3 1 8 4 7 6 5 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 56 可操作性標(biāo)準(zhǔn) 如果給定： 1) 一個概念描述。 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 61 不完全領(lǐng)域知識下的解釋學(xué)習(xí) 領(lǐng)域知識的不完善性可能有以下三種情況： ? 不完整 (inplete)： 缺少規(guī)則、知識 ? 不正確 (incorrect)： 有些規(guī)則不合理 ? 難處理的 (intractable)： 過于繁雜 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 62 逆歸結(jié)方法 當(dāng)解釋過程由于缺乏某條規(guī)則而無法繼續(xù)下去時，學(xué)習(xí)過程即告失敗。 2) 遇到失敗節(jié)點，調(diào)用逆歸結(jié)算法。 4) 先對結(jié)點 P除結(jié)點 F以外的子結(jié)點進行推理，所有子結(jié)點處理完之后，回到結(jié)點 F。 5) 泛化：將已確立的猜想加以泛化。深度學(xué)習(xí)是學(xué)習(xí)多層次的表示和抽象，有助于得到圖像、聲音和文字?jǐn)?shù)據(jù)的語義。 longer MFCC/filterback windows w. no transformation) 99 Model tied triphone states directly Many layers of nonlinear feature transformation + SoftMax 大數(shù)據(jù)挖掘 史忠植 2020/11/4 CDDNNHMM: Architecture 100 2020/11/4 大數(shù)據(jù)挖掘 史忠植 圖像識別 2020/11/4 大數(shù)據(jù)挖掘 史忠植 101 聲音與視頻重構(gòu) 2020/11/4 大數(shù)據(jù)挖掘 史忠植 102 多任務(wù)學(xué)習(xí) 2020/11/4 大數(shù)據(jù)挖掘 史忠植 103 深度學(xué)習(xí)網(wǎng)站 ? (Bengio’s group) ? labs/ ? d_Readings ? ? ? (Andrew Ng’s group) ? Google+ Deep Learning munity 104 2020/11/4 大數(shù)據(jù)挖掘 史忠植 University of Toronto Machine Learning Group (Geoff Hinton, Rich Zemel, Ruslan Salakhutdinov, Brendan Frey, Radford Neal) Universit233。al Lisa Lab (Yoshua Bengio, Pascal Vincent, Aaron Courville, Roland Memisevic) New York University – Yann Lecun‘s and Rob Fergus‘ group Stanford University – Andrew Ng‘s group UBC – Nando de Freitas‘s group Google Research – Jeff Dean, Samy Bengio, Jason Weston, Marc’Aurelio Ranzato, Dumitru Erhan, Quoc Le et al Microsoft Research – Li Deng et al SUPSI – IDSIA (Schmidhuber’s group) UC Berkeley – Bruno Olshausen‘s group University of Washington – Pedro Domingos‘ group IDIAP Research Institute Ronan Collobert‘s group University of California Merced – Miguel A. CarreiraPerpinan‘s group University of Helsinki Aapo Hyv228。 ? 交替增加選擇性和不變性 ,直到復(fù)雜形狀選擇和大范圍變化的尺寸和位置在頂端反應(yīng)不變。 深度學(xué)習(xí) 2020/11/4 大數(shù)據(jù)挖掘 史忠植 75 2020年， Hinton和他的學(xué)生 Salakhutdinov在 《 科學(xué) 》 上發(fā)表了一篇文章，開啟了深 度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮 504 28 JULY 2020 VOL 313 SCIENCE Reducing the Dimensionality of Data with Neural Networks G. E. Hinton* and R. R. Salakhutdinov Highdimensional data can be converted to lowdimensional codes by training a multilayer neural work with a small central layer to reconstruct highdimensional input vectors. Gradient descent can be used for finetuning the weights in such ‘‘a(chǎn)utoencoder’’ works, but this works well only if the initial weights are close to a good solution. We describe an effective way of initializing the weights that allows deep autoencoder works to learn lowdimensional codes that work much better than principal ponents analysis as a tool to reduce the dimensionality of data. 76 2020/11/4 大數(shù)據(jù)挖掘 史忠植 ? 定義 1：是一類機器學(xué)習(xí)技術(shù)，利用多層次的非線性信息處理的監(jiān)督或無監(jiān)督的特征提取和轉(zhuǎn)換，并進行模式分析和分類。 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 73 基于深層知識方法 實例 領(lǐng)域知識庫 深層知識庫 實例解釋 假設(shè)建立 泛化 執(zhí)行單元 假設(shè)生成 失敗 失敗 成功 成功 成功 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 74 基于深層知識方法 1) 由環(huán)境提供一實例。 2020/11/4 高級人工智能 解釋學(xué)習(xí) 史忠植 72 逆歸結(jié)算法 1) 若當(dāng)前失敗結(jié)點 F是可操作的，回溯；若當(dāng)前失敗結(jié)點 F不可操作，轉(zhuǎn)到 (2)。 逆歸結(jié)原理是根據(jù)歸結(jié)子句和一條原子句，求另一條原子句。 3) 改善執(zhí)行系統(tǒng)的各種要求，應(yīng)明確各要求的類型和程度。 suicide(x)： kill(x,x).