【文章內容簡介】 16日星期三 Data Mining: Concepts and Techniques 40 貝葉斯信念網(wǎng)絡 Family History LungCancer PositiveXRay Smoker Emphysema Dyspnea LC ~LC (FH, S) (FH, ~S) (~FH, S) (~FH, ~S) 有向無環(huán)圖 The conditional probability table for the variable LungCancer 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 41 ? 一旦 FamilyHistory和 Smoker確定 ,LungCancer就確定和其他的無關 . P(LungCancer=―yes‖| FamilyHistory=―yes‖ Smoker=―yes‖)= P(LungCancer=―no‖| FamilyHistory=―no‖ Smoker=―no‖)= 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 42 訓練貝葉斯網(wǎng)絡 ? 梯度 ? 其中 s個訓練樣本 X1,…Xs,Wijk表示具有雙親 Ui=uik的變量 Yi=yij的 CPT項 .比如 Yi是LungCancer,yij是其值 “ yes‖,Ui列出 Yi的雙親 (FH,S),uik是其值 (―yes‖,‖yes‖) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 43 ? 梯度方向前進 , Wijk=Wijk+(l)*梯度 其中 l是學習率 ,l太小學習將進行得很慢 ,l太大可能出現(xiàn)在不適當?shù)闹抵g擺動 .通常令l=1/t,t是循環(huán)的次數(shù) ? 將 Wijk歸一化 . ? 每次迭代中 ,修改 Wijk,并最終收斂到一個最優(yōu)解 . 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 44 神經(jīng)網(wǎng)絡 （向后傳播分類）帶回饋的分類 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 45 計算方法 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 46 ? 由前一層的輸出作為輸入 i,與對應的權 w相乘形成加權和 ,再加上偏置 ? 對上面結果用一個非線性函數(shù) f作用形成本層的輸出 .將較大的值映射到 01之間 ? ??ijiijj OwI ?jIj eO ??? 1 12020年 9月 16日星期三 Data Mining: Concepts and Techniques 47 算法步驟 Output nodes Input nodes Hidden nodes Output vector Input vector: xi wij ? ?? i jiijj OwI ?jIj eO ??? 1 1))(1( jjjjj OTOOE r r ???ijijij OE r rlww )(??jjj E r rl )(?? ??jkk kjjj wE r rOOE r r ??? )1(2020年 9月 16日星期三 Data Mining: Concepts and Techniques 48 計算實例 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 49 ? 一個訓練樣本 X={1,0,1},輸出為 1 ? X1=1,x2=0,x3=1,w14=,w15=,w24=,w25=,w34=,w35=,w46=,w56=, ? 偏置值 :節(jié)點 4:,節(jié)點 5:,節(jié)點 6: ? 學習率設為 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 50 ? 節(jié)點 4: 輸入值 :w14*x1+w24*x2+w34*x3+節(jié)點 4的偏置 =1*+**= 輸出值 :用公式 可得 ? 同理 :節(jié)點 5輸入值 ,輸出值 ? 節(jié)點 6: 輸入值 :w46*o4+w56*o5+節(jié)點 6的偏置 =**+= 輸出值 : jIj eO ??? 1 12020年 9月 16日星期三 Data Mining: Concepts and Techniques 51 誤差計算 ? 節(jié)點 6: *()*()= ? 節(jié)點 5: *()**()= ? 同理節(jié)點 4誤差為 : ))(1( jjjjj OTOOE r r ???jkk kjjj wE r rOOE r r ??? )1(2020年 9月 16日星期三 Data Mining: Concepts and Techniques 52 更新權值和偏置值 ? W46: +()()()= ? 其他 Wij同理 ? 節(jié)點 6的偏置 : +()*()= ? 其他偏置同理 ijijij OE r rlww )(??jjj E r rl )(?? ??2020年 9月 16日星期三 Data Mining: Concepts and Techniques 53 終止條件 ? 對所有樣本作一次掃描稱為一個周期 ? 終止條件 :對前一周期所有 Wij的修改值都小于某個指定的閾值 ?；虺^預先指定的周期數(shù) . ? 防止訓練過度 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 54 神經(jīng)網(wǎng)絡的解釋 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 55 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 56 解釋過程 ? 對隱藏節(jié)點進行聚類 ,對于所有給定的輸入 ,輸出值分成幾個類 . ? 導出與輸出節(jié)點 O的一系列規(guī)則 ? 導出與輸入節(jié)點 I的一系列規(guī)則 ? 得到關于輸入和輸出的規(guī)則 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 57 靈敏度分析 ? 用于評估一個給定的變量對網(wǎng)絡輸出的影響 .改變該變量的輸入 ,其他變量固定 ,監(jiān)測網(wǎng)絡的輸出 . ? 得到的規(guī)則形如 :IF X 減少 5%, THEN Y 增加 8%的規(guī)則 . 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 58 基于關聯(lián)規(guī)則的分類 其他分類方法 K最臨近分類 基于案例的推理 遺傳算法 粗糙集算法 模糊集算法 預測 線性回歸和多元回歸 非線性回歸 其他回歸模型 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 59 分類法的準確性 評估分類法的準確率 提高分類法的準確率 準確率足夠判定分類法？ 總結 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 60 第七章：分類和預測 什么是分類？什么是預測 關于分類和預測的一些問題 使用決策樹進行分類 貝葉斯分類 （向后傳播分類）帶回饋的分類 基于關聯(lián)規(guī)則的分類 其他分類方法 預測 分類法的準確性 總結 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 61 主講人 朱揚勇 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 62 一、數(shù)據(jù)挖掘概念 定義 數(shù)據(jù)挖掘 從大量數(shù)據(jù)中尋找其規(guī)律的技術， 是統(tǒng)計學、數(shù)據(jù)庫技術和人工智能技術的綜合。 ?數(shù)據(jù)挖掘與統(tǒng)計學 ?數(shù)據(jù)挖掘與人工智能 ?數(shù)據(jù)挖掘與數(shù)據(jù)庫技術 數(shù)據(jù)挖掘與 KDD 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 63 一、數(shù)據(jù)挖掘概念 原由 國民經(jīng)濟和社會的信息化 ?社會信息化后，社會的運轉是軟件的運轉 ?社會信息化后，社會的歷史是數(shù)據(jù)的歷史 因此政府提出 “信息化”和“發(fā)展軟件產(chǎn)業(yè)” 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 64 一、數(shù)據(jù)挖掘概念 原由 數(shù)據(jù)挖掘 數(shù)據(jù)庫越來越大 有價值的知識 可怕的數(shù)據(jù) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 65 一、數(shù)據(jù)挖掘概念 原由 數(shù)據(jù)爆炸，知識貧乏 苦惱 : 淹沒在數(shù)據(jù)中 。 不能制定合適的決策 ! 數(shù)據(jù) 知識 決策 ? 模式 ? 趨勢 ? 事實 ? 關系 ? 模型 ? 關聯(lián)規(guī)則 ? 序列 ? 目標市場 ? 資金分配 ? 貿(mào)易選擇 ? 在哪兒做廣告 ? 銷售的地理位置 ? 金融 ? 經(jīng)濟 ? 政府 ? POS. ? 人口統(tǒng)計 ? 生命周期 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 66 一、數(shù)據(jù)挖掘概念 發(fā)展 ? 1989 IJCAI會議： 數(shù)據(jù)庫中的知識發(fā)現(xiàn)討論專題 – Knowledge Discovery in Databases (G. PiatetskyShapiro and W. Frawley, 1991) ? 19911994 KDD討論專題 – Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. PiatetskyShapiro, P. Smyth, and R. Uthurusamy, 1996) ? 19951998 KDD國際會議 (KDD’9598) – Journal of Data Mining and Knowledge Discovery (1997) ? 1998 ACM SIGKDD, SIGKDD’19992020 會議 ,以及 SIGKDD Explorations ? 數(shù)據(jù)挖掘方面更多的國際會議 – PAKDD, PKDD, SIAMData