【文章內(nèi)容簡(jiǎn)介】 16日星期三 Data Mining: Concepts and Techniques 40 貝葉斯信念網(wǎng)絡(luò) Family History LungCancer PositiveXRay Smoker Emphysema Dyspnea LC ~LC (FH, S) (FH, ~S) (~FH, S) (~FH, ~S) 有向無環(huán)圖 The conditional probability table for the variable LungCancer 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 41 ? 一旦 FamilyHistory和 Smoker確定 ,LungCancer就確定和其他的無關(guān) . P(LungCancer=―yes‖| FamilyHistory=―yes‖ Smoker=―yes‖)= P(LungCancer=―no‖| FamilyHistory=―no‖ Smoker=―no‖)= 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 42 訓(xùn)練貝葉斯網(wǎng)絡(luò) ? 梯度 ? 其中 s個(gè)訓(xùn)練樣本 X1,…Xs,Wijk表示具有雙親 Ui=uik的變量 Yi=yij的 CPT項(xiàng) .比如 Yi是LungCancer,yij是其值 “ yes‖,Ui列出 Yi的雙親 (FH,S),uik是其值 (―yes‖,‖yes‖) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 43 ? 梯度方向前進(jìn) , Wijk=Wijk+(l)*梯度 其中 l是學(xué)習(xí)率 ,l太小學(xué)習(xí)將進(jìn)行得很慢 ,l太大可能出現(xiàn)在不適當(dāng)?shù)闹抵g擺動(dòng) .通常令l=1/t,t是循環(huán)的次數(shù) ? 將 Wijk歸一化 . ? 每次迭代中 ,修改 Wijk,并最終收斂到一個(gè)最優(yōu)解 . 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 44 神經(jīng)網(wǎng)絡(luò) （向后傳播分類）帶回饋的分類 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 45 計(jì)算方法 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 46 ? 由前一層的輸出作為輸入 i,與對(duì)應(yīng)的權(quán) w相乘形成加權(quán)和 ,再加上偏置 ? 對(duì)上面結(jié)果用一個(gè)非線性函數(shù) f作用形成本層的輸出 .將較大的值映射到 01之間 ? ??ijiijj OwI ?jIj eO ??? 1 12020年 9月 16日星期三 Data Mining: Concepts and Techniques 47 算法步驟 Output nodes Input nodes Hidden nodes Output vector Input vector: xi wij ? ?? i jiijj OwI ?jIj eO ??? 1 1))(1( jjjjj OTOOE r r ???ijijij OE r rlww )(??jjj E r rl )(?? ??jkk kjjj wE r rOOE r r ??? )1(2020年 9月 16日星期三 Data Mining: Concepts and Techniques 48 計(jì)算實(shí)例 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 49 ? 一個(gè)訓(xùn)練樣本 X={1,0,1},輸出為 1 ? X1=1,x2=0,x3=1,w14=,w15=,w24=,w25=,w34=,w35=,w46=,w56=, ? 偏置值 :節(jié)點(diǎn) 4:,節(jié)點(diǎn) 5:,節(jié)點(diǎn) 6: ? 學(xué)習(xí)率設(shè)為 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 50 ? 節(jié)點(diǎn) 4: 輸入值 :w14*x1+w24*x2+w34*x3+節(jié)點(diǎn) 4的偏置 =1*+**= 輸出值 :用公式 可得 ? 同理 :節(jié)點(diǎn) 5輸入值 ,輸出值 ? 節(jié)點(diǎn) 6: 輸入值 :w46*o4+w56*o5+節(jié)點(diǎn) 6的偏置 =**+= 輸出值 : jIj eO ??? 1 12020年 9月 16日星期三 Data Mining: Concepts and Techniques 51 誤差計(jì)算 ? 節(jié)點(diǎn) 6: *()*()= ? 節(jié)點(diǎn) 5: *()**()= ? 同理節(jié)點(diǎn) 4誤差為 : ))(1( jjjjj OTOOE r r ???jkk kjjj wE r rOOE r r ??? )1(2020年 9月 16日星期三 Data Mining: Concepts and Techniques 52 更新權(quán)值和偏置值 ? W46: +()()()= ? 其他 Wij同理 ? 節(jié)點(diǎn) 6的偏置 : +()*()= ? 其他偏置同理 ijijij OE r rlww )(??jjj E r rl )(?? ??2020年 9月 16日星期三 Data Mining: Concepts and Techniques 53 終止條件 ? 對(duì)所有樣本作一次掃描稱為一個(gè)周期 ? 終止條件 :對(duì)前一周期所有 Wij的修改值都小于某個(gè)指定的閾值 。或超過預(yù)先指定的周期數(shù) . ? 防止訓(xùn)練過度 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 54 神經(jīng)網(wǎng)絡(luò)的解釋 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 55 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 56 解釋過程 ? 對(duì)隱藏節(jié)點(diǎn)進(jìn)行聚類 ,對(duì)于所有給定的輸入 ,輸出值分成幾個(gè)類 . ? 導(dǎo)出與輸出節(jié)點(diǎn) O的一系列規(guī)則 ? 導(dǎo)出與輸入節(jié)點(diǎn) I的一系列規(guī)則 ? 得到關(guān)于輸入和輸出的規(guī)則 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 57 靈敏度分析 ? 用于評(píng)估一個(gè)給定的變量對(duì)網(wǎng)絡(luò)輸出的影響 .改變?cè)撟兞康妮斎?,其他變量固定 ,監(jiān)測(cè)網(wǎng)絡(luò)的輸出 . ? 得到的規(guī)則形如 :IF X 減少 5%, THEN Y 增加 8%的規(guī)則 . 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 58 基于關(guān)聯(lián)規(guī)則的分類 其他分類方法 K最臨近分類 基于案例的推理 遺傳算法 粗糙集算法 模糊集算法 預(yù)測(cè) 線性回歸和多元回歸 非線性回歸 其他回歸模型 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 59 分類法的準(zhǔn)確性 評(píng)估分類法的準(zhǔn)確率 提高分類法的準(zhǔn)確率 準(zhǔn)確率足夠判定分類法？ 總結(jié) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 60 第七章：分類和預(yù)測(cè) 什么是分類？什么是預(yù)測(cè) 關(guān)于分類和預(yù)測(cè)的一些問題 使用決策樹進(jìn)行分類 貝葉斯分類 （向后傳播分類）帶回饋的分類 基于關(guān)聯(lián)規(guī)則的分類 其他分類方法 預(yù)測(cè) 分類法的準(zhǔn)確性 總結(jié) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 61 主講人 朱揚(yáng)勇 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 62 一、數(shù)據(jù)挖掘概念 定義 數(shù)據(jù)挖掘 從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)， 是統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫技術(shù)和人工智能技術(shù)的綜合。 ?數(shù)據(jù)挖掘與統(tǒng)計(jì)學(xué) ?數(shù)據(jù)挖掘與人工智能 ?數(shù)據(jù)挖掘與數(shù)據(jù)庫技術(shù) 數(shù)據(jù)挖掘與 KDD 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 63 一、數(shù)據(jù)挖掘概念 原由 國民經(jīng)濟(jì)和社會(huì)的信息化 ?社會(huì)信息化后，社會(huì)的運(yùn)轉(zhuǎn)是軟件的運(yùn)轉(zhuǎn) ?社會(huì)信息化后，社會(huì)的歷史是數(shù)據(jù)的歷史 因此政府提出 “信息化”和“發(fā)展軟件產(chǎn)業(yè)” 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 64 一、數(shù)據(jù)挖掘概念 原由 數(shù)據(jù)挖掘 數(shù)據(jù)庫越來越大 有價(jià)值的知識(shí) 可怕的數(shù)據(jù) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 65 一、數(shù)據(jù)挖掘概念 原由 數(shù)據(jù)爆炸，知識(shí)貧乏 苦惱 : 淹沒在數(shù)據(jù)中 。 不能制定合適的決策 ! 數(shù)據(jù) 知識(shí) 決策 ? 模式 ? 趨勢(shì) ? 事實(shí) ? 關(guān)系 ? 模型 ? 關(guān)聯(lián)規(guī)則 ? 序列 ? 目標(biāo)市場(chǎng) ? 資金分配 ? 貿(mào)易選擇 ? 在哪兒做廣告 ? 銷售的地理位置 ? 金融 ? 經(jīng)濟(jì) ? 政府 ? POS. ? 人口統(tǒng)計(jì) ? 生命周期 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 66 一、數(shù)據(jù)挖掘概念 發(fā)展 ? 1989 IJCAI會(huì)議： 數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)討論專題 – Knowledge Discovery in Databases (G. PiatetskyShapiro and W. Frawley, 1991) ? 19911994 KDD討論專題 – Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. PiatetskyShapiro, P. Smyth, and R. Uthurusamy, 1996) ? 19951998 KDD國際會(huì)議 (KDD’9598) – Journal of Data Mining and Knowledge Discovery (1997) ? 1998 ACM SIGKDD, SIGKDD’19992020 會(huì)議 ,以及 SIGKDD Explorations ? 數(shù)據(jù)挖掘方面更多的國際會(huì)議 – PAKDD, PKDD, SIAMData