【正文】 星期三 Data Mining: Concepts and Techniques 40 貝葉斯信念網(wǎng)絡(luò) Family History LungCancer PositiveXRay Smoker Emphysema Dyspnea LC ~LC (FH, S) (FH, ~S) (~FH, S) (~FH, ~S) 有向無環(huán)圖 The conditional probability table for the variable LungCancer 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 41 ? 一旦 FamilyHistory和 Smoker確定 ,LungCancer就確定和其他的無關(guān) . P(LungCancer=―yes‖| FamilyHistory=―yes‖ Smoker=―yes‖)= P(LungCancer=―no‖| FamilyHistory=―no‖ Smoker=―no‖)= 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 42 訓(xùn)練貝葉斯網(wǎng)絡(luò) ? 梯度 ? 其中 s個(gè)訓(xùn)練樣本 X1,…Xs,Wijk表示具有雙親 Ui=uik的變量 Yi=yij的 CPT項(xiàng) .比如 Yi是LungCancer,yij是其值 “ yes‖,Ui列出 Yi的雙親 (FH,S),uik是其值 (―yes‖,‖yes‖) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 43 ? 梯度方向前進(jìn) , Wijk=Wijk+(l)*梯度 其中 l是學(xué)習(xí)率 ,l太小學(xué)習(xí)將進(jìn)行得很慢 ,l太大可能出現(xiàn)在不適當(dāng)?shù)闹抵g擺動(dòng) .通常令l=1/t,t是循環(huán)的次數(shù) ? 將 Wijk歸一化 . ? 每次迭代中 ,修改 Wijk,并最終收斂到一個(gè)最優(yōu)解 . 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 44 神經(jīng)網(wǎng)絡(luò) （向后傳播分類）帶回饋的分類 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 45 計(jì)算方法 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 46 ? 由前一層的輸出作為輸入 i,與對(duì)應(yīng)的權(quán) w相乘形成加權(quán)和 ,再加上偏置 ? 對(duì)上面結(jié)果用一個(gè)非線性函數(shù) f作用形成本層的輸出 .將較大的值映射到 01之間 ? ??ijiijj OwI ?jIj eO ??? 1 12020年 9月 16日星期三 Data Mining: Concepts and Techniques 47 算法步驟 Output nodes Input nodes Hidden nodes Output vector Input vector: xi wij ? ?? i jiijj OwI ?jIj eO ??? 1 1))(1( jjjjj OTOOE r r ???ijijij OE r rlww )(??jjj E r rl )(?? ??jkk kjjj wE r rOOE r r ??? )1(2020年 9月 16日星期三 Data Mining: Concepts and Techniques 48 計(jì)算實(shí)例 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 49 ? 一個(gè)訓(xùn)練樣本 X={1,0,1},輸出為 1 ? X1=1,x2=0,x3=1,w14=,w15=,w24=,w25=,w34=,w35=,w46=,w56=, ? 偏置值 :節(jié)點(diǎn) 4:,節(jié)點(diǎn) 5:,節(jié)點(diǎn) 6: ? 學(xué)習(xí)率設(shè)為 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 50 ? 節(jié)點(diǎn) 4: 輸入值 :w14*x1+w24*x2+w34*x3+節(jié)點(diǎn) 4的偏置 =1*+**= 輸出值 :用公式 可得 ? 同理 :節(jié)點(diǎn) 5輸入值 ,輸出值 ? 節(jié)點(diǎn) 6: 輸入值 :w46*o4+w56*o5+節(jié)點(diǎn) 6的偏置 =**+= 輸出值 : jIj eO ??? 1 12020年 9月 16日星期三 Data Mining: Concepts and Techniques 51 誤差計(jì)算 ? 節(jié)點(diǎn) 6: *()*()= ? 節(jié)點(diǎn) 5: *()**()= ? 同理節(jié)點(diǎn) 4誤差為 : ))(1( jjjjj OTOOE r r ???jkk kjjj wE r rOOE r r ??? )1(2020年 9月 16日星期三 Data Mining: Concepts and Techniques 52 更新權(quán)值和偏置值 ? W46: +()()()= ? 其他 Wij同理 ? 節(jié)點(diǎn) 6的偏置 : +()*()= ? 其他偏置同理 ijijij OE r rlww )(??jjj E r rl )(?? ??2020年 9月 16日星期三 Data Mining: Concepts and Techniques 53 終止條件 ? 對(duì)所有樣本作一次掃描稱為一個(gè)周期 ? 終止條件 :對(duì)前一周期所有 Wij的修改值都小于某個(gè)指定的閾值 。 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 70 二、數(shù)據(jù)挖掘軟件的發(fā)展 第一代數(shù)據(jù)挖掘軟件 CBA 新加坡國(guó)立大學(xué)。 第四代數(shù)據(jù)挖掘原型或商業(yè)系統(tǒng)尚未見報(bào)導(dǎo) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 78 二、數(shù)據(jù)挖掘軟件的發(fā)展 數(shù)據(jù)挖掘軟件發(fā)展的三個(gè)階段 ? 獨(dú)立的數(shù)據(jù)挖掘軟件 ? 橫向的數(shù)據(jù)挖掘工具集 ? 縱向的數(shù)據(jù)挖掘解決方案 Gregory PiatetskyShapiro的觀點(diǎn) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 79 二、數(shù)據(jù)挖掘軟件的發(fā)展 獨(dú)立的數(shù)據(jù)挖掘軟件 （ 95年以前） ? 特點(diǎn) – 獨(dú)立的數(shù)據(jù)挖掘軟件對(duì)應(yīng)第一代系統(tǒng)，出現(xiàn)在數(shù)據(jù)挖掘技術(shù)發(fā)展早期，研究人員開發(fā)出一種新型的數(shù)據(jù)挖掘算法，就形成一個(gè)軟件。 – 隨著數(shù)據(jù)量的增加，需要利用數(shù)據(jù)庫或者數(shù)據(jù)倉庫技術(shù)進(jìn)行管理，所以數(shù)據(jù)挖掘系統(tǒng)與數(shù)據(jù)庫和數(shù)據(jù)倉庫結(jié)合是自然的發(fā)展。 銀行 電信 零售 保險(xiǎn) 制藥 生物信息 科學(xué)研究 。 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 93 四、數(shù)據(jù)挖掘應(yīng)用 數(shù)據(jù)挖掘 客 戶 分 析 析 基 分 因 其他 保險(xiǎn)客戶 證券客戶 銀行客戶 電信客戶 零售客戶 ?信用卡 ?儲(chǔ)蓄卡 ?存折 ?按揭 ?借貸 人類基因 植物基因 動(dòng)物基因 特殊群體基因 ?基因序列 ?基因表達(dá)譜 ?基因功能 ?基因制藥 ………... 數(shù)據(jù)挖掘中國(guó)內(nèi)地市場(chǎng)規(guī)模未來五年內(nèi)將達(dá)百億 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 94 四、數(shù)據(jù)挖掘應(yīng)用 為什么沒有廣泛使用？ ? 數(shù)據(jù)挖掘正在快速的發(fā)展 – 技術(shù)的研究和開發(fā)已經(jīng)走在很前沿的地方 – 數(shù)據(jù)挖掘應(yīng)用面已經(jīng)擴(kuò)充了很多 ? 但是仍然沒有希望的高，為什么？ – 希望在多少年內(nèi)達(dá)到數(shù)十億元的盈利？ – 是一種增值服務(wù)（ Not breadandbutter） – 不能認(rèn)為高不可攀，所以不去過問 – 是一門年輕的技術(shù)，需要和實(shí)際結(jié)合，解決現(xiàn)實(shí)問題 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 95 四、數(shù)據(jù)挖掘應(yīng)用 國(guó)內(nèi)應(yīng)用存在的問題 ? 數(shù)據(jù)積累不充分、不全面 ? 業(yè)務(wù)模型構(gòu)建困難 ? 缺少有經(jīng)驗(yàn)的實(shí)施者 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 96 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 Debt10% of Ine Debt=0% Good Credit Risks Bad Credit Risks Good Credit Risks Yes Yes Yes NO NO NO Ine$40K Q Q Q Q I I 1 2 3 4 5 6 factor 1 factor 2 factor n 神經(jīng)網(wǎng)絡(luò) Neural Networks 聚類分析 Clustering Open Ac’t Add New Product Decrease Usage ??? Time 序列分析 Sequence Analysis 決策樹 Decision Trees ? 傾向性分析 ? 客戶保留 ? 客戶生命周期管理 ? 目標(biāo)市場(chǎng) ? 價(jià)格彈性分析 ? 客戶細(xì)分 ? 市場(chǎng)細(xì)分 ? 傾向性分析 ? 客戶保留 ? 目標(biāo)市場(chǎng) ? 欺詐檢測(cè) 關(guān)聯(lián)分析 Association ? 市場(chǎng)組合分析 ? 套裝產(chǎn)品分析 ? 目錄設(shè)計(jì) ? 交叉銷售 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 97 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 ? 聚集（ Cluster） – 聚集是把整個(gè)數(shù)據(jù)庫分成不同的群組。 ? 因此，需要構(gòu)建預(yù)言模型 ? 分類是預(yù)言模型的一種技術(shù)，可以利用分類技術(shù)構(gòu)建客戶響應(yīng)率模型 – 決策樹 – 神經(jīng)網(wǎng)絡(luò) – 貝葉斯分類 –… 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 103 五、數(shù)據(jù)挖掘未來發(fā)展 ? 與數(shù)據(jù)庫數(shù)據(jù)倉庫系統(tǒng)集成 ? 與預(yù)言模型系統(tǒng)集成 ? 挖掘各種復(fù)雜類型的數(shù)據(jù) ? 與應(yīng)用相結(jié)合 ? 研制和開發(fā)數(shù)據(jù)挖掘標(biāo)準(zhǔn) ? 支持移動(dòng)環(huán)境 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 104 聯(lián)系方式 朱揚(yáng)勇 202033上海邯鄲路 22