【正文】 星期三 Data Mining: Concepts and Techniques 40 貝葉斯信念網(wǎng)絡 Family History LungCancer PositiveXRay Smoker Emphysema Dyspnea LC ~LC (FH, S) (FH, ~S) (~FH, S) (~FH, ~S) 有向無環(huán)圖 The conditional probability table for the variable LungCancer 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 41 ? 一旦 FamilyHistory和 Smoker確定 ,LungCancer就確定和其他的無關 . P(LungCancer=―yes‖| FamilyHistory=―yes‖ Smoker=―yes‖)= P(LungCancer=―no‖| FamilyHistory=―no‖ Smoker=―no‖)= 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 42 訓練貝葉斯網(wǎng)絡 ? 梯度 ? 其中 s個訓練樣本 X1,…Xs,Wijk表示具有雙親 Ui=uik的變量 Yi=yij的 CPT項 .比如 Yi是LungCancer,yij是其值 “ yes‖,Ui列出 Yi的雙親 (FH,S),uik是其值 (―yes‖,‖yes‖) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 43 ? 梯度方向前進 , Wijk=Wijk+(l)*梯度 其中 l是學習率 ,l太小學習將進行得很慢 ,l太大可能出現(xiàn)在不適當?shù)闹抵g擺動 .通常令l=1/t,t是循環(huán)的次數(shù) ? 將 Wijk歸一化 . ? 每次迭代中 ,修改 Wijk,并最終收斂到一個最優(yōu)解 . 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 44 神經(jīng)網(wǎng)絡 （向后傳播分類）帶回饋的分類 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 45 計算方法 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 46 ? 由前一層的輸出作為輸入 i,與對應的權(quán) w相乘形成加權(quán)和 ,再加上偏置 ? 對上面結(jié)果用一個非線性函數(shù) f作用形成本層的輸出 .將較大的值映射到 01之間 ? ??ijiijj OwI ?jIj eO ??? 1 12020年 9月 16日星期三 Data Mining: Concepts and Techniques 47 算法步驟 Output nodes Input nodes Hidden nodes Output vector Input vector: xi wij ? ?? i jiijj OwI ?jIj eO ??? 1 1))(1( jjjjj OTOOE r r ???ijijij OE r rlww )(??jjj E r rl )(?? ??jkk kjjj wE r rOOE r r ??? )1(2020年 9月 16日星期三 Data Mining: Concepts and Techniques 48 計算實例 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 49 ? 一個訓練樣本 X={1,0,1},輸出為 1 ? X1=1,x2=0,x3=1,w14=,w15=,w24=,w25=,w34=,w35=,w46=,w56=, ? 偏置值 :節(jié)點 4:,節(jié)點 5:,節(jié)點 6: ? 學習率設為 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 50 ? 節(jié)點 4: 輸入值 :w14*x1+w24*x2+w34*x3+節(jié)點 4的偏置 =1*+**= 輸出值 :用公式 可得 ? 同理 :節(jié)點 5輸入值 ,輸出值 ? 節(jié)點 6: 輸入值 :w46*o4+w56*o5+節(jié)點 6的偏置 =**+= 輸出值 : jIj eO ??? 1 12020年 9月 16日星期三 Data Mining: Concepts and Techniques 51 誤差計算 ? 節(jié)點 6: *()*()= ? 節(jié)點 5: *()**()= ? 同理節(jié)點 4誤差為 : ))(1( jjjjj OTOOE r r ???jkk kjjj wE r rOOE r r ??? )1(2020年 9月 16日星期三 Data Mining: Concepts and Techniques 52 更新權(quán)值和偏置值 ? W46: +()()()= ? 其他 Wij同理 ? 節(jié)點 6的偏置 : +()*()= ? 其他偏置同理 ijijij OE r rlww )(??jjj E r rl )(?? ??2020年 9月 16日星期三 Data Mining: Concepts and Techniques 53 終止條件 ? 對所有樣本作一次掃描稱為一個周期 ? 終止條件 :對前一周期所有 Wij的修改值都小于某個指定的閾值 。 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 70 二、數(shù)據(jù)挖掘軟件的發(fā)展 第一代數(shù)據(jù)挖掘軟件 CBA 新加坡國立大學。 第四代數(shù)據(jù)挖掘原型或商業(yè)系統(tǒng)尚未見報導 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 78 二、數(shù)據(jù)挖掘軟件的發(fā)展 數(shù)據(jù)挖掘軟件發(fā)展的三個階段 ? 獨立的數(shù)據(jù)挖掘軟件 ? 橫向的數(shù)據(jù)挖掘工具集 ? 縱向的數(shù)據(jù)挖掘解決方案 Gregory PiatetskyShapiro的觀點 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 79 二、數(shù)據(jù)挖掘軟件的發(fā)展 獨立的數(shù)據(jù)挖掘軟件 （ 95年以前） ? 特點 – 獨立的數(shù)據(jù)挖掘軟件對應第一代系統(tǒng)，出現(xiàn)在數(shù)據(jù)挖掘技術發(fā)展早期，研究人員開發(fā)出一種新型的數(shù)據(jù)挖掘算法，就形成一個軟件。 – 隨著數(shù)據(jù)量的增加，需要利用數(shù)據(jù)庫或者數(shù)據(jù)倉庫技術進行管理，所以數(shù)據(jù)挖掘系統(tǒng)與數(shù)據(jù)庫和數(shù)據(jù)倉庫結(jié)合是自然的發(fā)展。 銀行 電信 零售 保險 制藥 生物信息 科學研究 。 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 93 四、數(shù)據(jù)挖掘應用 數(shù)據(jù)挖掘 客 戶 分 析 析 基 分 因 其他 保險客戶 證券客戶 銀行客戶 電信客戶 零售客戶 ?信用卡 ?儲蓄卡 ?存折 ?按揭 ?借貸 人類基因 植物基因 動物基因 特殊群體基因 ?基因序列 ?基因表達譜 ?基因功能 ?基因制藥 ………... 數(shù)據(jù)挖掘中國內(nèi)地市場規(guī)模未來五年內(nèi)將達百億 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 94 四、數(shù)據(jù)挖掘應用 為什么沒有廣泛使用？ ? 數(shù)據(jù)挖掘正在快速的發(fā)展 – 技術的研究和開發(fā)已經(jīng)走在很前沿的地方 – 數(shù)據(jù)挖掘應用面已經(jīng)擴充了很多 ? 但是仍然沒有希望的高，為什么？ – 希望在多少年內(nèi)達到數(shù)十億元的盈利？ – 是一種增值服務（ Not breadandbutter） – 不能認為高不可攀，所以不去過問 – 是一門年輕的技術，需要和實際結(jié)合，解決現(xiàn)實問題 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 95 四、數(shù)據(jù)挖掘應用 國內(nèi)應用存在的問題 ? 數(shù)據(jù)積累不充分、不全面 ? 業(yè)務模型構(gòu)建困難 ? 缺少有經(jīng)驗的實施者 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 96 四、數(shù)據(jù)挖掘應用 業(yè)務建摸 Debt10% of Ine Debt=0% Good Credit Risks Bad Credit Risks Good Credit Risks Yes Yes Yes NO NO NO Ine$40K Q Q Q Q I I 1 2 3 4 5 6 factor 1 factor 2 factor n 神經(jīng)網(wǎng)絡 Neural Networks 聚類分析 Clustering Open Ac’t Add New Product Decrease Usage ??? Time 序列分析 Sequence Analysis 決策樹 Decision Trees ? 傾向性分析 ? 客戶保留 ? 客戶生命周期管理 ? 目標市場 ? 價格彈性分析 ? 客戶細分 ? 市場細分 ? 傾向性分析 ? 客戶保留 ? 目標市場 ? 欺詐檢測 關聯(lián)分析 Association ? 市場組合分析 ? 套裝產(chǎn)品分析 ? 目錄設計 ? 交叉銷售 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 97 四、數(shù)據(jù)挖掘應用 業(yè)務建摸 ? 聚集（ Cluster） – 聚集是把整個數(shù)據(jù)庫分成不同的群組。 ? 因此，需要構(gòu)建預言模型 ? 分類是預言模型的一種技術，可以利用分類技術構(gòu)建客戶響應率模型 – 決策樹 – 神經(jīng)網(wǎng)絡 – 貝葉斯分類 –… 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 103 五、數(shù)據(jù)挖掘未來發(fā)展 ? 與數(shù)據(jù)庫數(shù)據(jù)倉庫系統(tǒng)集成 ? 與預言模型系統(tǒng)集成 ? 挖掘各種復雜類型的數(shù)據(jù) ? 與應用相結(jié)合 ? 研制和開發(fā)數(shù)據(jù)挖掘標準 ? 支持移動環(huán)境 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 104 聯(lián)系方式 朱揚勇 202033上海邯鄲路 22