【文章內(nèi)容簡介】 End User Business Analyst Data Analyst DBA Decision Making 決策 Data Presentation表達(dá) Visualization Techniques Data Mining 挖掘 Information Discovery Data Exploration 統(tǒng)計(jì)等等 Statistical Summary, Querying, and Reporting 預(yù)處理 /集成 , 數(shù)據(jù)倉庫 Data Sources 數(shù)據(jù)源 Paper, Files, Web documents, Scientific experiments, Database Systems 2022/2/16 3 88 挖掘數(shù)據(jù) : OLAM 體系 Database Data Warehouse Meta Data Data Cube OLAM Engine OLAP Engine User GUI API Data Cube API ODBC/OLEDB 2022/2/16 34 2022/2/16 3 88 Data Mining: Confluence of Multiple Disciplines 多學(xué)科融合 同學(xué)們常常要扮演 標(biāo)注紅色的幾個(gè)專家 Data Mining Database Technology Statistics Machine Learning Pattern Recognition Algorithm Other Disciplines Visualization ?數(shù)學(xué)家 ?模式識(shí)別 ?圖像圖形 ?AI專家 ?數(shù)據(jù)庫專家 ?算法 ?其他 2022/2/16 3 88 提綱 1. 國外教學(xué)經(jīng)驗(yàn)和我們的安排 2. 動(dòng)機(jī)， 背景 3. 數(shù)據(jù)庫進(jìn)展回顧 5PPT 4. 什么是 DM 5. 挖掘什么 6. KDD Process 7. DM的分類 8. 興趣度 9. KDD的基本思想 10. DM 5要素 — 語言 難點(diǎn) KDD技術(shù) KDD系統(tǒng) 16. 數(shù)據(jù)挖掘十大成果（算法） 數(shù)據(jù)挖掘十大問題 2022/2/16 3 88 Why Not Traditional Data Analysis? 傳統(tǒng)方法的不足 ：三個(gè)字： 量 維 雜 ? 量： Tremendous amount of data 數(shù)據(jù)量大 ? Algorithms must be highly scalable to handle such as terabytes of data 算法要求能處理 TB級(jí)的數(shù)據(jù) ? 維： Highdimensionality of data 多維數(shù)據(jù) ， 甚至上千維 ? Microarray may have tens of thousands of dimensions ? 雜： High plexity of data ? 傳感器數(shù)據(jù)流 ，時(shí)間序列，時(shí)態(tài)數(shù)據(jù)，結(jié)構(gòu)數(shù)據(jù)，圖，網(wǎng)絡(luò)，相異種庫，老數(shù)據(jù)庫，文本，程序，科學(xué)數(shù)據(jù)， …… 2022/2/16 3 88 MultiDimensional View of Data Mining 各種角度看 DM ? Data to be mined 從被挖數(shù)據(jù)看（雜）比喻：什么礦床，什么石頭） ? 關(guān)系，數(shù)據(jù)倉庫，數(shù)據(jù)庫事務(wù)，數(shù)據(jù)流， OODB,空間數(shù)據(jù)，時(shí)間序列，多媒體沒， heterogeneous, legacy, WWW ? Knowledge to be mined 從擬挖掘的知識(shí)看（什么礦藏，金？銀？） ? 多種知識(shí)，特征，描述，關(guān)聯(lián)，分類聚類，趨勢，孤立點(diǎn) ? 上述知識(shí)的祝賀組合，多層次 ? Techniques utilized 從挖掘技術(shù)看 （什么設(shè)備） ? 面向數(shù)據(jù) , 數(shù)據(jù)倉庫 (OLAP), 及其學(xué)習(xí)，統(tǒng)計(jì)，可視化 ? Aplications adapted 從應(yīng)用看 （賣給誰） ? 銷售 Retail, 通訊 telemunication, 銀行 banking, fraud analysis, 生物 biodata mining, 股票 stock market analysis,文本分析 text mining, Web mining, etc. 2022/2/16 3 88 Data Mining: Classification Schemes 三種分類方案 ? 被采掘的數(shù)據(jù)庫 : (data) ? 關(guān)系型 , 事物型 , 面向?qū)ο?, 面向關(guān)系型 , 動(dòng)態(tài)型 ,空間型 , 時(shí)間序列型 , 文本 型 , 多媒體型 , 雜交型 , 遺傳型等等 . ? 被采掘的知識(shí) : (knowledge) ? 總結(jié) (特征歸納 ), 比較 , 關(guān)聯(lián) , 分類 , 聚類 ,趨勢 ,反趨勢 和 模式分析 ,等等。 ? 知識(shí)采掘的不同抽象級(jí)別 : 原始級(jí)，高級(jí)，多級(jí)等等。 所采用的技術(shù) : (tech) ? 面向數(shù)據(jù)庫 , 數(shù)據(jù)倉庫 (OLAP),機(jī)器學(xué)習(xí) , 統(tǒng)計(jì) ,可視化 , 神經(jīng)網(wǎng)絡(luò)等等 . 2022/2/16 2022/2/16 88 Data Mining: On What Kinds of Data? 什么礦床 (Data) ? RDB, data warehouse, transactional database ? Advanced data sets and advanced applications ? 數(shù)據(jù)流，傳感器數(shù)據(jù)，時(shí)態(tài)數(shù)據(jù)，序列數(shù)據(jù)（生物基因數(shù)據(jù)） ? 結(jié)構(gòu)數(shù)據(jù)，圖，社會(huì)網(wǎng)絡(luò) 。對象關(guān)系數(shù)據(jù)庫， 異構(gòu)數(shù)據(jù)庫， 老數(shù)據(jù)庫，空間數(shù)據(jù)，多媒體數(shù)據(jù)，文本， WEB 2022/2/16 4 88 Data Mining Functionalities（ 1） 挖什么知識(shí) ? 多維數(shù)據(jù)庫，概念描述，特征描述 ? Generalize, summarize, and contrast data characteristics, ., dry vs. wet regions ? 高頻模式 , association, correlation相關(guān)性 vs. causality因果 ? Diaper ? Beer [%, 75%] (Correlation or causality?) ? 分類 預(yù)測 Classification and prediction ? Predict some unknown or missing numerical values 2022/2/16 4 88 Data Mining Functionalities（ 2） 挖什么知識(shí) ? Multidimensional concept description: Characterization and discrimination ? Generalize, summarize, and contrast data characteristics, ., dry vs. wet regions ? Frequent patterns, association, correlation vs. causality ? Diaper ? Beer [%, 75%] (Correlation or causality?) ? Classification and prediction ? Construct models (functions) that describe and distinguish classes or concepts for future prediction ? ., classify countries based on (climate), or classify cars based on (gas mileage) ? Predict some unknown or missing numerical values ?多維概念描述，特征描述，總結(jié)知識(shí)。摘要，等等 2022/2/16 4 88 Data Mining Functionalities（ 3） 挖什么知識(shí) ? Multidimensional concept description: Characterization and discrimination ? Generalize, summarize, and contrast data characteristics, ., dry vs. wet regions ? Frequent patterns, association, correlation vs. causality ? Diaper ? Beer [%, 75%] (Correlation or causality?) ? Classification and prediction ? Construct models (functions) that describe and distinguish classes or concepts for future prediction ? ., classify countries based on (climate), or classify cars based on (gas mileage) ? Predict some unknown or missing numerical values ?高頻模式，關(guān)聯(lián)，因果關(guān)系 2022/2/16 4 88 Data Mining Functionalities（ 4） 挖什么知識(shí) ? Multidimensional concept description: Characterization and discrimination ? Generalize, summarize, and contrast data characteristics, ., dry vs. wet regions ? Frequent patterns, association, correlation vs. causality ? Diaper ? Beer [%, 75%] (Correlation or causality?) ? Classification and prediction ? Construct models (functions) that describe and distinguish classes or concepts for future prediction ? ., classify countries based on (climate), or classify cars based on (gas mileage) ? Predict some unknown or missing numerical values ?分類和預(yù)測 ?按氣候?qū)曳诸悾春挠土糠诸惼? ?預(yù)測未來和考古 2022/2/16 4 88 提綱 1. 國外教學(xué)經(jīng)驗(yàn)和我們的安排 2. 動(dòng)機(jī)， 背景 3. 數(shù)據(jù)庫進(jìn)展回顧 5PPT 4. 什么是 DM 5. 挖掘什么 6. KDD Process 7. DM的分類 8. 興趣度 9. KDD的基本思想 10. DM 5要素 — 語言 難點(diǎn) KDD技術(shù) KDD系統(tǒng) 16. 數(shù)據(jù)挖掘十大成果（算法） 數(shù)據(jù)挖掘十大問題 2022/2/16 4 88 Are All the “Discovered” Patterns Interesting? ? 粗挖 ： 機(jī)器認(rèn)為是各模式 （嫌疑模式） ? 精挖 ： 人認(rèn)為 Interesting（ 有用性 或 興趣度） ? 模式興趣度的衡量標(biāo)準(zhǔn) : ? 易懂 ? 用有相當(dāng)確定程度的新數(shù)據(jù)進(jìn)行測試，能運(yùn)行正常。 ? 有潛在的有用性 ? 能確認(rèn)用戶試圖想 確認(rèn)的假設(shè) ? 客觀 和 主觀 有用性的衡量標(biāo)準(zhǔn) : ? 客觀興趣度 :基于統(tǒng)計(jì)和模式結(jié)