【正文】 sses or concepts for future prediction ? ., classify countries based on (climate), or classify cars based on (gas mileage) ? Predict some unknown or missing numerical values ?分類(lèi)和預(yù)測(cè) ?按氣候?qū)?guó)家分類(lèi)，按耗油量分類(lèi)汽車(chē) ?預(yù)測(cè)未來(lái)和考古 2022/2/16 4 88 提綱 1. 國(guó)外教學(xué)經(jīng)驗(yàn)和我們的安排 2. 動(dòng)機(jī)， 背景 3. 數(shù)據(jù)庫(kù)進(jìn)展回顧 5PPT 4. 什么是 DM 5. 挖掘什么 6. KDD Process 7. DM的分類(lèi) 8. 興趣度 9. KDD的基本思想 10. DM 5要素 — 語(yǔ)言 難點(diǎn) KDD技術(shù) KDD系統(tǒng) 16. 數(shù)據(jù)挖掘十大成果（算法） 數(shù)據(jù)挖掘十大問(wèn)題 2022/2/16 4 88 Are All the “Discovered” Patterns Interesting? ? 粗挖 ： 機(jī)器認(rèn)為是各模式 （嫌疑模式） ? 精挖 ： 人認(rèn)為 Interesting（ 有用性 或 興趣度） ? 模式興趣度的衡量標(biāo)準(zhǔn) : ? 易懂 ? 用有相當(dāng)確定程度的新數(shù)據(jù)進(jìn)行測(cè)試，能運(yùn)行正常。 所采用的技術(shù) : (tech) ? 面向數(shù)據(jù)庫(kù) , 數(shù)據(jù)倉(cāng)庫(kù) (OLAP),機(jī)器學(xué)習(xí) , 統(tǒng)計(jì) ,可視化 , 神經(jīng)網(wǎng)絡(luò)等等 . 2022/2/16 2022/2/16 88 Data Mining: On What Kinds of Data? 什么礦床 (Data) ? RDB, data warehouse, transactional database ? Advanced data sets and advanced applications ? 數(shù)據(jù)流，傳感器數(shù)據(jù)，時(shí)態(tài)數(shù)據(jù)，序列數(shù)據(jù)（生物基因數(shù)據(jù)） ? 結(jié)構(gòu)數(shù)據(jù)，圖，社會(huì)網(wǎng)絡(luò) 。 2022/2/16 27 2022/2/16 2 88 不能盲目使用數(shù)據(jù)挖掘 ? 數(shù)據(jù)挖掘從歷史數(shù)據(jù)中找規(guī)律 ,但歷史并不和未來(lái)一樣 . ? 關(guān)聯(lián)并不意味著趨勢(shì)和因果關(guān)系 !? ? 喝減肥飲料導(dǎo)致肥胖 ! ? David Heckerman’s counterexample (1997): ? Barbecue source, hot dogs and hamburgers. ? Some abnormal data could be caused by human! ? 人的主觀(guān)因素很復(fù)雜，例如 不按市場(chǎng)規(guī)律運(yùn)行的的股市 ? 37 C? Why not registered by doctors? ? Grade assignment and score gaps. 2022/2/16 28 2022/2/16 2 88 提綱 1. 國(guó)外教學(xué)經(jīng)驗(yàn)和我們的安排 2. 動(dòng)機(jī)， 背景 3. 數(shù)據(jù)庫(kù)進(jìn)展回顧 5PPT 4. 什么是 DM 5. 挖掘什么 6. KDD Process 7. DM的分類(lèi) 8. 興趣度 9. KDD的基本思想 10. DM 5要素 — 語(yǔ)言 難點(diǎn) KDD技術(shù) KDD系統(tǒng) 16. 數(shù)據(jù)挖掘十大成果（算法） 數(shù)據(jù)挖掘十大問(wèn)題 2022/2/16 88 – D M 是 KDD 的核心數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)與任務(wù)相關(guān)數(shù)據(jù)選擇D a t a M i n i n g模式評(píng)價(jià)Data Mining: A KDD Process Knowledge Discovery (KDD) Process 2022/2/16 3 88 1. Learning the application domain 學(xué)習(xí)領(lǐng)域知識(shí) 2. relevant prior knowledge and goals of application 相關(guān) 知識(shí)和目標(biāo) 3. Creating a target data set: data selection 選擇數(shù)據(jù) 4. Data cleaning and preprocessing: (may take 60% of effort!) 數(shù)據(jù)清理 5. Data reduction and transformation 數(shù)據(jù)轉(zhuǎn)換 6. Find useful features, dimensionality/variable reduction, invariant representation 提取特征 ? 下頁(yè) … KDD Process: Several Key Steps 關(guān)鍵步驟 1 ?早 ?期 ?預(yù) ?處 ?理 ?數(shù) ?據(jù) ?預(yù) ?處 ?理 2022/2/16 3 88 7. Choosing functions of data mining 選挖掘功能，如： summarization, classification, regression, association, clustering 7. Choosing the mining algorithm(s) 選算法 8. Data mining: search for patterns of interest 挖掘模式 9. Pattern evaluation and knowledge presentation 評(píng)價(jià)結(jié)果，知識(shí)表達(dá) 10. visualization, transformation, removing redundant patterns, etc. 可視化，轉(zhuǎn)換 11. Use of discovered knowledge KDD Process: Several Key Steps 關(guān)鍵步驟 2 ?挖 ?掘 ?后 ?期 ?處 ?理 2022/2/16 3 88 Data Mining and Business Intelligence 商務(wù)智能金字塔 Increasing potential to support business decisions 向上 —更宏觀(guān) 決策 上面是老板 下面是打工仔 不同層次的用戶(hù) End User Business Analyst Data Analyst DBA Decision Making 決策 Data Presentation表達(dá) Visualization Techniques Data Mining 挖掘 Information Discovery Data Exploration 統(tǒng)計(jì)等等 Statistical Summary, Querying, and Reporting 預(yù)處理 /集成 , 數(shù)據(jù)倉(cāng)庫(kù) Data Sources 數(shù)據(jù)源 Paper, Files, Web documents, Scientific experiments, Database Systems 2022/2/16 3 88 挖掘數(shù)據(jù) : OLAM 體系 Database Data Warehouse Meta Data Data Cube OLAM Engine OLAP Engine User GUI API Data Cube API ODBC/OLEDB 2022/2/16 34 2022/2/16 3 88 Data Mining: Confluence of Multiple Disciplines 多學(xué)科融合 同學(xué)們常常要扮演 標(biāo)注紅色的幾個(gè)專(zhuān)家 Data Mining Database Technology Statistics Machine Learning Pattern Recognition Algorithm Other Disciplines Visualization ?數(shù)學(xué)家 ?模式識(shí)別 ?圖像圖形 ?AI專(zhuān)家 ?數(shù)據(jù)庫(kù)專(zhuān)家 ?算法 ?其他 2022/2/16 3 88 提綱 1. 國(guó)外教學(xué)經(jīng)驗(yàn)和我們的安排 2. 動(dòng)機(jī)， 背景 3. 數(shù)據(jù)庫(kù)進(jìn)展回顧 5PPT 4. 什么是 DM 5. 挖掘什么 6. KDD Process 7. DM的分類(lèi) 8. 興趣度 9. KDD的基本思想 10. DM 5要素 — 語(yǔ)言 難點(diǎn) KDD技術(shù) KDD系統(tǒng) 16. 數(shù)據(jù)挖掘十大成果（算法） 數(shù)據(jù)挖掘十大問(wèn)題 2022/2/16 3 88 Why Not Traditional Data Analysis? 傳統(tǒng)方法的不足 ：三個(gè)字： 量 維 雜 ? 量： Tremendous amount of data 數(shù)據(jù)量大 ? Algorithms must be highly scalable to handle such as terabytes of data 算法要求能處理 TB級(jí)的數(shù)據(jù) ? 維： Highdimensionality of data 多維數(shù)據(jù) ， 甚至上千維 ? Microarray may have tens of thousands of dimensions ? 雜： High plexity of data ? 傳感器數(shù)據(jù)流 ，時(shí)間序列，時(shí)態(tài)數(shù)據(jù)，結(jié)構(gòu)數(shù)據(jù)，圖，網(wǎng)絡(luò)，相異種庫(kù)，老數(shù)據(jù)庫(kù)，文本，程序，科學(xué)數(shù)據(jù)， …… 2022/2/16 3 88 MultiDimensional View of Data Mining 各種角度看 DM ? Data to be mined 從被挖數(shù)據(jù)看（雜）比喻：什么礦床，什么石頭） ? 關(guān)系，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)庫(kù)事務(wù)，數(shù)據(jù)流， OODB,空間數(shù)據(jù)，時(shí)間序列，多媒體沒(méi)， heterogeneous, legacy, WWW ? Knowledge to be mined 從擬挖掘的知識(shí)看（什么礦藏，金？銀？） ? 多種知識(shí)，特征，描述，關(guān)聯(lián)，分類(lèi)聚類(lèi)，趨勢(shì)，孤立點(diǎn) ? 上述知識(shí)的祝賀組合，多層次 ? Techniques utilized 從挖掘技術(shù)看 （什么設(shè)備） ? 面向數(shù)據(jù) , 數(shù)據(jù)倉(cāng)庫(kù) (OLAP), 及其學(xué)習(xí)，統(tǒng)計(jì)，可視化 ? Aplications adapted 從應(yīng)用看 （賣(mài)給誰(shuí)） ? 銷(xiāo)售 Retail, 通訊 telemunication, 銀行 banking, fraud analysis, 生物 biodata mining, 股票 stock market analysis,文本分析 text mining, Web mining, etc. 2022/2/16 3 88 Data Mining: Classification Schemes 三種分類(lèi)方案 ? 被采掘的數(shù)據(jù)庫(kù) : (data) ? 關(guān)系型 , 事物型 , 面向?qū)ο?, 面向關(guān)系型 , 動(dòng)態(tài)型 ,空間型 , 時(shí)間序列型 , 文本 型 , 多媒體型 , 雜交型 , 遺傳型等等 . ? 被采掘的知識(shí) : (knowledge) ? 總結(jié) (特征歸納 ), 比較 , 關(guān)聯(lián) , 分類(lèi) , 聚類(lèi) ,趨勢(shì) ,反趨勢(shì) 和 模式分析 ,等等。 ? 天文 ? Cal Tech 和 the Palomar Observatory 在數(shù)據(jù)采掘的幫助下發(fā)現(xiàn)了 22個(gè) 星體 。 ? 例子 : ? Auto Insurance: detect a group of people who stage accidents to collect on insura