【正文】 nce ? Money Laundering: detect suspicious money transactions (US Treasury39。 2022/2/16 2 88 Why Data Mining? 潛在的應(yīng)用 ? 數(shù)據(jù)庫分析和決策支持 ? 市場分析和管理 ? 市場營銷 , 顧客關(guān)系管理 , 菜籃子分析 , cross 銷售 , 市場細(xì)化 . ? 風(fēng)險分析和管理 ? 天氣預(yù)報 , 顧客消費習(xí)慣 , 保險業(yè) , 質(zhì)量控制 ,競爭分析等等 . ? 詐騙預(yù)測和管理 ? Other Applications: ? Test mining (news group, , documents) and Web analysis. ? 智能查詢回答 Intelligent query answering ? 間諜搜集的情報 （ 照片 ， TEXT) 2022/2/16 21 2022/2/16 2 88 DM應(yīng)用：市場分析和管理 快講 ? 供分析的數(shù)據(jù)源在哪里 ? ? 信用卡業(yè)務(wù) , 信譽卡 , 優(yōu)惠券 , 顧客投訴 , 大眾生活方式研究 . ? 市場營銷 Target marketing: ? 尋找典型消費者的聚類，他們有相同的特征：偏好、收入水平、消費習(xí)慣等等 . ? Determine customer purchasing patterns over time: ? Conversion of single to a joint bank account: marriage, etc. ? Crossmarket analysis ? 銷售產(chǎn)品之間的關(guān)聯(lián) ? 基于相關(guān)信息的預(yù)測 2022/2/16 22 2022/2/16 2 88 DM應(yīng)用：市場分析和管理 (2) 快講 ? Customer profiling ? 數(shù)據(jù)采掘可以告訴你什么類型的顧客買什么樣的產(chǎn)品 (聚類或分類 ). ? 確認(rèn)顧客需求 ? 為不同顧客確認(rèn)最好的產(chǎn)品 ? 預(yù)測什么因素會吸引新顧客 ? 提供簡報 ? 各種多維簡報 。 ? Watch out: Is everything ―data mining‖? Simple search and query processing (Deductive) expert systems ? 數(shù)據(jù)倉庫（ Data Warehouse） 為 KDD作數(shù)據(jù)準(zhǔn)備， ? 相當(dāng)于 KDD的數(shù)據(jù)清理 。 2022/2/16 1 88 提綱 1. 國外教學(xué)經(jīng)驗和我們的安排 2. 動機， 背景 3. 數(shù)據(jù)庫進(jìn)展回顧 5PPT 4. 什么是 DM 5. 挖掘什么 6. KDD Process 7. DM的分類 8. 興趣度 9. KDD的基本思想 10. DM 5要素 — 語言 難點 KDD技術(shù) KDD系統(tǒng) 16. 數(shù)據(jù)挖掘十大成果（算法） 數(shù)據(jù)挖掘十大問題 2022/2/16 88 What Is Data Mining? ? DM“從數(shù)據(jù)中挖掘知識 ” ， 簡捷響亮 不太規(guī)范 ? Extraction of interesting (nontrivial, implicit, previously unknown and potentially useful) patterns or knowledge from huge amount of data ? KDD權(quán)威專家 （ 如 R. Agrawal， ） 定義 D=數(shù)據(jù)清理 +DM+知識評價與解釋 。 ? 1998年 ACM的特殊興趣組 SIGKDD成立。 ? 1996年由 第二本專著 ? 2022/2/16 1 88 數(shù)據(jù)庫進(jìn)展回顧 4 ? Advances in Knowledge Discovery and Data Mining。 ? 1991 Piatetsky sharpiro和 ? 專著 Knowledge Discovery in Dada base ? 19911994年 ， KDD Workshop會議 。噪聲， 觀點的矛盾 ? ―Necessity is the mother of invention‖—Data mining—Automated analysis of massive data sets 需求是發(fā)明之母 ? 呼喚 去粗存精，去偽存精 的技術(shù)。上世紀(jì) 90年代 –現(xiàn)在 KDD ,DM….. （作科研 找項目也類似 ?） 2022/2/16 88 We are Data Rich but Information Poor ( next cc) Databases are too big Data Mining can help discover knowledge Terrorbytes 2022/2/16 10 2022/2/16 1 88 Motivation: Why data mining? 動機， 背景 ? Data collection and data availability 1 數(shù)據(jù)庫是人類 搜集存儲 數(shù)據(jù)能力 的延伸。 ? DM是什么，可以作什么事情 ? 將排出一個通訊錄， 報告題目，章節(jié)和 時間， 委托某同學(xué)來作 2022/2/16 88 提綱 1. 國外教學(xué)經(jīng)驗和我們的安排 2. 動機， 背景 3. 數(shù)據(jù)庫進(jìn)展回顧 5PPT 4. 什么是 DM 5. 挖掘什么 6. KDD Process 7. DM的分類 8. 興趣度 9. KDD的基本思想 10. DM 5要素 — 語言 難點 KDD技術(shù) KDD系統(tǒng) 16. 數(shù)據(jù)挖掘十大成果（算法） 數(shù)據(jù)挖掘十大問題 2022/2/16 88 Motivation: Why data mining? 動機， 背景 發(fā)生在 數(shù)據(jù)庫上的 ‖成長的煩惱” 數(shù)據(jù)庫的發(fā)展給自己引出了麻煩 。 ? 討論班：輪流報告，報告教材。2022/2/16 88 Chap 1 Introduction 數(shù)據(jù)挖掘和知識發(fā)現(xiàn)綜述 For PhD of CS of SCU, 2022 Based on the book of Jiawei Han, Edited and Modified By C. Tang 唐常杰 四川大學(xué)計算機系 Data Mining: Concepts and Techniques 2022/2/16 88 韓加煒教授在川大作學(xué)術(shù)講座 2022/2/16 88 數(shù)據(jù)挖掘 提綱 1. 國外教學(xué)經(jīng)驗和我們的安排 2. 動機， 背景 3. 數(shù)據(jù)庫進(jìn)展回顧 5PPT 4. 什么是 DM 5. 挖掘什么 6. KDD Process 7. DM的分類 8. 興趣度 9. KDD的基本思想 10. DM 5要素 — 語言 難點 KDD技術(shù) KDD系統(tǒng) 16. 數(shù)據(jù)挖掘十大成果（算法） 數(shù)據(jù)挖掘十大問題 2022/2/16 88 國外的教學(xué)經(jīng)驗和我們的安排 ? The book will be covered in two courses at CS, UIUC CS412: Introduction to data warehousing and data mining 17章 (Fall) ? Preprocessing， Data Warehouse and OLAP ? Data Cube， Association ? Classification Cluster CS512: Data mining: Principles and algorithms 811章 (Spring) Mining plex data， Spatial Multimedia ， Text mining， Web mining， Mining business amp。 biological data， Visual data mining，Data mining and society: Privacypreserving 我們的處理 ： PHD課程 :全書，重點是后面部分 2022/2/16 88 國外的教學(xué)經(jīng)驗和我們的安排 ? 學(xué)習(xí)方法 。 論文，研究心得 ? 考察方式： 學(xué)期論文 ? 學(xué)習(xí)材料 PPT, 軟件，論文 等大約 260M ? 1：實驗室 421 的 Fileserver2 ? 2 ~tangchangjie/buf/ ? download/XXX,RAR 其中 XXX為： ? 3 課后 : 講臺上 計算機內(nèi)（校園網(wǎng)外的同學(xué)） 2022/2/16 88 教學(xué)材料包括 ? 若干 DM方面的 PPT, 英文的，中文的 ? 組織 PPT的素材 （ DOC,TXT,PPT,PDF，去年的報告 ) ? 兩個軟件 Weka ,DBMinner ? 教學(xué)計劃 ? 學(xué)期論文封面 2022/2/16 88 教學(xué)計劃 ? 第一周 老師講授 ? 第二周 同學(xué)報告 數(shù)據(jù)挖掘軟件 Weka , DBMinner ? 安裝使用經(jīng)驗，獲得感性認(rèn)識。 數(shù)據(jù)爆增 103T ? 沒有數(shù)據(jù)時 千方百計搜集管理數(shù)據(jù)，上世紀(jì) 6070年代 層次庫， 網(wǎng)狀庫 ， ? 有了數(shù)據(jù) 擴充能力，搜集管理更多數(shù)據(jù)，上世紀(jì) 8090年代 關(guān)系庫 ,OODB….. ? 數(shù)據(jù)太多了，管不下來。 哲學(xué) ： 2 人類活動需求 對人流 物流，資金流 的描述 ? Business: Web, emerce, transactions, stocks, … ? Science: Remote sensing, bioinformatics, scientific simulation, ? Society and everyone: news, digital cameras, ? We are drowning in data, but starving for knowledge! 矛盾 ：數(shù)據(jù)多、 知識少 2022/2/16 1 88 Motivation: Why data mining? 動機， 背景 ? 數(shù)據(jù)海洋不支持決策 信息 amp。 ? DM和 KDD應(yīng)運而生 ? DM Data Mining KDD Knowledge Discover From Data / Database 2022/2/16 1 88 提綱 1. 國外教學(xué)經(jīng)驗和我們的安排 2. 動機， 背景 3. 數(shù)據(jù)庫進(jìn)展回顧 5PPT 4. 什么是 DM 5. 挖掘什么 6. KDD Process 7. DM的分類 8. 興趣度 9. KDD的基本思想 10. DM 5要素 — 語言 難點 KDD技術(shù) KDD系統(tǒng) 16. 數(shù)據(jù)挖掘十大成果（算法） 數(shù)據(jù)挖掘十大問題 2022/2/16 1 88 數(shù)據(jù)庫進(jìn)展回顧 1 ? 1960s: Data collection, database creation, IMS and work DBMS ? 1970s: Relational data model, relational