【文章內容簡介】 據庫系統(tǒng) Wang Quansheng 文件系統(tǒng) 南京大學商學院電子商務系 文件的概念 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) 學號 姓名 專業(yè) 出生日期 …. MG903812 Peter 軟件 55/10/10 …. MG903812 John 軟件 65/09/10 …. 數據項 記錄 記錄的集合 =文件 （主鍵） Wang Quansheng 文件系統(tǒng) 南京大學商學院電子商務系 文件的結構 順序文件：按主鍵順序存儲 直接文件：將記錄隨機存儲，即存放時不按主鍵順序，這種存儲方式要求使用一 種允許對記錄進行直接存取的介質（硬盤和軟盤），同時給每一條記 錄指定一個特定的磁盤地址。 索引順序文件：是在直接存取介質上進行連續(xù)存儲，而且每條記錄都有一個特定 的地址，同時為了加快檢索速度，增加一索引文件來標記每個記錄的 硬盤地址。 記錄的處理 增加 刪除 修改 顯示 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) Wang Quansheng 數據庫基本原理 南京大學商學院電子商務系 文件系統(tǒng)的缺陷 數據的獨立性：程序依賴于專門為它們所設計的文件結構 數據冗余性：重復的數據的存儲 數據的一致性：數據的重復的存放導致了數據的不一致性 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) 數據庫管理系統(tǒng)（ DBMS） 以規(guī)范一致的方式存儲數據 以規(guī)范一致的方式將數據組織成記錄 以規(guī)范一致的方式存取記錄 DBMS 應用程序 Wang Quansheng 數據庫基本原理 南京大學商學院電子商務系 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) 操作系統(tǒng) DBMS 數據庫 應用程序系統(tǒng) 數據文件，數據字典， 索引，統(tǒng)計數據 對數據庫進行管理、操作 執(zhí)行物理文件的讀寫操作 提供友好的界面， 幫助用戶完成對 數據的處理 Wang Quansheng 數據庫基本原理 南京大學商學院電子商務系 數據庫系統(tǒng)的構成 核心：數據的定義、存儲、檢索等 系統(tǒng)配臵 用戶管理 數據管理 監(jiān)控程序 應用程序開發(fā)工具 報表生成器 查詢語言 （ SQL語言： SELECT/UPDATE/INSERT， QBE語言） WEB SELECT NAME， ADDRESS FROM CUSTOMER WHERE NAME LIKE “PETER” 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) DBA SELECT *|字段列表 FROM 表名 [WHERE 條件表達式 ] [GROUP BY分組字段 [HAVING 分組準則 ]] [ORDER BY字段 1 [ASC | DESC ][, 字段 2 [ASC | DESC ]]] Wang Quansheng 南京大學商學院電子商務系 關系數據庫原理 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) 學號 姓名 專業(yè) 出生日期 …. MG903811 Peter 電子商務 55/10/10 …. MG903812 John 金融 65/09/10 …. 數據庫基本原理 學號 課程代碼 修讀時間 課程類型 成績 MG903812 101 991 選修 86 MG903811 101 992 必修 90 MG903811 102 991 必修 91 課程代碼 課程名稱 開課系別 101 EB 電子商務 102 MIS 電子商務 Wang Quansheng 數據庫基本原理 南京大學商學院電子商務系 數據庫系統(tǒng)的優(yōu)點 數據共享 減少數據冗余 提高數據一致性 數據獨立性 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) 數據庫系統(tǒng)的并發(fā)控制 事務與加鎖機制 Begin Transaction …… (lock file and data processing) IF not error Commit transaction Else Rollback End 提高了應用程序員及用戶的工作效率 改善了數據管理與控制 強調數據是一種資源 Wang Quansheng 數據庫基本原理 南京大學商學院電子商務系 XBASE 數據庫 FOXPRO/VISUAL FOXPRO （ DBF） ? 小型應用系統(tǒng)（并發(fā)性不高） 可直接編程 /其他編程工具（ VB/VC） 通過 ODBC訪問 DBF ACCESS （ MDB） ? 小型單機應用系統(tǒng) 其他編程工具（ VB/VC） 通過 ODBC訪問 MDB 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) 大型數據庫 MS SQL SERVER SYBASE ORACLE INFORMIX Wang Quansheng 數據倉庫與數據挖掘 南京大學商學院電子商務系 數據庫倉庫的形成 傳統(tǒng)的數據庫技術是以單一的數據資源為中心，同時進行從事務處理，批處理到決策分析的各類處理； 數據庫主要是為自動化，精簡工作任務和高速數據采集服務的。它的運行是事務驅動，面向應用的，數據庫的根本任務是完成數據操作，即及時安全地將當前事務所產生的記錄保存下來。 操作型處理 ＋ 分析型處理 隨著時間的推移，人們開始對數據庫中的原始數據進行再加工，形成一個綜合的、面向分析的環(huán)境以支持決策的產生；數據庫由操作性環(huán)境發(fā)展成一種新的體系化環(huán)境，數據倉庫則是體系化環(huán)境的核心。 數據倉庫即為面向主題的、集成的、穩(wěn)定的、用以支持經營管理中的決策制定過程的不同時間的數據集合。 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) Wang Quansheng 數據倉庫與數據挖掘 南京大學商學院電子商務系 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) ? 高度綜合級 ? 輕度綜合級 ? 當 前 細 節(jié)級 ? 早 期 細 節(jié)級 備注： ＂ ＂ ＂ ＂ 數據倉庫 體系結構圖 數據倉庫 數據倉庫工具層 多維分析工具 數據挖掘工具 可視化工具 最終用戶 ： 表示關系型數據 ： 表示多維數據 Wang Quansheng 數據倉庫與數據挖掘 南京大學商學院電子商務系 什么是數據挖掘？ 數據挖掘，又稱數據庫中的知識發(fā)現 (Knowledge Discovery in Database， KDD)，是指從大型數據庫或數據倉庫中提取有潛在應用價值的信息或模式。適應企業(yè)對資源的渴求，數據挖掘正在走出研究室，紛紛落戶企業(yè)。一份最近的 Gartner報告中列舉了在今后 3～5年內對工業(yè)將產生重要影響的五項關鍵技術， KDD和人工智能并列第一。 數據挖掘融合了數據庫、人工智能、機器學習、統(tǒng)計學等多個領域的理論和技術，對數據進行標準化、抽象化、規(guī)范化分類、分析，從而淘出所需要的 “ 金 ” 。 例如，客戶關系管理系統(tǒng)常采用嵌入數據挖掘系統(tǒng)的方式，可以自動地產生一些所需要的信息。 深度的數據挖掘，還需要企業(yè)有統(tǒng)計學、決策科學、計算機科學方面的專業(yè)人才，制定出相應的挖掘規(guī)則，才能發(fā)揮出挖掘系統(tǒng)的優(yōu)勢 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) Wang Quansheng 數據倉庫與數據挖掘 南京大學商學院電子商務系 數據挖掘能做什么？ 關 聯 規(guī) 則 橫向關聯 －是挖掘表面看似獨立的事件間的相互關系，例如 “ 90%的顧客在一次購買活動中購買商品 A的同時購買商品 B”之類的知識。比如經典的 “ 尿布和啤酒 ” 的故事，就是利用這種方法，發(fā)現二者之間有很高的相關系數，引起重視，然后深入分析后才找出內在原因的。 全球最大的零售商沃爾瑪（ Walmart）通過對顧客購物的數據分析后發(fā)現，很多周末購買尿布的顧客也同時購買啤酒。經過深入研究后發(fā)現，美國家庭買尿布的多是爸爸。爸爸們下班后要到超市買尿布，同時要 “ 順手牽羊 ” 帶走啤酒，好在周末看棒球賽的同時過把酒癮。后來沃爾瑪就把尿布和啤酒擺放得很近，從而雙雙促進了尿布和啤酒的銷量。這個故事被公認是商業(yè)領域數據挖掘的誕生 次序關聯 － 這種分析的側重點在于分析事件的前后序列關系，發(fā)現諸如 “ 在購買 A商品后，一段時間里顧客會接著購買商品 B，而后購買商品 C”的知識，形成一個客戶行為的“ A→B→C ”模式?？梢韵胍姷氖?，一個顧客在買了電腦之后，就很有可能購買打印機、掃描儀等配件。不過，要是通過數據挖掘找出 “ 刮胡刀 → 抽水馬桶 → 鉆石戒指 ” 這樣的模式，估計企業(yè)客戶服務部門就要忙乎一陣搞明白其中潛在的聯系了。 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) Wang Quansheng 數據倉庫與數據挖掘 南京大學商學院電子商務系 數據挖掘能做什么？ 分類 分類分析就是通過分析樣本客戶數據庫中的數據，為每個類別作出準確的描述或建立分析模型或挖掘出分類規(guī)則，然后用這個分類規(guī)則對其它客戶的記錄進行分類。比如，信用卡公司根據顧客的信用記錄，把持卡人分成不同等級，并把等級標記賦與數據庫中的每個記錄。對于每一等級，找出它們共同點，比如： “ 年收入在 10萬元以上，年齡在 40～ 50歲之間的外企白領 ” 總體上信用記錄最高。有了這樣的挖掘結果，客戶服務部門就知道一個新的客戶的潛在價值，在客戶服務投入上就心中有底。 聚類 這是分類的逆向方法。聚類把沒有分類的記錄，在不知道應分成幾類的情況下，按照數據內在的差異性大小，合理地劃分成幾類，并確定每個記錄所屬類別。它采用的分類規(guī)剛是按統(tǒng)計學的聚類分析方法決定的。比如，面對數據庫中 “ 消費額 ” 、 “ 購買頻率 ” 、 “收入水平 ” 等多個評價指標，沒有辦法按照一個指標去分類，就可以通過聚類按照數據間的自然聯系把分散的記錄 “ 聚 ” 成幾 “ 堆 ” ，然后再對每堆進行深入分析。 計算機系統(tǒng)資源 文件和數據庫系統(tǒng) Wang Quansheng 數據倉庫與數據挖掘 南京大學商學院電子商務系 數據挖掘的應用領域 某些具有特定的應用問題和應用背景的領域，是最能體現數據挖掘作用的應用領域。對這些應用領域中應用問題的了解，將有助于對數據挖掘技術的了解。 （ 1）金融業(yè) 對帳戶進行信用等級評估 股票交易規(guī)律分析 信用卡使用模式分析 金融市場的分析和預測 （ 2）保險業(yè) 保險費率的確定 :可以從大量客戶投保數據中分析并取得不同條件、不同人員、不同險種、不同時間與年齡的保險費率，使保險業(yè)主能獲得合理的利潤。 險種關聯分析 :可以分析客戶在購買了某種保險后是否同時還會購買另一種保險。 認購險種的預測 :可以通過數據挖掘預測新險種的客戶群以及新險種的前景。 計算機系統(tǒng)資源