數(shù)據(jù)庫新技術(shù)概述ppt課件-資料下載頁
2025-04-30 18:13本頁面
【正文】 或確定信用風(fēng)險。n 聚類 一般是指將數(shù)據(jù)劃分或分割成相交或不相交的群組的過程。聚類合分類很相似，只不過聚類中的類別沒有事先定義而是由數(shù)據(jù)決定的。例如將貸款申請人分為高信用度申請者，中信用度申請者，低信用度申請者等。n 匯總 是指將數(shù)據(jù)映射到具有簡單描述的子集中。匯總從數(shù)據(jù)庫中抽取或者得到有代表性的信息，也可以得到一些總結(jié)性信息，匯總有時也被稱為特征化或泛化。數(shù)據(jù)挖掘的主要任務(wù)Date數(shù)據(jù)庫原理及應(yīng)用n 關(guān)聯(lián)規(guī)則和序列模式的發(fā)現(xiàn) 關(guān)聯(lián)是某種事物發(fā)生時其他事物跟著會發(fā)生的這樣一種聯(lián)系。例如每天買大米的人也有可能買紙巾，可能性有多大，可以通過關(guān)聯(lián)的支持度和可信度來描述。與關(guān)聯(lián)不同，序列是一種縱向的聯(lián)系。例如所有買了圓珠筆的人，一個月后又有 30%的人買筆芯， 70%的人又買新的圓珠筆。n 預(yù)測 把握分析對象發(fā)展的規(guī)律，對未來的趨勢做出預(yù)見。例如對未來股市行情的判斷。n 偏差的檢測 數(shù)據(jù)庫中的數(shù)據(jù)存在者很多異常的情況，通過對數(shù)據(jù)的分析發(fā)現(xiàn)少數(shù)的、極端的特例的描述，揭示內(nèi)在的原因，即為偏差的檢測。數(shù)據(jù)挖掘的主要任務(wù)（ Cont.）Date數(shù)據(jù)庫原理及應(yīng)用n 傳統(tǒng)統(tǒng)計方法 抽樣技術(shù)：我們面對的是大量的數(shù)據(jù)，對所有的數(shù)據(jù)進行分析是不可能的也是沒有必要的，就要在理論的指導(dǎo)下進行合理的抽樣。 多元統(tǒng)計分析：因子分析，聚類分析等。 統(tǒng)計預(yù)測方法：如回歸分析，時間序列分析等。n 可視化技術(shù) 用圖表等方式把數(shù)據(jù)特征用直觀地表述出來，如直方圖等，這其中運用的許多描述統(tǒng)計的方法?？梢暬夹g(shù)面對的一個難題是高維數(shù)據(jù)的可視化。n 決策樹 利用一系列規(guī)則劃分，建立樹狀圖，可用于分類和預(yù)測。常用的算法有 CART、 CHAID、 ID 、 。數(shù)據(jù)挖掘的方法Date數(shù)據(jù)庫原理及應(yīng)用n 神經(jīng)網(wǎng)絡(luò) 模擬人的神經(jīng)元功能，經(jīng)過輸入層，隱藏層，輸出層等，對數(shù)據(jù)進行調(diào)整、計算，最后得到結(jié)果，用于分類和回歸。n 遺傳算法 基于自然進化理論，模擬基因聯(lián)合、突變、選擇等過程的一種優(yōu)化技術(shù)。n 關(guān)聯(lián)規(guī)則挖掘算法 關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)之間存在關(guān)系的規(guī)則，形式為“A1∧ A2∧ …An→B1 ∧ B2∧ … Bn”。 一般分為兩個步驟：求出大數(shù)據(jù)項集和用大數(shù)據(jù)項集產(chǎn)生關(guān)聯(lián)規(guī)則。n 除了以上的常用方法外，還有粗集方法，模糊集合方法， Bayesian Belief Netords， 最鄰近算法（ K Nearest Neighbors (KNN)） 等。數(shù)據(jù)挖掘的方法（ Cont.）Date數(shù)據(jù)庫原理及應(yīng)用n 實施數(shù)據(jù)挖掘的一般的步驟如下，如圖 107所示：問題理解和提出 數(shù)據(jù)準(zhǔn)備 數(shù)據(jù)整理 建立模型 評價和解釋圖 107 數(shù)據(jù)挖掘的一般步驟數(shù)據(jù)挖掘的實施步驟n 問題理解和提出 在開始數(shù)據(jù)挖掘之前最基礎(chǔ)的就是理解數(shù)據(jù)和實際的業(yè)務(wù)問題，在這個基礎(chǔ)之上提出問題，對目標(biāo)有明確的定義。Date數(shù)據(jù)庫原理及應(yīng)用n 數(shù)據(jù)準(zhǔn)備 獲取原始的數(shù)據(jù)，并從中抽取一定數(shù)量的子集，建立數(shù)據(jù)挖掘庫，其中一個問題是如果企業(yè)原來的數(shù)據(jù)倉庫滿足數(shù)據(jù)挖掘的要求，就可以將數(shù)據(jù)倉庫作為數(shù)據(jù)挖掘庫。n 數(shù)據(jù)整理 由于數(shù)據(jù)可能是不完全的、有噪聲的、隨機的，有復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，就要對數(shù)據(jù)進行初步的整理，清洗不完全的數(shù)據(jù)，做初步的描述分析，選擇與數(shù)據(jù)挖掘有關(guān)的變量，或者轉(zhuǎn)變變量。n 建立模型 根據(jù)數(shù)據(jù)挖掘的目標(biāo)和數(shù)據(jù)的特征，選擇合適的模型。n 評價和解釋 對數(shù)據(jù)挖掘的結(jié)果進行評價，選擇最優(yōu)的模型，作出評價，運用于實際問題，并且要和專業(yè)知識結(jié)合對結(jié)果進行解釋。數(shù)據(jù)挖掘的實施步驟（ Cont.）Date數(shù)據(jù)庫原理及應(yīng)用n 數(shù)據(jù)挖掘的應(yīng)用非常廣泛，只要該產(chǎn)業(yè)有分析價值與需求的數(shù)據(jù)庫，皆可利用挖掘工具進行有目的的發(fā)掘分析。常見的應(yīng)用案例多發(fā)生在零售業(yè)、制造業(yè)、財務(wù)金融保險、通訊及醫(yī)療服務(wù)：l 商從顧客購買商品中發(fā)現(xiàn)一定的關(guān)系，提供打折購物券等，提高銷售額。l 保險公司通過數(shù)據(jù)挖掘建立預(yù)測模型，辨別出可能的欺詐行為，避免道德風(fēng)險，減少成本，提高利潤。l 在制造業(yè)中，半導(dǎo)體的生產(chǎn)和測試中都產(chǎn)生大量的數(shù)據(jù)，就必須對這些數(shù)據(jù)進行分析，找出存在的問題，提高質(zhì)量。l 電子商務(wù)的作用越來越大，可以用數(shù)據(jù)挖掘?qū)W(wǎng)站進行分析，識別用戶的行為模式，保留客戶，提供個性化服務(wù)，優(yōu)化網(wǎng)站設(shè)計。數(shù)據(jù)挖掘應(yīng)用現(xiàn)狀Date數(shù)據(jù)庫原理及應(yīng)用 盡管數(shù)據(jù)挖掘有如此多的優(yōu)點，但數(shù)據(jù)挖掘也面臨著許多的問題，這也為數(shù)據(jù)挖掘的未來的發(fā)展提供了更大的空間。n 數(shù)據(jù)挖掘的基本問題就在于數(shù)據(jù)的數(shù)量和維數(shù)，數(shù)據(jù)結(jié)構(gòu)也因此顯的非常復(fù)雜，如何進行探索，選擇分析變量，也就成為首先要解決的問題。n 面對如此大的數(shù)據(jù)，現(xiàn)有的統(tǒng)計方法等都遇到了問題，我們直接的想法就是對數(shù)據(jù)進行抽樣，那么怎么抽樣，抽取多大的樣本，又怎樣評價抽樣的效果，這些都是值得研究的難題。數(shù)據(jù)挖掘中存在的問題Date數(shù)據(jù)庫原理及應(yīng)用n 既然數(shù)據(jù)是海量的，那么數(shù)據(jù)中就會隱含一定的變化趨勢，在數(shù)據(jù)挖掘中也要對這個趨勢做應(yīng)有的考慮和評價。n 各種不同的模型如何應(yīng)用，其效果如何評價。不同的人對同樣的數(shù)據(jù)進行挖掘，可能產(chǎn)生不同的結(jié)果，甚至差異很大，這就涉及到可靠性的問題。n 當(dāng)前互聯(lián)網(wǎng)的發(fā)展迅速，如何進行互聯(lián)網(wǎng)的數(shù)據(jù)挖掘，還有文本等非標(biāo)準(zhǔn)數(shù)據(jù)的挖掘，都引起了極大的興趣。n 數(shù)據(jù)挖掘涉及到數(shù)據(jù)也就碰到了數(shù)據(jù)的私有性和安全性。n 數(shù)據(jù)挖掘的結(jié)果是不確定的，要和專業(yè)知識相結(jié)合才能對其做出判斷。數(shù)據(jù)挖掘中存在的問題（ Cont.）Date數(shù)據(jù)庫原理及應(yīng)用n 有一金融中心，為了向其客戶提供更全面、靈活的金融信息服務(wù)，向一軟件公司提出建立數(shù)據(jù)倉庫的需求，并要求軟件公司現(xiàn)先建立一個 “全面的、涵蓋其目前數(shù)據(jù)庫中絕大部分金融信息 ”的數(shù)據(jù)倉庫，然后以此為基礎(chǔ)，分批次增加各種在線信息服務(wù)功能。試分析該金融中心要求的合理性和可行性，提出你的建議。討論題Date數(shù)據(jù)庫原理及應(yīng)用參考資料 n 《 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘 》 . 安淑芝等編著 . 清華大學(xué)出版社 . Date數(shù)據(jù)庫原理及應(yīng)用結(jié) 束Date
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1