數(shù)據(jù)庫(kù)新技術(shù)概述ppt課件-資料下載頁(yè)
2025-04-30 18:13本頁(yè)面
【正文】 或確定信用風(fēng)險(xiǎn)。n 聚類(lèi) 一般是指將數(shù)據(jù)劃分或分割成相交或不相交的群組的過(guò)程。聚類(lèi)合分類(lèi)很相似，只不過(guò)聚類(lèi)中的類(lèi)別沒(méi)有事先定義而是由數(shù)據(jù)決定的。例如將貸款申請(qǐng)人分為高信用度申請(qǐng)者，中信用度申請(qǐng)者，低信用度申請(qǐng)者等。n 匯總 是指將數(shù)據(jù)映射到具有簡(jiǎn)單描述的子集中。匯總從數(shù)據(jù)庫(kù)中抽取或者得到有代表性的信息，也可以得到一些總結(jié)性信息，匯總有時(shí)也被稱(chēng)為特征化或泛化。數(shù)據(jù)挖掘的主要任務(wù)Date數(shù)據(jù)庫(kù)原理及應(yīng)用n 關(guān)聯(lián)規(guī)則和序列模式的發(fā)現(xiàn) 關(guān)聯(lián)是某種事物發(fā)生時(shí)其他事物跟著會(huì)發(fā)生的這樣一種聯(lián)系。例如每天買(mǎi)大米的人也有可能買(mǎi)紙巾，可能性有多大，可以通過(guò)關(guān)聯(lián)的支持度和可信度來(lái)描述。與關(guān)聯(lián)不同，序列是一種縱向的聯(lián)系。例如所有買(mǎi)了圓珠筆的人，一個(gè)月后又有 30%的人買(mǎi)筆芯， 70%的人又買(mǎi)新的圓珠筆。n 預(yù)測(cè) 把握分析對(duì)象發(fā)展的規(guī)律，對(duì)未來(lái)的趨勢(shì)做出預(yù)見(jiàn)。例如對(duì)未來(lái)股市行情的判斷。n 偏差的檢測(cè) 數(shù)據(jù)庫(kù)中的數(shù)據(jù)存在者很多異常的情況，通過(guò)對(duì)數(shù)據(jù)的分析發(fā)現(xiàn)少數(shù)的、極端的特例的描述，揭示內(nèi)在的原因，即為偏差的檢測(cè)。數(shù)據(jù)挖掘的主要任務(wù)（ Cont.）Date數(shù)據(jù)庫(kù)原理及應(yīng)用n 傳統(tǒng)統(tǒng)計(jì)方法 抽樣技術(shù)：我們面對(duì)的是大量的數(shù)據(jù)，對(duì)所有的數(shù)據(jù)進(jìn)行分析是不可能的也是沒(méi)有必要的，就要在理論的指導(dǎo)下進(jìn)行合理的抽樣。 多元統(tǒng)計(jì)分析：因子分析，聚類(lèi)分析等。 統(tǒng)計(jì)預(yù)測(cè)方法：如回歸分析，時(shí)間序列分析等。n 可視化技術(shù) 用圖表等方式把數(shù)據(jù)特征用直觀(guān)地表述出來(lái)，如直方圖等，這其中運(yùn)用的許多描述統(tǒng)計(jì)的方法?？梢暬夹g(shù)面對(duì)的一個(gè)難題是高維數(shù)據(jù)的可視化。n 決策樹(shù) 利用一系列規(guī)則劃分，建立樹(shù)狀圖，可用于分類(lèi)和預(yù)測(cè)。常用的算法有 CART、 CHAID、 ID 、 。數(shù)據(jù)挖掘的方法Date數(shù)據(jù)庫(kù)原理及應(yīng)用n 神經(jīng)網(wǎng)絡(luò) 模擬人的神經(jīng)元功能，經(jīng)過(guò)輸入層，隱藏層，輸出層等，對(duì)數(shù)據(jù)進(jìn)行調(diào)整、計(jì)算，最后得到結(jié)果，用于分類(lèi)和回歸。n 遺傳算法 基于自然進(jìn)化理論，模擬基因聯(lián)合、突變、選擇等過(guò)程的一種優(yōu)化技術(shù)。n 關(guān)聯(lián)規(guī)則挖掘算法 關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)之間存在關(guān)系的規(guī)則，形式為“A1∧ A2∧ …An→B1 ∧ B2∧ … Bn”。 一般分為兩個(gè)步驟：求出大數(shù)據(jù)項(xiàng)集和用大數(shù)據(jù)項(xiàng)集產(chǎn)生關(guān)聯(lián)規(guī)則。n 除了以上的常用方法外，還有粗集方法，模糊集合方法， Bayesian Belief Netords， 最鄰近算法（ K Nearest Neighbors (KNN)） 等。數(shù)據(jù)挖掘的方法（ Cont.）Date數(shù)據(jù)庫(kù)原理及應(yīng)用n 實(shí)施數(shù)據(jù)挖掘的一般的步驟如下，如圖 107所示：?jiǎn)栴}理解和提出 數(shù)據(jù)準(zhǔn)備 數(shù)據(jù)整理 建立模型 評(píng)價(jià)和解釋圖 107 數(shù)據(jù)挖掘的一般步驟數(shù)據(jù)挖掘的實(shí)施步驟n 問(wèn)題理解和提出 在開(kāi)始數(shù)據(jù)挖掘之前最基礎(chǔ)的就是理解數(shù)據(jù)和實(shí)際的業(yè)務(wù)問(wèn)題，在這個(gè)基礎(chǔ)之上提出問(wèn)題，對(duì)目標(biāo)有明確的定義。Date數(shù)據(jù)庫(kù)原理及應(yīng)用n 數(shù)據(jù)準(zhǔn)備 獲取原始的數(shù)據(jù)，并從中抽取一定數(shù)量的子集，建立數(shù)據(jù)挖掘庫(kù)，其中一個(gè)問(wèn)題是如果企業(yè)原來(lái)的數(shù)據(jù)倉(cāng)庫(kù)滿(mǎn)足數(shù)據(jù)挖掘的要求，就可以將數(shù)據(jù)倉(cāng)庫(kù)作為數(shù)據(jù)挖掘庫(kù)。n 數(shù)據(jù)整理 由于數(shù)據(jù)可能是不完全的、有噪聲的、隨機(jī)的，有復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，就要對(duì)數(shù)據(jù)進(jìn)行初步的整理，清洗不完全的數(shù)據(jù)，做初步的描述分析，選擇與數(shù)據(jù)挖掘有關(guān)的變量，或者轉(zhuǎn)變變量。n 建立模型 根據(jù)數(shù)據(jù)挖掘的目標(biāo)和數(shù)據(jù)的特征，選擇合適的模型。n 評(píng)價(jià)和解釋 對(duì)數(shù)據(jù)挖掘的結(jié)果進(jìn)行評(píng)價(jià)，選擇最優(yōu)的模型，作出評(píng)價(jià)，運(yùn)用于實(shí)際問(wèn)題，并且要和專(zhuān)業(yè)知識(shí)結(jié)合對(duì)結(jié)果進(jìn)行解釋。數(shù)據(jù)挖掘的實(shí)施步驟（ Cont.）Date數(shù)據(jù)庫(kù)原理及應(yīng)用n 數(shù)據(jù)挖掘的應(yīng)用非常廣泛，只要該產(chǎn)業(yè)有分析價(jià)值與需求的數(shù)據(jù)庫(kù)，皆可利用挖掘工具進(jìn)行有目的的發(fā)掘分析。常見(jiàn)的應(yīng)用案例多發(fā)生在零售業(yè)、制造業(yè)、財(cái)務(wù)金融保險(xiǎn)、通訊及醫(yī)療服務(wù)：l 商從顧客購(gòu)買(mǎi)商品中發(fā)現(xiàn)一定的關(guān)系，提供打折購(gòu)物券等，提高銷(xiāo)售額。l 保險(xiǎn)公司通過(guò)數(shù)據(jù)挖掘建立預(yù)測(cè)模型，辨別出可能的欺詐行為，避免道德風(fēng)險(xiǎn)，減少成本，提高利潤(rùn)。l 在制造業(yè)中，半導(dǎo)體的生產(chǎn)和測(cè)試中都產(chǎn)生大量的數(shù)據(jù)，就必須對(duì)這些數(shù)據(jù)進(jìn)行分析，找出存在的問(wèn)題，提高質(zhì)量。l 電子商務(wù)的作用越來(lái)越大，可以用數(shù)據(jù)挖掘?qū)W(wǎng)站進(jìn)行分析，識(shí)別用戶(hù)的行為模式，保留客戶(hù)，提供個(gè)性化服務(wù)，優(yōu)化網(wǎng)站設(shè)計(jì)。數(shù)據(jù)挖掘應(yīng)用現(xiàn)狀Date數(shù)據(jù)庫(kù)原理及應(yīng)用 盡管數(shù)據(jù)挖掘有如此多的優(yōu)點(diǎn)，但數(shù)據(jù)挖掘也面臨著許多的問(wèn)題，這也為數(shù)據(jù)挖掘的未來(lái)的發(fā)展提供了更大的空間。n 數(shù)據(jù)挖掘的基本問(wèn)題就在于數(shù)據(jù)的數(shù)量和維數(shù)，數(shù)據(jù)結(jié)構(gòu)也因此顯的非常復(fù)雜，如何進(jìn)行探索，選擇分析變量，也就成為首先要解決的問(wèn)題。n 面對(duì)如此大的數(shù)據(jù)，現(xiàn)有的統(tǒng)計(jì)方法等都遇到了問(wèn)題，我們直接的想法就是對(duì)數(shù)據(jù)進(jìn)行抽樣，那么怎么抽樣，抽取多大的樣本，又怎樣評(píng)價(jià)抽樣的效果，這些都是值得研究的難題。數(shù)據(jù)挖掘中存在的問(wèn)題Date數(shù)據(jù)庫(kù)原理及應(yīng)用n 既然數(shù)據(jù)是海量的，那么數(shù)據(jù)中就會(huì)隱含一定的變化趨勢(shì)，在數(shù)據(jù)挖掘中也要對(duì)這個(gè)趨勢(shì)做應(yīng)有的考慮和評(píng)價(jià)。n 各種不同的模型如何應(yīng)用，其效果如何評(píng)價(jià)。不同的人對(duì)同樣的數(shù)據(jù)進(jìn)行挖掘，可能產(chǎn)生不同的結(jié)果，甚至差異很大，這就涉及到可靠性的問(wèn)題。n 當(dāng)前互聯(lián)網(wǎng)的發(fā)展迅速，如何進(jìn)行互聯(lián)網(wǎng)的數(shù)據(jù)挖掘，還有文本等非標(biāo)準(zhǔn)數(shù)據(jù)的挖掘，都引起了極大的興趣。n 數(shù)據(jù)挖掘涉及到數(shù)據(jù)也就碰到了數(shù)據(jù)的私有性和安全性。n 數(shù)據(jù)挖掘的結(jié)果是不確定的，要和專(zhuān)業(yè)知識(shí)相結(jié)合才能對(duì)其做出判斷。數(shù)據(jù)挖掘中存在的問(wèn)題（ Cont.）Date數(shù)據(jù)庫(kù)原理及應(yīng)用n 有一金融中心，為了向其客戶(hù)提供更全面、靈活的金融信息服務(wù)，向一軟件公司提出建立數(shù)據(jù)倉(cāng)庫(kù)的需求，并要求軟件公司現(xiàn)先建立一個(gè) “全面的、涵蓋其目前數(shù)據(jù)庫(kù)中絕大部分金融信息 ”的數(shù)據(jù)倉(cāng)庫(kù)，然后以此為基礎(chǔ)，分批次增加各種在線(xiàn)信息服務(wù)功能。試分析該金融中心要求的合理性和可行性，提出你的建議。討論題Date數(shù)據(jù)庫(kù)原理及應(yīng)用參考資料 n 《 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘 》 . 安淑芝等編著 . 清華大學(xué)出版社 . Date數(shù)據(jù)庫(kù)原理及應(yīng)用結(jié) 束Date
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1