數(shù)據(jù)挖掘與處理datamininganddataprocessing(編輯修改稿)
2025-08-15 17:51 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 。 (d)數(shù)據(jù)變換：根據(jù)知識(shí)發(fā)現(xiàn)的任務(wù)對(duì)經(jīng)過(guò)預(yù)處理的數(shù)據(jù)再處理，主要是通過(guò)投影或利用數(shù)據(jù)庫(kù)的其它操作減少數(shù)據(jù)量。 (e)確定 KDD目標(biāo)：根據(jù)用戶(hù)的要求，確定KDD要發(fā)現(xiàn)的知識(shí)類(lèi)型。 (f)選擇算法：根據(jù)步驟 5確定的任務(wù)，選擇合適的知識(shí)發(fā)現(xiàn)算法，包括選取合適的模型和參數(shù)。 (g)數(shù)據(jù)挖掘：這是整個(gè) KDD過(guò)程中很重要的一個(gè)步驟。運(yùn)用前面的選擇算法，從數(shù)據(jù)庫(kù)中提取用戶(hù)感興趣的知識(shí)，并以一定的方式表示出來(lái)。 (h)模式解釋?zhuān)簩?duì)在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式（知識(shí)）進(jìn)行解釋。通過(guò)機(jī)器評(píng)估剔除冗余或無(wú)關(guān)模式，若模式不滿(mǎn)足，再返回到前面某些處理步驟中反復(fù)提取。 (i)知識(shí)評(píng)價(jià)：將發(fā)現(xiàn)的知識(shí)以用戶(hù)能了解的方式呈現(xiàn)給用戶(hù)。其中也包括對(duì)知識(shí)一致性的檢查，以確信本次發(fā)現(xiàn)的知識(shí)不會(huì)與以前發(fā)現(xiàn)的知識(shí)相抵觸。 2 數(shù)據(jù)挖掘 (1)數(shù)據(jù)挖掘：通過(guò)分析每個(gè)數(shù)據(jù)，從 大量 數(shù)據(jù)中 尋找 其規(guī)律的技術(shù)。 注 :數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。 注 :(a)數(shù)據(jù)源必須是真實(shí)的、大量的、含噪聲的；發(fā)現(xiàn)的是用戶(hù)感興趣的知識(shí)； (b)發(fā)現(xiàn)的知識(shí)要可接受、可理解、可運(yùn)用； (c)并不要求發(fā)現(xiàn)放之四海皆準(zhǔn)的知識(shí)，僅支持特定的發(fā)現(xiàn)問(wèn)題。 2 數(shù)據(jù)挖掘 (2)商業(yè)角度的定義 定義：數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點(diǎn)是對(duì)商業(yè)數(shù)據(jù)庫(kù)中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。 理解：數(shù)據(jù)挖掘可以描述為：按企業(yè)既定業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，并進(jìn)一步將其模型化的先進(jìn)有效的方法。 2 數(shù)據(jù)挖掘 (3)數(shù)據(jù)挖掘與傳統(tǒng)分析方法的區(qū)別 注： (a)數(shù)據(jù)挖掘與傳統(tǒng)的數(shù)據(jù)分析 (如查詢(xún)、報(bào)表、聯(lián)機(jī)應(yīng)用分析 )的本質(zhì)區(qū)別是數(shù)據(jù)挖掘是在沒(méi)有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識(shí) . (b)數(shù)據(jù)挖掘所得到的信息應(yīng)具有先未知，有效和可實(shí)用三個(gè)特征。 (c)先前未知的信息是指該信息是預(yù)先未曾預(yù)料到的，數(shù)據(jù)挖掘是要發(fā)現(xiàn)那些不能靠直覺(jué)發(fā)現(xiàn)的信息或知識(shí)，甚至是違背直覺(jué)的信息或知識(shí)，挖掘出的信息越是出乎意料，就可能越有價(jià)值。 案例：南京的房?jī)r(jià)與離婚率是同步的。 2 數(shù)據(jù)挖掘 傳統(tǒng)數(shù)據(jù)分析工具 (DSS/EIS) 數(shù)據(jù)挖掘工具 工具特點(diǎn) 回顧型的、驗(yàn)證型的 預(yù)測(cè)型的、發(fā)現(xiàn)型的 分析重點(diǎn) 已經(jīng)發(fā)生了什么 預(yù)測(cè)未來(lái)的情況、解釋發(fā)生的原因 分析目的 從最近的銷(xiāo)售文件中列出最大客戶(hù) 鎖定未來(lái)的可能客戶(hù)，以減少未來(lái)的銷(xiāo)售成本 數(shù)據(jù)集大小 數(shù)據(jù)維、維中屬性數(shù)、維中數(shù)據(jù)均是少量的 數(shù)據(jù)維、維中屬性數(shù)、維中數(shù)據(jù)均是龐大的 啟動(dòng)方式 企業(yè)管理人員、系統(tǒng)分析員、管理顧問(wèn)啟動(dòng)與控制 數(shù)據(jù)與系統(tǒng)啟動(dòng)，少量的人員指導(dǎo) 技術(shù)狀況 成熟 統(tǒng)計(jì)分析工具已成熟，其他工具正在發(fā)展中 2 數(shù)據(jù)挖掘 (4)數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù) (a)數(shù)據(jù)挖掘不必非得建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù) (DW,Data Warehouse) ，數(shù)據(jù)倉(cāng)庫(kù)不是必需的。 (b)基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘。 2 數(shù)據(jù)挖掘 (5)數(shù)據(jù)挖掘和在線(xiàn)分析處理 (OLAP) 注： (a)OLAP(OnLine Analytic Processing)基于假設(shè)，然后用 OLAP檢索數(shù)據(jù)庫(kù)來(lái)驗(yàn)證這個(gè)假設(shè)是否正確。 例：一個(gè)分析師想找到導(dǎo)致貸款拖欠的原因，他可能先假定：低收入的人信用度也低，然后用 OLAP來(lái)驗(yàn)證他這個(gè)假設(shè)。若該假設(shè)沒(méi)被證實(shí)，他可能去察看那些高負(fù)債的賬戶(hù)，如果還不行，他也許要把收入和負(fù)債一起考慮，一直進(jìn)行下去，直到找到他想要的結(jié)果或放棄。 缺點(diǎn)：如果分析的變量達(dá)到幾十或上百個(gè)，那么再用OLAP手動(dòng)分析驗(yàn)證這些假設(shè)將是一件非常困難和痛苦的事情。 2 數(shù)據(jù)挖掘 (b)DM不基于假設(shè)，數(shù)據(jù)挖掘與 OLAP不同的地方 :數(shù)據(jù)挖掘不是用于驗(yàn)證某個(gè)假定的模式 (模型 )的正確性，而是在數(shù)據(jù)庫(kù)中自己尋找模型。 例：一個(gè)用數(shù)據(jù)挖掘工具的分析師想找到引起貸款拖欠的風(fēng)險(xiǎn)因素。數(shù)據(jù)挖掘工具可能幫他找到高負(fù)債和低收入是引起這個(gè)問(wèn)題的因素，甚至還可能發(fā)現(xiàn)一些分析師從來(lái)沒(méi)有想過(guò)或試過(guò)的其他因素，比如年齡。 (c)二者關(guān)系：數(shù)據(jù)挖掘和 OLAP具有一定的互補(bǔ)性。在利用數(shù)據(jù)挖掘出來(lái)的結(jié)論采取行動(dòng)之前，驗(yàn)證一下的行動(dòng)的影響，那么 OLAP工具能回答你的這些問(wèn)題。知識(shí)發(fā)現(xiàn)的早期階段，OLAP工具有利于探索數(shù)據(jù)，重要的變量，發(fā)現(xiàn)異常數(shù)據(jù)和互相影響的變量。加快知識(shí)發(fā)現(xiàn)的過(guò)程。 2 數(shù)據(jù)挖掘 (6)三個(gè)步驟：數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示。 注： (a)數(shù)據(jù)準(zhǔn)備：從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成用于數(shù)據(jù)挖掘的數(shù)據(jù)集 。 (b)規(guī)律尋找：用某種方法將數(shù)據(jù)集所含的規(guī)律找出來(lái) 。 (c)規(guī)律表示：盡可能以用戶(hù)可理解的方式(如可視化 )將找出的規(guī)律表示出來(lái)。 2 數(shù)據(jù)挖掘 數(shù)據(jù)挖掘過(guò)程模型 注： ETL(ExtractionTransformationLoading):數(shù)據(jù)提取、轉(zhuǎn)換和加載 | 數(shù)據(jù)準(zhǔn)備 | 規(guī)律尋找 | 規(guī)律表示 | 結(jié)果評(píng)價(jià) | 2 數(shù)據(jù)挖掘 源數(shù)據(jù) 集成數(shù)據(jù) 目標(biāo)數(shù)據(jù) 預(yù)處理數(shù)據(jù) 商業(yè)模式 知識(shí) 應(yīng)用方案 業(yè)務(wù)對(duì)象 確定挖掘?qū)ο? 準(zhǔn)備數(shù)據(jù) 建立模型 數(shù)據(jù)挖掘 結(jié)果分析 知識(shí)應(yīng)用階段 2 數(shù)據(jù)挖掘 注：數(shù)據(jù)挖掘包含有以下幾個(gè)方面的含義 : (a)核心是 “ 大量 ” 和 “ 尋找 ” 。 “ 大量 ” 數(shù)據(jù)含義 :能夠形成規(guī)律 。傳統(tǒng)數(shù)據(jù)分析工具和技術(shù)、經(jīng)驗(yàn)和直覺(jué)等失效。 “ 尋找 ” 規(guī)律 :規(guī)律隱含在大量數(shù)據(jù)之中。
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1