數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第一章概述(sun)(編輯修改稿)
2025-02-10 23:09 本頁面
【文章內(nèi)容簡介】 式樹(FP樹 ) 數(shù)據(jù)挖掘 案例：某超市的數(shù)據(jù)挖掘應(yīng)用 ?美國的超市有這樣的系統(tǒng)：當(dāng)你采購了一車商品結(jié)賬時，售貨員小姐掃描完了你的產(chǎn)品后，計算機(jī)上會顯示出一些信息，然后售貨員會友好地問你：我們有一種一次性紙杯正在促銷，位于 F6貨架上，您要購買嗎？ ?這句話決不是一般的促銷。因?yàn)橛嬎銠C(jī)系統(tǒng)早就算好了，如果你的購物車中有餐巾紙、大瓶可樂和沙拉，則 86%的可能性你要買一次性紙杯。結(jié)果是，你說，啊，謝謝你，我剛才一直沒找到紙杯。 ?這不是什么神奇的科學(xué)算命，而是利用數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則算法實(shí)現(xiàn)的系統(tǒng)。 數(shù)據(jù)挖掘 分類知識 ?分類知識 是反映同類事物共同性的特征型知識和不同事物之間的差異型特征知識。 ?典型應(yīng)用： 客戶細(xì)分 。例如，銀行根據(jù)客戶的存款額、信用額和消費(fèi)金額把客戶分成不同的類別，分別辦理不同類型的銀行卡。 ?算法有決策樹分類、貝葉斯分類、人工神經(jīng)網(wǎng)絡(luò)法、粗糙集法和遺傳算法等。 數(shù)據(jù)挖掘 預(yù)測知識 ?預(yù)測型知識 指的是預(yù)測連續(xù)值，是根據(jù)時間序列型數(shù)據(jù)，由歷史的和當(dāng)前的數(shù)據(jù)去推測未來的數(shù)據(jù)，也可以認(rèn)為是以時間為關(guān)鍵屬性的關(guān)聯(lián)知識。 ?一個典型的例子是 市場預(yù)測問題 ，數(shù)據(jù)挖掘從過去有關(guān)促銷的數(shù)據(jù)中尋找在未來投資中回報最大的用戶，其它可預(yù)測的問題包括預(yù)報破產(chǎn)以及認(rèn)定對指定事件最可能做出反應(yīng)的群體。 ?基于統(tǒng)計學(xué)習(xí)的回歸分析法，還有基于現(xiàn)代智能計算的神經(jīng)網(wǎng)絡(luò)、遺傳算法等各類時間序列分析法。 數(shù)據(jù)挖掘 偏差知識 ?偏差型知識 是對差異和極端特例的描述，揭示事物偏離常規(guī)的異?，F(xiàn)象。 ?偏差即異常，在數(shù)據(jù)挖掘中有時也稱之為“孤立點(diǎn)”，可以用來發(fā)現(xiàn)“小的模式” ?偏差知識挖掘的一個典型應(yīng)用是檢測信用卡欺詐。 ?基于統(tǒng)計的方法、基于距離的方法和基于偏離的方法 數(shù)據(jù)挖掘 案例：國內(nèi)某電信公司利用數(shù)據(jù)挖掘預(yù)測客戶知識 2023年，某電信公司邀請國際某著名咨詢公司進(jìn)行市場營銷再造項(xiàng)目，將數(shù)據(jù)挖掘用于它的三個業(yè)務(wù)領(lǐng)域： 客戶管理、網(wǎng)絡(luò) /產(chǎn)品 /服務(wù)管理、市場 /財務(wù)管理 ；公司將數(shù)據(jù)挖掘的重點(diǎn)放在了客戶管理。在電信市場競爭越來越激烈的今天，即使在擴(kuò)大其客戶群的時候，電信運(yùn)營商和其它代理商也必須密切監(jiān)視他們的現(xiàn)有客戶，并采用各種營銷方法來留住這些客戶。電信公司期望通過數(shù)據(jù)倉庫的實(shí)施和數(shù)據(jù)挖掘的應(yīng)用，能夠利用經(jīng)營分析系統(tǒng)進(jìn)行 客戶分群、客戶獲取、客戶行為分析、客戶流失分析 等。如今，電信公司已經(jīng)能夠利用現(xiàn)有的客戶數(shù)據(jù)來 總結(jié)客戶行為的特點(diǎn)，并預(yù)測客戶的下一步行為 。例如，為了對付日益嚴(yán)重的客戶流失或業(yè)務(wù)流失狀況， 電信公司采用基于決策樹的方法來分析客戶的流失特性，以便采取針對性的營銷措施，挽留有價值的客戶、減少客戶流失。 數(shù)據(jù)挖掘 四、數(shù)據(jù)挖掘?qū)ο? 1. 關(guān)系數(shù)據(jù)庫 ?數(shù)據(jù)庫中數(shù)據(jù)的特點(diǎn)如下： 1) 數(shù)據(jù)動態(tài)性、 2) 數(shù)據(jù)的不完全性、 3) 噪聲數(shù)據(jù)、4) 數(shù)據(jù)類型不一致、 5) 異構(gòu)性、 6) 數(shù)據(jù)冗余性、 7) 數(shù)據(jù)稀疏性 ?由于數(shù)據(jù)庫中的數(shù)據(jù)具有以上特點(diǎn)，使其在挖掘過程中難以直接使用，因此在進(jìn)行數(shù)據(jù)挖掘以前必須對數(shù)據(jù)進(jìn)行預(yù)處理。 數(shù)據(jù)挖掘 四、數(shù)據(jù)挖掘?qū)ο? 2. 數(shù)據(jù)倉庫 ?數(shù)據(jù)倉庫的特點(diǎn)如下： 1) 面向主題、 2) 集成的數(shù)據(jù)、 3) 不可更新、 4) 隨時間不斷變化 ?高質(zhì)量的挖掘結(jié)果依賴于高質(zhì)量的數(shù)據(jù)，數(shù)據(jù)倉庫為數(shù)據(jù)挖掘準(zhǔn)備了良好的數(shù)據(jù)源，因此，數(shù)據(jù)倉庫是數(shù)據(jù)挖掘的 最佳環(huán)境 。 數(shù)據(jù)挖掘 四、數(shù)據(jù)挖掘?qū)ο? 3．文本 ?文本是非結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)。 ?文本分析包括： ?1) 關(guān)鍵詞或特征提取 ?2) 相似檢索 ?3) 文本聚類 ?4) 文本分類 數(shù)據(jù)挖掘 四、數(shù)據(jù)挖掘?qū)ο? 4．多媒體數(shù)據(jù) ?圖像、音頻、視頻數(shù)據(jù)是典型的多媒體數(shù)據(jù)。 ?多媒體數(shù)據(jù)廣泛存在于生活、醫(yī)學(xué)、軍事、娛樂等領(lǐng)域， ?目前，對于多媒體數(shù)據(jù)的挖掘主要有特征提取、基于內(nèi)容的相似檢索等。 數(shù)據(jù)挖掘 四、數(shù)據(jù)挖掘?qū)ο? 5． Web數(shù)據(jù) ? Web使用模式挖掘 ：在 Web環(huán)境中，文檔和對象一般都是通過鏈接來便于用戶訪問。捕捉用戶的存取模式或發(fā)現(xiàn)一個 Web網(wǎng)站最頻繁的訪問路徑稱為 Web使用模式挖掘或 Web路徑挖掘。 ? Web結(jié)構(gòu)挖掘 ：是挖掘 Web的鏈接結(jié)構(gòu)，并找出關(guān)于某一主題的權(quán)威網(wǎng)站。 ?Web內(nèi)容挖掘 ：是指在大量訓(xùn)練樣本的基礎(chǔ)上，得到數(shù)據(jù)對象之間的內(nèi)在特征，并以此為依據(jù)進(jìn)行有目的的信息篩選，從而獲得指定內(nèi)容的信息。 數(shù)據(jù)挖掘 四、數(shù)據(jù)挖掘?qū)ο? 6．復(fù)雜類型的數(shù)據(jù) 1) 空間數(shù)據(jù)庫 ?如地理信息數(shù)據(jù)、衛(wèi)星圖像數(shù)據(jù)、地下管道、下水道、及各類地下建筑分布數(shù)據(jù)等。 ?對空間數(shù)據(jù)的挖掘可以為城市規(guī)劃、生態(tài)規(guī)劃、道路修建提供決策支持。 2) 時間序列數(shù)據(jù) ?主要用于存放與時間相關(guān)的數(shù)據(jù)，它可用來反映隨時間變化的即時數(shù)據(jù)或不同時間發(fā)生的不同事件。 ?例如，連續(xù)存放即時的股票交易信息、衛(wèi)星軌道信息等。 ?對時間序列數(shù)據(jù)的挖掘可以發(fā)現(xiàn)事件的發(fā)展趨勢、演變過程和隱藏特征，這些信息對制定計劃、決策和預(yù)警是非常有用的。 數(shù)據(jù)挖掘 五、數(shù)據(jù)挖掘任務(wù) ?概念描述 ?關(guān)聯(lián)分析 ?分類與估值 ?聚類 ?孤立點(diǎn)分析 ?時間序列分析 ?預(yù)測 數(shù)據(jù)挖掘 概念描述 ?概念描述 就是通過對某類數(shù)據(jù)對象進(jìn)行匯總、分析和比較，獲得對此類對象內(nèi)涵的描述，并概括這類對象的有關(guān)特征。 ?概念描述可以通過下述方法得到：數(shù)據(jù)特征化和數(shù)據(jù)區(qū)分 ?數(shù)據(jù)特征化的輸出 可以采用餅圖、柱狀圖、曲線、多維數(shù)據(jù)立方體、含交叉表的多維表等形式，描述結(jié)果也可以用概化關(guān)系或規(guī)則形式表示 ?數(shù)據(jù)區(qū)分的輸出 類似于數(shù)據(jù)特征化，但它應(yīng)該包括比較度量，以幫助區(qū)分目標(biāo)類和比較類。 數(shù)據(jù)挖掘 概念描述 ?例 1：我們收集移動電話費(fèi)月消費(fèi)額超出 1000元的客戶資料，然后利用數(shù)據(jù)挖掘進(jìn)行分析，獲得這類客戶的 總體性描述 ： 35－ 50歲，有工作，月收入 5000元以上，擁有良好的信用度 … ； ?例 2：對比移動電話費(fèi)月消費(fèi)額超出 1000元的客戶群與移動電話費(fèi)月消費(fèi)額低于 100元的客戶群。利用數(shù)據(jù)挖掘可作出 如下描述 ：移動電話月消費(fèi)額超出 1000元的客戶 80％以上年齡在 35－ 50歲之間，且月收入5000元以上；而移動電話月消費(fèi)額低于
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1