數(shù)據(jù)挖掘與bi借數(shù)據(jù)一雙慧眼-在線瀏覽
2024-07-24 23:56本頁(yè)面
【正文】 （ 2）關(guān)聯(lián)和相關(guān)（ Association and Correlation） 關(guān)聯(lián)規(guī)則從本質(zhì)上講是條件概率： A 發(fā)生時(shí)， B 同時(shí)也出現(xiàn)的概率是多大？只要 B離 50％較遠(yuǎn)，就是有 意義的。在應(yīng)用關(guān)聯(lián)規(guī)則時(shí)還需要多考慮的一個(gè)問(wèn)題是：這條規(guī)則遵循者的數(shù)量怎樣？通俗的說(shuō)就是，如果超市的尿布只有一個(gè)人買(mǎi)（假設(shè)），但是這人每次買(mǎi)尿布時(shí)，一定會(huì)買(mǎi)啤酒。 在應(yīng)用關(guān)聯(lián)規(guī)則時(shí)，要注意兩點(diǎn)：關(guān)聯(lián)不一定是因果，關(guān)聯(lián)是有方向的。 （ 3）分類和聚類 分類和聚類是最常用的技術(shù)。 聚類和分類的最大區(qū)別就是，分類是有監(jiān)督的，聚類是無(wú)監(jiān)督的。聚類是沒(méi)有目標(biāo)的。聚類是不知道每一類有什么特征的，聚后再總結(jié)，再發(fā)現(xiàn)共同點(diǎn)。 時(shí)間序列常用的方法有： ARMA，指數(shù)平滑和趨勢(shì)外推等。因?yàn)?，任何事物，比如企業(yè)銷售額，在沒(méi)有特別的外在因素 影響下，總是有規(guī)可循的。 （ 6）結(jié)構(gòu)方程模型 不同于以上應(yīng)用，結(jié)構(gòu)方程模型重點(diǎn)在于如何揭示事物內(nèi)部的結(jié)構(gòu)和相互作用的原理。結(jié)構(gòu)方程模型就起到這種作用。 業(yè)界有許多指導(dǎo)項(xiàng)目實(shí)踐的方法論，大同小異，以 CRISPDM 為例。 打個(gè)比方，譬如炒菜待客，商業(yè)理解就是了解顧客的口味；數(shù)據(jù)理解則是熟悉每一樣原料可以炒什么菜；數(shù)據(jù)準(zhǔn)備則是根據(jù)顧客的口味和廚師的經(jīng)驗(yàn)，配菜，擇菜和洗菜；而建模就全靠大廚炒菜的水平；到了評(píng)估階段就是顧客品嘗；如果滿意則到了最后的階段，作為招牌菜發(fā)布推廣。 一個(gè)成功的 DM 項(xiàng)目，不僅可以面向操作層面，加強(qiáng)自動(dòng)化；還可以面向決策層，優(yōu)化決策。我們有幸看到，北京協(xié)和醫(yī)院、三九宜工生化 股份有限公司、山東煙草專賣(mài)局等一些先知先覺(jué)的單位，開(kāi)始在 DM 方面進(jìn)行摸索和嘗試。用戶的應(yīng)用需求也開(kāi)始從初期的 OLAP（聯(lián)機(jī)處理）和報(bào)表分析向更深層次轉(zhuǎn)變，包括 CRM、數(shù)據(jù)挖掘等。 根據(jù) NCR 數(shù)據(jù)挖掘方法論， NCR 將數(shù)據(jù)挖掘項(xiàng)目的實(shí)施劃分為五個(gè)階段，包括定義業(yè)務(wù)問(wèn)題范圍、選取和抽樣、探索型數(shù)據(jù)分析、建模和實(shí)施。任務(wù)包括：明確業(yè)務(wù)目標(biāo)；定義響應(yīng)變量；項(xiàng)目計(jì)劃必要的調(diào)整。同時(shí)從數(shù)據(jù)總體中抽樣生成訓(xùn)練集、驗(yàn)證集和測(cè)試集。 3．探索型數(shù)據(jù)分析（數(shù)據(jù)探索）：在這個(gè)階段中，建模小組核查目前的數(shù)據(jù)源，并且努力去發(fā)現(xiàn)在每個(gè)待選 的自變量和目標(biāo)變量之間是否有任何關(guān)系。在數(shù)據(jù)挖掘過(guò)程中這是一個(gè)關(guān)鍵的階段。 4．建模：在這個(gè)階段，建模小組建立并確認(rèn)挖掘模型。來(lái)自最終用戶的業(yè)務(wù)領(lǐng)域知識(shí)在這個(gè)階段是非常關(guān)鍵的，因?yàn)樗麄兛梢栽u(píng)價(jià)和確認(rèn)模型的結(jié)果、理解發(fā)現(xiàn)并付諸實(shí)際行動(dòng)。 5．實(shí)施：在這個(gè)階段，需要用模型的結(jié)果來(lái)幫助做出業(yè)務(wù)決定、戰(zhàn)略設(shè)計(jì)和戰(zhàn)術(shù)實(shí)施。在利用模型的結(jié)果時(shí)，復(fù)雜的展示層界面通常是不必要的。 任務(wù)包括：客戶模型評(píng)分和存儲(chǔ)模型結(jié)果，性能跟蹤和進(jìn)一步整合其它業(yè)務(wù)系統(tǒng)；數(shù)據(jù)挖掘過(guò)程的自動(dòng)化是單獨(dú)的項(xiàng)目；模型結(jié)果的現(xiàn)場(chǎng)測(cè)試是單獨(dú)的項(xiàng)目。如表 1 是為期二個(gè)月（ 40個(gè)工作日）的數(shù)據(jù)挖掘項(xiàng) 目計(jì)劃，可以作為其他挖掘項(xiàng)目制定計(jì)劃的參考基準(zhǔn)。同時(shí)需要熟悉業(yè)務(wù)的人員以及熟悉數(shù)據(jù)倉(cāng)庫(kù)PDM 的人員予以支持。信息系統(tǒng)相對(duì)比較完善的企業(yè)會(huì)較早涉足這一 領(lǐng)域，從而推動(dòng)商業(yè)智能推廣的應(yīng)用。如北京協(xié)和醫(yī)院、三九宜工生化股份有限公司和山東煙草專賣(mài)局的信息部門(mén)主管，各自都提出了一些建設(shè)商業(yè)智能系統(tǒng)的問(wèn)題。 總結(jié)起來(lái)，以上困惑可以歸納為三個(gè)問(wèn)題： 業(yè)帶來(lái)什么效益，或者說(shuō)商業(yè)智能系統(tǒng)能夠做什么？ 商業(yè)智能建設(shè)步驟和技術(shù)架構(gòu)是什么？ ？ 針對(duì)以上困惑，一般把商業(yè)智能系統(tǒng)建設(shè)劃分為三 個(gè)階段：理解嘗試階段、集中建設(shè)階段、成熟應(yīng)用階段。大家紛紛從各自的角度出發(fā)，給商業(yè)智能下定義，猜想商業(yè)智能是一種什么樣的應(yīng)用。而商業(yè)智能系統(tǒng)是面向面的，用專業(yè)術(shù)語(yǔ)講叫主題，因此，很難準(zhǔn)確地描述商業(yè)智能到底能實(shí)現(xiàn)哪些功能，或只能實(shí)現(xiàn)哪些主題。 基于此，我建議，目前的商業(yè)智能系統(tǒng)最好先以 12 個(gè)主題為主展開(kāi)，如即席查詢，目的是讓操作人員理解系統(tǒng)使用方式，積累業(yè)務(wù)經(jīng)驗(yàn)。國(guó)內(nèi)很多企業(yè)一開(kāi)始上商業(yè)智能系統(tǒng)，就上 OLAP，就研究能有多少個(gè)數(shù)據(jù)挖掘可以開(kāi)展。數(shù)據(jù)挖掘的基礎(chǔ)是數(shù)據(jù)理解，通過(guò)即席查詢對(duì)數(shù)據(jù)充分理解后，才談得上各種算法的應(yīng)用。但通過(guò)這一階段的摸索，我們應(yīng)該對(duì)商業(yè)智能的作用、意義以及企業(yè)的使用方式，都有了一個(gè)相對(duì)深入的了解。隨后，就可以進(jìn)入集中建設(shè)階段。在這一階段里，企業(yè)可以根據(jù)經(jīng)驗(yàn)，把日 常經(jīng)常使用的分析做成 Cube。數(shù)據(jù)挖掘可以隨著數(shù)據(jù)倉(cāng)庫(kù)的展開(kāi)和數(shù)據(jù)積累的增加，而大范圍展開(kāi)。 ◆ 成熟應(yīng)用階段 經(jīng)過(guò)了集中建設(shè)階段，商業(yè)智能應(yīng)用在企業(yè)已經(jīng)全面鋪開(kāi)。這時(shí)就進(jìn)入了商業(yè)智能領(lǐng)域整體水平需要提升的階段。而商業(yè)智能也將變成一個(gè)成熟的產(chǎn)業(yè)，一個(gè)新的更高層次的商業(yè)智能系統(tǒng)將
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1