數(shù)據(jù)挖掘與bi借數(shù)據(jù)一雙慧眼-文庫(kù)吧
2025-04-17 23:56 本頁(yè)面
【正文】 點(diǎn)：關(guān)聯(lián)不一定是因果，關(guān)聯(lián)是有方向的。 相關(guān)也是考慮兩個(gè)事物之間的關(guān)系，典型的度量方法有 Pearson相關(guān)系數(shù)和 Kendall 相關(guān)系數(shù)。 （ 3）分類和聚類 分類和聚類是最常用的技術(shù)。 一般說來，分類的方法有三種：回歸、決策樹、神經(jīng)網(wǎng)絡(luò)。 聚類和分類的最大區(qū)別就是，分類是有監(jiān)督的，聚類是無(wú)監(jiān)督的。什么叫監(jiān)督呢？就是標(biāo)準(zhǔn)，或者說有目標(biāo)變量。聚類是沒有目標(biāo)的。“物以類聚，人以群分”。聚類是不知道每一類有什么特征的，聚后再總結(jié)，再發(fā)現(xiàn)共同點(diǎn)。 （ 4）預(yù)測(cè) 預(yù)測(cè)的常用方法是時(shí)間序列，回歸也可以用來預(yù)測(cè)。 時(shí)間序列常用的方法有： ARMA，指數(shù)平滑和趨勢(shì)外推等。時(shí)間序列的最大特點(diǎn)就是充分挖掘事物本身隨時(shí)間的規(guī)律。因?yàn)?，任何事物，比如企業(yè)銷售額，在沒有特別的外在因素 影響下，總是有規(guī)可循的。 （ 5）優(yōu)化 優(yōu)化本是運(yùn)籌學(xué)中的一個(gè)概念，主要解決的一個(gè)問題是在各種約束條件下，如何合理配置資源，使目標(biāo)要素最大（小）化。 （ 6）結(jié)構(gòu)方程模型 不同于以上應(yīng)用，結(jié)構(gòu)方程模型重點(diǎn)在于如何揭示事物內(nèi)部的結(jié)構(gòu)和相互作用的原理。比如，如何度量客戶滿意度？客戶滿意度與客戶期望，產(chǎn)品，價(jià)格，服務(wù)，投訴處理和客戶忠誠(chéng)是什么關(guān)系？是怎么作用的？只有搞清楚了這些關(guān)系，才可能不斷提高客戶滿意度和客戶忠誠(chéng)度。結(jié)構(gòu)方程模型就起到這種作用。 數(shù)據(jù)如何完整呈現(xiàn)？ 從應(yīng)用的角度來說， DM 不單是數(shù)據(jù)的組織或者呈現(xiàn)，也不僅是數(shù)據(jù)分析和統(tǒng)計(jì)建模，而是一個(gè)從理解業(yè)務(wù)需求、尋求解決方案到接受實(shí)踐檢驗(yàn)的完整的過程（ Process）。 業(yè)界有許多指導(dǎo)項(xiàng)目實(shí)踐的方法論，大同小異，以 CRISPDM 為例。 CRISPDM 分成如下六個(gè)階段：商業(yè)理解（ Business Understanding），數(shù)據(jù)理解 (Data Understanding)，數(shù)據(jù)準(zhǔn)備 (Data Preparation)，建模 (Modeling)，評(píng)估 (Evaluation)和發(fā)布 (Deployment)。 打個(gè)比方，譬如炒菜待客，商業(yè)理解就是了解顧客的口味；數(shù)據(jù)理解則是熟悉每一樣原料可以炒什么菜；數(shù)據(jù)準(zhǔn)備則是根據(jù)顧客的口味和廚師的經(jīng)驗(yàn)，配菜，擇菜和洗菜；而建模就全靠大廚炒菜的水平；到了評(píng)估階段就是顧客品嘗；如果滿意則到了最后的階段，作為招牌菜發(fā)布推廣。 DM 的過程就是客戶空腹而來，滿意而歸的完整的服務(wù)過程。 一個(gè)成功的 DM 項(xiàng)目，不僅可以面向操作層面，加強(qiáng)自動(dòng)化；還可以面向決策層，優(yōu)化決策。對(duì)我國(guó)的企業(yè)來說， DM 的興起和成功應(yīng)用是一個(gè)很好的發(fā)展機(jī)會(huì)。我們有幸看到，北京協(xié)和醫(yī)院、三九宜工生化 股份有限公司、山東煙草專賣局等一些先知先覺的單位，開始在 DM 方面進(jìn)行摸索和嘗試。 廠家代表觀點(diǎn) ◆ 實(shí)施計(jì)劃細(xì)部署 跨入 2020 年，很多企業(yè)已經(jīng)把企業(yè)的數(shù)據(jù)有效地整合到統(tǒng)一的數(shù)據(jù)模型之中，而且已經(jīng)有了相當(dāng)多的歷史數(shù)據(jù)積累。用戶的應(yīng)用需求也開始從初期的 OLAP（聯(lián)機(jī)處理）和報(bào)表分析向更深層次轉(zhuǎn)變，包括 CRM、數(shù)據(jù)挖掘等。相信今年是數(shù)據(jù)挖掘項(xiàng)目會(huì)得到大力發(fā)展的一年。 根據(jù) NCR 數(shù)據(jù)挖掘方法論， NCR 將數(shù)據(jù)挖掘項(xiàng)目的實(shí)施劃分為五個(gè)階段，包括定義業(yè)務(wù)問題范圍、選取和抽樣、探索型數(shù)據(jù)分析、建模和實(shí)施。 1．定義業(yè)務(wù)問題范圍：在這個(gè)初始階段，需明確闡述項(xiàng)目目標(biāo)和客戶業(yè)務(wù)需求，目的是明確數(shù)據(jù)挖掘問題。任務(wù)包括：明確業(yè)務(wù)目標(biāo)；定義響應(yīng)變量；項(xiàng)目計(jì)劃必要的調(diào)整。 2．選取和抽樣：在這個(gè)階段，建模小組要搜尋并檢查客戶數(shù)據(jù)，作為以后分析挖掘時(shí)所用變量的簡(jiǎn)略一覽表。同時(shí)從數(shù)據(jù)總體中抽樣生成訓(xùn)練集、驗(yàn)證集和測(cè)試集。任務(wù)包括：數(shù)據(jù)來源、數(shù)據(jù)映射、準(zhǔn)備數(shù)據(jù)評(píng)估、數(shù)據(jù)的必要聚合、數(shù)據(jù)抽樣。 3．探索型數(shù)據(jù)分析（數(shù)據(jù)探索）：在這個(gè)階段中，建模小組核查目前的數(shù)據(jù)源，并且努力去發(fā)現(xiàn)在每個(gè)待選 的自變量和目標(biāo)變量之間是否有任何關(guān)系。通常，數(shù)值分析是全面理解數(shù)據(jù)的第一步，跟著進(jìn)行的統(tǒng)計(jì)分析是為了得到有關(guān)數(shù)據(jù)分布的更好知識(shí)。在數(shù)據(jù)挖掘過程中這是一個(gè)關(guān)鍵的階段。 任務(wù)包括：數(shù)據(jù)質(zhì)量檢查；數(shù)據(jù)的必要整理；通過圖形化呈現(xiàn)工具和其他的統(tǒng)計(jì)方法理解數(shù)據(jù)；分析待選自變量和目標(biāo)變量之間的關(guān)系；數(shù)據(jù)轉(zhuǎn)換以輔助數(shù)據(jù)的分析；數(shù)據(jù)派生為建立模型做準(zhǔn)備；整理和呈現(xiàn)數(shù)據(jù)探索的發(fā)現(xiàn)。 4．建模：在這個(gè)階段，建模小組建立并確認(rèn)挖掘模型。建模小組通常嘗試不同的建模技術(shù)或結(jié)合不同數(shù)據(jù)集，并衡量模型性能的不同，選出最好的 。來自最終用戶的業(yè)務(wù)領(lǐng)域知識(shí)在這個(gè)階段是非常關(guān)鍵的，因?yàn)樗麄兛梢栽u(píng)價(jià)和確認(rèn)模型的結(jié)果、理解發(fā)現(xiàn)并付諸實(shí)際行動(dòng)。
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1