【文章內容簡介】 發(fā)了一個與行業(yè)無關、與工具無關的數(shù)據(jù)挖掘過程模型，整個過程劃分為六個階段： 1 業(yè)務理解 指從業(yè)務角度理解項目的目標和需求，它的主要目的是把項目的目標和需求轉化為一個數(shù)據(jù)挖掘問題的定義和一個實現(xiàn)這些目標的初步計劃。 2 數(shù)據(jù)理解 收集原始數(shù)據(jù)，并對這些數(shù)據(jù)進行描述，用簡單的查詢、可視化和報表技術等對數(shù)據(jù)進行探測，一些簡單的數(shù)據(jù)挖掘項目在這一步就可以完成任務，另外在這一階段還要對數(shù)據(jù)質量進行評估。 3 數(shù)據(jù)準備 完成將原始數(shù)據(jù)轉換為數(shù)據(jù)挖掘可操作的目標數(shù)據(jù)的任務，一般要經(jīng)過數(shù)據(jù)選擇，數(shù)據(jù)清洗、數(shù)據(jù)構建、數(shù)據(jù)集成、數(shù)據(jù)格式化等操作，但這些操作并不一定按固定次序執(zhí)行，常常要反復數(shù)次。 數(shù)據(jù)挖掘技術 4 建立模型 在這一階段，將選擇和應用多種不同的建模技術，并且校準它們的參數(shù)，使其達到最優(yōu)值。由于不同技術對數(shù)據(jù)的格式有不同要求，因此常常需要返回到數(shù)據(jù)準備階段。 5 評價 對模型進行測試驗證，確定是否完成預定任務，并決定是否應用數(shù)據(jù)挖掘的結果。 6 實施 對整個數(shù)據(jù)挖掘項目實施，并產(chǎn)生最終報告。但有時由于項目復雜，可能要在整個企業(yè)范圍內實現(xiàn)一個可重復的數(shù)據(jù)挖掘過程。 數(shù)據(jù)挖掘技術 數(shù)據(jù)挖掘與 OLAP 1 數(shù)據(jù)挖掘與 OLAP的 區(qū)別 OLAP是在聯(lián)機事務處理基礎上發(fā)展起來的一種共享多維信息的快速分析技術。 OLAP是驗證型分析，用戶首先建立一個假設，然后用OLAP來驗證這個假設是否正確，即通過 OLAP證實或推翻假設來得到最終分析結果。 數(shù)據(jù)挖掘是一種挖掘性的分析工具，它主要利用各種分析方法主動地去挖掘大量數(shù)據(jù)中蘊含的規(guī)律，本質上是一個歸納的過程。數(shù)據(jù)挖掘不是用于驗證某個假定模式的正確性，而是基于歷史數(shù)據(jù)主動發(fā)現(xiàn)有用的模式。 2 數(shù)據(jù)挖掘與 OLAP的 聯(lián)系 1） OLAP可用于驗證數(shù)據(jù)挖掘預測的結果 2）經(jīng)清理、變換和集成的數(shù)據(jù)倉庫可同時做 OLAP和數(shù)據(jù)挖掘數(shù)據(jù)源 3）利用聯(lián)機分析技術將使得數(shù)據(jù)挖掘更加高效靈活 4）數(shù)據(jù)挖掘功能的聯(lián)機選擇，用戶往往無法明確希望挖掘的知識類型，通過將 OLAP與多種數(shù)據(jù)挖掘功能集成在一起，可靈活地為用戶選擇所期望的數(shù)據(jù)挖掘功能，動態(tài)地改變數(shù)據(jù)挖掘任務。 數(shù)據(jù)挖掘技術 數(shù)據(jù)挖掘的應用 1 零售業(yè) 中的應用 1）數(shù)據(jù)庫行銷：通過交互式查詢、數(shù)據(jù)分割和模型預測來選擇潛在顧客，發(fā)現(xiàn)顧客可能的喜好，制定相應的促銷策略； 2）貨籃分析：利用市場銷售記錄，如購買品種、數(shù)量、品牌、價位信息識別顧客購買行為模式，相應調整貨架擺放、商品組合、市場區(qū)隔。 2 互聯(lián)網(wǎng) 中的應用 1）互聯(lián)網(wǎng)中挖掘的 數(shù)據(jù) ：用戶的背景信息，比如用戶注冊信息；用戶瀏覽信息，主要是用戶的一種網(wǎng)頁瀏覽行為；互聯(lián)網(wǎng)自身的信息，比如網(wǎng)頁內容，互聯(lián)網(wǎng)結構等。 2）互聯(lián)網(wǎng)挖掘的 類型 ：對互聯(lián)網(wǎng)內容的挖掘；對互聯(lián)網(wǎng)結構的挖掘；對互聯(lián)網(wǎng)使用的挖掘，比如通過日志文件來跟蹤用戶的瀏覽行為； 3）互聯(lián)網(wǎng)挖掘中的 關鍵技術 ： 路徑分析 技術，一般使用網(wǎng)站的結構圖，從 而確定用戶最訪問網(wǎng)站最頻繁的路徑； 關聯(lián)規(guī)則 技術； 序列模式挖掘技術，挖掘出交易集之間有時間序列關系的模式。如，網(wǎng)購 A產(chǎn)品的人在 2小時內又網(wǎng)購 B產(chǎn)品。更注重事務內的關系。 聚類分析 技術對數(shù)據(jù)庫里的數(shù)據(jù)項進行分類。 4）互聯(lián)網(wǎng)挖掘的 應用 ：理解用戶上網(wǎng)行為；評價網(wǎng)站；完善電子商務。 數(shù)據(jù)挖掘技術 3 電信業(yè) 中的應用 通過呼叫源、呼叫目標、呼叫量和呼叫類型等電信數(shù)據(jù)發(fā)現(xiàn)電信服務中的使用模式和客戶分組，進行細分服務。 4 金融分析 中的應用 可進行貸款償還預測和客戶信用分析。 5 工程與科學研究 中的應用 數(shù)據(jù)挖掘以其強大的職能性和自動性，在工程和科學研究中得到廣泛應用。比如，天文學中， Jet Propulsion實驗室利用決策樹方法對上百萬天體進行分類，效果比人工更快、更準確。 6 生物醫(yī)學和 DNA分析 中的應用 7 農(nóng)業(yè) 中的應用 找出與土壤質量相似區(qū)域種植農(nóng)作物，控制植物品種等。 8 競爭情報 中的應用 在情報收集階段，數(shù)據(jù)挖掘可以實現(xiàn)機器自動抓取網(wǎng)頁，對搜集的數(shù)據(jù)自動整理；在情報處理階段，數(shù)據(jù)挖掘還可以處理各種非文本、半結構化的信息源；在情報分析階段，數(shù)據(jù)挖掘能對多維數(shù)據(jù)進行分析，能排除虛假情報。 數(shù)據(jù)挖掘技術 數(shù)據(jù)挖掘應用的案例： 蒙特利爾銀行是加拿大歷史最為悠久的銀行，也是加拿大的第三大銀行。在 20 世紀 90 年代中期，行業(yè)競爭的加劇導致該銀行需要通過交叉銷售來鎖定 1800 萬客戶。銀行智能化商業(yè)高級經(jīng)理 Jan Mrazek 說，這反映了銀行的一個新焦點 客戶 (而不是商品 )。銀行應該認識到客戶需要什么產(chǎn)品以及如何推銷這些產(chǎn)品，而不是等待人們來排隊購買。然后，銀行需要開發(fā)相應商品并進行營銷活動， 從而滿足這些需求。 在應用數(shù)據(jù)挖掘之前，銀行的銷售代表必須于晚上 6 點至 9 點在特定地區(qū)通過電話向客戶推銷產(chǎn)品。但是，正如每個處于接受端的人所了解的那樣，大多數(shù)人在工作結束后對于兜售并不感興趣。因此，在晚餐時間進行電話推銷的反饋率非常低。 幾年前，該銀行開始采用 IBM DB2 Intelligent Miner Scoring，基于銀行賬戶余額、客戶已擁有的銀行產(chǎn)品以及所處地點和信貸風險等標準來評價記錄檔案。這些評價可用于確定客戶購買某一具體產(chǎn)品的可能性。該系統(tǒng)能夠通過瀏覽器窗口進行觀察，使得管理人員不必分析基礎數(shù)據(jù)，因此非常適合于非統(tǒng)計人員。 我們對客戶的財務行為習慣及其對銀行收益率的影響有了更深入的了解?，F(xiàn)在，當進行更具針對性的營銷活動時，銀行能夠區(qū)別對待不同的客戶群，以提升產(chǎn)品和服務質量，同時還能制訂適當?shù)膬r格和設計各種獎勵方案，甚至確定利息費用。“ 蒙特利爾銀行的數(shù)據(jù)挖掘工具為管理人員提供了大量信息，從而幫助他們對于從營銷到產(chǎn)品設計的任何事情進行決策。 信息融合技術 20世紀 80年代形成和發(fā)展起來了一種自動化信息綜合處理技術 ——信息融合，這對企業(yè)獲取和保持競爭優(yōu)勢至關重要。 信息融合（ Information Fusion）的涵義 1 信息融合的定義 美國國防部三軍實驗室理事聯(lián)席會提出：信息融合是信息融合 (information fusion）起初被稱為數(shù)據(jù)融合 (data fusion），起源于 1973年美國國防部資助開發(fā)的聲納信號處理系統(tǒng)，其概念在 20世紀 70年代就出現(xiàn)在一些文獻中。在 20世紀 90年代，隨著信息技術的廣泛發(fā)展，具有更廣義化概念的“信息融合”被提出來。在美國研發(fā)成功聲納信號處理系統(tǒng)之后，信息融合技術在軍事應用中受到了越來越廣泛的青睞。20世紀 80年代，為了滿足軍事領域中作戰(zhàn)的需要，多傳感器數(shù)據(jù)融合 MSDF (Multisensor Data Fusion）技術應運而生。 1988年，美國將 CI(Command， Control，Commication and Intelligence）系統(tǒng)中的數(shù)據(jù)融合技術列為國防部重點開發(fā)的二十項關鍵技術之一。由于信息融合技術在海灣戰(zhàn)爭中表現(xiàn)出的巨大潛力，在戰(zhàn)爭結束后，美國國防部又在 CI系統(tǒng)中加入計算機（ puter），開發(fā)了以信息融合為中心的 CI系統(tǒng)。此外，英國陸軍開發(fā)了炮兵智能信息融合系統(tǒng)（ AIDD）和機動與控制系統(tǒng) (WAVELL）。歐洲五國還制定了聯(lián)合開展多傳感器信號與知識綜合系統(tǒng)（ SKIDS）的研究計劃。法國也研發(fā)了多平臺態(tài)勢感知演示驗證系統(tǒng)（ TsMPF）。軍事領域是信息融合的誕生地，也是信息融合技術應用最為成功的地方。特別是在伊拉克戰(zhàn)爭和阿富汗戰(zhàn)爭中，美國軍方的信息融合系統(tǒng)都發(fā)揮了重要作用。當前，信息融合技術在軍事中的應用研究己經(jīng)從低層的目標檢測、識別和跟蹤轉向了態(tài)勢評估和威脅估計等高層應用。 20世紀 90年代以來，傳感器技術和計算機技術的迅速發(fā)展大大推動了信息融合技術的研究，信息融合技術的應用領域也從軍事迅速擴展到了民用。目前，信息融合技術己在許多民用領域取得成效。這些領域主要包括：機器人和智能儀器系統(tǒng)、智能制造系統(tǒng)、戰(zhàn)場任務與無人駕駛飛機、航天應用、目標檢測與跟蹤、圖像分析與理解、慣性導航、模式識別等領域。 信息融合技術 20世紀 80年代形成和發(fā)展起來了一種自動化信息綜合處理技術 ——信息融合，這對企業(yè)獲取和保持競爭優(yōu)勢至關重要。 信息融合（ Information Fusion）的涵義 1 信息融合的 定義 美國國防部三軍實驗室理事聯(lián)席會提出：信息融合是一個對 從單個和多個信息源 獲取數(shù)據(jù)和信息進行 關聯(lián) 、 相關 和 綜合 ，以獲得精確的位置和身份估計，以及對態(tài)勢和威脅及其重要程度進行全面及時評估的信息處理過程；該過程是對其估計、評估和額外信息源需求評價的一個持續(xù)精煉過程，同時也是信息處理過程不斷自我修正的一個過程，以獲得結果改善。 1973年美國國防部資助開發(fā)的聲納信號處理系統(tǒng)，其概念在 20世紀 70年代就出現(xiàn)在一些文獻中。在 20世紀 90年代，隨著信息技術的廣泛發(fā)展，具有更廣義化概念的“信息融合”被提出來。在美國研發(fā)成功聲納信號處理系統(tǒng)之后，信息融合技術在軍事應用中受到了越來越廣泛的青睞。 20世紀 80年代，為了滿足軍事領域中作戰(zhàn)的需要，多傳感器數(shù)據(jù)融合 MSDF (Multisensor Data Fusion）技術應運而生。 1988年，美國將 CI(Command， Control， Commication and Intelligence）系統(tǒng)中的數(shù)據(jù)融合技術列為國防部重點開發(fā)的二十項關鍵技術之一。 信息融合技術 信息融合技術在海灣戰(zhàn)爭中表現(xiàn)出的巨大潛力，在戰(zhàn)爭結束后，美國國防部又在 CI系統(tǒng)中加入計算機（ puter），開發(fā)了以信息融合為中心的 CI系統(tǒng)。此外，英國陸軍開發(fā)了炮兵智能信息融合系統(tǒng)（ AIDD）和機動與控制系統(tǒng) (WAVELL）。歐洲五國還制定了聯(lián)合開展多傳感器信號與知識綜合系統(tǒng)（ SKIDS）的研究計劃。法國也研發(fā)了多平臺態(tài)勢感知演示驗證系統(tǒng)（ TsMPF）。軍事領域是信息融合的誕生地，也是信息融合技術應用最為成功的地方。特別是在伊拉克戰(zhàn)爭和阿富汗戰(zhàn)爭中，美國軍方的信息融合系統(tǒng)都發(fā)揮了重要作用。當前，信息融合技術在軍事中的應用研究己經(jīng)從低層的目標檢測、識別和跟蹤轉向了態(tài)勢評估和威脅估計等高層應用。 20世紀 90年代以來，傳感器技術和計算機技術的迅速發(fā)展大大推動了信息融合技術的研究，信息融合技術的應用領域也從軍事迅速擴展到民用。目前，信息融合技術己在許多民用領域取得成效。這些領域主要包括：機器人和智能儀器系統(tǒng)、智能制造系統(tǒng)、戰(zhàn)場任務與無人駕駛飛機、航天應用、目標檢測與跟蹤、圖像分析與理解、慣性導航、模式識別等領域。 信息融合 就是為某一 目的 ，利用計算機技術對來自 多源數(shù)據(jù) 和信息進行組合或綜合處理的過程，以期得到比單一信息源更精確、更可靠的估計或推理決策。 信息融合技術 2 信息融合的 層次結構 信息融合的通用結構模型有三層： 1） 像素