【正文】 要的作用。如圖2所示，描述了新決策支持系統(tǒng)的基本結(jié)構(gòu)。大數(shù)據(jù)分析與處理方法分析 孔志文（廣東省民政職業(yè)技術(shù)學(xué)校，廣州 510310）數(shù)據(jù)挖掘技術(shù)、應(yīng)用及發(fā)展趨勢（重要內(nèi)容） 張春華王陽 (空軍第二航空學(xué)院，長春130022)1引言 世紀(jì)之交，隨著數(shù)據(jù)庫和網(wǎng)絡(luò)等技術(shù)的迅速發(fā)展，我們產(chǎn)生和收集數(shù)據(jù)的能力已經(jīng)迅速提高，大量的數(shù)據(jù)儲存在數(shù)據(jù)庫和數(shù)據(jù)倉庫中，我們已被淹沒在數(shù)據(jù)和信息的汪洋大海中。人們需要有新的、更有效的手段地各種大量數(shù)據(jù)進(jìn)行挖掘以發(fā)揮其潛能，數(shù)據(jù)挖掘正是在這樣的應(yīng)用需求環(huán)境下產(chǎn)生并迅速發(fā)展起來的，它的出現(xiàn)為自動和智能地把海量的數(shù)據(jù)轉(zhuǎn)化為有用的信息和知識提供了手段。2 KDD與數(shù)據(jù)挖掘 KDD (Knowledge Discovery In Database )—知識發(fā)現(xiàn)是從大量數(shù)據(jù)中提取出可信的、新穎的、有效的并能被人理解的模式的處理過程。DM (Data Ivamp。ning )—數(shù)據(jù)挖掘是KDD過程的一個重要步驟，它是從大量的、不完全的、不噪聲的、模糊的、隨機(jī)的實際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。 一個典型的數(shù)據(jù)挖掘系統(tǒng)，一般是由圖1所示的幾個部分組成。數(shù)據(jù)庫或數(shù)據(jù)倉庫服務(wù)器，存儲著用戶將要挖掘的，所感興趣的數(shù)據(jù)。知識庫是領(lǐng)域知識的一個應(yīng)用，它用于引導(dǎo)搜索或評估挖掘的結(jié)果模式是否有意義，是知識的不同屬性或?qū)傩灾颠M(jìn)行不同層次的抽象。數(shù)據(jù)挖掘引擎是數(shù)據(jù)挖掘系統(tǒng)所必不可少的部分，理想的是由一些列而向任務(wù)的功能模塊組成，如特征分析、相關(guān)分析、分類、評估以及偏差分析。模式評估模塊運(yùn)用各種興趣尺度對得到的模式進(jìn)行評估同時還與數(shù)據(jù)挖掘掘模塊進(jìn)行交互，使挖掘的方向集中在感興趣的模式上。用戶的圖形界而接口是用戶和數(shù)據(jù)挖掘系統(tǒng)交互的接口。允許用戶指定有關(guān)參數(shù)的值，直接參與到數(shù)據(jù)挖掘的查詢、搜索中。 數(shù)據(jù)挖掘(Data Mining，簡稱DM)，歷史雖然較短，但從20世紀(jì)90年代以來，它的發(fā)展速度很快，加之它是多學(xué)科綜合的產(chǎn)物，目前還沒有一個完整的定義，人們提出了多種數(shù)據(jù)挖掘的定義〔4〕，例如: SAS研究所(1997):“在大量相關(guān)數(shù)據(jù)基礎(chǔ)之上進(jìn)行數(shù)據(jù)探索和建立相關(guān)模型的先進(jìn)方法”。 Bhavani (1999):’‘使用模式識別技術(shù)、統(tǒng)計和數(shù)學(xué)技術(shù)，在大量的數(shù)據(jù)中發(fā)現(xiàn)有意義的新關(guān)系、模式和趨勢的過程”。 Hand et al (2000):“數(shù)據(jù)挖掘就是在大型數(shù)據(jù)庫中尋找有意義、有價值信息的過程”。 以下給出一個被普遍采用的定義描述:數(shù)據(jù)挖掘，又稱為數(shù)據(jù)庫中知識發(fā)現(xiàn)(Knowledge Discovery from Database，簡稱KDD)，它是一個從大量數(shù)據(jù)中抽取挖掘出未知的、有價值的模式或規(guī)律等知識的復(fù)雜過程。數(shù)據(jù)挖掘的全過程定義描述如圖1. 1所示〔4] 基于圖1. 1所示的數(shù)據(jù)挖掘過程，一個典型的數(shù)據(jù)挖掘系統(tǒng)(如圖1. 2所示)主要包含以下主要部件「4〕.數(shù)據(jù)庫、數(shù)據(jù)倉庫或其它信息庫，它表示數(shù)據(jù)挖掘?qū)ο笫怯梢粋€(或組、數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)表單或其它信息數(shù)據(jù)庫組成。通常需要使用數(shù)據(jù)清洗和數(shù)據(jù)集成操作，對這些數(shù)據(jù)對象進(jìn)行初步的處理。數(shù)據(jù)庫或數(shù)據(jù)倉庫服務(wù)器，這類服務(wù)器負(fù)責(zé)根據(jù)用戶的數(shù)據(jù)挖掘請求，讀取相關(guān)的數(shù)據(jù)。知識庫，此處存放數(shù)據(jù)挖掘所需要的領(lǐng)域知識，這些知識將用于指導(dǎo)數(shù)據(jù)挖掘的搜索過程，或者用于幫助對挖掘結(jié)果的評估。挖掘算法中所使用的用戶定義的閡值就是最簡單的領(lǐng)域知識。數(shù)據(jù)挖掘引擎，這是數(shù)據(jù)挖掘系統(tǒng)的最基本部件，它通常包含一組挖掘功能模塊，以便完成定性歸納、關(guān)聯(lián)分析、分類歸納、進(jìn)化計算和偏差分析等挖掘功能。.模式評估模塊，該模塊可根據(jù)趣味標(biāo)準(zhǔn)(interestingness measures)，協(xié)助數(shù)據(jù)挖 掘模塊聚焦挖掘更有意義的模式知識。當(dāng)然該模塊能否與數(shù)據(jù)挖掘模塊有機(jī)結(jié)合，與數(shù)據(jù)挖掘模塊所使用的具體挖掘算法有關(guān)。顯然若數(shù)據(jù)挖掘算法能夠與知識評估方法有機(jī)結(jié)合將有助提高其數(shù)據(jù)挖掘的效率。〔5〕.可視化用戶界面，該模塊幫助用戶與數(shù)據(jù)挖掘系統(tǒng)本身進(jìn)行溝通交流。一方面用戶通過該模塊將自己的挖掘要求或任務(wù)提交給挖掘系統(tǒng)，以及提供挖掘搜索所需要的相關(guān)知識。另一方面系統(tǒng)通過該模塊向用戶展示或解釋數(shù)據(jù)挖掘的結(jié)果或中間結(jié)果。此外該模塊也可以幫助用戶瀏覽數(shù)據(jù)對象內(nèi)容與數(shù)據(jù)定義模式、評估所挖掘出的模式知識，以及以多種形式展示挖掘出的模式知識?！?】從數(shù)據(jù)倉庫的角度來看，數(shù)據(jù)挖掘可以被認(rèn)為是在線分析處理(OLAP)的高級階段，但是基于多種數(shù)據(jù)理解先進(jìn)技術(shù)的數(shù)據(jù)挖掘，其數(shù)據(jù)分析能力要遠(yuǎn)超過以數(shù)據(jù)匯總為主的數(shù)據(jù)倉庫在線分析處理功能?！?】[4] Han J et al. Data mining: Concepts and techniques. Morgan Kaufmann Publishers.(高等教育出版社，影印版)，2001.[5] Fayyad U et al. Knowledge discovery and data mining towards a unifying KDD39。96 Proc. 2nd Int. Conf. on Knowledge Discoveryamp。Data Mining. AAAI Press,1996.[6]Agrawal R et al. The QUEST data mining system. In Proc. Int. Conf. Data Mining andKnowledge Discovery(KDD39。96), 1996: 244一249.[7]胡侃，:研究綜述【J].軟件學(xué)報，1998,9(1).“采購：確定最具成本效益的供應(yīng)商按時交付產(chǎn)品而不造成損害產(chǎn)品開發(fā)：加快產(chǎn)品開發(fā)流程，提高新產(chǎn)品發(fā)布效率制造業(yè)：可能是質(zhì)量問題指標(biāo)的機(jī)械和過程差異分銷：根據(jù)外部因素（如天氣，假期和經(jīng)濟(jì)狀況）量化最優(yōu)庫存水平和優(yōu)化供應(yīng)鏈活動營銷：確定哪些營銷宣傳和廣告活動在推動客戶流動，參與和銷售方面最有效，或使用歸因分析來優(yōu)化營銷組合，包括營銷目標(biāo)，客戶行為和渠道行為定價和收益管理：優(yōu)化“易腐”商品的價格商品銷售：根據(jù)當(dāng)前的購買模式，庫存水平以及從社交媒體數(shù)據(jù)中獲得的產(chǎn)品利益分析來優(yōu)化商品降幅銷售：優(yōu)化銷售資源分配，產(chǎn)品組合，傭金建模和帳戶分配存儲操作：根據(jù)預(yù)測的購買模式以及當(dāng)?shù)厝丝?，天氣和事件?shù)據(jù)，優(yōu)化庫存水平人力資源：確定最成功和最有效的的特征和行為據(jù)麥肯錫大數(shù)據(jù)創(chuàng)造價值在幾個方面，如39。：通過使相關(guān)利益攸關(guān)方及時獲取大數(shù)據(jù)更容易獲得透明度使實驗?zāi)軌虬l(fā)現(xiàn)需求，暴露變異性并提高性能收集更準(zhǔn)確和詳細(xì)的性能數(shù)據(jù)（實時或接近實時）的一切細(xì)分人群來定制行動用自動算法替代/支持人類決策創(chuàng)新的商業(yè)模式，產(chǎn)品和服務(wù)。除了上面提到的大數(shù)據(jù)應(yīng)用程序之外，：“推薦引擎，允許在線零售商根據(jù)用戶配置文件和行為數(shù)據(jù)的分析來匹配和推薦用戶或產(chǎn)品和服務(wù)。情緒分析與Hadoop結(jié)合，高級文本分析工具分析社會媒體和社交網(wǎng)絡(luò)職位的非結(jié)構(gòu)化文本。風(fēng)險建模，允許分析大量的事務(wù)數(shù)據(jù)，以確定金融資產(chǎn)的風(fēng)險和風(fēng)險，為潛在的“假設(shè)”情況做好準(zhǔn)備基于模擬市場行為，并為潛在客戶評估風(fēng)險。欺詐檢測使用大數(shù)據(jù)技術(shù)來結(jié)合客戶行為，歷史和交易數(shù)據(jù)來檢測欺詐活動?？蛻袅魇Х治觯髽I(yè)使用Hadoop和大數(shù)據(jù)技術(shù)來分析客戶行為數(shù)據(jù)，以確定哪些客戶最有可能離開競爭的供應(yīng)商或服務(wù)的模式。社會圖分析，幫助企業(yè)確定“最重要”的客戶?？蛻趔w驗分析，允許從以前的客戶交互渠道（如呼叫中心，在線聊天等）整合數(shù)據(jù)，以獲得客戶體驗的完整視圖。網(wǎng)絡(luò)監(jiān)控允許管理員監(jiān)控網(wǎng)絡(luò)活動并診斷瓶頸。研究開發(fā)中，諸如制藥商等企業(yè)利用Hadoop梳理大量文字研究和其他歷史數(shù)據(jù)，協(xié)助開發(fā)新產(chǎn)品。L. Wang等人。表示“醫(yī)療保健領(lǐng)域存在重要的一類大數(shù)據(jù)應(yīng)用”，健康相關(guān)數(shù)據(jù)庫種類繁多，在健康信息系統(tǒng)（HIS）和臨床決策支持系統(tǒng)（CDSS）中發(fā)揮關(guān)鍵作用，這些數(shù)據(jù)集差異很大從數(shù)量，多樣性和速度，從患者集中的集合，如電子醫(yī)療記錄到人口聚焦的集合，如公共衛(wèi)生數(shù)據(jù)和知識集中的集合，如藥物對藥物，藥物對疾病，疾病與疾病相互作用注冊管理機(jī)構(gòu)“”檢測疾病在早期階段，管理具體的個人和人口健康，并更快，更有效地檢測醫(yī)療保健欺詐。了解發(fā)展或結(jié)果可能是基于大量歷史數(shù)據(jù)預(yù)測和/或估計“1z。