【正文】 。表示“醫(yī)療保健領(lǐng)域存在重要的一類大數(shù)據(jù)應(yīng)用”，健康相關(guān)數(shù)據(jù)庫種類繁多，在健康信息系統(tǒng)（HIS）和臨床決策支持系統(tǒng)（CDSS）中發(fā)揮關(guān)鍵作用，這些數(shù)據(jù)集差異很大從數(shù)量，多樣性和速度，從患者集中的集合，如電子醫(yī)療記錄到人口聚焦的集合，如公共衛(wèi)生數(shù)據(jù)和知識集中的集合，如藥物對藥物，藥物對疾病，疾病與疾病相互作用注冊管理機(jī)構(gòu)“”檢測疾病在早期階段，管理具體的個人和人口健康，并更快，更有效地檢測醫(yī)療保健欺詐。研究開發(fā)中，諸如制藥商等企業(yè)利用Hadoop梳理大量文字研究和其他歷史數(shù)據(jù)，協(xié)助開發(fā)新產(chǎn)品?？蛻趔w驗分析，允許從以前的客戶交互渠道（如呼叫中心，在線聊天等）整合數(shù)據(jù)，以獲得客戶體驗的完整視圖?？蛻袅魇Х治觯髽I(yè)使用Hadoop和大數(shù)據(jù)技術(shù)來分析客戶行為數(shù)據(jù)，以確定哪些客戶最有可能離開競爭的供應(yīng)商或服務(wù)的模式。風(fēng)險建模，允許分析大量的事務(wù)數(shù)據(jù)，以確定金融資產(chǎn)的風(fēng)險和風(fēng)險，為潛在的“假設(shè)”情況做好準(zhǔn)備基于模擬市場行為，并為潛在客戶評估風(fēng)險。除了上面提到的大數(shù)據(jù)應(yīng)用程序之外，：“推薦引擎，允許在線零售商根據(jù)用戶配置文件和行為數(shù)據(jù)的分析來匹配和推薦用戶或產(chǎn)品和服務(wù)。用自動算法替代/支持人類決策使實驗?zāi)軌虬l(fā)現(xiàn)需求，暴露變異性并提高性能96), 1996: 244一249.[7]胡侃，:研究綜述【J].軟件學(xué)報，1998,9(1).“采購：確定最具成本效益的供應(yīng)商按時交付產(chǎn)品而不造成損害產(chǎn)品開發(fā)：加快產(chǎn)品開發(fā)流程，提高新產(chǎn)品發(fā)布效率制造業(yè)：可能是質(zhì)量問題指標(biāo)的機(jī)械和過程差異分銷：根據(jù)外部因素（如天氣，假期和經(jīng)濟(jì)狀況）量化最優(yōu)庫存水平和優(yōu)化供應(yīng)鏈活動營銷：確定哪些營銷宣傳和廣告活動在推動客戶流動，參與和銷售方面最有效，或使用歸因分析來優(yōu)化營銷組合，包括營銷目標(biāo)，客戶行為和渠道行為定價和收益管理：優(yōu)化“易腐”商品的價格商品銷售：根據(jù)當(dāng)前的購買模式，庫存水平以及從社交媒體數(shù)據(jù)中獲得的產(chǎn)品利益分析來優(yōu)化商品降幅銷售：優(yōu)化銷售資源分配，產(chǎn)品組合，傭金建模和帳戶分配存儲操作：根據(jù)預(yù)測的購買模式以及當(dāng)?shù)厝丝?，天氣和事件?shù)據(jù)，優(yōu)化庫存水平人力資源：確定最成功和最有效的的特征和行為據(jù)麥肯錫大數(shù)據(jù)創(chuàng)造價值在幾個方面，如39。96 Proc. 2nd Int. Conf. on Knowledge Discoveryamp。【6】從數(shù)據(jù)倉庫的角度來看，數(shù)據(jù)挖掘可以被認(rèn)為是在線分析處理(OLAP)的高級階段，但是基于多種數(shù)據(jù)理解先進(jìn)技術(shù)的數(shù)據(jù)挖掘，其數(shù)據(jù)分析能力要遠(yuǎn)超過以數(shù)據(jù)匯總為主的數(shù)據(jù)倉庫在線分析處理功能。另一方面系統(tǒng)通過該模塊向用戶展示或解釋數(shù)據(jù)挖掘的結(jié)果或中間結(jié)果?！?〕.可視化用戶界面，該模塊幫助用戶與數(shù)據(jù)挖掘系統(tǒng)本身進(jìn)行溝通交流。當(dāng)然該模塊能否與數(shù)據(jù)挖掘模塊有機(jī)結(jié)合，與數(shù)據(jù)挖掘模塊所使用的具體挖掘算法有關(guān)。數(shù)據(jù)挖掘引擎，這是數(shù)據(jù)挖掘系統(tǒng)的最基本部件，它通常包含一組挖掘功能模塊，以便完成定性歸納、關(guān)聯(lián)分析、分類歸納、進(jìn)化計算和偏差分析等挖掘功能。知識庫，此處存放數(shù)據(jù)挖掘所需要的領(lǐng)域知識，這些知識將用于指導(dǎo)數(shù)據(jù)挖掘的搜索過程，或者用于幫助對挖掘結(jié)果的評估。通常需要使用數(shù)據(jù)清洗和數(shù)據(jù)集成操作，對這些數(shù)據(jù)對象進(jìn)行初步的處理。 以下給出一個被普遍采用的定義描述:數(shù)據(jù)挖掘，又稱為數(shù)據(jù)庫中知識發(fā)現(xiàn)(Knowledge Discovery from Database，簡稱KDD)，它是一個從大量數(shù)據(jù)中抽取挖掘出未知的、有價值的模式或規(guī)律等知識的復(fù)雜過程。 Bhavani (1999):’‘使用模式識別技術(shù)、統(tǒng)計和數(shù)學(xué)技術(shù)，在大量的數(shù)據(jù)中發(fā)現(xiàn)有意義的新關(guān)系、模式和趨勢的過程”。允許用戶指定有關(guān)參數(shù)的值，直接參與到數(shù)據(jù)挖掘的查詢、搜索中。模式評估模塊運用各種興趣尺度對得到的模式進(jìn)行評估同時還與數(shù)據(jù)挖掘掘模塊進(jìn)行交互，使挖掘的方向集中在感興趣的模式上。知識庫是領(lǐng)域知識的一個應(yīng)用，它用于引導(dǎo)搜索或評估挖掘的結(jié)果模式是否有意義，是知識的不同屬性或?qū)傩灾颠M(jìn)行不同層次的抽象。 一個典型的數(shù)據(jù)挖掘系統(tǒng)，一般是由圖1所示的幾個部分組成。DM (Data Ivamp。人們需要有新的、更有效的手段地各種大量數(shù)據(jù)進(jìn)行挖掘以發(fā)揮其潛能，數(shù)據(jù)挖掘正是在這樣的應(yīng)用需求環(huán)境下產(chǎn)生并迅速發(fā)展起來的，它的出現(xiàn)為自動和智能地把海量的數(shù)據(jù)轉(zhuǎn)化為有用的信息和知識提供了手段。如圖2所示，描述了新決策支持系統(tǒng)的基本結(jié)構(gòu)。4數(shù)據(jù)挖掘在決策支持系統(tǒng)中的應(yīng)用無論最終挖掘出來的結(jié)果是用來描述/理解、預(yù)測或是干預(yù)，我們尋求知識的目的都是為了運用知識，提高決策支持的能力。傳統(tǒng)的方法是將知識用公式、規(guī)則、表或圖來表示。這是一個以什么樣的形式將知識展現(xiàn)給使用者的問題。如今，人們將各種方法綜合使用，取長補(bǔ)短。當(dāng)精度太低時，就沒有進(jìn)行優(yōu)化的必要了。對挖掘結(jié)果的評價也是對挖掘算法好壞優(yōu)略的衡量。3.‘評價挖掘結(jié)果及優(yōu)化 在挖掘結(jié)果產(chǎn)生后通常要對結(jié)果進(jìn)行評價，判斷它的可靠性、可理解性及效率。一項挖掘工作是一個龐大復(fù)雜的工程，使用單一的挖掘方法通常無法完成任務(wù)，需要對多種方法綜合使用。已經(jīng)有許多成熟的挖掘技術(shù)在實踐中應(yīng)用。這是整個挖掘過程的核心部分，也是人們當(dāng)前研究工作的重點。根據(jù)不同實際情況需要把數(shù)據(jù)的類型轉(zhuǎn)化:將連續(xù)型數(shù)據(jù)值離散化或?qū)㈦x散型數(shù)據(jù)值連續(xù)化。它們大多尋求數(shù)據(jù)中屬性值與屬性值之間的關(guān)系、屬性與屬性之間的關(guān)系、屬性值與屬性之間的關(guān)系來對遺失值進(jìn)行填充[8]。另一方面，對遺失值的不正確的填充卻會引人新的噪音，產(chǎn)生負(fù)面影響。如果將具有遺失值的數(shù)據(jù)刪除掉，不僅會造成資源的浪費，還會丟失掉隱藏在數(shù)據(jù)中、數(shù)據(jù)挖掘任務(wù)所尋求的信息。噪音的干擾會大大降低算法的精度，所以要將它們刪除掉。由于歷史或人為的原因，數(shù)據(jù)庫中不可避免的存在錯誤數(shù)據(jù)一噪音。下面就過程的不同階段分別描述。盡管如今人們的研究重點放在對挖掘算法的研制、分析與應(yīng)用上，但數(shù)據(jù)選擇和數(shù)據(jù)的預(yù)處理卻是整個挖掘過程中最耗時的活動，并且它們的結(jié)果影響整個過程是否能夠成功產(chǎn)生結(jié)果。第五種是預(yù)測信息，它可以通過使用隱藏在數(shù)據(jù)中的模型來估計一些數(shù)據(jù)的未來值。第三種是分類信息，它是最常用的一種信息，描述了一組事物特性的模式。第一種是關(guān)聯(lián)信息，它顯示與單個事件相關(guān)聯(lián)的信息，典型的例子是啤酒一尿布間題。這一類方法的顯著特點是對信息的觀察次序很重要。變化及偏差探測法用來解釋時間序列或其它類型序列的信息，如:量值隨時間的變化。通過導(dǎo)出數(shù)據(jù)中的不規(guī)則的結(jié)構(gòu)，通常能加深對數(shù)據(jù)的理解。統(tǒng)計學(xué)的知識在前者用途廣泛，而關(guān)聯(lián)規(guī)則所要做的工作屬于后者的范疇。它與分類的區(qū)別是分類是在訓(xùn)練數(shù)據(jù)集中進(jìn)行，數(shù)據(jù)的類別是已知的。 聚類法又稱為無指導(dǎo)的分類( Unsupervised Classification )，它的宗旨是實事求是的按被處理對象的特征將數(shù)據(jù)劃分為各個子集。數(shù)據(jù)挖掘技術(shù)及其在決策支持系統(tǒng)中的應(yīng)用Data Mining Technique and the Application in the Decision Support Systems米浦波 郭景峰(燕山大學(xué)計算機(jī)科學(xué)系 劉國華 秦皇島066004a數(shù)據(jù)挖掘技術(shù)及其產(chǎn)生的結(jié)果數(shù)據(jù)挖掘技術(shù)可以劃分為五大類方法:預(yù)測建模法(Predictive Modeling),聚類法(Clustering)，概括方法(Summarization)，相關(guān)模型法((Dependency Modeling)和變化及偏差探測法((Change and Deviation Detection)}l}o預(yù)測建模法是在數(shù)據(jù)庫中基于某些字段而對一個或幾個字段進(jìn)行預(yù)測，當(dāng)被預(yù)測字段值是連續(xù)值時，預(yù)測問題是一個回歸問題，線性回歸分析法、神經(jīng)網(wǎng)絡(luò)可以解決回歸問題。可視數(shù)據(jù)挖掘技術(shù)的系統(tǒng)研究與開發(fā)將有助于推動和使用數(shù)據(jù)挖掘作為數(shù)據(jù)分析的基本工具。4. 3分布式數(shù)據(jù)挖掘傳統(tǒng)的數(shù)據(jù)挖掘方法是集中式的，在當(dāng)今很多分布式計算環(huán)境不能很好的工作因此，分布式數(shù)據(jù)挖掘方法是未來一個重要的研究課題。它致力于在增加用戶交互的同時，全面提高挖掘過程的總效率。4數(shù)據(jù)挖掘技術(shù)的發(fā)展方向數(shù)據(jù)挖掘面臨著許多挑戰(zhàn)性的研究問題，這也是該技術(shù)未來發(fā)展的一個方向和趨勢。分類是找出一個類別的概念描述，它代表了這類數(shù)據(jù)的整體信息，即該類的內(nèi)涵描述。序列模式分析非常適于尋找事物的發(fā)生趨勢或重復(fù)性模式例如，在所有購買了激光打印機(jī)的人中，半年后80%的人再購買新硒鼓，20%的人用舊硒鼓裝碳粉，在所有購買了彩色電視機(jī)的人中，有60%的人再購買VCD產(chǎn)品 (3)聚類:數(shù)據(jù)庫中的數(shù)據(jù)可以劃分為一系列有意義的子集，即類在同一類別中，個體之間的距離較小，而不同類別的個體之間的距離偏大。若兩個或多個數(shù)據(jù)項的取值之間重復(fù)出現(xiàn)且概率很高時，就存在