【正文】 these tools are not “owned” by statisticians. ?Financial/service applications are being more important than manufacturing and Ramp。 總之， Data Mining 是一個(gè)浮現(xiàn)中的新領(lǐng)域。雖然在這幾百萬人中，并不是每一個(gè)人都會(huì)進(jìn)行 Data Mining，但是他們至少要能使用 Data Mining 所萃取出來的信息?！顾㈩A(yù)測(cè)使用工具來篩檢與分析 Data Mining 結(jié)果的情形（如英國(guó)Safeway 的情形）會(huì)越來越普遍。這就需要一套完整的數(shù)據(jù)庫管理工具才能天衣無縫地支持這種數(shù)據(jù)庫階層組織。然而，如果工具和數(shù)據(jù)未能適當(dāng)搭配，程序可能會(huì)提出一些沒有用的觀察結(jié)果，譬如年紀(jì)大的人不會(huì)買饒舌歌之類的唱片，或忽略那些真正重要的訊息?！惯@仍屬于其初期階段的技術(shù)，最常傳回的是薄片般的信息黃金，而非金塊。遺傳算法實(shí)際運(yùn)作，非本文主題，然可斷定它必然成為 Data Mining 的分析利器。 遺傳算法是應(yīng)用算法的適應(yīng)函數(shù)來 決定搜尋的方向，再運(yùn)用一些擬生物化的人工運(yùn)算過程，例如選擇 (selection)、復(fù)制 (reproduction)、交配 (crossover)和突變（ mutation）等進(jìn)行演化，周而復(fù)始地進(jìn)行一代一代的演化，以求得一個(gè)最佳的結(jié)果。 遺傳算法是一種全新的最佳化空間搜尋法，其最初概念是由 John Holland于 1975 年提出，其主要目的如下： 「物競(jìng)天擇、適者生存」的演化過程。 tree Miner Neural Networks 類神經(jīng)網(wǎng)絡(luò)技術(shù)的目標(biāo)是發(fā)現(xiàn)與預(yù)測(cè)數(shù)據(jù)的關(guān)系，它與傳統(tǒng)統(tǒng)計(jì)方法的區(qū)別是，它可以訓(xùn)練學(xué)習(xí)發(fā)現(xiàn)的關(guān)系，并且可適用于線性與非線性的情況，并可以彌補(bǔ)數(shù)據(jù)質(zhì)量較差的情 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 況，而處理出品質(zhì)不錯(cuò)的信息來。 Edition Diamond Insight Fuzzy Query and Analysis 模糊理論積極的承認(rèn)人主觀性問題的存在，進(jìn)而以模糊集合來處理不易量化問題，故能找出意想不到的信息。所以你可能會(huì)需要用到許多不同的工具以及技術(shù)從數(shù)據(jù)中找到最佳的模式。） Discovery Sequence Discovery 與 Association 關(guān)系很密切，所不同的是 Sequence Discovery中相關(guān)的 Item 是以時(shí)間區(qū)分開來（例如：如果做了 X 手術(shù)，則 Y 病菌在手術(shù)后感染的機(jī)率是 45%。所以你必須要有一個(gè)分析師來解讀這些分類的意義。 TimeSeries Forcasting 的不同點(diǎn)在于它所分析的數(shù)值都與時(shí)間有關(guān)。 Decision Tree現(xiàn)在相當(dāng)普遍，因?yàn)樗龅念A(yù)測(cè)相當(dāng)正確，而且又比 Neural Net 容易了解。收入低于 4000039。收入高于 4000039。風(fēng)險(xiǎn)低 39。 Decision Tree 則是利用一系列的規(guī)則來得到一個(gè)類別或數(shù)值。曖昧不明 39。訓(xùn)練 39。訓(xùn)練法 39。給這個(gè)網(wǎng)絡(luò)， 39。 Neural Nets 使用許多參數(shù)（每個(gè)參數(shù)代表 Net 上的一個(gè) Node）來建立一個(gè)模式，這個(gè)模式接受一組輸入值來預(yù)測(cè)出一個(gè)連續(xù)值或 分類值。這些我們用來尋找特征的已分類數(shù)據(jù)可能是來自我們的現(xiàn)有的歷史性數(shù)據(jù)，或是將一個(gè)完整數(shù)據(jù)庫做部份取樣，再經(jīng)由實(shí)際的運(yùn)作來測(cè)試；譬如利用一個(gè)大的郵寄對(duì)象數(shù)據(jù)庫的部份取樣來建立一個(gè)Classification Model，以后再利用 這個(gè) Model 來對(duì)數(shù)據(jù)庫的其它數(shù)據(jù)或是新的數(shù)據(jù)作預(yù)測(cè)。 Classification 是根據(jù)一些變量的數(shù)值做計(jì)算，再依照 結(jié)果作分類。第二，數(shù)據(jù)企業(yè)管理 資源網(wǎng) ()大量管理資料下載 的特征可以幫助你做預(yù)測(cè)，例如你可以從一份郵寄名單預(yù)測(cè)出哪些客戶最可能對(duì)你的推銷做響應(yīng)，所以你可以只對(duì)特定的對(duì)象做郵購?fù)其N，而不必浪費(fèi)許多 印刷費(fèi)郵寄費(fèi)而只得到很少的回應(yīng)。但此方面國(guó)內(nèi)才剛起步尚未有成功的例子傳出；倒是賣工具的 SAS,SPSS,NCR,STATISTICA,ORACLE?? 等軟件廠商有不錯(cuò)的業(yè)績(jī)。系統(tǒng)運(yùn)用數(shù)百臺(tái)處理器執(zhí)行這項(xiàng)工作，協(xié)助 WalMart 預(yù)測(cè)特定分店中，對(duì)某一單項(xiàng) 產(chǎn)品的需求。從 1980 年代起，WalMart 每晚從各分店收集了大量的收款機(jī)資料。結(jié)果：產(chǎn)生了一組規(guī)則，這組規(guī)則可辨識(shí)出可能是最高獲利率的貸款申請(qǐng)。 PALMS 甚至能夠計(jì)算出 DM 活動(dòng)什么時(shí)候會(huì)達(dá)到高峰，讓電話公司在回復(fù)率降低前，先行減少 DM郵件。 然后， PALMS 利用這個(gè)模型來搜尋數(shù)百萬筆的顧客紀(jì) 錄－數(shù)據(jù)量幾達(dá)一兆位。 PALMS 的執(zhí)行平白是威力強(qiáng)大的 NCR平行處理計(jì)算機(jī)。甚且， US West 說，他們打算精確的找出特定顧客，這些顧客不僅接受公司提供的初級(jí)服務(wù)，而且會(huì)持續(xù)使用第二條電話線路，時(shí)間久到讓公司獲有利潤(rùn)。 MCI 的信息主管 指出，沒有 數(shù)據(jù)挖采程序的話，不可能開發(fā)出任何統(tǒng)計(jì)數(shù)據(jù)文件。 如何從數(shù)百萬的顧客之中，找到你要維持的對(duì)象昵？ MCI 的辦法是徹底搜尋 1 億 4 千萬筆市場(chǎng)家庭數(shù)據(jù)，而評(píng)估每一筆數(shù)據(jù)的屬性，則高達(dá)一萬個(gè)。換句話說，實(shí)際的「 Data Mining」只是較大規(guī)模的商業(yè)智慧過程中的一小部份而已。針對(duì)這個(gè)事實(shí)，英國(guó) Safeway 使用另外一種工具來篩選結(jié)果，也就是將 Data Mining 的結(jié)果再做 Data Mining，以找出有顯著興趣的數(shù)據(jù)?！? 還有，英國(guó) Safeway 在了解客戶每次采購時(shí)會(huì)購買哪些產(chǎn)品以后，就可以利用 Data Mining 中的 Sequence Discovery 的功能，以偵測(cè)出長(zhǎng)期的經(jīng)常購買行為。如果使用傳統(tǒng)的分析方法的話，這種產(chǎn)品很快就會(huì)不賣了，可是事實(shí)上這種產(chǎn)品是相當(dāng)重要的。然后再用 Association 的技術(shù)來比較這些數(shù)據(jù)集合（這些數(shù)據(jù)包括交易數(shù)據(jù)以及產(chǎn)品數(shù)據(jù)），然后將列出產(chǎn)品吸引力的清單（例如「在購買烤肉炭的客戶中， 75%也會(huì)購買打火機(jī)燃料」）。 IBM 聲稱該公司在 1996 推出的 Intelligent Miner 能提供 Data Mining 作業(yè)所需的完整環(huán)境，提供數(shù)據(jù)準(zhǔn)備的設(shè)施，以及八種 Data Mining 技術(shù)，包括預(yù)測(cè)模型、數(shù)據(jù)分割、以及產(chǎn)品吸引力分析，當(dāng)然還有圖形化的結(jié)果顯示。」換句話說，英國(guó) Safeway 想要知道哪些種類的客戶買了哪些種類的產(chǎn)品以及購買的頻率，以建立「?jìng)€(gè)人導(dǎo)向的市場(chǎng)」。由于土地以及擴(kuò)充的成本，沒有一家公司有足夠的資源可以在擴(kuò)充方面超越對(duì)手。 英國(guó) Safeway 的 年銷售量超過一百億美金，旗下的員工接近七萬名，是英國(guó)第三大的連鎖超級(jí)市場(chǎng)，提供的服務(wù)種類則達(dá)三十四種。 個(gè)案研究 現(xiàn)在已經(jīng)有相當(dāng)數(shù)量的公司安裝了數(shù)據(jù)挖采軟件，以找出那些會(huì)造成利潤(rùn)差異的信息。 CRM 不是設(shè)一個(gè)（ 080）客服專線就算了，更不僅只是把一堆客戶基本數(shù)據(jù)輸入計(jì)算機(jī)就夠，完整的 CRM 運(yùn)作機(jī)制在相關(guān)的硬軟件系統(tǒng)能健全的支持之前，有太多的數(shù)據(jù)準(zhǔn)備工作與分析需要推動(dòng)。 Data Mining 應(yīng)用在 CRM 的主要方式可對(duì)應(yīng)在 Gap Analysis 之三個(gè)部分： 針對(duì) Acquisition Gap，可利用 Customer Profiling 找出客戶的一些共同的特征，希望能藉此深入了解客戶，藉由 Cluster Analysis 對(duì)客戶進(jìn)行分群后再透過 Pattern 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 Analysis 預(yù)測(cè)哪些人可能成為我們的客戶，以幫助行銷人員找到正確的行銷對(duì)象，進(jìn)而降低成本，也提高行銷的成功率。 整體而言， Web Mining 具有以 下特性： 1. 資料收集容易且不引人注意，所謂凡走過必留下痕跡，當(dāng)訪客進(jìn)入網(wǎng)站后的一切瀏覽行為與歷程都是可以立即被紀(jì)錄的； 2. 以交互式個(gè)人化服務(wù)為終極目標(biāo)，除了因應(yīng)不同訪客呈現(xiàn)專屬設(shè)計(jì)的網(wǎng)頁之外，不同的訪客也會(huì)有不同的服務(wù)； 3. 可整合外部來源數(shù)據(jù)讓分析功能發(fā)揮地更深更廣，除了 log file、 cookies、會(huì)員填表數(shù)據(jù)、在線調(diào)查數(shù)據(jù)、在線交易數(shù)據(jù)等由網(wǎng)絡(luò)直接取得的資源外，結(jié)合實(shí)體世界累積時(shí)間更久、范圍更廣的資源，將使分析的結(jié)果更準(zhǔn)確也更深入。利用資料挖采的技術(shù)，您可以在特定的客戶群中找出可能的詐欺行為，如此才能減少損失，增加利潤(rùn)。數(shù)據(jù)挖采中的前后行為分析（ Sequential Pattern Detection）功能讓您分析那些已經(jīng)轉(zhuǎn)向您的競(jìng)爭(zhēng)對(duì)手的客戶在轉(zhuǎn)向期間的行為，如此您就可以在現(xiàn)有客戶中找到可能轉(zhuǎn)向的客戶，想辦法留住他們。財(cái)務(wù)金融業(yè)可以利用 Data Mining 來分析市場(chǎng)動(dòng)向，并預(yù)測(cè)個(gè)別公司的營(yíng)運(yùn)以及股價(jià)走向。 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 客戶關(guān)系的管理是 Data Mining 的另一個(gè)常見的應(yīng)用方式。Data Mining 可以從現(xiàn)有客戶數(shù)據(jù)中找出他們的特征，再利用這些特征到潛在客戶數(shù)據(jù)庫里去篩選出可能成為我們客戶的名單，作為行銷人員推銷的對(duì)象。因此，我們要體會(huì)一些潛在的因素，如數(shù)據(jù)取舍、實(shí)體關(guān)系性、數(shù)量多寡、復(fù)雜性、數(shù)據(jù)質(zhì)量、可取得性、變遷、專家意見等因素，才能做好資料挖掘工作。根據(jù)研究指出：美國(guó)婦女的視線高度是 150 公分左右，男性是 163 公分左右，而最舒適的視線角度是視線高度以下 15 度左右，所以最好的貨品陳列位置是在 130 至 135 公分之間。例如，行銷、財(cái)務(wù)、銀行、制造廠、通訊等。例如，一個(gè)發(fā)行管理共同基金（ mutual funds)的企業(yè)體要發(fā)掘潛在客戶，它要能整合客戶的賬戶、人口統(tǒng)計(jì)、生活型態(tài)等數(shù)據(jù)。使用的技巧包括 kmeans 法及 agglomeration 法。例如超市中相關(guān)之盥洗用品(牙刷、牙膏、牙線 )，放在同一間貨架上。 預(yù)測(cè) 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 根據(jù)對(duì)象屬性之過去觀察值來推估該屬性未來之值。使用的技巧有決策樹 (decision tree)，記憶基礎(chǔ)推理 (memorybased reasoning)等。 總而言之， Data Mining， Data warehouse， KDD 三者的關(guān)系可以如此厘清，即 Data warehouse 是一個(gè)經(jīng)過處理、整合之?dāng)?shù)據(jù)庫，而 KDD 是一種知識(shí)發(fā)現(xiàn)的企業(yè)管理 資源網(wǎng) ()大量管理資料下載 一連串程序， Data Mining 只是 KDD 的一個(gè)重要程序。 Data Mining 常能挖掘出超越歸納范圍的關(guān)系，但 OLAP 僅能利用人工查詢及可視化的報(bào)表來確認(rèn)某些關(guān)系，是以 Data Mining 此種自動(dòng)找出甚或不會(huì)被懷疑過的數(shù)據(jù)型樣與關(guān)系的特性，事實(shí)上 已超越了我們經(jīng)驗(yàn)、教育、想象力的限制，OLAP 可以和 Data Mining 互補(bǔ)，但這項(xiàng)特性是 Data Mining 無法被 OLAP 取代的。 」事實(shí)上兩者間是截然不同的，主要差異在于 Data Mining 用在產(chǎn)生假設(shè)， OLAP則用于查證假設(shè)。換句話說，數(shù)據(jù)倉儲(chǔ)應(yīng)先行建立完成， Data mining 才能有效率的進(jìn)行，因?yàn)閿?shù)據(jù)倉儲(chǔ)本身所含數(shù) 據(jù)是「干凈」 (不會(huì)有錯(cuò)誤的數(shù)據(jù)參雜其中 )、完整的，而且是整合在一起的。因?yàn)閷⒆鳂I(yè)中的數(shù)據(jù)轉(zhuǎn)換成有用的的策略性信息是整個(gè)數(shù)據(jù)倉儲(chǔ)的重點(diǎn)。另外，決策支持系統(tǒng)和主管信息系統(tǒng) 也日漸普遍，它們操作數(shù)據(jù)的方式不盡相同，因而有必要把作業(yè)性數(shù)據(jù)庫和數(shù)據(jù)倉儲(chǔ)分隔開來，利用不同數(shù)據(jù)庫系統(tǒng)與技術(shù)操作，才能達(dá)系統(tǒng)最佳化。所以其實(shí)就是一個(gè)經(jīng)過處理整合，且容量特別大的關(guān)系型數(shù)據(jù)庫，用以儲(chǔ)存決策支持系統(tǒng)（ Design Support System）所需的數(shù)據(jù)，供決策支持或數(shù)據(jù)分析使用。畢竟 Data Mining 不是一種無中生有的魔術(shù)，也不是點(diǎn)石 成金的煉金術(shù)，若沒有夠豐富完整的數(shù)據(jù)，是很難期待 Data Mining 能挖掘出什么有意義的信息的。 Why do we need data mining? – Large number of records (cases) (1081012 bytes) – High dimensional data (variables) (10104 attributes) – Only a sma