【正文】 證假設(shè)。因?yàn)閷⒆鳂I(yè)中的數(shù)據(jù)轉(zhuǎn)換成有用的的策略性信息是整個(gè)數(shù)據(jù)倉儲的重點(diǎn)。所以其實(shí)就是一個(gè)經(jīng)過處理整合，且容量特別大的關(guān)系型數(shù)據(jù)庫，用以儲存決策支持系統(tǒng)（ Design Support System）所需的數(shù)據(jù)，供決策支持或數(shù)據(jù)分析使用。 Why do we need data mining? – Large number of records (cases) (1081012 bytes) – High dimensional data (variables) (10104 attributes) – Only a small portion, typically 5% to 10%, of the collected data is ever analyzed. – Data that may never be explored continues to be collected out of fear that something that may prove important in the future may be missing. – Magnitude of data precludes most traditional analysis (more on plexity later). Data Mining 和統(tǒng)計(jì)分析有什么不同？ 硬要去區(qū)分 Data Mining 和 Statistics 的差異其實(shí)是沒有太大意義的。也不是說有了 Data Mining 的工具，就連不了解業(yè)務(wù)、不了解資 料所代表的意義、或是不了解統(tǒng)計(jì)原理的人也可以做 Data Mining。它是個(gè)神奇又時(shí)髦的技術(shù)，但卻也不是什么新東西，因?yàn)?Data Mining 使用的分析方法，如預(yù)測模型（回歸、時(shí)間數(shù)列）、數(shù)據(jù)庫分割（ Database Segmentation）、連接分析（ Link Analysis）、偏差偵測（ Deviation Detection）等；美國政府從第二次世界大戰(zhàn)前，就在人口普查以及軍事方面使用這些技術(shù)，但是信息科技的進(jìn)展超乎想象，新工 具的出現(xiàn)，例如關(guān)連式數(shù)據(jù)庫、對象導(dǎo)向數(shù)據(jù)庫、柔性計(jì)算理論（包括 Neural work、 Fuzzy theory、 Geic Algorithms、 Rough Set 等）、人工智能的應(yīng)用（如知識工程、專家系統(tǒng)），以及網(wǎng)絡(luò)通訊技術(shù)的發(fā)展，使從數(shù)據(jù)堆中挖掘?qū)毑?，常常能超越歸納范圍的關(guān)系；使 Data Mining 成為企業(yè)智慧的一部份。有許多不同領(lǐng)域的專家，對 Data Mining 展現(xiàn)出極大興趣，例如在信息服務(wù)業(yè)中，浮現(xiàn)一些應(yīng)用，如在 Inter 之?dāng)?shù)據(jù)倉儲和在線服務(wù)，并且增加企業(yè)的許多生機(jī)。如果能透過數(shù)據(jù)發(fā)掘技術(shù)，從巨量的數(shù)據(jù)庫中，發(fā)掘出不同的信息與知識出來，作為決策支持之用，必能產(chǎn)生企業(yè)的競爭優(yōu)勢。 要將龐大的數(shù)據(jù)轉(zhuǎn)換成為有用的信息，必須先有效率地收集信息。由于關(guān)系型數(shù)據(jù)庫、平行處理及分布式數(shù)據(jù)庫技術(shù)的 進(jìn)步，不論是主從式架構(gòu)或主機(jī)型架構(gòu)的數(shù)據(jù)庫系統(tǒng)，資料倉儲技術(shù)皆可以利用原有作業(yè)中或已有的 (Legacy)系統(tǒng)，進(jìn)而提供一個(gè)穩(wěn)固的基礎(chǔ)以支持全公司的決策支持系統(tǒng)（ DSS）。因此，或許可說 Data Mining 是從巨大數(shù)據(jù)倉儲找出有用信息之一種過程與技術(shù)。 KDD(Knowledge Discovery in Database)和 Data Mining 的關(guān)系也是需要厘清的，根據(jù) Fayyad 等人對 KDD 的定義：「 The nontrivial Process of identifying valid、 novel、 potentially useful, and ultimately understandable pattern in data」，其流程步驟是：先理解要應(yīng)用的領(lǐng)域、熟悉相關(guān)知識，接著建立目標(biāo)數(shù)據(jù)集，并專注所選擇（ Selection）之?dāng)?shù)據(jù)子集；再從目的數(shù)據(jù)中作前置處理（ Preprocessing），去除錯誤或不一致的數(shù)據(jù)；然后作數(shù)據(jù)簡化與轉(zhuǎn)換工作（ Transformation）；在經(jīng)由「 Data Mining」的技術(shù)程序成為樣型（ Patterns）、做回歸分析或找出分類型態(tài)；最后經(jīng)過「 Interpretation/Evaluation」成為有用的知識。 推理 根據(jù)既有連續(xù)性數(shù)值之相關(guān)屬性數(shù)據(jù)，以獲致某一屬性未知之值。在客戶行銷系統(tǒng)上，此種功能系用來確認(rèn) 交叉銷售 (crossselling)的機(jī)會以設(shè)計(jì)出吸引人的產(chǎn)品群組。也就是說要能把數(shù)據(jù)庫中人口數(shù)據(jù)切分成為一些關(guān)鍵子集合：都市化情況、婚姻狀態(tài)、家庭所得、年齡、風(fēng)險(xiǎn)偏好、高凈值等。 企業(yè)界實(shí)際發(fā)展 Data Mining 時(shí)，效能并不能預(yù)期，因?yàn)橛性S多因素影響著。行銷人員就可以只針 對這些名單寄發(fā)廣告數(shù)據(jù)，以降低成本，也提高行銷的成功率。 Data Mining 的另一個(gè) 獨(dú)特的用法是在醫(yī)療業(yè)，用來預(yù)測手術(shù)、用藥、診斷、或是流程控制的效率。 ● 如果采用不同的價(jià)格策略，是否能增加市場占有率？ ● 什么時(shí)候才是推出新 產(chǎn)品的好時(shí)機(jī)？ 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 ● 我們與競爭對手的優(yōu)劣勢如何？ ● 讓我們獲利高的客戶們有什么共同的特征？ ● 當(dāng)我們的客戶要轉(zhuǎn)向我們的競爭對手之前，是否有何前兆？ ● 如何認(rèn)定客戶的信用風(fēng)險(xiǎn)狀況？ ● 如何設(shè)計(jì)更好的保險(xiǎn)產(chǎn)品來吸引客戶，讓客戶滿意？ ● 一個(gè)經(jīng)紀(jì)人在一個(gè)星期中應(yīng)該可以賣出多少共同基金？ ● 于銷售資料中，發(fā)掘顧客的消費(fèi)習(xí)性 ● 根據(jù)以往審核的資料，找尋核發(fā)信用卡的規(guī)則 ● 在 NBA 球賽數(shù)據(jù)中，找出球員的強(qiáng)弱點(diǎn) ● 從消費(fèi)及繳費(fèi)數(shù)據(jù)中，預(yù)警信用卡呆帳可能 ● 從通話記錄數(shù)據(jù)中，預(yù)警盜打電話可能 ● 從宇宙 飛船拍攝的影像數(shù)據(jù)，找尋星球上的火山 ● 星際星體分類 Web Mining 和 Data Mining 有什么不同？ 如果將 Web 視為 CRM 的一個(gè)新的 Channel，則 Web Mining 便可單純看做 Data Mining 應(yīng)用在網(wǎng)絡(luò)數(shù)據(jù)的泛稱。 針對 Sales Gap，可利用 Basket Analysis 幫助了解客戶的產(chǎn)品消費(fèi)模式，找出哪些產(chǎn)品客戶最容易一起購買，或是利用 Sequence Discovery 預(yù)測客戶在買了某一樣產(chǎn)品之后，在多久之內(nèi)會買另一樣產(chǎn)品等等。 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 英國 Safeway 此個(gè)案研究探討英國的 Safeway 如何運(yùn)用 Data Mining 來從大量的數(shù)據(jù)中萃取商業(yè)信息?！? 溫曲先生的說法是，這個(gè)問題的答案是：「必須以客戶為導(dǎo)向，而非以產(chǎn)品與店家為導(dǎo)向。 通常數(shù)據(jù)在存入 Data Warehouse 之前，都必須經(jīng)過各種仔細(xì)的轉(zhuǎn)換（ Data Cleansing），例如將標(biāo)稱值轉(zhuǎn)換為數(shù)值、定義衍生的屬性、以及去除空值（ Null Values）等等，這都要視應(yīng)用而定。 英國 Safeway 也發(fā)現(xiàn)在 28 種品牌的橘子汁中，有 8 種特別受到歡迎。這種工具雖然目前使用的人不多，可是等到 Data Mining 越來越普遍后，接受度應(yīng)該會更高。這些特性包括收入、生活力式、過去通話習(xí)慣的詳絀資料等。 為了找到這些人， US West 使用一個(gè)叫做 PALMS 的程序。此程序在找出與其它數(shù)據(jù)的關(guān)系后，如每家的住址、 US West 的電話干線位置、各地總機(jī)的容量，即可辨識出一群潛在的顧客－這些家庭符合該幙式，且US West 不必花費(fèi)太多，就能夠?yàn)檫@些家庭提供服務(wù)。這些結(jié)合各種變項(xiàng)而產(chǎn)生的規(guī)則，「是人類智能無法計(jì)算出來的，」UltraGem 董事長 如此說到。而且它也改善了 WalMart「巿場－購物籃」分析的正確性。 Data Mining 可以建立六種模式： Classification、 Regression、 Time Series、Clustering、 Association、以及 Sequence。 Classification 通常會牽涉到兩種統(tǒng)計(jì)方法： Logistic Regression 以及 Discriminant Analysis。訓(xùn)練 39。得能夠相當(dāng)正確的做預(yù)測了。例如，你想把申請貸款的人歸類成 39。而且 39。Decision Tree 與 Neural Net 也可以用來做 Regression，某些種類的 Neural Net 甚至可以用來做 Clustering。 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 Association 是要找出在某一事件或是數(shù)據(jù)中會同時(shí)出現(xiàn)的東西。 在產(chǎn)學(xué)界合作下，近二年有驚人的發(fā)展，而各種工具只在某些領(lǐng)域下有特別的效能，也就是說尚無適用所有業(yè)種、用途的工具問世。 work Browser connection work Utility For Excel 從上表可以發(fā)現(xiàn)資料挖掘技術(shù)的多樣化，從傳統(tǒng)分析工具，例如統(tǒng)計(jì)回歸預(yù)測模型、數(shù)據(jù)庫分割、連接分析、偏差偵測等。它具有強(qiáng)固性（ robustness）與求值空間的獨(dú)立性（ domain independence）。正在試用資料掘取技術(shù)公司，很快即了解到有件事很重要，他們得了解究竟他們要的企業(yè)管理 資源網(wǎng) ()大量管理資料下載 是什么，何種工具效果最佳。西蒙度斯先生認(rèn)為在這個(gè)工具箱中 ，將會有大型的 Data Mining 架構(gòu)，例如針對大型企業(yè) Data Warehouse 操作的 Intelligent Miner，而較小型的架構(gòu)則在較小型的 Data Mart 上運(yùn)作?！? 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 Dat Ming技術(shù)的導(dǎo)入企業(yè)體，它的重點(diǎn)不是數(shù)據(jù)庫本身，而在于以企業(yè)領(lǐng)域?yàn)橹?。D applications. ?Statistical Thinking is being more important than statistical methods (attacking unstructured problems versus knowing how to do a regression, DOE, etc.). ?Statisticians are still needed and valued, but not to analyze data people do that for themselves. Professional statisticians are “l(fā)eaders”, not just “doers.” The role is now significantly different! ?Emphasis on broad application of basic tools versus narrow application of advanced tools. 。所以妥善的運(yùn)用 Dat Ming技術(shù) ，從巨量的數(shù)據(jù)庫中，發(fā)掘出不同的信息與知識出來，作為決策支持之用，必能產(chǎn)生企業(yè)的競爭優(yōu)勢。她也預(yù)期更多的商業(yè)人士，而非分析人員將會投入商業(yè)智慧（ Business Intelligence）發(fā)掘的過程（與現(xiàn)在剛好相反），「您將不只會看到更多的人在從事 Data Mining，更會看到更多不同類型的人在從事 Data Mining。例如，有些軟鱧找尋 類似的項(xiàng)目群組；而有些軟件則搜尋異常現(xiàn)象。因此，利用它于 Data Mining 領(lǐng)域中，可 以發(fā)掘出不同的信息、別企業(yè)管理 資源網(wǎng) ()大量管理資料下載 人看不出的信息，必然帶給企業(yè)體巨大的商機(jī)。但是，近年浮現(xiàn)的新技術(shù)：遺傳算法（ Geic algorithms），卻無確切證據(jù)顯示在 Data Mining 工具產(chǎn)品中使用，本文認(rèn)為遺傳算法的特性，必然在 Data Mining 領(lǐng)域中有出色的演出。這工具把不同數(shù)據(jù)次集合，或不同匯總性數(shù)據(jù)，讓使使用者快速的了解。（例如：如果一個(gè)顧客買了低脂奶酪以及低脂優(yōu)酪乳，那么這個(gè)顧客同時(shí)也買低脂牛奶的機(jī)率是 85%。 Forcasting TimeSeries Forcasting 與 Regression 很像，只是它是用現(xiàn)有的數(shù)值來預(yù)測未來的數(shù)值。的人會被歸為高風(fēng)險(xiǎn)之類，而 39。與 39。首先， Neural Net 最受質(zhì)疑的是它的 39。有一種最常用的 3