【正文】 ll portion, typically 5% to 10%, of the collected data is ever analyzed. – Data that may never be explored continues to be collected out of fear that something that may prove important in the future may be missing. – Magnitude of data precludes most traditional analysis (more on plexity later). Data Mining 和統(tǒng)計(jì)分析有什么不同？ 硬要去區(qū)分 Data Mining 和 Statistics 的差異其實(shí)是沒有太大意義的。此領(lǐng)域蓬勃發(fā)展的原因：現(xiàn)代的企業(yè)體經(jīng)常搜集了大量資料，包括市場(chǎng)、客戶、供貨商、競(jìng)爭(zhēng)對(duì)手以及未來趨勢(shì)等重要信息，但是信息超載與無(wú)結(jié)構(gòu)化，使得企業(yè)決策單位無(wú)法有效利用現(xiàn)存的信息，甚至使決策行為產(chǎn)生混亂與誤用。也不是說有了 Data Mining 的工具，就連不了解業(yè)務(wù)、不了解資 料所代表的意義、或是不了解統(tǒng)計(jì)原理的人也可以做 Data Mining。 挖掘的信息和知識(shí)從 巨大的數(shù)據(jù)庫(kù)而來，它被許多研究者在數(shù)據(jù)庫(kù)系統(tǒng)和機(jī)器學(xué)習(xí)當(dāng)作關(guān)鍵研究議題，而且也被企業(yè)體當(dāng)作主要利基的重要所在。它是個(gè)神奇又時(shí)髦的技術(shù)，但卻也不是什么新東西，因?yàn)?Data Mining 使用的分析方法，如預(yù)測(cè)模型（回歸、時(shí)間數(shù)列）、數(shù)據(jù)庫(kù)分割（ Database Segmentation）、連接分析（ Link Analysis）、偏差偵測(cè)（ Deviation Detection）等；美國(guó)政府從第二次世界大戰(zhàn)前，就在人口普查以及軍事方面使用這些技術(shù)，但是信息科技的進(jìn)展超乎想象，新工 具的出現(xiàn)，例如關(guān)連式數(shù)據(jù)庫(kù)、對(duì)象導(dǎo)向數(shù)據(jù)庫(kù)、柔性計(jì)算理論（包括 Neural work、 Fuzzy theory、 Geic Algorithms、 Rough Set 等）、人工智能的應(yīng)用（如知識(shí)工程、專家系統(tǒng)），以及網(wǎng)絡(luò)通訊技術(shù)的發(fā)展，使從數(shù)據(jù)堆中挖掘?qū)毑?，常常能超越歸納范圍的關(guān)系；使 Data Mining 成為企業(yè)智慧的一部份。 Data Mining 是一個(gè)浮現(xiàn)中的新領(lǐng)域。有許多不同領(lǐng)域的專家，對(duì) Data Mining 展現(xiàn)出極大興趣，例如在信息服務(wù)業(yè)中，浮現(xiàn)一些應(yīng)用，如在 Inter 之?dāng)?shù)據(jù)倉(cāng)儲(chǔ)和在線服務(wù)，并且增加企業(yè)的許多生機(jī)。 Data Mining 所挖掘出來的信息，也不是你可以不經(jīng)確認(rèn)，就可以照單全收應(yīng)用到業(yè)務(wù)上的。如果能透過數(shù)據(jù)發(fā)掘技術(shù)，從巨量的數(shù)據(jù)庫(kù)中，發(fā)掘出不同的信息與知識(shí)出來，作為決策支持之用，必能產(chǎn)生企業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)。一般將之定義為 Data Mining 技術(shù)的 CART、 CHAID 或模糊計(jì)算等等理論方法，也都是由統(tǒng)計(jì)學(xué)者根據(jù)統(tǒng)計(jì)理論所發(fā)展衍生，換另一個(gè)角度看， Data Mining 有相當(dāng)大的比重是由高等統(tǒng)計(jì)學(xué)中的多變量分析所支撐。 要將龐大的數(shù)據(jù)轉(zhuǎn)換成為有用的信息，必須先有效率地收集信息。從信息技術(shù)的角度來看，數(shù)據(jù)倉(cāng)儲(chǔ)的目標(biāo)是 在組織中，在正確的時(shí)間，將正確的數(shù)據(jù)交給正確的人。由于關(guān)系型數(shù)據(jù)庫(kù)、平行處理及分布式數(shù)據(jù)庫(kù)技術(shù)的 進(jìn)步，不論是主從式架構(gòu)或主機(jī)型架構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)，資料倉(cāng)儲(chǔ)技術(shù)皆可以利用原有作業(yè)中或已有的 (Legacy)系統(tǒng)，進(jìn)而提供一個(gè)穩(wěn)固的基礎(chǔ)以支持全公司的決策支持系統(tǒng)（ DSS）。也就是，數(shù)據(jù)倉(cāng)儲(chǔ) 應(yīng)該具有這樣的數(shù)據(jù)：整合性數(shù)據(jù)（ integrated data）、詳細(xì)和匯總性的數(shù)據(jù) (detailed and summarized data)、歷史數(shù)據(jù)、解釋數(shù)據(jù)的數(shù)據(jù)（ Metadata）。因此，或許可說 Data Mining 是從巨大數(shù)據(jù)倉(cāng)儲(chǔ)找出有用信息之一種過程與技術(shù)。簡(jiǎn)單來說， OLAP 是由使用者所主導(dǎo)，使用者先有一些假設(shè)，然后利用 OLAP 來查證假設(shè)是否成立；而 Data Mining 則是用來幫助使用者產(chǎn)生企業(yè)管理 資源網(wǎng) ()大量管理資料下載 假設(shè)。 KDD(Knowledge Discovery in Database)和 Data Mining 的關(guān)系也是需要厘清的，根據(jù) Fayyad 等人對(duì) KDD 的定義：「 The nontrivial Process of identifying valid、 novel、 potentially useful, and ultimately understandable pattern in data」，其流程步驟是：先理解要應(yīng)用的領(lǐng)域、熟悉相關(guān)知識(shí)，接著建立目標(biāo)數(shù)據(jù)集，并專注所選擇（ Selection）之?dāng)?shù)據(jù)子集；再?gòu)哪康臄?shù)據(jù)中作前置處理（ Preprocessing），去除錯(cuò)誤或不一致的數(shù)據(jù)；然后作數(shù)據(jù)簡(jiǎn)化與轉(zhuǎn)換工作（ Transformation）；在經(jīng)由「 Data Mining」的技術(shù)程序成為樣型（ Patterns）、做回歸分析或找出分類型態(tài)；最后經(jīng)過「 Interpretation/Evaluation」成為有用的知識(shí)。它們最終目的，乃為組織取得決策支持所需的信息，這個(gè)信息是突破盲點(diǎn)、見人所未見的知識(shí)和訊息，能替組織取得競(jìng)爭(zhēng)優(yōu)勢(shì)。 推理 根據(jù)既有連續(xù)性數(shù)值之相關(guān)屬性數(shù)據(jù)，以獲致某一屬性未知之值。例如由顧客過去之刷卡消費(fèi)量預(yù)測(cè)其未來之刷卡消費(fèi)量。在客戶行銷系統(tǒng)上，此種功能系用來確認(rèn) 交叉銷售 (crossselling)的機(jī)會(huì)以設(shè)計(jì)出吸引人的產(chǎn)品群組。 Data Mining 的應(yīng)用 Data Mining 導(dǎo)入企業(yè)，其重點(diǎn)在于企業(yè)領(lǐng)域方面的知識(shí)，而它的Domainspecific Tools 要結(jié)合企業(yè)中使用者的語(yǔ)言和分析過程，才能發(fā)揮 工具的效能與增進(jìn)企業(yè)的智慧。也就是說要能把數(shù)據(jù)庫(kù)中人口數(shù)據(jù)切分成為一些關(guān)鍵子集合：都市化情況、婚姻狀態(tài)、家庭所得、年齡、風(fēng)險(xiǎn)偏好、高凈值等。并且產(chǎn)學(xué)合作下，發(fā)展出許多實(shí)用的系統(tǒng)，例如 MDT、 Coverstory and Spotlight、 NichWork visualization system、 LBS、 FALCON、 FAIS、 NYNEX、TASA 等等。 企業(yè)界實(shí)際發(fā)展 Data Mining 時(shí)，效能并不能預(yù)期，因?yàn)橛性S多因素影響著。 Data Mining 對(duì)每個(gè)公司來說都是一種重要的策略性的的計(jì)劃，而將之列為高度機(jī)密，所以要調(diào)查各家公司到底用 Data Mining 來做什么樣的事其實(shí)相當(dāng)不容易。行銷人員就可以只針 對(duì)這些名單寄發(fā)廣告數(shù)據(jù)，以降低成本，也提高行銷的成功率。我們可以由一些原本是我們的客戶，后來卻轉(zhuǎn)而成為我們競(jìng)爭(zhēng)對(duì)手的客戶群中，分析他們 的特征，再根據(jù)這些特征到現(xiàn)有客戶數(shù)據(jù)中找出有可能轉(zhuǎn)向的客戶，然后公司必須設(shè)計(jì)一些方法將他們留住，因?yàn)楫吘拐乙粋€(gè)新客戶的成本要比留住一個(gè)原有客戶的成本要高出許多。 Data Mining 的另一個(gè) 獨(dú)特的用法是在醫(yī)療業(yè)，用來預(yù)測(cè)手術(shù)、用藥、診斷、或是流程控制的效率。 ● 數(shù)據(jù)挖采可以幫您找出 從前的一些信用不良的客戶的特征，而從這些特征您就可以從現(xiàn)有客戶中找出可能有不良信用的客戶，防止產(chǎn)生壞賬，也可以過濾這些人成為您的客戶。 ● 如果采用不同的價(jià)格策略，是否能增加市場(chǎng)占有率？ ● 什么時(shí)候才是推出新 產(chǎn)品的好時(shí)機(jī)？ 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 ● 我們與競(jìng)爭(zhēng)對(duì)手的優(yōu)劣勢(shì)如何？ ● 讓我們獲利高的客戶們有什么共同的特征？ ● 當(dāng)我們的客戶要轉(zhuǎn)向我們的競(jìng)爭(zhēng)對(duì)手之前，是否有何前兆？ ● 如何認(rèn)定客戶的信用風(fēng)險(xiǎn)狀況？ ● 如何設(shè)計(jì)更好的保險(xiǎn)產(chǎn)品來吸引客戶，讓客戶滿意？ ● 一個(gè)經(jīng)紀(jì)人在一個(gè)星期中應(yīng)該可以賣出多少共同基金？ ● 于銷售資料中，發(fā)掘顧客的消費(fèi)習(xí)性 ● 根據(jù)以往審核的資料，找尋核發(fā)信用卡的規(guī)則 ● 在 NBA 球賽數(shù)據(jù)中，找出球員的強(qiáng)弱點(diǎn) ● 從消費(fèi)及繳費(fèi)數(shù)據(jù)中，預(yù)警信用卡呆帳可能 ● 從通話記錄數(shù)據(jù)中，預(yù)警盜打電話可能 ● 從宇宙 飛船拍攝的影像數(shù)據(jù)，找尋星球上的火山 ● 星際星體分類 Web Mining 和 Data Mining 有什么不同？ 如果將 Web 視為 CRM 的一個(gè)新的 Channel，則 Web Mining 便可單純看做 Data Mining 應(yīng)用在網(wǎng)絡(luò)數(shù)據(jù)的泛稱。 利用 Data Mining 技術(shù)建立更深入的訪客數(shù)據(jù) 剖析，并賴以架構(gòu)精準(zhǔn)的預(yù)測(cè)模式，以期呈現(xiàn)真正智能型個(gè)人化的網(wǎng)絡(luò)服務(wù)，是 Web Mining 努力的方向。 針對(duì) Sales Gap，可利用 Basket Analysis 幫助了解客戶的產(chǎn)品消費(fèi)模式，找出哪些產(chǎn)品客戶最容易一起購(gòu)買，或是利用 Sequence Discovery 預(yù)測(cè)客戶在買了某一樣產(chǎn)品之后，在多久之內(nèi)會(huì)買另一樣產(chǎn)品等等。企業(yè)透過 Data Mining 可以分別針對(duì)策略、目標(biāo)定位、操作效能與測(cè)量評(píng)估等四個(gè)切面之相關(guān)問題，有效率地從市場(chǎng)與顧客所搜集累積之大量資料中挖掘 出對(duì)消費(fèi)者而言最關(guān)鍵、最重要的答案，并賴以建立真正由客戶需求點(diǎn)出發(fā)的客戶關(guān)系管 理。 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 英國(guó) Safeway 此個(gè)案研究探討英國(guó)的 Safeway 如何運(yùn)用 Data Mining 來從大量的數(shù)據(jù)中萃取商業(yè)信息。該公司的信息部有兩臺(tái)System/390 服務(wù)器，以平行的方式執(zhí)行 DB2，其中最大者每周要管理八百萬(wàn)筆交易，以及約 4TB 的磁盤儲(chǔ)存容量?！? 溫曲先生的說法是，這個(gè)問題的答案是：「必須以客戶為導(dǎo)向，而非以產(chǎn)品與店家為導(dǎo)向。 (1)一把網(wǎng)住 將資源集中在特定的問題上，并設(shè)定可達(dá)成的目標(biāo)之后，英國(guó) Safeway 在商業(yè)智慧過程（也就是 Data Warehousing/Data Mining 過程）中的下一步，就是選擇企業(yè)管理 資源網(wǎng) ()大量管理資料下載 適當(dāng)?shù)臄?shù)據(jù)來源，將客戶的交易數(shù)據(jù)集中在 Data Warehouse 中。 通常數(shù)據(jù)在存入 Data Warehouse 之前，都必須經(jīng)過各種仔細(xì)的轉(zhuǎn)換（ Data Cleansing），例如將標(biāo)稱值轉(zhuǎn)換為數(shù)值、定義衍生的屬性、以及去除空值（ Null Values）等等，這都要視應(yīng)用而定。溫曲先生指出，這些功能是連續(xù)發(fā)生的：「并沒有一位統(tǒng)計(jì)師在那里跑來跑去的說：「你知道這件事嗎？」這個(gè)過程事實(shí)上是 我們業(yè)務(wù)的一部份。 英國(guó) Safeway 也發(fā)現(xiàn)在 28 種品牌的橘子汁中，有 8 種特別受到歡迎。再將這些數(shù)據(jù)與主數(shù)據(jù)庫(kù)的人口統(tǒng)計(jì)數(shù)據(jù)結(jié)合在一起， Safeway 的行銷部門就可以根據(jù)每個(gè)家庭的「弱點(diǎn)」，也就是在哪些季節(jié)會(huì)購(gòu)買哪些產(chǎn)品的趨勢(shì)，發(fā)出郵件。這種工具雖然目前使用的人不多，可是等到 Data Mining 越來越普遍后，接受度應(yīng)該會(huì)更高。 通訊公司 企業(yè)管理 資源網(wǎng) ()大量管理資料下載 與其它電話公司一樣， MCI 想要保有最多的顧客。這些特性包括收入、生活力式、過去通話習(xí)慣的詳絀資料等。 公司 和其它電話公司一樣，它也希望能找出有家用第二和第三條電話線的強(qiáng)烈需求的家庭。 為了找到這些人， US West 使用一個(gè)叫做 PALMS 的程序。首先， PALMS 過濾美國(guó)鳳凰城地區(qū)域數(shù)千筆顧客記錄的樣本企業(yè)管理 資源網(wǎng) ()大量管理資料下載 數(shù)據(jù)，這動(dòng)作花了數(shù)小時(shí)。此程序在找出與其它數(shù)據(jù)的關(guān)系后，如每家的住址、 US West 的電話干線位置、各地總機(jī)的容量，即可辨識(shí)出一群潛在的顧客－這些家庭符合該幙式，且US West 不必花費(fèi)太多，就能夠?yàn)檫@些家庭提供服務(wù)。 公司 在舊金山創(chuàng)立的 UltraGem 公司 ，一直和一家不具名的銀行，共同預(yù)估可調(diào)利率抵押貸款的獲利率。這些結(jié)合各種變項(xiàng)而產(chǎn)生的規(guī)則，「是人類智能無(wú)法計(jì)算出來的，」UltraGem 董事長(zhǎng) 如此說到。但是，除了使用來自 NCR 公司強(qiáng)大的計(jì)算機(jī)， WalMart 一直無(wú)法使用所有的數(shù)據(jù)。而且它也改善了 WalMart「巿場(chǎng)－購(gòu)物籃」分析的正確性。賣鏟子的能賺錢，買了鏟子能不能挖掘到寶藏仍是未知數(shù) ? 除此之外， 支持 XML、強(qiáng)化數(shù)據(jù)倉(cāng)儲(chǔ) (Data Warehousing)與新增數(shù)據(jù)采礦 (Data Mining)功能的 Microsoft SQL Serv