【正文】 現(xiàn)的目標(biāo)。 按照 SAS 提出的 SEMMA 方法論走到這一步時(shí)，你對(duì)應(yīng)采用的技術(shù)已有了較明確的方向；你的數(shù)據(jù) 結(jié)構(gòu)和內(nèi)容也有了充分的適應(yīng)性。雖然數(shù)據(jù)挖掘模型化工作涉及了非常廣闊的技術(shù)領(lǐng)域，但對(duì) SAS 研究所來(lái)說(shuō)并不是一件新鮮事。 在問(wèn)題進(jìn)一步明確；數(shù)據(jù)結(jié)構(gòu)和內(nèi)容進(jìn)一步調(diào)整的基礎(chǔ)上，下一步數(shù)據(jù)挖掘應(yīng)采用的技術(shù)手段就更加清晰、明確了。 SAS 對(duì)數(shù)據(jù)強(qiáng)有力的存取、管理和操作的能力保證了對(duì)數(shù)據(jù)的調(diào)整、修改和變動(dòng)的可能性。 Gartner group 在評(píng)論當(dāng)前一些數(shù)據(jù)挖掘產(chǎn)品時(shí)特別強(qiáng)調(diào)指出：在數(shù)據(jù)挖掘的各個(gè)階段中，數(shù)據(jù)挖掘的產(chǎn)品都要使所使用的數(shù)據(jù)和所將建立模型處于十分易于調(diào)整、修改和變動(dòng)的狀態(tài)，這才能保證數(shù)據(jù)挖掘有效的進(jìn)行。因?yàn)樵瓉?lái)的問(wèn)題很可能是諸如質(zhì)量不好、生產(chǎn)率低等模糊的問(wèn)題，沒(méi)有問(wèn)題的進(jìn)一步明確，你簡(jiǎn)直就無(wú)法進(jìn)行有效的數(shù)據(jù)挖掘操作。問(wèn)題越明確，越能進(jìn)一步量化，問(wèn)題就向它的解決更前進(jìn)了一步。 Modify──問(wèn)題明確化、數(shù)據(jù)調(diào)整和技術(shù)選擇 通過(guò)上述兩個(gè)步驟的操作，你對(duì)數(shù)據(jù)的狀態(tài)和趨勢(shì)可能有了進(jìn)一步的了解。免除了數(shù)學(xué)的復(fù)雜運(yùn)算過(guò)程和編制結(jié)果展現(xiàn)程序的煩惱和對(duì)你思維的干擾。 在這里要提醒你的是要有耐心，做幾種分析，就發(fā)現(xiàn)重大成果是不大可能的。很可能這里就是發(fā)現(xiàn)的新知識(shí)！有了它，也許會(huì)導(dǎo)引你在此后的分析中，得出比你原有的認(rèn)識(shí)更加符合實(shí)際的規(guī)律性知識(shí)?？赡軐?shí)際存在著你的先驗(yàn)知識(shí)認(rèn)為不存在的關(guān)系。在此過(guò)程中，你原來(lái)的專業(yè)技術(shù)知識(shí)是非常有用的，它會(huì)幫助你進(jìn)行有效的觀察。一開(kāi)始，可以先觀察眾多因素之間的相關(guān)性；再按其相 SAS 數(shù)據(jù)挖掘白皮書 8 關(guān)的程度，以了解它們之間相互作用的情況。你最終要達(dá)到的目的可能是要搞清多因素相互影響的，十分復(fù)雜的關(guān)系。它們不僅能做各種不同類型統(tǒng)計(jì)分析顯示，而且可做多維、動(dòng)態(tài)、甚至旋轉(zhuǎn)的顯示。 進(jìn)行數(shù)據(jù)特征的探索、分析，最好是能進(jìn)行可視化的操作。 Explore──數(shù)據(jù)特征探索、分析和予處理 前面所敘述的數(shù)據(jù)取樣，多少是帶著人們對(duì)如何達(dá)到 數(shù)據(jù)挖掘目的的先驗(yàn)的認(rèn)識(shí)進(jìn)行操作的。唯此，才能通過(guò)此后的分析研究得出反映本質(zhì)規(guī)律性的結(jié)果。若你想通過(guò)數(shù)據(jù)挖掘得出企業(yè)或其某個(gè)過(guò)程的全面規(guī)律性時(shí)，必須獲得在足夠廣泛范圍變化的數(shù)據(jù)，以使其有代表性。再次提醒你在任何時(shí)候都不要忽視數(shù)據(jù)的質(zhì)量，慎之又慎！ 從巨大的企業(yè)數(shù)據(jù)母體中取出哪些數(shù)據(jù)作為樣本數(shù)據(jù)呢？這要依你所要達(dá)到的目標(biāo)來(lái)區(qū)分采用不同的辦法：如果你是要進(jìn)行過(guò)程的觀察、控制，這時(shí)你可進(jìn) 行隨機(jī)取樣，然后根據(jù)樣本數(shù)據(jù)對(duì)企業(yè)或其中某個(gè)過(guò)程的狀況作出估計(jì)。若你真的從中還探索出來(lái)了什么“規(guī)律性”，再依此去指導(dǎo)工作，則很可能是在進(jìn)行誤導(dǎo)。在任何時(shí) 候都不要忽視數(shù)據(jù)的質(zhì)量，即使你是從一個(gè)數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行數(shù)據(jù)取樣，也不要忘記檢查其質(zhì)量如何。通過(guò)數(shù)據(jù)樣本的精選，不僅能減少數(shù)據(jù)處理量，節(jié)省系統(tǒng)資源，而 SAS 數(shù)據(jù)挖掘白皮書 7 且能通過(guò)數(shù)據(jù)的篩選，使你想要它反映的規(guī)律性更加凸現(xiàn)出來(lái)。 第二章 SAS 數(shù)據(jù)挖掘方法論 ─ SEMMA SAS 研究所不僅有豐富的工具供你選用，而且在多年的數(shù)據(jù)處理研究工作中積累了一套行之有效的數(shù)據(jù)挖掘方法論── SEMMA，通過(guò)使用 SAS 技術(shù)進(jìn)行數(shù)據(jù)挖掘，我們?cè)敢夂湍惴窒磉@些經(jīng)驗(yàn)： ? Sample──數(shù)據(jù)取樣 ? Explore──數(shù)據(jù)特征探索、分析和予處理 ? Modify──問(wèn)題明確化、數(shù)據(jù)調(diào)整和技術(shù)選擇 ? Model──模型的研發(fā)、知識(shí)的發(fā)現(xiàn) ? Assess──模型和知識(shí)的綜合解釋和評(píng)價(jià) Sample──數(shù)據(jù)取樣 當(dāng)進(jìn)行數(shù)據(jù)挖掘時(shí)，首先要從企業(yè)大量數(shù)據(jù)中取出一個(gè)與你要探索問(wèn)題相關(guān)的樣板數(shù)據(jù)子集，而不是動(dòng)用全部企業(yè)數(shù)據(jù)。這兩種方案分別為：一、深層統(tǒng)計(jì)分析與預(yù)測(cè)套件；二、數(shù)據(jù)挖掘套件。 SAS 研究所不僅有豐富的工具供你選用，而且在多年的數(shù)據(jù)處理研究工作中積累了一套行之有效的數(shù)據(jù)挖掘方法論── SEMMA，通過(guò)使用 SAS 技術(shù)進(jìn)行數(shù)據(jù)挖掘，我們?cè)敢夂湍惴窒磉@些經(jīng)驗(yàn)。同樣，要想有效地進(jìn)行數(shù)據(jù)挖掘也必須要有好的工具和一整套妥善的方法論。 SAS 數(shù)據(jù)挖掘白皮書 6 正象是你拿個(gè)鎬在山上挖幾下不能算是開(kāi)采礦山一樣，用數(shù)理統(tǒng)計(jì)方法或人工神 經(jīng)元網(wǎng)絡(luò)作個(gè)數(shù)據(jù)分析，也不能說(shuō)就是在進(jìn)行數(shù)據(jù)挖掘了。 SAS 數(shù)據(jù)挖掘軟件廣泛應(yīng)用于客戶關(guān)系管理、金融風(fēng)險(xiǎn)防范、供應(yīng)關(guān)系管理、數(shù)據(jù)庫(kù)營(yíng)銷 、企業(yè)均衡記分卡、 e智能化 及競(jìng)爭(zhēng)優(yōu)勢(shì)分析等方面。這就為企業(yè)開(kāi)發(fā)新產(chǎn)品、定位客戶群體、甚 至于為企業(yè)業(yè)務(wù)重組提供決策支持依據(jù)。通過(guò)數(shù)據(jù)挖掘還可以建立起企業(yè)或某個(gè)過(guò)程的各種不同類型模型。 通過(guò)探索和模型化所得的結(jié)果可分成兩種類型：一種是描述型的；另一種是預(yù)測(cè)型的。 ? 對(duì)有很深計(jì)算機(jī)和數(shù)學(xué)造詣的數(shù)據(jù)分析專家不僅要提供上述環(huán)境，而且還要提供實(shí)現(xiàn)各種算法的工具和開(kāi)發(fā)平臺(tái)。 ? 有計(jì)算機(jī)和數(shù)學(xué)知識(shí)，但對(duì)業(yè)務(wù)的熟悉程度一般的人員。 ? 業(yè)務(wù)水平較高，但數(shù)學(xué)水平一般，且沒(méi)有時(shí)間和興趣再鉆研數(shù)學(xué)方法的人，除了以上資源外，還應(yīng)提供能簡(jiǎn)便的實(shí)現(xiàn)各種常用的數(shù)理統(tǒng)計(jì)的工具。這可做成 SAS 數(shù)據(jù)倉(cāng)庫(kù)中的信息市場(chǎng)（ Information Mart）?？赡芤惨鲆恍┖?jiǎn)單的數(shù)理統(tǒng)計(jì)分析 。 SAS 支持各層次用戶： ? 業(yè)務(wù)水平和數(shù)學(xué)水平可能比較一般，對(duì)這樣的用戶提供方便的數(shù)據(jù)查詢是非常重要的。 有了反映業(yè)務(wù)主題全貌的數(shù)據(jù)后，在進(jìn)行數(shù)據(jù)的分析、探索時(shí)，對(duì)于不同的人，可能會(huì)采用不同的方式方法。所謂完整，就是決策支持目標(biāo)所涉及的各個(gè)環(huán)節(jié)不能有遺漏；其次 各個(gè)環(huán)節(jié)的數(shù)據(jù)要按一定的規(guī)則有機(jī)、準(zhǔn)確地銜接起來(lái)。假如所取用的數(shù)據(jù)并不足以反映企業(yè)的真實(shí)情況，當(dāng)然也不可能挖掘出有用的規(guī)律。雖然說(shuō)數(shù)據(jù)挖掘的業(yè)務(wù)目標(biāo)在過(guò)程中不是不可修正的，也應(yīng)當(dāng)在工作進(jìn)程中不斷的進(jìn)一步明確化，但其基本原則內(nèi)容要保持穩(wěn)定不變，否則數(shù)據(jù)挖掘工作是難以有效的進(jìn)行的。一組生產(chǎn)數(shù)據(jù)可作生產(chǎn)能力的分析；可作生產(chǎn)成本核算的分析；亦可作影響產(chǎn)品質(zhì)量諸因素的分析。 SAS 軟件研究所對(duì)數(shù)據(jù)挖掘所下的定義是：數(shù)據(jù)挖掘是按照既定的業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行探索、揭示隱藏其中的規(guī)律性并進(jìn)一步將之模型化的先進(jìn)、有效的方法。一 些簡(jiǎn)單的決策支持所需要的就是有針對(duì)性的數(shù)據(jù)。以 SAS 的多維數(shù)據(jù)庫(kù)產(chǎn)品 MDDB 構(gòu)造的數(shù)據(jù)倉(cāng)庫(kù)從物理結(jié)構(gòu)上保證了你查詢的迅速、方便。建立數(shù)據(jù)倉(cāng)庫(kù)，這是進(jìn)一步能有成效的進(jìn)行數(shù)據(jù)挖掘的基礎(chǔ)工作。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)支持你進(jìn)行數(shù)據(jù)重組，并以全新的數(shù)據(jù)、信息的結(jié)構(gòu)形式支持你的全新的工作方式。美國(guó)數(shù)據(jù)挖掘技術(shù)開(kāi)拓者 Gregory PiatetskyShapiro 曾戲言說(shuō)：“原來(lái)曾希望計(jì)算機(jī)系統(tǒng)成為我們智慧的源泉，但從中涌出的卻是洪水般的數(shù)據(jù)！