【文章內容簡介】 這都是要首先探索的內容。 進行數(shù)據(jù)特征的探索、分析，最好是能進行可視化的操作。 SAS 有：SAS/INSIGHT和 SAS/SPECTRAVIEW兩個產(chǎn)品給你提供了可視化數(shù)據(jù)操作的最強有力的工具、方法和圖形。它們不僅能做各種不同類型統(tǒng)計分析顯示，而且可做多維、動態(tài)、甚至旋轉的顯示。 這里的數(shù)據(jù)探索，就 是我們通常所進行的深入調查的過程。你最終要達到的目的可能是要搞清多因素相互影響的，十分復雜的關系。但是，這種復雜的關系不可能一下子建立起來。一開始，可以先觀察眾多因素之間的相關性；再按其相 SAS 數(shù)據(jù)挖掘白皮書 8 關的程度，以了解它們之間相互作用的情況。這些探索、分析，并沒有一成不變操作規(guī)律性；相反，是要有耐心的反復的試探，仔細的觀察。在此過程中，你原來的專業(yè)技術知識是非常有用的，它會幫助你進行有效的觀察。但是，你也要注意，不要讓你的專業(yè)知識束縛了你對數(shù)據(jù)特征觀察的敏銳性?？赡軐嶋H存在著你的先驗知識認為不存在的關系。假如你的數(shù)據(jù)是真 實可靠的話，那末你絕對不要輕易地否定數(shù)據(jù)呈現(xiàn)給你的新關系。很可能這里就是發(fā)現(xiàn)的新知識！有了它，也許會導引你在此后的分析中，得出比你原有的認識更加符合實際的規(guī)律性知識。假如在你的操作中出現(xiàn)了這種情況，應當說，你的數(shù)據(jù)挖掘已挖到了有效的礦脈。 在這里要提醒你的是要有耐心，做幾種分析，就發(fā)現(xiàn)重大成果是不大可能的。所幸的是 SAS 向你提供了強有力的工具，它可跟隨你的思維，可視化、快速的作出反應。免除了數(shù)學的復雜運算過程和編制結果展現(xiàn)程序的煩惱和對你思維的干擾。這就使你數(shù)據(jù)分析過程集聚于你業(yè)務領域的問題，并使你的思維保 持了一個集中的較高級的活動狀態(tài)，從而加速了你的思維過程，提高了你的思維能力。 Modify──問題明確化、數(shù)據(jù)調整和技術選擇 通過上述兩個步驟的操作，你對數(shù)據(jù)的狀態(tài)和趨勢可能有了進一步的了解。對你原來要解決的問題可能會有了進一步的明確；這時要盡可能對問題解決的要求能進一步的量化。問題越明確，越能進一步量化，問題就向它的解決更前進了一步。這是十分重要的。因為原來的問題很可能是諸如質量不好、生產(chǎn)率低等模糊的問題，沒有問題的進一步明確，你簡直就無法進行有效的數(shù)據(jù)挖掘操作。 在問題進一步明確化的基礎上，你就可以按 照問題的具體要求來審視你的數(shù)據(jù)集了，看它是否適應你的問題的需要。 Gartner group 在評論當前一些數(shù)據(jù)挖掘產(chǎn)品時特別強調指出：在數(shù)據(jù)挖掘的各個階段中，數(shù)據(jù)挖掘的產(chǎn)品都要使所使用的數(shù)據(jù)和所將建立模型處于十分易于調整、修改和變動的狀態(tài)，這才能保證數(shù)據(jù)挖掘有效的進行。 針對問題的需要可能要對數(shù)據(jù)進行增刪；也可能按照你對整個數(shù)據(jù)挖掘過程的新認識，要組合或者生成一些新的變量，以體現(xiàn)對狀態(tài)的有效的描述。 SAS 對數(shù)據(jù)強有力的存取、管理和操作的能力保證了對數(shù)據(jù)的調整、修改和變動的可能性。若使用了 SAS 的數(shù)據(jù)倉庫產(chǎn)品技 術時就更進一步保證了有效、方便的進行這 SAS 數(shù)據(jù)挖掘白皮書 9 些操作。 在問題進一步明確；數(shù)據(jù)結構和內容進一步調整的基礎上，下一步數(shù)據(jù)挖掘應采用的技術手段就更加清晰、明確了。 Model──模型的研發(fā)、知識的發(fā)現(xiàn) 這一步是數(shù)據(jù)挖掘工作的核心環(huán)節(jié)。雖然數(shù)據(jù)挖掘模型化工作涉及了非常廣闊的技術領域，但對 SAS 研究所來說并不是一件新鮮事。自從 SAS 問世以來，就一直是統(tǒng)計模型市場領域的領頭羊，而且年年提供新產(chǎn)品，并以這些產(chǎn)品體現(xiàn)業(yè)界技術的最新發(fā)展。 按照 SAS 提出的 SEMMA 方法論走到這一步時，你對應采用的技術已有了較明確的方向；你的數(shù)據(jù) 結構和內容也有了充分的適應性。 SAS 在這時也向你提供了充分的可選擇的技術手段：回歸分析方法等廣泛的數(shù)理統(tǒng)計方法；關聯(lián)分析方法；分類及聚類分析方法；人工神經(jīng)元網(wǎng)絡；決策樹 ?? 等。 在你的數(shù)據(jù)挖掘中使用哪一種方法，用 SAS 軟件包中什么方法來實現(xiàn)，這主要取決于你的數(shù)據(jù)集的特征和你要實現(xiàn)的目標。實際上這種選擇也不一定是唯一的。好在 SAS 軟件運行效率十分高，你不妨多試幾種方法，從實踐中選出最適合于你的方法。 Assess──模型和知識的綜合解釋和評價 從上述過程中將會得出一系列的分析結果、模式或模型。同一個數(shù)據(jù)源可 以利用多種數(shù)據(jù)分析方法和模型進行分析， ASSESS 的目的之一就是從這些模型中自動找出一個最好的模型出來，另外就是要對模型進行針對業(yè)務的解釋和應用。 若能從模型中得出一個直接的結論當然很好。但更多的時候會得出對目標問題多側面的描述。這時就要能很好的綜合它們的影響規(guī)律性提供合理的決策支持信息。所謂合理，實際上往往是要你在所付出的代價和達到預期目標的可靠性的平衡上作出選擇。假如在你的數(shù)據(jù)挖掘過程中，就預見到最后要進行這樣的選擇的話，那末你最好把這些平衡的指標盡可能的量化，以利你綜合抉擇。 你提供的決策支持信息適 用性如何，這顯然是十分重要的問題。除了在數(shù)據(jù)處理過程中 SAS 軟件提供給你的許多檢驗參數(shù)外，評價的辦法之一是直接使用你 SAS 數(shù)據(jù)挖掘白皮書 10 原來建立模型的樣板數(shù)據(jù)來進行檢驗。假如這一關就通不過的話，那末你的決策支持信息的價值就不太大了。一般來說，在這一步應得到較好的評價。這說明你確實從這批數(shù)據(jù)樣本中挖掘出了符合實際的規(guī)律性。 另一種辦法是另外找一批數(shù)據(jù)，已知這些數(shù)據(jù)是反映客觀實際的規(guī)律性的。這次的檢驗效果可能會比前一種差。差多少是要注意的。若是差到你所不能容忍程度，那就要考慮第一次構建的樣本數(shù)據(jù)是否具有充分的代表性；或是模型本身不 夠完善。這時候可能要對前面的工作進行反思了。若這一步也得到了肯定的結果時，那你的數(shù)據(jù)挖掘應得到很好的評價了。 數(shù)據(jù)取樣 S A M P L E 數(shù)據(jù)探索 EX P L O R E 數(shù)據(jù)調整 M O D I F Y 模式化 M O D EL 評價 A S S ES S 選數(shù)據(jù)樣本 ? 可視化 數(shù)據(jù)探索 聚類分析 和因子 分選 數(shù)據(jù)重組 和細分 添加和拆分 記錄 決策樹模型 數(shù)理統(tǒng)計 分析 人工神經(jīng)元 網(wǎng)絡 時間序列 分析 數(shù)據(jù)修改 ? 新問題 ? 結論綜合 和評價 第三章 深層統(tǒng)計分析與預測套件 SAS “ 深層統(tǒng)計分析與預測套件” 主要是應用 SAS 國際標準的經(jīng)典統(tǒng)計分析工具對數(shù)據(jù)進行深層次的分析、加工和預測，進而再生成作為決策支持用的圖形和報表。 SAS 既可以采用客戶機 /服務器方式，也可以采用瀏覽器 /服務器方式運行。下面首先介紹此分析套件的功能，之后再介紹 SAS 的產(chǎn)品配置方案及