【正文】 息收集、分析的策略的集合，它應(yīng)該包括企業(yè)需要收集什么信息、誰需要去訪問這些數(shù)據(jù)、如何把原始數(shù)據(jù)轉(zhuǎn)化為最終導(dǎo)致戰(zhàn)略性決策的智能、客戶服務(wù)和供應(yīng)鏈管理。第 13章 商務(wù)智能系統(tǒng) 商務(wù)智能系統(tǒng)是應(yīng)用人工智能、數(shù)據(jù)挖掘、數(shù)據(jù)倉庫等先進(jìn)技術(shù)，按照企業(yè)既定的業(yè)務(wù)目標(biāo)，對大量的企業(yè)數(shù)據(jù)進(jìn)行分析和挖掘，揭示出隱藏的、未知的知識或驗(yàn)證已知的規(guī)律，從而支持企業(yè)的智能管理與決策，提高企業(yè)核心競爭力。 國內(nèi)外一些知名的廠商也根據(jù)自身的產(chǎn)品提出獨(dú)特的見解： ?IDC將商務(wù)智能定義為：終端用戶查詢和報告工具、 OLAP工具、數(shù)據(jù)挖掘軟件、數(shù)據(jù)集市和數(shù)據(jù)倉庫產(chǎn)品等軟件工具的集合。 Business Objects等公司成立了中國研究中心，其對中國市場的重視程度可見一斑。與一般的信息系統(tǒng)不同，它在處理海量數(shù)據(jù)、數(shù)據(jù)分析和信息展現(xiàn)等多個方面都具有突出性能。④與特定應(yīng)用領(lǐng)域無關(guān)的數(shù)據(jù)清洗，這一部分的研究主要集中于重復(fù)記錄的檢測 /刪除。數(shù)據(jù)分析主要包含三個方面： ① 聯(lián)機(jī)分析處理 ② 數(shù)據(jù)挖掘 ③ 聯(lián)機(jī)分析挖掘 商務(wù)智能中的關(guān)鍵技術(shù) 商務(wù)智能是一套完整的解決方案，它是將數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理 (OLAP)和數(shù)據(jù)挖掘等結(jié)合起來應(yīng)用到商業(yè)活動中，從不同的數(shù)據(jù)源收集數(shù)據(jù)，經(jīng)過抽取(Extract)、轉(zhuǎn)換 (Transform)和加載 (Load)，送入到數(shù)據(jù)倉庫或數(shù)據(jù)集市，然后使用合適的查詢與分析工具、數(shù)據(jù)挖掘工具和聯(lián)機(jī)分析處理工具對信息進(jìn)行處理，將信息轉(zhuǎn)變成為輔助決策的知識，最后將知識呈現(xiàn)于用戶面前，以實(shí)現(xiàn)技術(shù)服務(wù)與決策的目的。由此可見，數(shù)據(jù)倉庫中存在著不同的綜合級別，一般稱之為“粒度”。 1 數(shù)據(jù)倉庫技術(shù) (2) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 ② 數(shù)據(jù)倉庫的數(shù)據(jù)組織形式 b. 輪轉(zhuǎn)綜合文件 面向應(yīng)用數(shù)據(jù)庫每天數(shù)據(jù)每天綜合第 1 天 第 2 天 第 7 天第 1 周 第 2 周 第 4 周????第 1 月第 2 月 第 12 月第 1 年 第 2 年第 n 年????7 天綜合 1 周4 周綜合 1 月12 月綜合 1 年c. 簡化直接文件 它類似于簡單堆積文件，但它是間隔一定時間的數(shù)據(jù)庫快照，比如每隔一星期或一個月作一次。其中物理特性設(shè)計需包括： ? 確定數(shù)據(jù)的粒度和分區(qū)。 數(shù)據(jù)訪問和分析工具不但要提供一般的數(shù)據(jù)訪問功能，如查詢、匯總、統(tǒng)計等，還要提供對數(shù)據(jù)的深入分析功能，即數(shù)據(jù)挖掘的功能，如數(shù)據(jù)的比較、趨勢分析、模式識別等。數(shù)據(jù)倉庫建成后就進(jìn)入運(yùn)行維護(hù)，在運(yùn)行中要不斷驗(yàn)證評價分析設(shè)計是否符合用戶需求，產(chǎn)生出新的分析要求及時反饋回需求分析，進(jìn)行系統(tǒng)設(shè)計的改進(jìn)。 ③應(yīng)用線路： 應(yīng)用設(shè)計和開發(fā)的一個有效辦法是針對不同的用戶需求，設(shè)計和實(shí)現(xiàn)標(biāo)準(zhǔn)的用戶應(yīng)用模板，提供給用戶高效的接入方式。系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析，包括對層次維和多重層次維的完全支持。多維數(shù)據(jù)集的度量值是 OLAP分析的核心值，是用戶在 DW中需要查看的數(shù)據(jù)，一般是銷售量、成本、費(fèi)用等。因此要把維表規(guī)范化，即把維表進(jìn)一步分解，生成附加的表，使模式圖形成類似于雪花的形狀。 ④ 旋轉(zhuǎn) 旋轉(zhuǎn)即改變一個報告或頁面顯示的維方向。由于這兩種結(jié)構(gòu)在各自的數(shù)據(jù)庫層采用的數(shù)據(jù)庫系統(tǒng)不同，從而導(dǎo)致它們不同的特點(diǎn)。簡而言之，數(shù)據(jù)挖掘其實(shí)是一類深層次的數(shù)據(jù)分析方法，它是按企業(yè)既定業(yè)務(wù)目標(biāo)，對大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，并進(jìn)一步將其模型化的先進(jìn)有效的方法。預(yù)計在不久的研究還會形成更大的高潮，研究焦點(diǎn)可能會集中到以下幾個方面： a. 發(fā)現(xiàn)語言的形式化描述，即研究專門用于知識發(fā)現(xiàn)的數(shù)據(jù)挖掘語言，也許會像 SQL語言一樣走向形式化和標(biāo)準(zhǔn)化； b. 尋求數(shù)據(jù)挖掘過程中的可視化方法，使知識發(fā)現(xiàn)的過程能夠被用戶理解，也便于在知識發(fā)現(xiàn)的過程中進(jìn)行人機(jī)交互； c. 研究在網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)挖掘技術(shù)（ Web挖掘），特別是在因特網(wǎng)上建立數(shù)據(jù)挖掘 /知識發(fā)現(xiàn)服務(wù)器，并且與數(shù)據(jù)庫服務(wù)器配合，實(shí)現(xiàn) Web挖掘； d. 加強(qiáng)對各種非結(jié)構(gòu)化數(shù)據(jù)的開采（ Data Mining for Audio＆ Video），如對文本數(shù)據(jù)、圖形數(shù)據(jù)、視頻圖像數(shù)據(jù)、聲音數(shù)據(jù)乃至綜合多媒體數(shù)據(jù)的開采； e. 處理的數(shù)據(jù)將會涉及到更多的數(shù)據(jù)類型，這些數(shù)據(jù)類型或者比較復(fù)雜，或者是結(jié)構(gòu)比較獨(dú)特。其 Industry Warehouse Studio（ IWS）是一個面向行業(yè)的集成化的商業(yè)智能應(yīng)用，為用戶解決商業(yè)智能“做什么”和“怎么做”的問題。 微軟的 DTS 是個開放式的對象架構(gòu)，可以利用向?qū)Ы⒒蛲ㄟ^設(shè)計器 (DTS Designer) 建立復(fù)雜的數(shù)據(jù)轉(zhuǎn)換作業(yè)，前端高級語言可以進(jìn)行對象訪問（ VB Script ）以及結(jié)合自動化管理以 EMAIL 協(xié)助 DBA 管理系統(tǒng)。微軟致力于平衡計分卡的發(fā)展已經(jīng)有顯著的成效與產(chǎn)品，通過微軟平衡計分卡加速器可以建設(shè)出符合企業(yè)的需求的平衡計分卡。通過報表服務(wù)彈性的訂閱和傳送功能，搭配必要的報表功能，可確保使用者輕松地存取最新的企業(yè)信息。 f. IBM DB2 Intelligent Miner scoring主要進(jìn)行實(shí)時數(shù)據(jù)挖掘分析。 總之，數(shù)據(jù)挖掘只是一個工具，不是萬能的，它可以發(fā)現(xiàn)一些潛在的用戶，但是不會告訴你為什么，也不能保證這些潛在的用戶成為現(xiàn)實(shí)。發(fā)現(xiàn)的知識可以被用于信息管理，查詢優(yōu)化，決策支持和過程控制等，還可以用于數(shù)據(jù)自身的維護(hù)。 DB 圖 1316 ROLAP 結(jié)構(gòu)圖 DB DB OLTP數(shù)據(jù)庫 數(shù)據(jù) 倉庫 OLAP服務(wù)器 OLAP客戶端 分析 數(shù)據(jù) ROLAP的主要優(yōu)點(diǎn)是它的靈活性強(qiáng)，用戶可以動態(tài)定義統(tǒng)計或計算方式。維度層次越高，代表的數(shù)據(jù)綜合度越高，細(xì)節(jié)越少，數(shù)據(jù)量越少；維度層次性越低，則代表的數(shù)據(jù)綜合度越低，細(xì)節(jié)越充分，數(shù)據(jù)量越大。維表包含有描述數(shù)據(jù)部件的屬性，并提供用于比較分析的信息。因?yàn)楹芏嗑奂瘮?shù)需經(jīng)常重復(fù)計算，所以在多維數(shù)據(jù)立方體中存放預(yù)先計算好的結(jié)果將能保證快速響應(yīng)，并可靈活地提供不同角度和不同抽象層次上的數(shù)據(jù)視圖。 聯(lián)機(jī)分析技術(shù)具有如下特點(diǎn)：一是在線 (OnLine)，表現(xiàn)為對用戶請求的快速響應(yīng)和交互操作，它的實(shí)現(xiàn)是由客戶機(jī)／服務(wù)器體系結(jié)構(gòu)完成的；二是多維分析 (MultiAnalysis)，這也是 OLAP技術(shù)的核心所在。 ? 技術(shù)選擇。 ? 應(yīng)用線。 導(dǎo)入的源數(shù)據(jù)形成了數(shù)據(jù)倉庫的原始數(shù)據(jù)，然而源數(shù)據(jù)只是數(shù)據(jù)倉庫的一部分，但不是全部。 ? 基本數(shù)據(jù)組：屬于基本不會發(fā)生變化的項。同理，周數(shù)據(jù)集達(dá)到五個后，數(shù)據(jù)再一次被綜合并記入月數(shù)據(jù)集。 c 輕度綜合數(shù)據(jù) 從當(dāng)前基本數(shù)據(jù)中提取出來，通常以較小的時間段（粒度）統(tǒng)計而成的數(shù)據(jù)，其數(shù)據(jù)量較細(xì)節(jié)及數(shù)據(jù)少得多。盡管數(shù)據(jù)倉庫工具對于支持?jǐn)?shù)據(jù)分析是有幫助的，但是仍需要更多的數(shù)據(jù)挖掘工具，以便進(jìn)行更深入的自動分析。這只能針對小數(shù)據(jù)量的數(shù)據(jù)源。 （ 3） BI應(yīng)用子系統(tǒng) 通過對分析需要的數(shù)據(jù)按照多維數(shù)據(jù)模型進(jìn)行再次重組，以支持用戶多角度、多層次的分析，并利用數(shù)據(jù)分析工具從中發(fā)現(xiàn)有用的知識，支持企業(yè)的決策過程。 5 商務(wù)智能的應(yīng)用 目前商務(wù)智能在全球的應(yīng)用主要集中在保險業(yè)、銀行業(yè)、電信業(yè)、制造業(yè)、零售業(yè)、稅務(wù)和電子商務(wù)等領(lǐng)域。 2 商務(wù)智能的定義 ?Gartner Group最早提出商務(wù)智能概念，它認(rèn)為：商業(yè)智能技術(shù)提供使企業(yè)迅速分析數(shù)據(jù)的技術(shù)和方法，包括收集、管理和分析數(shù)據(jù)，將這些數(shù)據(jù)轉(zhuǎn)化為有用的信息，然后分發(fā)到企業(yè)各處，輔助商業(yè)決策的制定。通過訪問當(dāng)前的、可靠的和易消化的信息，幫助企業(yè)從各個側(cè)面及不同的維度靈活地瀏覽信息和建立模型。 ?MSTR認(rèn)為：商業(yè)智能是一系列能夠使公司分析數(shù)據(jù)庫中的數(shù)據(jù)并根據(jù)收集的信息獲得的洞察力來做決策的軟件系統(tǒng)。 （ 1）外部數(shù)據(jù)源通過運(yùn)行環(huán)境（ ERP、 CRM、 SCM等）流入 BI循環(huán)（包含有關(guān)客戶、供應(yīng)商、競爭對手、產(chǎn)品以及企業(yè)本身的信息）； （ 2）進(jìn)入數(shù)據(jù)倉庫 /數(shù)據(jù)集市等數(shù)據(jù)存儲部分 —— 對加入數(shù)據(jù)倉庫的數(shù)據(jù)進(jìn)行凈化和轉(zhuǎn)換，糾正錯誤的數(shù)據(jù)和統(tǒng)一格式，使其滿足數(shù)據(jù)倉庫應(yīng)當(dāng)具有的數(shù)據(jù)格式和質(zhì)量標(biāo)準(zhǔn)；將其存儲在中央存儲庫中（充當(dāng)中央存儲庫的可以是關(guān)系型數(shù)據(jù)庫或者多維數(shù)據(jù)庫），數(shù)據(jù)的抽取、凈化、轉(zhuǎn)換和存儲是 BI循環(huán)的核心組成部分； （ 3）數(shù)據(jù)分析和知識挖掘部分 —— 從數(shù)據(jù)倉庫 /數(shù)據(jù)集市中獲取數(shù)據(jù)，并利用數(shù)據(jù)分析和知識挖掘工具，挖掘出對決策有用的知識，將所得結(jié)果提交給業(yè)務(wù)決策者。 b. 數(shù)據(jù)的傳輸模式 數(shù)據(jù)傳輸是通過網(wǎng)絡(luò)把遠(yuǎn)程的數(shù)據(jù)文件運(yùn)用 FTP傳輸?shù)奖镜啬夸浵隆? 在實(shí)施中，它的步驟如下： a. 讀取匯總數(shù)據(jù)文件、無需進(jìn)行匯總的源數(shù)據(jù)文件或需以后匯總的源數(shù)據(jù)文件，調(diào)用數(shù)據(jù)文件對應(yīng)操作配置表，加載到相應(yīng)數(shù)據(jù)表（中間表或回滾表）中； b. 讀取需進(jìn)行實(shí)時匯總的合法數(shù)據(jù)文件，調(diào)用數(shù)據(jù)文件對應(yīng)操作配置表，對數(shù)據(jù)庫進(jìn)行更新操作； c. 程序根據(jù)生成的不同數(shù)據(jù)文件，同時生成匯總數(shù)據(jù)，同先前步驟的匯總文件進(jìn)行對比，如出現(xiàn)不一致，提供系統(tǒng)預(yù)警。 ② 集成性 ③ 數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息 ③ 非易失性 ④ 數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫以后，一般情況下將被長期保留，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。 ? 與粒度相對應(yīng)的一個概念是 “分割” 。集成范圍定義了數(shù)據(jù)的邊界，而且集成范圍需在建模之前進(jìn)行定義。在數(shù)據(jù)倉庫的設(shè)計中同樣存在著這樣的模型。 ? 業(yè)務(wù)需求分析。物理設(shè)計的主要任務(wù)是定義支持模型設(shè)計必需的物理結(jié)構(gòu)。 ? 應(yīng)用開發(fā)。 ①維是人們觀察數(shù)據(jù)的特定角度。維表一般較小，每維一個。這種切片數(shù)量取決于維 i上的維成員個數(shù)。如圖1314所示。 一個真正的 HOLAP系統(tǒng)應(yīng)能遵循以下幾條準(zhǔn)則： a. 維度能夠被動態(tài)更新 —— 一個真正的 HOLAP不但可以提供對數(shù)據(jù)的實(shí)時存取，還可以根據(jù)不斷變化的結(jié)構(gòu)對維數(shù)進(jìn)行更新。 b. 面對如此大的數(shù)據(jù)，現(xiàn)有的統(tǒng)計方法等都遇到了問題，我們直接的想法就是對數(shù)據(jù)進(jìn)行抽樣，那么怎么抽樣，抽取多大的樣本，又怎樣評價抽樣的效果，這些都是值得研究的難題。IBM已經(jīng)在 DB2中集成了部分 BI工