【正文】 息收集、分析的策略的集合，它應(yīng)該包括企業(yè)需要收集什么信息、誰(shuí)需要去訪問(wèn)這些數(shù)據(jù)、如何把原始數(shù)據(jù)轉(zhuǎn)化為最終導(dǎo)致戰(zhàn)略性決策的智能、客戶服務(wù)和供應(yīng)鏈管理。第 13章 商務(wù)智能系統(tǒng) 商務(wù)智能系統(tǒng)是應(yīng)用人工智能、數(shù)據(jù)挖掘、數(shù)據(jù)倉(cāng)庫(kù)等先進(jìn)技術(shù)，按照企業(yè)既定的業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行分析和挖掘，揭示出隱藏的、未知的知識(shí)或驗(yàn)證已知的規(guī)律，從而支持企業(yè)的智能管理與決策，提高企業(yè)核心競(jìng)爭(zhēng)力。 國(guó)內(nèi)外一些知名的廠商也根據(jù)自身的產(chǎn)品提出獨(dú)特的見(jiàn)解： ?IDC將商務(wù)智能定義為：終端用戶查詢和報(bào)告工具、 OLAP工具、數(shù)據(jù)挖掘軟件、數(shù)據(jù)集市和數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品等軟件工具的集合。 Business Objects等公司成立了中國(guó)研究中心，其對(duì)中國(guó)市場(chǎng)的重視程度可見(jiàn)一斑。與一般的信息系統(tǒng)不同，它在處理海量數(shù)據(jù)、數(shù)據(jù)分析和信息展現(xiàn)等多個(gè)方面都具有突出性能。④與特定應(yīng)用領(lǐng)域無(wú)關(guān)的數(shù)據(jù)清洗，這一部分的研究主要集中于重復(fù)記錄的檢測(cè) /刪除。數(shù)據(jù)分析主要包含三個(gè)方面： ① 聯(lián)機(jī)分析處理 ② 數(shù)據(jù)挖掘 ③ 聯(lián)機(jī)分析挖掘 商務(wù)智能中的關(guān)鍵技術(shù) 商務(wù)智能是一套完整的解決方案，它是將數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理 (OLAP)和數(shù)據(jù)挖掘等結(jié)合起來(lái)應(yīng)用到商業(yè)活動(dòng)中，從不同的數(shù)據(jù)源收集數(shù)據(jù)，經(jīng)過(guò)抽取(Extract)、轉(zhuǎn)換 (Transform)和加載 (Load)，送入到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市，然后使用合適的查詢與分析工具、數(shù)據(jù)挖掘工具和聯(lián)機(jī)分析處理工具對(duì)信息進(jìn)行處理，將信息轉(zhuǎn)變成為輔助決策的知識(shí)，最后將知識(shí)呈現(xiàn)于用戶面前，以實(shí)現(xiàn)技術(shù)服務(wù)與決策的目的。由此可見(jiàn)，數(shù)據(jù)倉(cāng)庫(kù)中存在著不同的綜合級(jí)別，一般稱之為“粒度”。 1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù) (2) 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織 ② 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織形式 b. 輪轉(zhuǎn)綜合文件 面向應(yīng)用數(shù)據(jù)庫(kù)每天數(shù)據(jù)每天綜合第 1 天 第 2 天 第 7 天第 1 周 第 2 周 第 4 周????第 1 月第 2 月 第 12 月第 1 年 第 2 年第 n 年????7 天綜合 1 周4 周綜合 1 月12 月綜合 1 年c. 簡(jiǎn)化直接文件 它類(lèi)似于簡(jiǎn)單堆積文件，但它是間隔一定時(shí)間的數(shù)據(jù)庫(kù)快照，比如每隔一星期或一個(gè)月作一次。其中物理特性設(shè)計(jì)需包括： ? 確定數(shù)據(jù)的粒度和分區(qū)。 數(shù)據(jù)訪問(wèn)和分析工具不但要提供一般的數(shù)據(jù)訪問(wèn)功能，如查詢、匯總、統(tǒng)計(jì)等，還要提供對(duì)數(shù)據(jù)的深入分析功能，即數(shù)據(jù)挖掘的功能，如數(shù)據(jù)的比較、趨勢(shì)分析、模式識(shí)別等。數(shù)據(jù)倉(cāng)庫(kù)建成后就進(jìn)入運(yùn)行維護(hù)，在運(yùn)行中要不斷驗(yàn)證評(píng)價(jià)分析設(shè)計(jì)是否符合用戶需求，產(chǎn)生出新的分析要求及時(shí)反饋回需求分析，進(jìn)行系統(tǒng)設(shè)計(jì)的改進(jìn)。 ③應(yīng)用線路： 應(yīng)用設(shè)計(jì)和開(kāi)發(fā)的一個(gè)有效辦法是針對(duì)不同的用戶需求，設(shè)計(jì)和實(shí)現(xiàn)標(biāo)準(zhǔn)的用戶應(yīng)用模板，提供給用戶高效的接入方式。系統(tǒng)必須提供對(duì)數(shù)據(jù)的多維視圖和分析，包括對(duì)層次維和多重層次維的完全支持。多維數(shù)據(jù)集的度量值是 OLAP分析的核心值，是用戶在 DW中需要查看的數(shù)據(jù)，一般是銷(xiāo)售量、成本、費(fèi)用等。因此要把維表規(guī)范化，即把維表進(jìn)一步分解，生成附加的表，使模式圖形成類(lèi)似于雪花的形狀。 ④ 旋轉(zhuǎn) 旋轉(zhuǎn)即改變一個(gè)報(bào)告或頁(yè)面顯示的維方向。由于這兩種結(jié)構(gòu)在各自的數(shù)據(jù)庫(kù)層采用的數(shù)據(jù)庫(kù)系統(tǒng)不同，從而導(dǎo)致它們不同的特點(diǎn)。簡(jiǎn)而言之，數(shù)據(jù)挖掘其實(shí)是一類(lèi)深層次的數(shù)據(jù)分析方法，它是按企業(yè)既定業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，并進(jìn)一步將其模型化的先進(jìn)有效的方法。預(yù)計(jì)在不久的研究還會(huì)形成更大的高潮，研究焦點(diǎn)可能會(huì)集中到以下幾個(gè)方面： a. 發(fā)現(xiàn)語(yǔ)言的形式化描述，即研究專門(mén)用于知識(shí)發(fā)現(xiàn)的數(shù)據(jù)挖掘語(yǔ)言，也許會(huì)像 SQL語(yǔ)言一樣走向形式化和標(biāo)準(zhǔn)化； b. 尋求數(shù)據(jù)挖掘過(guò)程中的可視化方法，使知識(shí)發(fā)現(xiàn)的過(guò)程能夠被用戶理解，也便于在知識(shí)發(fā)現(xiàn)的過(guò)程中進(jìn)行人機(jī)交互； c. 研究在網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)挖掘技術(shù)（ Web挖掘），特別是在因特網(wǎng)上建立數(shù)據(jù)挖掘 /知識(shí)發(fā)現(xiàn)服務(wù)器，并且與數(shù)據(jù)庫(kù)服務(wù)器配合，實(shí)現(xiàn) Web挖掘； d. 加強(qiáng)對(duì)各種非結(jié)構(gòu)化數(shù)據(jù)的開(kāi)采（ Data Mining for Audio＆ Video），如對(duì)文本數(shù)據(jù)、圖形數(shù)據(jù)、視頻圖像數(shù)據(jù)、聲音數(shù)據(jù)乃至綜合多媒體數(shù)據(jù)的開(kāi)采； e. 處理的數(shù)據(jù)將會(huì)涉及到更多的數(shù)據(jù)類(lèi)型，這些數(shù)據(jù)類(lèi)型或者比較復(fù)雜，或者是結(jié)構(gòu)比較獨(dú)特。其 Industry Warehouse Studio（ IWS）是一個(gè)面向行業(yè)的集成化的商業(yè)智能應(yīng)用，為用戶解決商業(yè)智能“做什么”和“怎么做”的問(wèn)題。 微軟的 DTS 是個(gè)開(kāi)放式的對(duì)象架構(gòu)，可以利用向?qū)Ы⒒蛲ㄟ^(guò)設(shè)計(jì)器 (DTS Designer) 建立復(fù)雜的數(shù)據(jù)轉(zhuǎn)換作業(yè)，前端高級(jí)語(yǔ)言可以進(jìn)行對(duì)象訪問(wèn)（ VB Script ）以及結(jié)合自動(dòng)化管理以 EMAIL 協(xié)助 DBA 管理系統(tǒng)。微軟致力于平衡計(jì)分卡的發(fā)展已經(jīng)有顯著的成效與產(chǎn)品，通過(guò)微軟平衡計(jì)分卡加速器可以建設(shè)出符合企業(yè)的需求的平衡計(jì)分卡。通過(guò)報(bào)表服務(wù)彈性的訂閱和傳送功能，搭配必要的報(bào)表功能，可確保使用者輕松地存取最新的企業(yè)信息。 f. IBM DB2 Intelligent Miner scoring主要進(jìn)行實(shí)時(shí)數(shù)據(jù)挖掘分析。 總之，數(shù)據(jù)挖掘只是一個(gè)工具，不是萬(wàn)能的，它可以發(fā)現(xiàn)一些潛在的用戶，但是不會(huì)告訴你為什么，也不能保證這些潛在的用戶成為現(xiàn)實(shí)。發(fā)現(xiàn)的知識(shí)可以被用于信息管理，查詢優(yōu)化，決策支持和過(guò)程控制等，還可以用于數(shù)據(jù)自身的維護(hù)。 DB 圖 1316 ROLAP 結(jié)構(gòu)圖 DB DB OLTP數(shù)據(jù)庫(kù) 數(shù)據(jù) 倉(cāng)庫(kù) OLAP服務(wù)器 OLAP客戶端 分析 數(shù)據(jù) ROLAP的主要優(yōu)點(diǎn)是它的靈活性強(qiáng)，用戶可以動(dòng)態(tài)定義統(tǒng)計(jì)或計(jì)算方式。維度層次越高，代表的數(shù)據(jù)綜合度越高，細(xì)節(jié)越少，數(shù)據(jù)量越少；維度層次性越低，則代表的數(shù)據(jù)綜合度越低，細(xì)節(jié)越充分，數(shù)據(jù)量越大。維表包含有描述數(shù)據(jù)部件的屬性，并提供用于比較分析的信息。因?yàn)楹芏嗑奂瘮?shù)需經(jīng)常重復(fù)計(jì)算，所以在多維數(shù)據(jù)立方體中存放預(yù)先計(jì)算好的結(jié)果將能保證快速響應(yīng)，并可靈活地提供不同角度和不同抽象層次上的數(shù)據(jù)視圖。 聯(lián)機(jī)分析技術(shù)具有如下特點(diǎn)：一是在線 (OnLine)，表現(xiàn)為對(duì)用戶請(qǐng)求的快速響應(yīng)和交互操作，它的實(shí)現(xiàn)是由客戶機(jī)／服務(wù)器體系結(jié)構(gòu)完成的；二是多維分析 (MultiAnalysis)，這也是 OLAP技術(shù)的核心所在。 ? 技術(shù)選擇。 ? 應(yīng)用線。 導(dǎo)入的源數(shù)據(jù)形成了數(shù)據(jù)倉(cāng)庫(kù)的原始數(shù)據(jù)，然而源數(shù)據(jù)只是數(shù)據(jù)倉(cāng)庫(kù)的一部分，但不是全部。 ? 基本數(shù)據(jù)組：屬于基本不會(huì)發(fā)生變化的項(xiàng)。同理，周數(shù)據(jù)集達(dá)到五個(gè)后，數(shù)據(jù)再一次被綜合并記入月數(shù)據(jù)集。 c 輕度綜合數(shù)據(jù) 從當(dāng)前基本數(shù)據(jù)中提取出來(lái)，通常以較小的時(shí)間段（粒度）統(tǒng)計(jì)而成的數(shù)據(jù)，其數(shù)據(jù)量較細(xì)節(jié)及數(shù)據(jù)少得多。盡管數(shù)據(jù)倉(cāng)庫(kù)工具對(duì)于支持?jǐn)?shù)據(jù)分析是有幫助的，但是仍需要更多的數(shù)據(jù)挖掘工具，以便進(jìn)行更深入的自動(dòng)分析。這只能針對(duì)小數(shù)據(jù)量的數(shù)據(jù)源。 （ 3） BI應(yīng)用子系統(tǒng) 通過(guò)對(duì)分析需要的數(shù)據(jù)按照多維數(shù)據(jù)模型進(jìn)行再次重組，以支持用戶多角度、多層次的分析，并利用數(shù)據(jù)分析工具從中發(fā)現(xiàn)有用的知識(shí)，支持企業(yè)的決策過(guò)程。 5 商務(wù)智能的應(yīng)用 目前商務(wù)智能在全球的應(yīng)用主要集中在保險(xiǎn)業(yè)、銀行業(yè)、電信業(yè)、制造業(yè)、零售業(yè)、稅務(wù)和電子商務(wù)等領(lǐng)域。 2 商務(wù)智能的定義 ?Gartner Group最早提出商務(wù)智能概念，它認(rèn)為：商業(yè)智能技術(shù)提供使企業(yè)迅速分析數(shù)據(jù)的技術(shù)和方法，包括收集、管理和分析數(shù)據(jù)，將這些數(shù)據(jù)轉(zhuǎn)化為有用的信息，然后分發(fā)到企業(yè)各處，輔助商業(yè)決策的制定。通過(guò)訪問(wèn)當(dāng)前的、可靠的和易消化的信息，幫助企業(yè)從各個(gè)側(cè)面及不同的維度靈活地瀏覽信息和建立模型。 ?MSTR認(rèn)為：商業(yè)智能是一系列能夠使公司分析數(shù)據(jù)庫(kù)中的數(shù)據(jù)并根據(jù)收集的信息獲得的洞察力來(lái)做決策的軟件系統(tǒng)。 （ 1）外部數(shù)據(jù)源通過(guò)運(yùn)行環(huán)境（ ERP、 CRM、 SCM等）流入 BI循環(huán)（包含有關(guān)客戶、供應(yīng)商、競(jìng)爭(zhēng)對(duì)手、產(chǎn)品以及企業(yè)本身的信息）； （ 2）進(jìn)入數(shù)據(jù)倉(cāng)庫(kù) /數(shù)據(jù)集市等數(shù)據(jù)存儲(chǔ)部分 —— 對(duì)加入數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)進(jìn)行凈化和轉(zhuǎn)換，糾正錯(cuò)誤的數(shù)據(jù)和統(tǒng)一格式，使其滿足數(shù)據(jù)倉(cāng)庫(kù)應(yīng)當(dāng)具有的數(shù)據(jù)格式和質(zhì)量標(biāo)準(zhǔn)；將其存儲(chǔ)在中央存儲(chǔ)庫(kù)中（充當(dāng)中央存儲(chǔ)庫(kù)的可以是關(guān)系型數(shù)據(jù)庫(kù)或者多維數(shù)據(jù)庫(kù)），數(shù)據(jù)的抽取、凈化、轉(zhuǎn)換和存儲(chǔ)是 BI循環(huán)的核心組成部分； （ 3）數(shù)據(jù)分析和知識(shí)挖掘部分 —— 從數(shù)據(jù)倉(cāng)庫(kù) /數(shù)據(jù)集市中獲取數(shù)據(jù)，并利用數(shù)據(jù)分析和知識(shí)挖掘工具，挖掘出對(duì)決策有用的知識(shí)，將所得結(jié)果提交給業(yè)務(wù)決策者。 b. 數(shù)據(jù)的傳輸模式 數(shù)據(jù)傳輸是通過(guò)網(wǎng)絡(luò)把遠(yuǎn)程的數(shù)據(jù)文件運(yùn)用 FTP傳輸?shù)奖镜啬夸浵隆? 在實(shí)施中，它的步驟如下： a. 讀取匯總數(shù)據(jù)文件、無(wú)需進(jìn)行匯總的源數(shù)據(jù)文件或需以后匯總的源數(shù)據(jù)文件，調(diào)用數(shù)據(jù)文件對(duì)應(yīng)操作配置表，加載到相應(yīng)數(shù)據(jù)表（中間表或回滾表）中； b. 讀取需進(jìn)行實(shí)時(shí)匯總的合法數(shù)據(jù)文件，調(diào)用數(shù)據(jù)文件對(duì)應(yīng)操作配置表，對(duì)數(shù)據(jù)庫(kù)進(jìn)行更新操作； c. 程序根據(jù)生成的不同數(shù)據(jù)文件，同時(shí)生成匯總數(shù)據(jù)，同先前步驟的匯總文件進(jìn)行對(duì)比，如出現(xiàn)不一致，提供系統(tǒng)預(yù)警。 ② 集成性 ③ 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是在對(duì)原有分散的數(shù)據(jù)庫(kù)數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過(guò)系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息 ③ 非易失性 ④ 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后，一般情況下將被長(zhǎng)期保留，也就是數(shù)據(jù)倉(cāng)庫(kù)中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。 ? 與粒度相對(duì)應(yīng)的一個(gè)概念是 “分割” 。集成范圍定義了數(shù)據(jù)的邊界，而且集成范圍需在建模之前進(jìn)行定義。在數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)中同樣存在著這樣的模型。 ? 業(yè)務(wù)需求分析。物理設(shè)計(jì)的主要任務(wù)是定義支持模型設(shè)計(jì)必需的物理結(jié)構(gòu)。 ? 應(yīng)用開(kāi)發(fā)。 ①維是人們觀察數(shù)據(jù)的特定角度。維表一般較小，每維一個(gè)。這種切片數(shù)量取決于維 i上的維成員個(gè)數(shù)。如圖1314所示。 一個(gè)真正的 HOLAP系統(tǒng)應(yīng)能遵循以下幾條準(zhǔn)則： a. 維度能夠被動(dòng)態(tài)更新 —— 一個(gè)真正的 HOLAP不但可以提供對(duì)數(shù)據(jù)的實(shí)時(shí)存取，還可以根據(jù)不斷變化的結(jié)構(gòu)對(duì)維數(shù)進(jìn)行更新。 b. 面對(duì)如此大的數(shù)據(jù)，現(xiàn)有的統(tǒng)計(jì)方法等都遇到了問(wèn)題，我們直接的想法就是對(duì)數(shù)據(jù)進(jìn)行抽樣，那么怎么抽樣，抽取多大的樣本，又怎樣評(píng)價(jià)抽樣的效果，這些都是值得研究的難題。IBM已經(jīng)在 DB2中集成了部分 BI工