【正文】 需要更多的數(shù)據(jù)挖掘工具，以便進(jìn)行更深入的自動(dòng)分析。數(shù)據(jù)倉(cāng)庫(kù)也常常被看作一種體系結(jié)構(gòu)，通過(guò)將異種數(shù)據(jù)源中的數(shù)據(jù)集成在一起而構(gòu)造，支持結(jié)構(gòu)化的和專(zhuān)門(mén)的查詢、分析報(bào)告和決策。當(dāng)加載臨時(shí)匯總表的過(guò)程完畢以后，再把臨時(shí)中間表的數(shù)據(jù)裝入到中間表中。④與特定應(yīng)用領(lǐng)域無(wú)關(guān)的數(shù)據(jù)清洗，這一部分的研究主要集中于重復(fù)記錄的檢測(cè) /刪除。這只能針對(duì)小數(shù)據(jù)量的數(shù)據(jù)源。數(shù)據(jù)轉(zhuǎn)換是將源數(shù)據(jù)變?yōu)槟繕?biāo)數(shù)據(jù)的關(guān)鍵環(huán)節(jié)，它包括數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)類(lèi)型轉(zhuǎn)換、數(shù)據(jù)匯總計(jì)算數(shù)據(jù)拼接等等。 實(shí)時(shí)更新還是周期更新。與一般的信息系統(tǒng)不同，它在處理海量數(shù)據(jù)、數(shù)據(jù)分析和信息展現(xiàn)等多個(gè)方面都具有突出性能。 （ 3） BI應(yīng)用子系統(tǒng) 通過(guò)對(duì)分析需要的數(shù)據(jù)按照多維數(shù)據(jù)模型進(jìn)行再次重組，以支持用戶多角度、多層次的分析，并利用數(shù)據(jù)分析工具從中發(fā)現(xiàn)有用的知識(shí)，支持企業(yè)的決策過(guò)程。 2 商務(wù)智能系統(tǒng)的體系結(jié)構(gòu) 從對(duì)處理流程的分析可以看出，商務(wù)智能系統(tǒng)主要由三個(gè)子系統(tǒng)組成：數(shù)據(jù)集成子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)以及 BI應(yīng)用子系統(tǒng)。 1 商務(wù)智能系統(tǒng)的處理流程 商務(wù)智能系統(tǒng)是一種提高企業(yè)生存能力的有效工具，從系統(tǒng)的觀點(diǎn)來(lái)看，一個(gè)典型的商務(wù)智能系統(tǒng)包括明確需求、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)存儲(chǔ)、知識(shí)挖掘以及應(yīng)用反饋幾個(gè)主要的處理流程。 Business Objects等公司成立了中國(guó)研究中心，其對(duì)中國(guó)市場(chǎng)的重視程度可見(jiàn)一斑。 5 商務(wù)智能的應(yīng)用 目前商務(wù)智能在全球的應(yīng)用主要集中在保險(xiǎn)業(yè)、銀行業(yè)、電信業(yè)、制造業(yè)、零售業(yè)、稅務(wù)和電子商務(wù)等領(lǐng)域。 ?從數(shù)據(jù)分析的角度看，商務(wù)智能是為了解決商業(yè)活動(dòng)中遇到的各種問(wèn)題，利用各種信息系統(tǒng)進(jìn)行的高質(zhì)量和有價(jià)值的信息收集、分析、處理過(guò)程，其基本功能包括個(gè)性化的信息分析、預(yù)測(cè)和輔助決策。 ?SAS認(rèn)為：商業(yè)智能是關(guān)于在組織內(nèi)部和組織周?chē)诎l(fā)生的智能或知識(shí)。 國(guó)內(nèi)外一些知名的廠商也根據(jù)自身的產(chǎn)品提出獨(dú)特的見(jiàn)解： ?IDC將商務(wù)智能定義為：終端用戶查詢和報(bào)告工具、 OLAP工具、數(shù)據(jù)挖掘軟件、數(shù)據(jù)集市和數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品等軟件工具的集合。 2 商務(wù)智能的定義 ?Gartner Group最早提出商務(wù)智能概念，它認(rèn)為：商業(yè)智能技術(shù)提供使企業(yè)迅速分析數(shù)據(jù)的技術(shù)和方法，包括收集、管理和分析數(shù)據(jù)，將這些數(shù)據(jù)轉(zhuǎn)化為有用的信息，然后分發(fā)到企業(yè)各處，輔助商業(yè)決策的制定。 （ 1）企業(yè)運(yùn)營(yíng)模式的變化。商務(wù)智能的目標(biāo)是了解變化的意義 —— 從而理解甚至預(yù)見(jiàn)變化本身。第 13章 商務(wù)智能系統(tǒng) 商務(wù)智能系統(tǒng)是應(yīng)用人工智能、數(shù)據(jù)挖掘、數(shù)據(jù)倉(cāng)庫(kù)等先進(jìn)技術(shù)，按照企業(yè)既定的業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行分析和挖掘，揭示出隱藏的、未知的知識(shí)或驗(yàn)證已知的規(guī)律，從而支持企業(yè)的智能管理與決策，提高企業(yè)核心競(jìng)爭(zhēng)力。通過(guò)訪問(wèn)當(dāng)前的、可靠的和易消化的信息，幫助企業(yè)從各個(gè)側(cè)面及不同的維度靈活地瀏覽信息和建立模型。 （ 2）“數(shù)據(jù) = 資產(chǎn)”新企業(yè)觀念的建立。 ?商務(wù)智能專(zhuān)家利奧托德這樣描述商務(wù)智能：商務(wù)智能指將存儲(chǔ)于各種商業(yè)信息系統(tǒng)中的數(shù)據(jù)轉(zhuǎn)換成有用信息的技術(shù)。 ?IBM認(rèn)為：商業(yè)智能是一系列由系統(tǒng)和技術(shù)支持的以簡(jiǎn)化信息收集、分析的策略的集合，它應(yīng)該包括企業(yè)需要收集什么信息、誰(shuí)需要去訪問(wèn)這些數(shù)據(jù)、如何把原始數(shù)據(jù)轉(zhuǎn)化為最終導(dǎo)致戰(zhàn)略性決策的智能、客戶服務(wù)和供應(yīng)鏈管理。 ?MSTR認(rèn)為：商業(yè)智能是一系列能夠使公司分析數(shù)據(jù)庫(kù)中的數(shù)據(jù)并根據(jù)收集的信息獲得的洞察力來(lái)做決策的軟件系統(tǒng)。 ?從應(yīng)用的角度看，商務(wù)智能幫助用戶對(duì)商業(yè)數(shù)據(jù)進(jìn)行在線分析處理和數(shù)據(jù)分析，幫助解決商業(yè)問(wèn)題、預(yù)測(cè)發(fā)展趨勢(shì)、輔助決策，對(duì)客戶進(jìn)行分類(lèi)、挖掘潛在客戶等等，以便更好地實(shí)現(xiàn)商業(yè)目的。 我國(guó)這方面的應(yīng)用雖然才剛剛起步，但市場(chǎng)空間十分廣闊。 IDC公司認(rèn)為醫(yī)療、教育和服務(wù)等領(lǐng)域?qū)⑹巧虅?wù)智能增長(zhǎng)最快的行業(yè)。 （ 1）外部數(shù)據(jù)源通過(guò)運(yùn)行環(huán)境（ ERP、 CRM、 SCM等）流入 BI循環(huán)（包含有關(guān)客戶、供應(yīng)商、競(jìng)爭(zhēng)對(duì)手、產(chǎn)品以及企業(yè)本身的信息）； （ 2）進(jìn)入數(shù)據(jù)倉(cāng)庫(kù) /數(shù)據(jù)集市等數(shù)據(jù)存儲(chǔ)部分 —— 對(duì)加入數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)進(jìn)行凈化和轉(zhuǎn)換，糾正錯(cuò)誤的數(shù)據(jù)和統(tǒng)一格式，使其滿足數(shù)據(jù)倉(cāng)庫(kù)應(yīng)當(dāng)具有的數(shù)據(jù)格式和質(zhì)量標(biāo)準(zhǔn)；將其存儲(chǔ)在中央存儲(chǔ)庫(kù)中（充當(dāng)中央存儲(chǔ)庫(kù)的可以是關(guān)系型數(shù)據(jù)庫(kù)或者多維數(shù)據(jù)庫(kù)），數(shù)據(jù)的抽取、凈化、轉(zhuǎn)換和存儲(chǔ)是 BI循環(huán)的核心組成部分； （ 3）數(shù)據(jù)分析和知識(shí)挖掘部分 —— 從數(shù)據(jù)倉(cāng)庫(kù) /數(shù)據(jù)集市中獲取數(shù)據(jù)，并利用數(shù)據(jù)分析和知識(shí)挖掘工具，挖掘出對(duì)決策有用的知識(shí)，將所得結(jié)果提交給業(yè)務(wù)決策者。如下圖： （ 1）數(shù)據(jù)集成子系統(tǒng) 數(shù)據(jù)集成子系統(tǒng)提供了一個(gè)解決企業(yè)的數(shù)據(jù)一致性與集成化問(wèn)題的方案，它通過(guò)數(shù)據(jù)整合、數(shù)據(jù)集中、數(shù)據(jù)交換等數(shù)據(jù)處理手段，將企業(yè)各個(gè)業(yè)務(wù)系統(tǒng)面向應(yīng)用的數(shù)據(jù)重新按照面向統(tǒng)計(jì)分析的方式進(jìn)行組織，屏蔽數(shù)據(jù)資源的異構(gòu)性與分布性，從而實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)訪問(wèn)和數(shù)據(jù)集成。它主要包括各種數(shù)據(jù)分析工具、報(bào)表工具、查詢工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市開(kāi)發(fā)的應(yīng)用。 商務(wù)智能的體系結(jié)構(gòu)可以指導(dǎo)商務(wù)智能系統(tǒng)的實(shí)施，其步驟為： ? 選擇數(shù)據(jù)源 ? 數(shù)據(jù)預(yù)處理 ? 數(shù)據(jù)存儲(chǔ) ? 數(shù)據(jù)分析 （ 1）選擇數(shù)據(jù)源 數(shù)據(jù)源包括了企業(yè)中所有的信息系統(tǒng)，以及根據(jù)決策分析需求可能涉及的其他外部數(shù)據(jù)資源，為了確保商務(wù)智能系統(tǒng)的成功，在識(shí)別和確定數(shù)據(jù)源時(shí)應(yīng)遵循一些原則： ① 保證數(shù)據(jù)的真實(shí)性 ② 保證數(shù)據(jù)的針對(duì)性 ③ 保證數(shù)據(jù)的完整性 （ 2）數(shù)據(jù)預(yù)處理 ETL是商務(wù)智能系統(tǒng)整合異構(gòu)數(shù)據(jù)源的解決方案，簡(jiǎn)單的講， ETL就是抽取、轉(zhuǎn)換和裝載，同時(shí)提供數(shù)據(jù)質(zhì)量的管理，并且貫穿整個(gè)商務(wù)智能解決方案的全過(guò)程，完成整個(gè)系統(tǒng)的數(shù)據(jù)處理與調(diào)度。 b. 數(shù)據(jù)的傳輸模式 數(shù)據(jù)傳輸是通過(guò)網(wǎng)絡(luò)把遠(yuǎn)程的數(shù)據(jù)文件運(yùn)用 FTP傳輸?shù)奖镜啬夸浵隆５D(zhuǎn)換工作可以視具體情況在不同的過(guò)程中實(shí)現(xiàn)，比如可以在數(shù)據(jù)抽取時(shí)轉(zhuǎn)換，也可以在數(shù)據(jù)加載時(shí)轉(zhuǎn)換。②通過(guò)專(zhuān)門(mén)編寫(xiě)的應(yīng)用程序：通過(guò)編寫(xiě)程序檢測(cè) /改正錯(cuò)誤。 ③數(shù)據(jù)清洗 ④數(shù)據(jù)裝載 數(shù)據(jù)裝載主要是將經(jīng)過(guò)轉(zhuǎn)換和清洗的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)里面，即入庫(kù)。 在實(shí)施中，它的步驟如下： a. 讀取匯總數(shù)據(jù)文件、無(wú)需進(jìn)行匯總的源數(shù)據(jù)文件或需以后匯總的源數(shù)據(jù)文件，調(diào)用數(shù)據(jù)文件對(duì)應(yīng)操作配置表，加載到相應(yīng)數(shù)據(jù)表（中間表或回滾表）中； b. 讀取需進(jìn)行實(shí)時(shí)匯總的合法數(shù)據(jù)文件，調(diào)用數(shù)據(jù)文件對(duì)應(yīng)操作配置表，對(duì)數(shù)據(jù)庫(kù)進(jìn)行更新操作； c. 程序根據(jù)生成的不同數(shù)據(jù)文件，同時(shí)生成匯總數(shù)據(jù)，同先前步驟的匯總文件進(jìn)行對(duì)比，如出現(xiàn)不一致，提供系統(tǒng)預(yù)警。 通過(guò)提供多維數(shù)據(jù)視圖和匯總數(shù)據(jù)的預(yù)計(jì)算，數(shù)據(jù)倉(cāng)庫(kù)非常適合聯(lián)機(jī)分析處理（ OLAP）。 ② 元數(shù)據(jù)存貯 簡(jiǎn)單地，元數(shù)據(jù)存貯有兩種形式：其一是以數(shù)據(jù)集為基礎(chǔ)，即每一個(gè)數(shù)據(jù)集有一個(gè)對(duì)應(yīng)的元數(shù)據(jù)文檔，每一個(gè)元數(shù)據(jù)文件中包含對(duì)相應(yīng)數(shù)據(jù)集的元數(shù)據(jù)內(nèi)容。 1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù) 建立數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的目的是要構(gòu)建一種體系化的數(shù)據(jù)存儲(chǔ)環(huán)境，將分析決策所需的大量數(shù)據(jù)從傳統(tǒng)的操作環(huán)境中分離出來(lái)，使分散的、不一致的操作數(shù)據(jù)轉(zhuǎn)換成集成的、統(tǒng)一的信息，運(yùn)用這些信息，發(fā)現(xiàn)問(wèn)題、分析問(wèn)題、解決問(wèn)題，進(jìn)而進(jìn)行決策，為在以后獲得更多的經(jīng)濟(jì)效益服務(wù)。 ② 集成性 ③ 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是在對(duì)原有分散的數(shù)據(jù)庫(kù)數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過(guò)系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息 ③ 非易失性 ④ 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后，一般情況下將被長(zhǎng)期保留，也就是數(shù)據(jù)倉(cāng)庫(kù)中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。 a 早期細(xì)節(jié)數(shù)據(jù) 存儲(chǔ)過(guò)去的詳細(xì)數(shù)據(jù)，反映真實(shí)的歷史情況，這類(lèi)數(shù)據(jù)隨著時(shí)間增加，數(shù)據(jù)量很大，使用頻率低，一般存儲(chǔ)在轉(zhuǎn)換介質(zhì)中，例如磁帶中。 d高度綜合數(shù)據(jù) 這一層的數(shù)據(jù)十分精煉，是一種準(zhǔn)決策數(shù)據(jù)。 ? 粒度是指數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)單位，保存數(shù)據(jù)的細(xì)化或綜合程度的級(jí)別。 ? 與粒度相對(duì)應(yīng)的一個(gè)概念是 “分割” 。 ②數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織形式 a. 簡(jiǎn)單堆積文件 b. 輪轉(zhuǎn)綜合文件 c. 簡(jiǎn)化直接文件 d. 連續(xù)文件 a. 簡(jiǎn)單堆積文件 b. 從面向應(yīng)用的數(shù)據(jù)庫(kù)中每天的數(shù)據(jù)中提取出來(lái)，然后按照相應(yīng)的主題集成為數(shù)據(jù)倉(cāng)庫(kù)中的記錄。以此類(lèi)推。 面向應(yīng)用數(shù)據(jù)庫(kù) 1 月份數(shù)據(jù)d. 連續(xù)文件 它類(lèi)似于簡(jiǎn)單堆積文件，但它是間隔一定時(shí)間的數(shù)據(jù)庫(kù)快照，比如每隔一星期或一個(gè)月作一次。集成范圍定義了數(shù)據(jù)的邊界，而且集成范圍需在建模之前進(jìn)行定義。 高層數(shù)據(jù)模型對(duì)數(shù)據(jù)抽象程度最大，表達(dá)工具為 ER圖。 ? 二次數(shù)據(jù)組：基本不變化，但又存在變化的可能的數(shù)據(jù)項(xiàng)。當(dāng)然關(guān)鍵字結(jié)構(gòu)得發(fā)生改變，以便能加入與每一個(gè)數(shù)據(jù)單元都相關(guān)的時(shí)間元素。在數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)中同樣存在著這樣的模型。通常采用如圖 1311所示的體系結(jié)構(gòu)：數(shù)據(jù)源、數(shù)據(jù)存儲(chǔ)和管理、數(shù)據(jù)分析以及數(shù)據(jù)展示。由于需要數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行 OLAP分析和數(shù)據(jù)挖掘，因此需要在原始數(shù)據(jù)的基礎(chǔ)上增加冗余信息，比如進(jìn)行大量的預(yù)運(yùn)算，建立多維數(shù)據(jù)庫(kù)，以求得到更好的分析結(jié)果。 數(shù)據(jù)展示將應(yīng)用結(jié)果，特別是分析、決策結(jié)果以多種媒體形式表示。 ? 業(yè)務(wù)需求分析。 ? 技術(shù)線。應(yīng)用線的實(shí)施分為應(yīng)用設(shè)計(jì)和應(yīng)用開(kāi)發(fā)兩個(gè)步驟。 ①數(shù)據(jù)線路： ? 模型設(shè)計(jì)。物理設(shè)計(jì)的主要任務(wù)是定義支持模型設(shè)計(jì)必需的物理結(jié)構(gòu)。 ②技術(shù)線路： 技術(shù)路線包括技術(shù)選擇和產(chǎn)品選擇兩步。技術(shù)體系選擇必須從為這些技術(shù)建立全局的結(jié)構(gòu)框架和視角出發(fā)，選擇中需要同時(shí)考慮三個(gè)因素：商業(yè)需求、當(dāng)前的技術(shù)環(huán)境、計(jì)劃的策略技術(shù)方向。應(yīng)用路線包括應(yīng)用設(shè)計(jì)和應(yīng)用開(kāi)發(fā)兩步。 ? 應(yīng)用開(kāi)發(fā)。它可以根據(jù)分析人員的要求，迅速、靈活地對(duì)大量數(shù)據(jù)進(jìn)行復(fù)雜的查詢處理，并且以直觀的、容易理解的形式將查詢結(jié)果提供給各種決策人員，使他們迅速、準(zhǔn)確地掌握企業(yè)的運(yùn)營(yíng)情況，了解市場(chǎng)的需求。 具有以下優(yōu)點(diǎn)： ① 快速性：用戶對(duì) OLAP的快速反應(yīng)能力有很高的要求，主要是指計(jì)算機(jī)的計(jì)算的反應(yīng)速度，系統(tǒng)應(yīng)能在 5秒內(nèi)對(duì)用戶的大部分分析要求做出反應(yīng)，但對(duì)業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)信息卻很難反應(yīng)。 ④ 信息性：不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲(chǔ)在何處， OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管理大容量信息。 ①維是人們觀察數(shù)據(jù)的特定角度。 ②立方體和超立方 (Cube) 多維數(shù)據(jù)模型的數(shù)據(jù)結(jié)構(gòu)可以用這樣來(lái)一個(gè)多