【正文】 ETL的本質(zhì)是數(shù)據(jù)的流動(dòng)與轉(zhuǎn)換的過(guò)程，在整個(gè)。 ETL數(shù)據(jù)整合過(guò)程總結(jié)本課題的研究重點(diǎn)是BI系統(tǒng)與企業(yè)ERP系統(tǒng)的整合實(shí)現(xiàn)。同時(shí)，商業(yè)智能也是一個(gè)年輕而充滿希望的研究領(lǐng)域，商業(yè)利益的強(qiáng)大驅(qū)動(dòng)力將會(huì)不停地促進(jìn)它的發(fā)展,每年都會(huì)有新的商業(yè)智能的理論和應(yīng)用問(wèn)世，隨著商業(yè)智能應(yīng)用的不斷深入，企業(yè)還將面臨著更多的問(wèn)題和挑戰(zhàn)，等待我們?nèi)ド钊胩剿骱脱芯?。要利用先進(jìn)的信息技術(shù)獲取競(jìng)爭(zhēng)優(yōu)勢(shì)，企業(yè)的決策者需要對(duì)商務(wù)智能系統(tǒng)有一個(gè)較全面的了解，知道它的功能、發(fā)揮作用的方式以及它在分析顧客的消費(fèi)趨勢(shì)，培養(yǎng)忠實(shí)顧客，加強(qiáng)與供應(yīng)商的聯(lián)系，挖掘新的商業(yè)機(jī)會(huì)，分析未來(lái)發(fā)展趨勢(shì)，展開(kāi)商業(yè)策略,調(diào)整產(chǎn)品結(jié)構(gòu)、分銷渠道、工作流程和服務(wù)方式等各方面的運(yùn)用，并對(duì)商務(wù)智能系統(tǒng)的未來(lái)發(fā)展及實(shí)施過(guò)程中存在的問(wèn)題有著充分的認(rèn)識(shí)[22]。下圖是固定費(fèi)用分月比較表的計(jì)劃安排，并在正常執(zhí)行狀態(tài)，每月初導(dǎo)出報(bào)表存放至服務(wù)器上。我們可以清楚的看到權(quán)限控制的效果。登錄我們的展示端JasperServer后，我們可以查看到已經(jīng)發(fā)布到服務(wù)器上的報(bào)表。從而，我們可以推斷出目標(biāo)數(shù)據(jù)庫(kù)，即是我們所需要的數(shù)據(jù)庫(kù)，他包括了最新、最全的數(shù)據(jù)，再次基礎(chǔ)上查看的報(bào)表也是最準(zhǔn)確的，也是有可參考決策價(jià)值的。圖中SSIS均為成功執(zhí)行。SQL Server提供了良好的日記記錄，并可追蹤查詢。 SSIS包運(yùn)行狀態(tài)該系統(tǒng)最終生成SQL Server Integration Services項(xiàng)目4個(gè)，SSIS包7個(gè)，并且制定SQL Server代理Job4個(gè)，臨時(shí)Job1個(gè)。 大陸環(huán)境用戶表JasperServer系統(tǒng)也記錄了運(yùn)行至今所有用戶在該系統(tǒng)上的操作，可以查看到運(yùn)行至今已經(jīng)有43571次被記錄，所有用戶已登錄次數(shù)均超過(guò)1次。 38浙江大學(xué)碩士學(xué)位論文 目標(biāo)系統(tǒng)展示第7章 目標(biāo)系統(tǒng)展示 系統(tǒng)概述目標(biāo)系統(tǒng)最終在2月上旬完成集成測(cè)試，與3月1日在歐姆龍（上海）有限公司正式上線，并且命名Plutus。 而JasperServer和iReport Designer非常完美的配合，這些問(wèn)題都得以解決。 每一個(gè)報(bào)表的參數(shù)都有級(jí)聯(lián)關(guān)系，當(dāng)你更換了區(qū)域選項(xiàng)的值后，你所看到的部門列表也就跟著變化；同樣當(dāng)你選擇了不同的日期類型，你看到的日期選項(xiàng)也會(huì)跟著變化。 報(bào)表是最終的展示端，也是直接提供決策依據(jù)的主要方式，因此報(bào)表設(shè)計(jì)也要求簡(jiǎn)單明了，布局合理，讓最終用戶使用方便，操作簡(jiǎn)單，提高工作效率。而JasperServer也提供了權(quán)限管理，報(bào)表計(jì)劃任務(wù)等多種功能，完全滿足大中小企業(yè)。 JasperReport提供了多種報(bào)表組件，提高了開(kāi)發(fā)效率的同時(shí)也降低了成本。： 費(fèi)用明細(xì)表參數(shù)參數(shù)名稱類型參數(shù)代碼功能區(qū)域單選$P{STRUCT_ID}查看報(bào)表區(qū)域范圍部門單選$P{DIVISION_ID}根據(jù)登錄用戶獲取可查看部門列表，并以樹(shù)狀結(jié)構(gòu)顯示費(fèi)用科目單選$P{ACCOUNT_ID}以樹(shù)狀結(jié)構(gòu)顯示全部科目名稱日期單選$P{DATE}代表需要查看報(bào)表的自然年月項(xiàng)目編號(hào)單選$P{PROJECT_ID}代表需要查看報(bào)表的項(xiàng)目編號(hào)費(fèi)用明細(xì)查詢因沒(méi)有過(guò)多的處理，只是顯示表中數(shù)據(jù)，所以使用了普通的報(bào)表設(shè)計(jì)結(jié)構(gòu)，： 費(fèi)用明細(xì)報(bào)表設(shè)計(jì)界面 本章小結(jié) 本章節(jié)主要討論了報(bào)表的開(kāi)發(fā)過(guò)程。費(fèi)用明細(xì)表有單選參數(shù)供用戶選擇，避免用戶在輸入時(shí)出現(xiàn)輸入錯(cuò)誤而導(dǎo)致不能查看到數(shù)據(jù)。費(fèi)用明細(xì)業(yè)務(wù)數(shù)據(jù)存放于FACT_FIN_AC_LEDGER表中，根據(jù)用戶所選擇的部門列出該部門下所有費(fèi)用明細(xì)。 費(fèi)用查詢表子報(bào)表按部門查詢?cè)O(shè)計(jì)界面按科目查詢費(fèi)用，共有7個(gè)層級(jí)。： 費(fèi)用查詢表參數(shù)參數(shù)名稱類型參數(shù)代碼功能報(bào)表類型單選$P{REPORT_TYPE}可以選擇三種不同查看模式區(qū)域單選$P{STRUCT_ID}查看報(bào)表區(qū)域范圍部門單選$P{DIVISION_ID}根據(jù)登錄用戶獲取可查看部門列表，并以樹(shù)狀結(jié)構(gòu)顯示費(fèi)用科目單選$P{ACCOUNT_ID}以樹(shù)狀結(jié)構(gòu)顯示全部科目名稱明細(xì)級(jí)別單選$P{LEVEL}用來(lái)選擇報(bào)表顯示層級(jí)，可以顯示當(dāng)前部門或科目層級(jí)向下1~3級(jí)日期類型單選$P{DATE_TYPE}查看報(bào)表的日期類型，有年度/半年度/季度/月度日期單選$P{DATE}代表需要查看報(bào)表的自然年月，根據(jù)所選擇日期類型不同，出現(xiàn)的可選值也不同語(yǔ)言單選$P{LANGUAGE}可以更改報(bào)表顯示語(yǔ)言貨幣單選$P{CURRENCY}按不同幣種顯示報(bào)表金額單位單選$P{Unit}可以選擇報(bào)表顯示金額的單位費(fèi)用查詢表是用了子報(bào)表的組件，因此有一個(gè)主報(bào)表三個(gè)子報(bào)表。費(fèi)用查詢表有單選參數(shù)供用戶選擇，避免用戶在輸入時(shí)出現(xiàn)輸入錯(cuò)誤而導(dǎo)致不能查看到數(shù)據(jù)。若當(dāng)前查看天驕范圍內(nèi)有項(xiàng)目編號(hào)的費(fèi)用，則用戶可選擇按摸個(gè)項(xiàng)目查看。按項(xiàng)目查詢：顯示指定項(xiàng)目的費(fèi)用情況，包括預(yù)算值、實(shí)際發(fā)生值、上年實(shí)際發(fā)生值以及實(shí)際發(fā)生值與上年值之比。按部門查詢：顯示指定部門層級(jí)向下1~3級(jí)部門費(fèi)用情況，包括預(yù)算值、實(shí)際發(fā)生值、上年實(shí)際發(fā)生值以及實(shí)際發(fā)生值與上年值之比。而三種查詢方式所展現(xiàn)的報(bào)表結(jié)構(gòu)卻不一樣，所以這里用了子報(bào)表的功能。： 固定費(fèi)用分月比較表參數(shù)參數(shù)名稱類型參數(shù)代碼功能區(qū)域單選$P{STRUCT_ID}查看報(bào)表區(qū)域范圍部門單選$P{DIVISION_ID}根據(jù)登錄用戶獲取可查看部門列表，并以樹(shù)狀結(jié)構(gòu)顯示年單選$P{YEAR}代表需要查看報(bào)表的自然年份月單選$P{MONTH}代表需要查看報(bào)表的自然月份語(yǔ)言單選$P{LANGUAGE}可以更改報(bào)表顯示語(yǔ)言貨幣單選$P{CURRENCY}按不同幣種顯示報(bào)表金額固定費(fèi)用分月比較表通過(guò)組建交叉報(bào)表來(lái)設(shè)計(jì)，共有行分組4個(gè)，列分組3個(gè)。固定費(fèi)用分月比較表有單選參數(shù)供用戶選擇，避免用戶在輸入時(shí)出現(xiàn)輸入錯(cuò)誤而導(dǎo)致不能查看到數(shù)據(jù)。以部門ID為行值進(jìn)行分組，以月份為列值進(jìn)行分組顯示，顯示的月份是當(dāng)前用戶選擇月份所在財(cái)務(wù)年度的第一個(gè)財(cái)務(wù)月度開(kāi)始到用戶所選月份，并進(jìn)行匯總。 固定費(fèi)用分月比較表開(kāi)發(fā)固定費(fèi)用分月比較表：獲取每個(gè)財(cái)務(wù)期間內(nèi)實(shí)際發(fā)生額、預(yù)算值、實(shí)際發(fā)生額/預(yù)算值、去年同期實(shí)際發(fā)生額以及實(shí)際發(fā)生額/去年同期值，并且將所得值匯總。項(xiàng)目最終開(kāi)發(fā)報(bào)表三份，分別針對(duì)財(cái)務(wù)費(fèi)用數(shù)據(jù)以3種不同的形式展現(xiàn)。iReport Designer提供了多種報(bào)表格式，可以很方便、直觀地設(shè)計(jì)諸如交叉報(bào)表、子報(bào)表等復(fù)雜的報(bào)表。本次項(xiàng)目采用手動(dòng)執(zhí)行和自動(dòng)定時(shí)計(jì)劃執(zhí)行SSIS包來(lái)完成一系列操作。SSIS也擁有出眾的Control Flow Function以及那個(gè)靈活多樣并且高效的Data Flow Task (Bulk Insert Task和Execute SQL Task等可以看成特殊的Data Flow Task)。得益于SSIS的強(qiáng)大功能，它支持多種數(shù)據(jù)源，可以使用 .NET 和 OLE DB 訪問(wèn)接口連接到關(guān)系數(shù)據(jù)庫(kù)，還可以使用 ODBC 驅(qū)動(dòng)程序連接到多個(gè)早期數(shù)據(jù)庫(kù)。 維度表數(shù)據(jù)處理SSIS包設(shè)計(jì)流程圖 本章小結(jié)在本章中，闡述的ETL設(shè)計(jì)的重要性。直接同步到目標(biāo)數(shù)據(jù)庫(kù)臨時(shí)表。主要處理邏輯是每天業(yè)務(wù)數(shù)據(jù)的增量同步以及最主要的數(shù)據(jù)處理并寫入目標(biāo)FACT表。由于該企業(yè)財(cái)務(wù)起始月度為4月，而JDE系統(tǒng)數(shù)據(jù)庫(kù)的時(shí)間日期均是自然年月，需要手工維護(hù)時(shí)間轉(zhuǎn)換關(guān)系。 JDE系統(tǒng)歷史數(shù)據(jù)庫(kù)SSIS包設(shè)計(jì)流程圖（右上圖為Data Flow Task展開(kāi)圖） 四、除了業(yè)務(wù)數(shù)據(jù)的手工同步，還有一些靜態(tài)表需要手工執(zhí)行。 匯率SSIS包設(shè)計(jì)流程圖（右上圖為Data Flow Task展開(kāi)圖） 三、JDE系統(tǒng)歷史數(shù)據(jù)庫(kù)數(shù)據(jù)流大，需要導(dǎo)入到目標(biāo)系統(tǒng)的財(cái)務(wù)數(shù)據(jù)表一共有上千萬(wàn)條數(shù)據(jù)，而且歷史數(shù)據(jù)庫(kù)數(shù)據(jù)不會(huì)變，除非有特殊情況。在SSIS中定義EXCEL為數(shù)據(jù)源，目標(biāo)數(shù)據(jù)庫(kù)預(yù)算表為目標(biāo)建立數(shù)據(jù)流任務(wù)。 手工執(zhí)行SSIS包設(shè)計(jì) 手動(dòng)執(zhí)行SSIS包設(shè)計(jì)，主要用來(lái)導(dǎo)入預(yù)算EXCEL文件以及匯率TXT文檔，并且JDE系統(tǒng)歷史數(shù)據(jù)庫(kù)也是手工導(dǎo)入。 ETL流程設(shè)計(jì) 在此項(xiàng)目中，我們ETL的組成是一個(gè)個(gè)SSIS包。但SSIS并不簡(jiǎn)單的是DTS的升級(jí)版本，DTS在底層的實(shí)現(xiàn)上據(jù)說(shuō)已經(jīng)被大幅度的修改，現(xiàn)在的SSIS看起來(lái)越來(lái)越像一個(gè)專業(yè)的ETL工具。我們也提出了來(lái)處理這一系列難題的工具，SQL Server Intergration Services（SSIS）。它是進(jìn)行數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)向數(shù)據(jù)倉(cāng)庫(kù)加載的主要方法，是數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建的重要組成部分。浙江大學(xué)碩士學(xué)位論文 ETL處理過(guò)程第5章 ETL處理過(guò)程 ETL的重要性 信息技術(shù)迅速發(fā)展的今天，企業(yè)面臨的問(wèn)題是已經(jīng)從如何獲取數(shù)據(jù)轉(zhuǎn)變?yōu)槿绾尾拍馨汛罅康臄?shù)據(jù)轉(zhuǎn)換成可靠、準(zhǔn)確的商用信息，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的出現(xiàn)解決了逐一難題[21]。經(jīng)過(guò)對(duì)加載后的數(shù)據(jù)源進(jìn)行處理，得到需要的數(shù)據(jù)并寫入目標(biāo)表。為了解決不同數(shù)據(jù)源整合的問(wèn)題，我們使用了SQL Server的SSIS來(lái)處理不同數(shù)據(jù)源，并最終導(dǎo)入SQL Server目標(biāo)數(shù)據(jù)庫(kù)。JasperServer也幾乎支持了所有格式的報(bào)表導(dǎo)出功能，也擁有比較完善的系統(tǒng)權(quán)限管理。JasperSoft還有他最重要的報(bào)表，報(bào)表設(shè)計(jì)器iReport Designer擁有友好的圖形設(shè)計(jì)界面，開(kāi)發(fā)完成后最終編譯成XML文件。完全滿足大、中、小各級(jí)企業(yè)的商業(yè)需求，同時(shí)滿足其它軟件集成商的需求。圖 目標(biāo)系統(tǒng)數(shù)據(jù)庫(kù)業(yè)務(wù)表結(jié)構(gòu) 目標(biāo)系統(tǒng)展示平臺(tái)介紹目標(biāo)數(shù)據(jù)庫(kù)最終完成，并且SSIS包運(yùn)行正常，每日增量同步，則再次基礎(chǔ)上得到的報(bào)表，就是我們目標(biāo)系統(tǒng)所要得到的最終結(jié)果。而ERP數(shù)據(jù)庫(kù)服務(wù)器不在國(guó)內(nèi)，目標(biāo)系統(tǒng)數(shù)據(jù)庫(kù)又存放在上海，所以我們通過(guò)SSIS直接把ERP數(shù)據(jù)同步到目標(biāo)系統(tǒng)數(shù)據(jù)庫(kù)臨時(shí)表，然后在本地進(jìn)行邏輯處理。業(yè)務(wù)數(shù)據(jù)臨時(shí)表：主要記錄ERP系統(tǒng)數(shù)據(jù)，每天進(jìn)行增量同步，直接把ERP數(shù)據(jù)同步到目標(biāo)系統(tǒng)數(shù)據(jù)庫(kù)。設(shè)計(jì)之初就考慮以下幾個(gè)方面：系統(tǒng)控制表：主要作用就是記錄ETL工作情況，記錄每一次運(yùn)行ETL的審計(jì)信息、運(yùn)行狀態(tài)，以及運(yùn)行結(jié)果。匯率數(shù)據(jù)以TXT文檔形式，每月一份文檔需要同步。并且，企業(yè)組織架構(gòu)、科目結(jié)構(gòu)、人員信息等其他靜態(tài)數(shù)據(jù)?；谀繕?biāo)數(shù)據(jù)庫(kù)，結(jié)合業(yè)務(wù)需求，進(jìn)行報(bào)表開(kāi)發(fā)，并發(fā)布到JasperServer平臺(tái)上，通過(guò)JDBC連接數(shù)據(jù)庫(kù)，利用SQL語(yǔ)句取得數(shù)據(jù)并展示。我們將使用SSIS來(lái)實(shí)現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換、加載等一系列動(dòng)作。本章主要論述了在實(shí)施商務(wù)智能實(shí)需要注意的四點(diǎn)對(duì)策，并針對(duì)目標(biāo)系統(tǒng)的建設(shè)進(jìn)行了需求分析以及目標(biāo)功能的展望。JasperServer很好地提供了多種格式的報(bào)表輸出，包括：Excel、PDF、Word、CSV等等，并且提供了報(bào)表計(jì)劃任務(wù)以及報(bào)表自動(dòng)導(dǎo)出功能，可以以郵件附件形式發(fā)送。其余選項(xiàng)均由報(bào)表定制。區(qū)域：選擇查看區(qū)域，不同用戶登錄可選擇項(xiàng)目有所不同，需要根據(jù)用戶ID管理權(quán)限表，看當(dāng)前用戶是否有全選查看該區(qū)域數(shù)據(jù)，如果沒(méi)有則不顯示改選項(xiàng)部門：在區(qū)域選擇條件下符合權(quán)限的部門以樹(shù)狀結(jié)構(gòu)展現(xiàn)。根據(jù)部門ID、科目ID、項(xiàng)目ID以及時(shí)間整合為一條數(shù)據(jù)，并關(guān)聯(lián)當(dāng)月匯率值進(jìn)行人民幣、美元、港元、日元之間的轉(zhuǎn)換。二、日期、組織架構(gòu)維護(hù)該公司目前以新自然月份4月為財(cái)務(wù)年度的第一個(gè)月，也就是查看2012財(cái)務(wù)年度的所有月份數(shù)據(jù)，即查看自然月份2012年4月至2013年3月的數(shù)據(jù)，而JDE系統(tǒng)以及預(yù)算數(shù)據(jù)均是以自然月份表示，所以再查看數(shù)據(jù)時(shí)必須轉(zhuǎn)換為財(cái)務(wù)月份查看。所以ETL在處理過(guò)程中，需要有靈活的配置文件，來(lái)設(shè)置ETL某個(gè)邏輯是否啟用。匯率則是每月初提供一份固定格式TXT文檔，這些數(shù)據(jù)都是需要制定定時(shí)同步更新。另外金額在JDE系統(tǒng)數(shù)據(jù)庫(kù)均擴(kuò)大100倍，除了日元。比如日期格式在存入數(shù)據(jù)的同時(shí)轉(zhuǎn)換為數(shù)字型，例如2013/01/20日，則轉(zhuǎn)換為113020。 數(shù)據(jù)源分析一、數(shù)據(jù)分散現(xiàn)在需要整和的數(shù)據(jù)源有Oracle11gR2數(shù)據(jù)庫(kù)，分為歷史庫(kù)和正式庫(kù)；預(yù)算系統(tǒng)導(dǎo)出EXCEL文件；匯率TXT文本文檔。預(yù)計(jì)月末月初同時(shí)在線人數(shù)超過(guò)50人，其最主要目的是打印報(bào)表。更提出要求，實(shí)際發(fā)生費(fèi)用需要與該部門預(yù)算值相比較，因此基于費(fèi)用查詢的BI系統(tǒng)整合現(xiàn)有ERP、預(yù)算系統(tǒng)等所有相關(guān)數(shù)據(jù)與系統(tǒng)迫在眉睫。現(xiàn)有ERP系統(tǒng)JDE正在使用，但是JDE系統(tǒng)內(nèi)只能查看到各個(gè)部門實(shí)際費(fèi)用發(fā)生額，并且由于JDE系統(tǒng)內(nèi)部公司權(quán)限管理的限制下，各個(gè)公司的領(lǐng)導(dǎo)人只能查看該公司費(fèi)用發(fā)生情況。該公司下香港區(qū)域共設(shè)769個(gè)費(fèi)用發(fā)生部門，大陸區(qū)域共設(shè)1005個(gè)費(fèi)用發(fā)生部門。數(shù)據(jù)的可視化功能應(yīng)能以圖形的方式對(duì)數(shù)據(jù)和數(shù)據(jù)間的關(guān)聯(lián)進(jìn)行描述和展現(xiàn)，并運(yùn)用關(guān)聯(lián)分析、網(wǎng)絡(luò)分析、路徑分析、時(shí)間序列分析、空間分析等圖形分析方法發(fā)現(xiàn)和揭示數(shù)據(jù)中隱含的公共要素和關(guān)聯(lián)，幫助客戶將大量、未知質(zhì)量、低關(guān)聯(lián)、低價(jià)值的信息轉(zhuǎn)化成少量、易理解、高關(guān)聯(lián)性、可操作的洞察力。而其實(shí)本質(zhì)上，企業(yè)需要商業(yè)智能做的是透過(guò)數(shù)據(jù)提供出對(duì)市場(chǎng)環(huán)境和企業(yè)運(yùn)營(yíng)管理的一種洞察力，一種基于對(duì)過(guò)去歷史數(shù)據(jù)分析的預(yù)測(cè)能力。因此，企業(yè)越來(lái)越需要一種統(tǒng)一的商業(yè)智能平臺(tái)來(lái)挖掘、分析和利用所有這些信息，解決各種非結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)信息的采集、管理、利用、傳遞和增值，并將它們有機(jī)地整合到結(jié)構(gòu)化數(shù)據(jù)的商業(yè)智能環(huán)境中，以此來(lái)實(shí)現(xiàn)企業(yè)內(nèi)容價(jià)值鏈的最優(yōu)化。三、整合結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)據(jù)META Group估計(jì)，平均70% 的企業(yè)信息資產(chǎn)是非結(jié)構(gòu)化的形式，這些數(shù)據(jù)對(duì)企業(yè)發(fā)展非常有價(jià)值的信息，比如市場(chǎng)的整體表現(xiàn)以及競(jìng)爭(zhēng)對(duì)手的表現(xiàn)等。業(yè)務(wù)規(guī)則引擎是業(yè)務(wù)規(guī)則的一個(gè)獨(dú)立的業(yè)務(wù)邏輯構(gòu)件，它能捕獲商業(yè)活動(dòng)或者業(yè)務(wù)流程中的一些重要的知識(shí)，并能把這些知識(shí)應(yīng)用到實(shí)際業(yè)務(wù)中；或者也可以看作是“專家系統(tǒng)”，可使用業(yè)務(wù)規(guī)則引擎來(lái)分析一個(gè)數(shù)據(jù)集，從中得