【正文】 處理過程 ETL的重要性 信息技術(shù)迅速發(fā)展的今天，企業(yè)面臨的問題是已經(jīng)從如何獲取數(shù)據(jù)轉(zhuǎn)變?yōu)槿绾尾拍馨汛罅康臄?shù)據(jù)轉(zhuǎn)換成可靠、準(zhǔn)確的商用信息，數(shù)據(jù)倉庫技術(shù)的出現(xiàn)解決了逐一難題[21]。JasperSoft還有他最重要的報表，報表設(shè)計器iReport Designer擁有友好的圖形設(shè)計界面，開發(fā)完成后最終編譯成XML文件。業(yè)務(wù)數(shù)據(jù)臨時表：主要記錄ERP系統(tǒng)數(shù)據(jù)，每天進(jìn)行增量同步，直接把ERP數(shù)據(jù)同步到目標(biāo)系統(tǒng)數(shù)據(jù)庫?；谀繕?biāo)數(shù)據(jù)庫，結(jié)合業(yè)務(wù)需求，進(jìn)行報表開發(fā)，并發(fā)布到JasperServer平臺上，通過JDBC連接數(shù)據(jù)庫，利用SQL語句取得數(shù)據(jù)并展示。其余選項均由報表定制。所以ETL在處理過程中，需要有靈活的配置文件，來設(shè)置ETL某個邏輯是否啟用。 數(shù)據(jù)源分析一、數(shù)據(jù)分散現(xiàn)在需要整和的數(shù)據(jù)源有Oracle11gR2數(shù)據(jù)庫，分為歷史庫和正式庫；預(yù)算系統(tǒng)導(dǎo)出EXCEL文件；匯率TXT文本文檔。該公司下香港區(qū)域共設(shè)769個費用發(fā)生部門，大陸區(qū)域共設(shè)1005個費用發(fā)生部門。三、整合結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)據(jù)META Group估計，平均70% 的企業(yè)信息資產(chǎn)是非結(jié)構(gòu)化的形式，這些數(shù)據(jù)對企業(yè)發(fā)展非常有價值的信息，比如市場的整體表現(xiàn)以及競爭對手的表現(xiàn)等。但在實際項目實施過程中，由于業(yè)務(wù)人員的水平經(jīng)常不足以達(dá)到提出企業(yè)未來的管理模型架構(gòu)[19]。使得BI與OA、CRM、ERP、SCM以及其它系統(tǒng)之間能實現(xiàn)融合集成，系統(tǒng)之間的結(jié)構(gòu)化數(shù)據(jù)能通過門戶管理平臺互相調(diào)用、展現(xiàn)，全面提供決策支持、知識挖掘、商業(yè)智能等一體化服務(wù)，實現(xiàn)企業(yè)數(shù)字化、知識化、虛擬化。數(shù)據(jù)挖掘的研究重點則偏向數(shù)據(jù)挖掘算法以及數(shù)據(jù)挖掘技術(shù)在新的數(shù)據(jù)類型、應(yīng)用環(huán)境中使用時所出現(xiàn)新問題的解決上，如對各種非結(jié)構(gòu)化數(shù)據(jù)的挖掘、數(shù)據(jù)挖掘語言的標(biāo)準(zhǔn)化以及可視化數(shù)據(jù)挖掘等。預(yù)測型模式是可以根據(jù)數(shù)據(jù)項的值精確確定某種結(jié)果的模式。 OLAP技術(shù)聯(lián)機分析處理(Online Analytical Processing ，簡稱 OLAP) 又稱多維分析，由 EF Codd 在 1994 年提出，它對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行多維分析和展現(xiàn)，是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)更深入了解的一類軟件技術(shù)。ETL技術(shù)可以制定一系列規(guī)則將分散的數(shù)據(jù)集中整合，并存儲到同一數(shù)據(jù)倉庫中，解決了數(shù)據(jù)的多元化問題。智慧企業(yè)的構(gòu)建離不開商務(wù)智能系統(tǒng)，除了全面部署基礎(chǔ)信息系統(tǒng)，整合現(xiàn)有ERP系統(tǒng)之外，最重要的是數(shù)據(jù)。本文在對該項目進(jìn)行需求分析，以及目標(biāo)系統(tǒng)的評估后提出解決方案，利用SQL Server Intelligence Services將不同數(shù)據(jù)源整合，引入開源軟件JasperSoft，進(jìn)行報表開發(fā)以及終端展示。第七場：目標(biāo)系統(tǒng)展示。介紹了本次課題研究方向和內(nèi)容以及目的和意義。數(shù)據(jù)集成是商務(wù)智能的核心和靈魂，它需要將具有調(diào)研價值的數(shù)據(jù)按規(guī)則進(jìn)行集成，數(shù)據(jù)集成所完成的工作就是將所需數(shù)據(jù)從多個數(shù)據(jù)源中提取并進(jìn)行必要的轉(zhuǎn)換、計算，最后傳輸?shù)侥繕?biāo)數(shù)據(jù)庫，而這個過程就是ETL[10]。 有自己專屬的ETL: JasperETL 。完全滿足大、中、小各級企業(yè)的商業(yè)需求，同時滿足其它軟件集成商的需求。他們只是相信開源軟件（OSS）的價值主張與閉源軟件相比，開源軟件價格相對較低的（但絕不是免費）、靈活性高，但卻是以犧牲（多數(shù)觀察家承認(rèn)）某些功能或特點為代價的在全球經(jīng)濟不景氣的條件下更能放射出耀眼的光芒。這種伙伴關(guān)系為開源供應(yīng)商提供了一個與大型私有軟件廠商競爭的有效手段，比如微軟、IBM、甲骨文。隨著越來越多的公司尋找能夠少花錢多辦事的創(chuàng)新解決方案，他們將會像10年前Linux的使用先驅(qū)者那樣開始嘗試使用Linux操作系統(tǒng)，并且最近幾年會在整個基礎(chǔ)設(shè)施堆棧中一直使用開源技術(shù)。例如，許可證不能要求所有與之一起發(fā)行的其他軟件都是開源軟件。五、無個人或團體歧視許可證不能都有針對任何個人或團體制在專門奮斗領(lǐng)域內(nèi)的任何人使用該程序。源代碼必須是以當(dāng)程序員修改程序時優(yōu)先選用的形式提供。實施BI項目，最終目標(biāo)是及時的拿到準(zhǔn)確、科學(xué)的數(shù)據(jù)，并合理的展現(xiàn)出來，給企業(yè)決策者提供依據(jù)。查看項目明細(xì)值，顯示最明細(xì)的費用科目、項目編號、憑證號、金額、內(nèi)容、處理日期等。而在一切技術(shù)問題得以解決后，面對眾多BI軟件、平臺，讓企業(yè)家望而卻步，如何選型又成為實施BI的一道門檻。ERP積累的業(yè)務(wù)數(shù)據(jù)相對來說是規(guī)整的，數(shù)據(jù)倉庫在這些數(shù)據(jù)之上，結(jié)合OLAP技術(shù)及數(shù)據(jù)挖掘技術(shù)，將非直觀的、隱含的信息和知識以直觀的形式描述，輔助領(lǐng)導(dǎo)層進(jìn)行決策分析。大多企事業(yè)單位已經(jīng)建立了信息系統(tǒng)，既有一般的MIS，也包括大型的應(yīng)用系統(tǒng)如ER、CRM系統(tǒng)。而當(dāng)企業(yè)需要將BI于現(xiàn)有的ERP軟件進(jìn)行整合時，遇到的第一大難點就是，如何將現(xiàn)有數(shù)據(jù)源規(guī)整。通過分析具體數(shù)據(jù)，發(fā)現(xiàn)確定有效的、新穎的、有潛在使用價值的、以往不為人知的、最終可理解的信息，為企業(yè)良好運營和決策部門做出重要決策提供幫助。報表系統(tǒng)將企業(yè)已有的數(shù)據(jù)進(jìn)行分析、加工、改造，以表格、分析圖等直觀形式展現(xiàn)，既滿足了企業(yè)信息化的需求，并且加工適中，實施快速、方便[5]。對于JasperSoft這樣的開源BI公司來說，最近的經(jīng)濟危機給他們提供了前所未有的機遇。而企業(yè)每年在ERP系統(tǒng)上的資金投入是相當(dāng)可觀的一筆數(shù)目，然而你會發(fā)現(xiàn)，每年上百萬甚至上千萬的投入，最終看到的結(jié)果是將傳統(tǒng)的紙質(zhì)數(shù)據(jù)信息轉(zhuǎn)存為電子數(shù)據(jù)，換來的是每年幾百個G的數(shù)據(jù)的增長。第二層為集成層，即ETL處理過程，將數(shù)據(jù)統(tǒng)一格式化，抽取、轉(zhuǎn)化、裝載，并建立目標(biāo)數(shù)據(jù)庫/數(shù)據(jù)倉庫。所以商務(wù)智能是后ERP時代非常重要的方向。ERP后ERP時代MRP物料信息集成MRPⅡ物料/資金信息集成ERPⅡ協(xié)同商務(wù)圖 信息集成的發(fā)展甲骨文(中國)軟件系統(tǒng)有限公司應(yīng)用產(chǎn)品咨詢顧問部總監(jiān)謝鵬認(rèn)為：在過去的二十年，ERP所承載的事情已經(jīng)很多，產(chǎn)、供、銷、人、財、物一直集中在企業(yè)內(nèi)部，ERP已完成了它即定的使命，ERP將從原來著眼企業(yè)內(nèi)部開始去著眼企業(yè)間的管理協(xié)同向外延展。早在2004年，我國企業(yè)在應(yīng)用ERP/MRPⅡ系統(tǒng)方面投資己超過80億元人民幣，己有近千家企業(yè)購買了ERP軟件。甲骨文公司大中華區(qū)使用軟件業(yè)務(wù)總經(jīng)理盧汝文近來在媒體上公開表示，在20年前，基于整合不同分散的企業(yè)應(yīng)用軟件到一個系統(tǒng)，ERP產(chǎn)品使企業(yè)實現(xiàn)了對業(yè)務(wù)流程的標(biāo)準(zhǔn)化，ERP已經(jīng)實現(xiàn)了這個目標(biāo)。 商務(wù)智能系統(tǒng)架構(gòu)商業(yè)智能系統(tǒng)是一種智能的決策支持系統(tǒng)，它為企業(yè)管理人員提供的通常是對于4W (who、what、when、where)即人物、事件、時間和地點的決策支持[3]。 應(yīng)用層 分析層 非結(jié)構(gòu)化數(shù)據(jù)源 數(shù)據(jù)層 結(jié)構(gòu)化數(shù)據(jù)源 集成層數(shù)據(jù)文件ERP。企業(yè)既存的架構(gòu)(ERP)是BI市場日趨成熟的基石，企業(yè)對BI的態(tài)度也已由原先的觀望到現(xiàn)在的主動出擊，這也讓BI需求出現(xiàn)井噴成為不爭的事實。 國內(nèi)BI系統(tǒng)與ERP整合應(yīng)用在國內(nèi)，商務(wù)智能的概念引入較晚。它的主要實現(xiàn)步驟是：1）ETL：將行業(yè)的業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)及其它可用數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行抽取、清洗和轉(zhuǎn)換后，將清潔數(shù)據(jù)裝入到數(shù)據(jù)平臺，并從數(shù)據(jù)平臺裝載到各數(shù)據(jù)集市中。 實施BI項目的困難在大環(huán)境的驅(qū)使下，越來越多的企業(yè)提出了整合ERP，實現(xiàn)商務(wù)智能的需求。DSS和MIS是兩類相互關(guān)聯(lián)但性質(zhì)迥然不同的系統(tǒng)，人們對DSS的期望在于能夠利用DSS提供的方法庫、模型庫、知識庫等知識，在數(shù)據(jù)庫的基礎(chǔ)上發(fā)掘普通MIS不能實現(xiàn)的決策支持功能。數(shù)據(jù)倉庫技術(shù)為OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)創(chuàng)造了應(yīng)用的環(huán)境，有助于從業(yè)務(wù)數(shù)據(jù)中發(fā)現(xiàn)深層次的信息和知識[6]。MRPII是通過計劃的及時滾動來控制整個生產(chǎn)過程，一般只能實現(xiàn)事中控制。背景：以現(xiàn)有的ERP系統(tǒng)JDE為主，抽取當(dāng)中財務(wù)數(shù)據(jù)，結(jié)合預(yù)算系統(tǒng)導(dǎo)出數(shù)據(jù)，以及歷史數(shù)據(jù)，建立BI費用查詢系統(tǒng)。多數(shù)據(jù)源是現(xiàn)在企業(yè)的通病。開發(fā)平臺：SQL Server Business Intelligence Development Studio JasperSoft iReport Designer展示平臺：JasperServer 開源BI 開源的定義開源，（Open Source），其定義如下：一、自由再發(fā)行許可證不能限制任何團體銷售或贈送軟件，軟件可以是幾個不同來源的程序集成后的軟件發(fā)行版中的其中一個原件。三、派生程序許可證必須允許更改或派生程序。我們需要商業(yè)用戶參與我們的工作，而不讓他們感到被排除在外。 開源軟件的優(yōu)勢一、由于全球經(jīng)濟的進(jìn)一步惡化，開源軟件的普及率將會增加。企業(yè)用戶將會繼續(xù)向這種基于訂閱的服務(wù)模式遷移，從而能更好地處理自己的IT成本。比如，紅帽JBoss Ingres堆棧將會馬上與Java應(yīng)用開發(fā)人員見面，與此同時，Sun的堆棧也將提供給Sun和MySQL客戶。JBoss、MySQL和紅帽等開源廠商在2001至2003年全球經(jīng)濟蕭條期間成長非常迅速。有比較完善的權(quán)限控制，用的acegi，支持多種數(shù)據(jù)源，只要有JDBC驅(qū)動。查詢語句支持SQL, Hibernate (HQL), XPath (XML), EJBQL, MDX（多維查詢語言，OLAP專用，SQLSERVER用的是XMLA)。本文以歐姆龍（上海）有限公司費用查詢?yōu)楸尘?，主要研究BI項目集成現(xiàn)有ERP系統(tǒng)JDE以及預(yù)算系統(tǒng)等多個系統(tǒng)數(shù)據(jù)，集成開源報表平臺JasperServer，進(jìn)行在線費用綜合查詢與比較。第三章：針對項目特點，進(jìn)行了詳細(xì)的需求分析。實際上，好的商業(yè)智能解決方案可以解決很多層面上的問題——戰(zhàn)術(shù)、戰(zhàn)略，甚至經(jīng)營上的問題。而在SQL Server 2005之后，將其性能以及功能上都有了較大的提升，并重新命名為SSIS，數(shù)據(jù)綜合服務(wù)，并且提供了更友善的圖形開發(fā)界面。所謂數(shù)據(jù)層，即將不同數(shù)據(jù)源通過ETL工具最終實現(xiàn)統(tǒng)一整合，建立數(shù)據(jù)倉庫。 數(shù)據(jù)倉庫技術(shù)實施 BI 首先要從企業(yè)內(nèi)部和企業(yè)外部不同的數(shù)據(jù)源，如客戶關(guān)系管理(CRM)、供應(yīng)鏈管理(SCM)、企業(yè)資源規(guī)劃(ERP)系統(tǒng)以及其他應(yīng)用系統(tǒng)等搜集有用的數(shù)據(jù)，進(jìn)行轉(zhuǎn)換和合并，因此需要數(shù)據(jù)倉庫和數(shù)據(jù)集市技術(shù)的支持[14]。稱其為探測式數(shù)據(jù)分析，是因為用戶在選擇相關(guān)數(shù)據(jù)后，通過切片(按二維選擇數(shù)據(jù))、切塊(按三維選擇數(shù)據(jù))、上鉆(選擇更高一級的數(shù)據(jù)詳細(xì)信息以及數(shù)據(jù)視圖)、下鉆(展開同一級數(shù)據(jù)的詳細(xì)信息)、旋轉(zhuǎn)(獲得不同視圖的數(shù)據(jù)) 等操作，可以在不同的粒度上對數(shù)據(jù)進(jìn)行分析嘗試，得到不同形式的知識和結(jié)果。描述型模式不能直接用于預(yù)測。所謂信息可視化是指以圖形、圖像、虛擬現(xiàn)實等易為人們所辨識的方式展現(xiàn)原始數(shù)據(jù)間的復(fù)雜關(guān)系、潛在信息以及發(fā)展趨勢，以便我們能夠更好地利用所掌握的信息資源。商業(yè)智能要想大做小，從最迫切的業(yè)務(wù)入手。二、獨立業(yè)務(wù)規(guī)則模塊，構(gòu)建業(yè)務(wù)規(guī)則引擎將業(yè)務(wù)規(guī)則從應(yīng)用程序中獨立出來，可以使分析員能夠描述獨立于應(yīng)用程序邏輯的處理規(guī)則。四、增強數(shù)據(jù)可視化功能商業(yè)智能市場的火熱反映出企業(yè)對有價值信息的渴求。由于時間累積，JDE系統(tǒng)數(shù)據(jù)庫也被分為正式生產(chǎn)環(huán)境和歷史環(huán)境，導(dǎo)致JDE無法同時查看2個環(huán)境下所有數(shù)據(jù)。而預(yù)算系統(tǒng)導(dǎo)出日期仍舊為“yyyy/mm/dd”格式。三、FACT表創(chuàng)建Fact表中數(shù)據(jù)是整和JDE實際發(fā)生數(shù)據(jù)，以及預(yù)算數(shù)據(jù)。 本章小結(jié)商務(wù)智能系統(tǒng)能夠為使用者提供以下三個基本的效益：一是能集成來自不同數(shù)據(jù)源的多種數(shù)據(jù)類型；二是從數(shù)據(jù)中發(fā)現(xiàn)新關(guān)系的能力；三是極大的加強戰(zhàn)術(shù)和戰(zhàn)略決策及決策過程的精確性[20]。預(yù)算系統(tǒng)導(dǎo)出預(yù)算數(shù)據(jù)，以EXCEL文件形式，一年一次，為一份EXCEL文件。最終業(yè)務(wù)數(shù)據(jù)表：通過SSIS每天增量同步業(yè)務(wù)數(shù)據(jù)臨時表，然后經(jīng)過處理后寫入以下主要表中。 本章小結(jié)本章節(jié)主要介紹了目標(biāo)BI系統(tǒng)的框架設(shè)計。 SQL Server Intergration Services 在前一章節(jié)中，我們已經(jīng)提到我們需要獲取目標(biāo)數(shù)據(jù)庫存在的問題。 一、預(yù)算數(shù)據(jù)導(dǎo)入SSIS包，以EXCEL為數(shù)據(jù)源，每次由預(yù)算系統(tǒng)導(dǎo)出的EXCEL為統(tǒng)一格式，并且統(tǒng)一命名以及放在服務(wù)器指定目錄下。 手工維護靜態(tài)表SSIS包設(shè)計流程圖 定時計劃SSIS包設(shè)計 最主要的ETL過程是每天晚上定時執(zhí)行的SSIS包。包還可以連接到平面文件、Excel 文件和 Analysis Services 項目。并且通過報表的選項，進(jìn)行權(quán)限控制，根據(jù)登錄系統(tǒng)的用戶ID管理系統(tǒng)權(quán)限表，遍歷改用戶所能查看的區(qū)域以及部門，并且顯示在報表選項中。： 固定費用分月比較表設(shè)計界面 費用查詢報表開發(fā)費用查詢報表：分三種查詢模式，分別為按部門查詢、按科目查詢、按費用項目查詢。然后根據(jù)需求看用戶是否選擇外幣金額，關(guān)聯(lián)到匯率表取出當(dāng)月本位幣和外幣轉(zhuǎn)換金額算出外幣金額，最后顯示報表。而當(dāng)用戶選擇了部門后，也可在條件選擇中看到項目編號選項列出了所有項目，從而選擇其一來單獨查看。簡潔的界面風(fēng)格，合理的界面布局也使得客戶使用起來清晰明了。在系統(tǒng)內(nèi)查看到，該系統(tǒng)上線至今1個月，大陸區(qū)域已有激活用戶65位，如下圖所示，其中字段“enabled=1”表示已激活用戶。并通過對抽樣數(shù)據(jù)行數(shù)的對比，更加驗證了SSIS的可靠性。 JasperServer固定費用分月比較表計劃安排46浙江大學(xué)碩士學(xué)位論文 總結(jié)與展望第8章 總結(jié)與展望BI系統(tǒng)整合ERP系統(tǒng)的最大好處是可以得到最精確、最及時的信息，幫助企業(yè)贏得