【文章內容簡介】 SQL Server并非解決方案所必須的，同樣的也可以采用Oracle作為存儲平臺。數據整合服務(Integration Services)，它的處理架構組件和在此之上的企業(yè)級提取、轉換和裝載(ETL)工具，通過SSIS配合DTS，能夠設計出符合企業(yè)中大量的ETL。而另外一項關鍵的工具就是SQL Server 2008 Reporting Service(SSRS)[7]，其中包含的報表設計器提供了一個可視SSAS多維數據集查詢設計器，減少了手動編寫OLAP多維數據查詢的需求，從而大大的方便了報表的快速創(chuàng)建。在SQL Server 2008 Analysis Services（SSAS）為數據倉庫提供了存儲和查詢OLAP多維數據集數據的機制，它還提供了OLAP多維數據集供開發(fā)人員進行開發(fā)和管理。在經費有限的時候，還可以把SSAS與SQLServer2008安裝在同一臺物理服務器，雖然不推薦這么做。當源數據經過抽取轉換并裝載到數據倉庫之后, 我們就可以通過各種方式來呈現數據倉庫中的數據，SSAS我們可以為數據倉庫建立一系列的多維數據集(CUBE), 多維數據集包含一組通常由數據倉庫的子集構成的、并組織和匯總到由一組維度和度量值定義的多維結構中的數據，為了便于理解，: OLAP多維數據集概念圖（來自SQL Server聯機叢書）在對比當前流行的數據倉庫解決方案之后，發(fā)現微軟公司的商務智能解決方案最符合本項目的需求，同時公司內部已經采購了SQL Server系列產品，內部研發(fā)人員在使用SQL Server上也有也有比較充足的經驗，所以最終確定采用微軟公司提供的SQL Server2008套件作為數據倉庫的技術路線，： 數據倉庫項目架構圖 本章小結本章介紹了項目所處的業(yè)務環(huán)境、企業(yè)實際的業(yè)務情況、目前正在使用的信息系統，以及項目的需求和目標，同時也描述了期望達到的目標和在項目的過程當中附帶的成果。最后介紹了項目的架構設計所需的不同支持工具，并選定微軟的SQL Server2008套件作為項目的實現工具，確定了技術路線后的項目架構更加清晰明了。第4章 數據存儲結構設計 數據定義的統一統一數據的定義就是對元數據進行管理，在數據倉庫的管理中首要關注的就是元數據，因為元數據是說明數據的數據,實際上元數據時在大多數數據庫應用和信息處理中用于定義、關聯和管理數據的環(huán)境。元數據對于數據倉庫的設計、開發(fā)和運作至關重要，尤其是在數據獲取、轉換和存取方面[8]。只有統一了數據的定義，才能對企業(yè)內的不同應用系統進行集成，數據的不一致性定義是普遍存在的問題，尤其是在多信息應用系統的企業(yè)內部更是如此，本項目也期望通過此項目的進行能夠整理出初步的元數據管理辦法。建立中央數據庫存儲元數據，在日后業(yè)務的變更時先修改中央數據庫的元數據，各種應用系統間的交互再通過中央數據庫進行統一的轉換，這是一種非常不過的解決方案，但是這種解決方案需要企業(yè)投入大量的精力和人員，在本項目中顯得不是特別合適。當前期望能夠通過業(yè)務需求的整理和分析，商討統一各個系統間的數據定義，形成電子文檔進行存檔，提供公司內部進行查閱，這是在當前環(huán)境下比較現實的做法。 數據源結構描述本項目進行的其中一個目標就是進行碼頭生產操作系統TOS主要數據表結構的整理，形成電子文檔，提供給IT內部人員參考，在業(yè)務崗位或者關聯單位有臨時數據提取需求時能夠快速準確的提供數據，而不必依賴于第三方軟件開發(fā)商。在沒有數據字典的情況去了解一個信息系統的數據庫，簡直是個災難，根本無從下手，只有通過猜測和系統數據錄入進行對比分析。但幸運的是，IT部有位老員工對TOS系統比較熟悉，對數據庫的主要結構也比較了解，通過他細心的講解，加上閱讀公司內遺留的各種資料，才整理出《TOS系統數據庫主要表結構》第一版，加上后期的修正在項目收尾的時候才形成了比較完整的生產系統主要表結構信息。具體的表結構此處不再詳細描述，： 表結構范例其中有10張表是與吞吐量相關，這里僅給出表名以供數據倉庫存儲時相對應， ： 源系統吞吐量相關表結構編號表名稱說明T01CONTAINERS集裝箱表，存儲集裝箱相關信息T02CONTAINEREVENTS箱事件表，存儲對箱做過的操作信息T03WORKITEM指令表，存儲對集裝箱的指令操作信息T04EIR設備交接表，存儲一個集裝箱的交接信息T05TERMINALDEVICE終端設備信息，存儲終端的屬性信息T06VESSELBERTHPLAN船舶靠泊計劃，存儲船期信息T07VESSELSHIFTOTHERWORK雜項記錄表，存儲所做的雜項記錄信息T08VESSELSHIFTSETTLE船舶工班表，存儲工班安排信息T09VESSELSHIFTDALLYTIME待工時間表，存儲船舶待工時間和原因T10VESSELLINE航線表，存儲船舶航線信息T11VESSELPORT港口表，存儲往來網口信息T12EMPLOYEEINWORKGROUP員工工班表，存儲員工工班安排T13TYPEOFWORK工種表，存儲工種類型T14BGUEST客戶表，存儲與公司往來客戶資料T15SUSER用戶表，存儲生產系統登錄用戶T16TERMINALDEVICE設備表，存儲公司機械設備信息有了這些整理出來的表結構信息，就能夠清楚的明白需要從源數據中抽取哪些數據，經過何種轉換存儲到數據倉庫中了。 企業(yè)數據標準化前面講到公司內部有眾多的信息系統在運行，系統內各種數據定義不一致，同種數據定義的值單位也有區(qū)別，不同部門間統計數據的方式也有差別，如吞吐量，可以按照自然日(24:00截止)統計，操作部按照每天18點截止統計；吞吐量有些地方包含輔助作業(yè)量有些地方又不包含輔助作業(yè)量；所以，進行數據標準化工作是十分有必要的，這也是數據倉庫建立的基礎工作之一。在吞吐量主題的建立上，首先需要明確各種基礎數據的定義。216。 自然箱量單位UNIT，1條作業(yè)指令即對應1個集裝箱裝船操作，也即為1UNIT。216。 標準箱量單位TEU，根據作業(yè)指令對應的集裝箱尺寸折算為標準TEU，折算規(guī)則為：1個20英尺的集裝箱統計為1TEU，1個40英尺的集裝箱統計為2TEU，；216。 吞吐量統計時間截點按照船舶的實際離泊時間來統計，時間點是18：00，月度數據的統計時間是上月最后一天的18：00（不含：18：00）到當月最后一天的18：00（含18：00）；216。 貨物皮重在統計時間范圍內的船期的裝船作業(yè)箱皮重+卸船作業(yè)箱皮重；216。 貨物凈重在統計時間范圍內的裝船作業(yè)貨重+卸船作業(yè)貨重；216。 倒箱在裝船作業(yè)指令中箱子的進港類型為倒箱（R）的指令，即為了裝某個箱子到船上或從船上卸某個箱子時，需要移動其他集裝箱而進行的操作。倒箱的吞吐量統計按照操作的集裝箱實際情況計算。216。 裝銷子箱是指在裝船作業(yè)時，橋吊作業(yè)的裝銷子箱數量。裝銷子箱作業(yè)1次對應橋吊吊具操作1次,裝1個銷子箱一次即計為1UNIT。折算標準將銷子箱作業(yè)自然量折算為標準箱量的規(guī)則為1UNIT銷子箱折算為1UNIT20英尺普通集裝箱，即折算為1TEU；折算重量為2300千克；216。 卸銷子箱是指在卸船作業(yè)時，橋吊作業(yè)的卸銷子箱數量。卸銷子箱作業(yè)1次對應橋吊吊具操作1次, 卸1個銷子箱一次即計為1UNIT。折算標準將銷子箱作業(yè)自然量折算為標準箱量的規(guī)則為1UNIT銷子箱折算為1UNIT20英尺普通集裝箱，即折算為1TEU；折算重量為2300千克；216。 開艙蓋板指在裝卸船作業(yè)時，橋吊作業(yè)的開艙蓋板數量；1塊艙蓋板開1次即計為1UNIT；折算標準將艙蓋板作業(yè)自然量折算為標準箱規(guī)則為1UNIT艙蓋板折算為1UNIT 40英尺普通集裝箱，即折算為2TEU；折算重量為4000千克；216。 關艙蓋板指在裝卸船作業(yè)時，橋吊作業(yè)的關艙蓋板數量；1塊艙蓋板關1次即計為1UNIT；折算標準將艙蓋板作業(yè)自然量折算為標準箱規(guī)則為1UNIT艙蓋板折算為1UNIT 40英尺普通集裝箱，即折算為2TEU；折算重量為4000千克；216。 集裝箱吞吐量在統計時間范圍內的船期的裝船集裝箱作業(yè)量+卸船集裝箱作業(yè)量；216。 輔助作業(yè)吞吐量在統計時間范圍內的船期，進行倒箱+裝銷子箱+卸銷子箱+開艙蓋板+關艙蓋板的作業(yè)量；明確了吞吐量的各種統計數據定義之后，就能對外提供一致的度量值供各業(yè)務崗位進行分析，不用再為不同的部門而定制不同的統計規(guī)則和單位了，這也將促進對公司日后的工作效率效率，便于部門間的溝通和交流。 數據倉庫數據結構從原系統中抓取數據存儲到數據倉庫中，是數據倉庫建立的目標。項目采用SQL Server2008作為數據倉庫數據的存儲平臺，在數據倉庫中建立了對應源數據中的16張表結構，另外還建立了8張表為多維數據集的建立提供整合后的數據。 數據倉庫表結構對應源數據的16張表數據來自源數據，但是其中的數據時經過加工和整理的，不僅對歷史數據進行了修正，更重要的是在新的表結構中添加了部分冗余的數據字段，為的是更方便的從數據倉庫中提取需要的數據。，可以明顯的發(fā)現16張表之間沒有外鍵關聯，但是超過100行記錄的表都有主鍵。這是因為考慮到數據裝載的速度而取消了外鍵，數據倉庫中的數據來源于事務型的集裝箱碼頭操作系統TOS，存儲到數據倉庫中的數據只提供查詢和分析，并不會存在事務型數據庫中的數據不完整，這樣取消了外鍵的設計，大大提升了數據的載入速度。 數據倉庫表結構（一） 另外8張表是專門為后面的OLAP而建立的，未被圈起的是已經包含在前面所講的16張表中。，具體的數據來源和作用會在后面目標數據與數據源的對應關系中詳細描述。 數據倉庫表結構（二） 目標數據與源數據的對應關系，但是在數據倉庫中存儲的表結構中包含了更多的冗余信息，方便后期對數據的查詢，減少表關聯，同時也剔除了一些無用的字段，為數據表“瘦身”。另外建立的8張表數據表（），有保存ETL時間配置的ETLCofnig表（），有用作日期維度的CalendarDate，還有標識大小箱類型的ContainerSize表，保存作業(yè)類型的QuereType表，保存工班計劃的ShiftSchedule表，還有保存輔助作業(yè)類型的MiscType表。另外兩個大表中的數據是從源數據中經過切割和整合而形成的，其中QcWork表保存橋吊的裝卸船記錄狀況，如設備、工班、吊具的起吊方式、設備編號、泊位編號、集裝箱號、操作人員和發(fā)生時間信息，當查詢集裝箱吞吐量時就可以直接從該表中獲取吞吐量事實；QcWorkMisc是保存橋吊為裝卸船而進行過的輔助作業(yè)，同樣的在查詢輔助作業(yè)吞吐量時可以直接從該表中獲取輔助作業(yè)吞吐量事實。 本章小結數據倉庫環(huán)境中一個重要方面是元數據。元數據是關于數據的數據，只要有程序和數據，元數據就是信息處理環(huán)境的一部分。但是在數據倉庫中，元數據扮演一個新的重要角色。也正因為有了元數據，可以最有效地利用數據倉庫。元數據使得最終用戶能夠探索各種可能性[10]。正是因為元數據在數據倉庫中的特殊地位，作者在本章詳細的介紹了數據倉庫的源數據定義和數據倉庫中的表結構，以及為了數據倉庫的建立而進行的數據標準化定義數據，并以文檔存檔的方式進行保存。第5章 面向集裝箱操作時間的ETL設計 ETL的實現方式數據抽取、轉換和裝載(ETL)的處理過程主要包含四個方面：l 從數據源抽取數據l 清洗校驗數據l 對數據進行轉換l 導入數據到數據倉庫ETL是整個數據倉庫建立過程中最為關鍵的步驟，數據倉庫開發(fā)過程有70%的時間花費在ETL過程上。[8]一般操作型系統中存儲的數據都是和時間相關的，當建立數據倉庫時，從指定的時間開始的數據需要全部遷入到數據倉庫中，這是初始化數據倉庫的過程，這樣歷史的狀態(tài)就可以被反映出來；另外一個過程是捕獲最新更改的數據，這個過程是動態(tài)的，應該是周期性的重復執(zhí)行。一般常用的ETL抽取源數據的方式有：216。 指定條件全部更新（數據倉庫初始化）216。 通過日志分析捕獲新更改的數據216。 通過觸發(fā)器來捕獲216。 根據日期和時間戳來抽取數據216。 通過數據的比對來分析是否抽取數據216。 通過源數據的應用系統增加標識列對比以上幾種方式，其中成本最小的就是使用日志來捕獲數據，但是這種方式只能基于數據庫源系統，且需要提供相應的日志，如果源數據庫與目標數據庫不同則會增加分析日志的難度；通過觸發(fā)器把更改的數據存入指定的表中，抽取時直接從表中讀取，則開發(fā)最方便，但是對源系統將造成額外的開銷和維護工作，損失了一些性能；通過在源數據的應用系統中增加功能增加標識列到表中，則是最麻煩的一件事，不僅要修改數據表結構而且還要對應用系統進行更改，這種方式除非在系統設計之前已經準備為數據倉庫提供數據，否則代價太大；基于時間或者時間戳的方式，使用起來比較方便，每天導入數據時通過日期時間減1天即可，但是可能會因為某些原因在夜間ETL過程失敗，而導致跳過一天的數據未能導入。經過上面的抽取數據還不能直接導入數據倉庫，必須驗證其值是否符合要求，如果不符合還需要進行“清洗”，同時來自不同數據源的數據不可避免的要進行數據轉換。轉換的主要工作就是進行數據值類型的統一和格式的規(guī)范化，這就需要元數據的支持，根據元數據中的定義進行不同系統間數據的一致化，比如不同系統中存儲的性別可能為“男”，也可能為“1”，也可能是“man”，所以需要統一他們的含義再進入數據倉庫；另外在這一步也可以填充代理鍵和日期屬性，這樣在后期的維度建模時可以提升查詢的性能。最后就是數據進入數據倉庫的過程了，經過前面的處理導入數據倉庫的數據應該是“干凈”明確的。 吞吐量數據初始化數據的初始化一般手動執(zhí)行，因為在數據倉庫的建設過程中該步驟是最基礎的數據導入過程，同時由于數據量一般都會非常大，自動執(zhí)行可能會產生未知的錯誤，所以手動執(zhí)行可控性比較高。本項目中采用SSIS工具結合手動執(zhí)行，提高導入數據的效率。通過SSIS工具建立數據倉庫數據初始化SS