產(chǎn)品白皮書之一datastage(編輯修改稿)
2025-08-29 23:35 本頁面
【文章內(nèi)容簡介】 量和性能。象前面所描述的，用戶可以使用企業(yè)版的Designer工具建立簡單的順序數(shù)據(jù)流圖表。當構(gòu)架出順序的數(shù)據(jù)流圖表，用戶不用擔心底層的硬件架構(gòu)和處理器的數(shù)量。一個專門的配置文件可以定義這些底層多處理器計算環(huán)境中的資源（處理器、內(nèi)存、磁盤）。這個配置可以在順序數(shù)據(jù)流圖表和應用的并行執(zhí)行之間建立一個清晰的分離。這樣就可以很簡單開發(fā)擴展的數(shù)據(jù)整合系統(tǒng)并且并行執(zhí)行（如圖六所示）。DataStage企業(yè)版可在管道并行和分區(qū)并行的機制下執(zhí)行，這樣可以獲得高吞吐量和性能：n 數(shù)據(jù)管道 (Data Pipelining) 意味著應用可以從源系統(tǒng)拉入數(shù)據(jù)并且在數(shù)據(jù)流圖表中定義的順序處理功能間移動。記錄通過管道進行流動－使用上面介紹過的數(shù)據(jù)集 (DataSet) 【虛擬】－這樣使得記錄通過一系列的功能組件進行流動而不需要將記錄加載到磁盤。n 數(shù)據(jù)分區(qū) (Data Partitioning) 是一種將記錄集分割到各個分區(qū)，或記錄子集的并行方法。數(shù)據(jù)分區(qū)通常提供了一種好的、可以線性增長的應用性能。企業(yè)版支持記錄集通過應用流的自動分區(qū)，象DB2一樣使用hash、range、entire、random、round robin等方法。這個benchmark是在寫數(shù)據(jù)（每條記錄平均534 byte、50多個字段）之前進行了15此的不同的轉(zhuǎn)換。圖8以1：1的比例顯示出處理器導致近乎線性的性能擴展。Ascential Software可以提供充詳細及驗證過的性能benchmark報告。 端對端的企業(yè)級元數(shù)據(jù)管理Meta Data整合是數(shù)據(jù)整合基礎架構(gòu)的黏合劑，是維護一致性、解釋清晰和正確的關鍵。DataStage企業(yè)版的端對端元數(shù)據(jù)在數(shù)據(jù)整合生命周期中可供所有的工具中共享，確保有關元數(shù)據(jù)可以勾畫出一個清晰、明確的業(yè)務視圖。DataStage企業(yè)版元數(shù)據(jù)管理通過提供一致、正確的元數(shù)據(jù)來幫助用戶管理數(shù)據(jù)中有用的部分。這樣就可以減少在多工具中共享元數(shù)據(jù)時候存儲和更新元數(shù)據(jù)目錄的負擔。通過DataStage企業(yè)版的元數(shù)據(jù)分析和管理功能確保整個商務智能架構(gòu)中整合和業(yè)務規(guī)則的重復使用變得簡單，而不需要傳統(tǒng)編碼方式。DataStage企業(yè)版不像競爭對手，因為對ETL工具的偏執(zhí)，而使得整個整合處理不能得到一個完整的元數(shù)據(jù)視圖。DataStage企業(yè)版通過提供獨特的元數(shù)據(jù)共享功能而不僅僅在ETL工具中具有，避免了不同方法定義間的混淆和沖突，這樣就使得用戶可以在建模工具、ETL工具和最終用戶報表工具中獲得最完整的語義層。確保沒用的或冗余的元數(shù)據(jù)被排除掉，使得業(yè)務管理者通過常用的方法理解數(shù)據(jù)，作出嚴謹?shù)臎Q策。Crosstool沖突分析，使你可以方位變化是如何影響downstream報表的。數(shù)據(jù)繼承mapping確保你總是可以回答這樣的問題：“這些數(shù)據(jù)是從那里來的”，這個功能貫穿整個整合生命周期處理－這是IBM特有的。這樣大大增強了開發(fā)者和基礎原則經(jīng)常改變中的業(yè)務分析的產(chǎn)品性。Meta Data IntegrationDataStage提供了最大化的元數(shù)據(jù)整合，并且在大多數(shù)流行的數(shù)據(jù)建模、數(shù)據(jù)整合和商業(yè)智能工具和標準中共享。細節(jié)上的共享使用戶可以充分利用貫穿整個企業(yè)的“端到端”元數(shù)據(jù)整合。Crosstool impact analysis在DataStage企業(yè)版中可以執(zhí)行深層次分析快速訪問變化對一個數(shù)據(jù)倉庫的影響，返回到操作數(shù)據(jù)存儲，返回到分段數(shù)據(jù)庫，所有的路徑都返回到可以被指定的原始的數(shù)據(jù)源和數(shù)據(jù)建模工具（如ALLFusion ERWin數(shù)據(jù)建模工具）。這些呈現(xiàn)的功能對于數(shù)據(jù)結(jié)構(gòu)改變而不破壞嚴格的downstream報表是非常必要的。Data lineage使用元數(shù)據(jù)管理圖形展示，DataStage企業(yè)版給最終用戶一個完全的數(shù)據(jù)歷史，這樣就可以判斷是如何影響數(shù)據(jù)分析的。簡單說，data lineage回答的是“數(shù)據(jù)從那里來”。Query Builder這個工具使簡單導航變得更簡單和過濾掉以在線文檔格式或內(nèi)嵌在impact analysis模板中的查詢。這個查詢工具消除對寫SQL才能產(chǎn)生出結(jié)果的需要。Meta Data Sharing and reuseDataStage企業(yè)版使用了“publish and subscribe”機制從一系列的數(shù)據(jù)源發(fā)布標準的元數(shù)據(jù)。用戶可以一次性或recurring basis預定元數(shù)據(jù)發(fā)布。當元數(shù)據(jù)改變時，會自動通知預定者。Meta Data DeliveryDataStage企業(yè)版允許通過報表和XML或HTML格式的查詢結(jié)果對元數(shù)據(jù)進行動態(tài)的、面向批處理的和XSLT的客戶化發(fā)布。使hyper－link終端用戶的訪問和導航變得更加容易。這些可以自動發(fā)布到任何Web Site和門戶。當遠端服務器透明地報告操作結(jié)果給DataStage企業(yè)版，作為一種特有的優(yōu)勢的時候，DataStage企業(yè)版元數(shù)據(jù)管理工具可以很有效率地收集到數(shù)據(jù)整合環(huán)境中發(fā)生的事件。管理者能夠回顧作業(yè)并且預先識別瓶頸和處理中的錯誤。結(jié)果：更少
環(huán)評公示相關推薦
鄂ICP備17016276號-1