產(chǎn)品白皮書之一datastage(編輯修改稿)
2024-08-29 23:35 本頁面
【文章內(nèi)容簡介】 量和性能。象前面所描述的，用戶可以使用企業(yè)版的Designer工具建立簡單的順序數(shù)據(jù)流圖表。當(dāng)構(gòu)架出順序的數(shù)據(jù)流圖表，用戶不用擔(dān)心底層的硬件架構(gòu)和處理器的數(shù)量。一個(gè)專門的配置文件可以定義這些底層多處理器計(jì)算環(huán)境中的資源（處理器、內(nèi)存、磁盤）。這個(gè)配置可以在順序數(shù)據(jù)流圖表和應(yīng)用的并行執(zhí)行之間建立一個(gè)清晰的分離。這樣就可以很簡單開發(fā)擴(kuò)展的數(shù)據(jù)整合系統(tǒng)并且并行執(zhí)行（如圖六所示）。DataStage企業(yè)版可在管道并行和分區(qū)并行的機(jī)制下執(zhí)行，這樣可以獲得高吞吐量和性能：n 數(shù)據(jù)管道 (Data Pipelining) 意味著應(yīng)用可以從源系統(tǒng)拉入數(shù)據(jù)并且在數(shù)據(jù)流圖表中定義的順序處理功能間移動(dòng)。記錄通過管道進(jìn)行流動(dòng)－使用上面介紹過的數(shù)據(jù)集 (DataSet) 【虛擬】－這樣使得記錄通過一系列的功能組件進(jìn)行流動(dòng)而不需要將記錄加載到磁盤。n 數(shù)據(jù)分區(qū) (Data Partitioning) 是一種將記錄集分割到各個(gè)分區(qū)，或記錄子集的并行方法。數(shù)據(jù)分區(qū)通常提供了一種好的、可以線性增長的應(yīng)用性能。企業(yè)版支持記錄集通過應(yīng)用流的自動(dòng)分區(qū)，象DB2一樣使用hash、range、entire、random、round robin等方法。這個(gè)benchmark是在寫數(shù)據(jù)（每條記錄平均534 byte、50多個(gè)字段）之前進(jìn)行了15此的不同的轉(zhuǎn)換。圖8以1：1的比例顯示出處理器導(dǎo)致近乎線性的性能擴(kuò)展。Ascential Software可以提供充詳細(xì)及驗(yàn)證過的性能benchmark報(bào)告。 端對(duì)端的企業(yè)級(jí)元數(shù)據(jù)管理Meta Data整合是數(shù)據(jù)整合基礎(chǔ)架構(gòu)的黏合劑，是維護(hù)一致性、解釋清晰和正確的關(guān)鍵。DataStage企業(yè)版的端對(duì)端元數(shù)據(jù)在數(shù)據(jù)整合生命周期中可供所有的工具中共享，確保有關(guān)元數(shù)據(jù)可以勾畫出一個(gè)清晰、明確的業(yè)務(wù)視圖。DataStage企業(yè)版元數(shù)據(jù)管理通過提供一致、正確的元數(shù)據(jù)來幫助用戶管理數(shù)據(jù)中有用的部分。這樣就可以減少在多工具中共享元數(shù)據(jù)時(shí)候存儲(chǔ)和更新元數(shù)據(jù)目錄的負(fù)擔(dān)。通過DataStage企業(yè)版的元數(shù)據(jù)分析和管理功能確保整個(gè)商務(wù)智能架構(gòu)中整合和業(yè)務(wù)規(guī)則的重復(fù)使用變得簡單，而不需要傳統(tǒng)編碼方式。DataStage企業(yè)版不像競(jìng)爭(zhēng)對(duì)手，因?yàn)閷?duì)ETL工具的偏執(zhí)，而使得整個(gè)整合處理不能得到一個(gè)完整的元數(shù)據(jù)視圖。DataStage企業(yè)版通過提供獨(dú)特的元數(shù)據(jù)共享功能而不僅僅在ETL工具中具有，避免了不同方法定義間的混淆和沖突，這樣就使得用戶可以在建模工具、ETL工具和最終用戶報(bào)表工具中獲得最完整的語義層。確保沒用的或冗余的元數(shù)據(jù)被排除掉，使得業(yè)務(wù)管理者通過常用的方法理解數(shù)據(jù)，作出嚴(yán)謹(jǐn)?shù)臎Q策。Crosstool沖突分析，使你可以方位變化是如何影響downstream報(bào)表的。數(shù)據(jù)繼承mapping確保你總是可以回答這樣的問題：“這些數(shù)據(jù)是從那里來的”，這個(gè)功能貫穿整個(gè)整合生命周期處理－這是IBM特有的。這樣大大增強(qiáng)了開發(fā)者和基礎(chǔ)原則經(jīng)常改變中的業(yè)務(wù)分析的產(chǎn)品性。Meta Data IntegrationDataStage提供了最大化的元數(shù)據(jù)整合，并且在大多數(shù)流行的數(shù)據(jù)建模、數(shù)據(jù)整合和商業(yè)智能工具和標(biāo)準(zhǔn)中共享。細(xì)節(jié)上的共享使用戶可以充分利用貫穿整個(gè)企業(yè)的“端到端”元數(shù)據(jù)整合。Crosstool impact analysis在DataStage企業(yè)版中可以執(zhí)行深層次分析快速訪問變化對(duì)一個(gè)數(shù)據(jù)倉庫的影響，返回到操作數(shù)據(jù)存儲(chǔ)，返回到分段數(shù)據(jù)庫，所有的路徑都返回到可以被指定的原始的數(shù)據(jù)源和數(shù)據(jù)建模工具（如ALLFusion ERWin數(shù)據(jù)建模工具）。這些呈現(xiàn)的功能對(duì)于數(shù)據(jù)結(jié)構(gòu)改變而不破壞嚴(yán)格的downstream報(bào)表是非常必要的。Data lineage使用元數(shù)據(jù)管理圖形展示，DataStage企業(yè)版給最終用戶一個(gè)完全的數(shù)據(jù)歷史，這樣就可以判斷是如何影響數(shù)據(jù)分析的。簡單說，data lineage回答的是“數(shù)據(jù)從那里來”。Query Builder這個(gè)工具使簡單導(dǎo)航變得更簡單和過濾掉以在線文檔格式或內(nèi)嵌在impact analysis模板中的查詢。這個(gè)查詢工具消除對(duì)寫SQL才能產(chǎn)生出結(jié)果的需要。Meta Data Sharing and reuseDataStage企業(yè)版使用了“publish and subscribe”機(jī)制從一系列的數(shù)據(jù)源發(fā)布標(biāo)準(zhǔn)的元數(shù)據(jù)。用戶可以一次性或recurring basis預(yù)定元數(shù)據(jù)發(fā)布。當(dāng)元數(shù)據(jù)改變時(shí)，會(huì)自動(dòng)通知預(yù)定者。Meta Data DeliveryDataStage企業(yè)版允許通過報(bào)表和XML或HTML格式的查詢結(jié)果對(duì)元數(shù)據(jù)進(jìn)行動(dòng)態(tài)的、面向批處理的和XSLT的客戶化發(fā)布。使hyper－link終端用戶的訪問和導(dǎo)航變得更加容易。這些可以自動(dòng)發(fā)布到任何Web Site和門戶。當(dāng)遠(yuǎn)端服務(wù)器透明地報(bào)告操作結(jié)果給DataStage企業(yè)版，作為一種特有的優(yōu)勢(shì)的時(shí)候，DataStage企業(yè)版元數(shù)據(jù)管理工具可以很有效率地收集到數(shù)據(jù)整合環(huán)境中發(fā)生的事件。管理者能夠回顧作業(yè)并且預(yù)先識(shí)別瓶頸和處理中的錯(cuò)誤。結(jié)果：更少
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1