產(chǎn)品白皮書之一datastage-文庫吧
2025-07-18 23:35 本頁面
【正文】 輯器例子DataStage企業(yè)版內(nèi)嵌的Stage包括高性能訪問（加載和讀）關(guān)系型數(shù)據(jù)庫的強大組件，包括并行的關(guān)系型數(shù)據(jù)庫。例如，企業(yè)版的Oracle Stage提供了一個訪問Oracle表的高性能并行接口。Oracle Stage支持Load和Upsert寫方式和支持表和查詢的讀方式。企業(yè)版也可以利用DB2強大的數(shù)據(jù)庫分區(qū)特性和Teradata的高性能、并行數(shù)據(jù)加載和導(dǎo)出。另外，DataStage企業(yè)版提供了一些Stage可以使得SAS用戶在大容量數(shù)據(jù)上執(zhí)行SAS。Parallel SAS Data Set Stage通過SAS Stage的連接從一個并行的SAS數(shù)據(jù)集中讀取和寫入數(shù)據(jù)。通過利用并行硬件執(zhí)行平臺和并行關(guān)系型數(shù)據(jù)庫，這些SAS Stage能夠?qū)⒋蟠笤鰪娦枰M行處理和分析大數(shù)據(jù)量的SAS的吞吐量和性能。企業(yè)版的內(nèi)嵌擴展Stage提供了數(shù)據(jù)整合應(yīng)用中80％到90％的最常用的邏輯需要。另外，企業(yè)版提供了許多機制用來建立自定義的Stage：n Wrapped－－允許并行執(zhí)行一個順序程序。n Build――允許自動并行執(zhí)行自定義Stage的C語言表達(dá)式。n Custom 提供了完整的C＋＋API，來開發(fā)復(fù)雜和擴展的Stage?；诮M件架構(gòu)和擴展內(nèi)嵌組件類庫的DataStage企業(yè)版消除了對傳統(tǒng)編碼方式的需要，最大化了組件的重復(fù)使用。對于可擴展的數(shù)據(jù)整合應(yīng)用來說，企業(yè)版開放的和可擴展的架構(gòu)使得整合第三方軟件工具和已存在的程序更加容易。Stage和作業(yè)的單獨分區(qū)，包括每一個Stage的聯(lián)合分區(qū)、元數(shù)據(jù)（表定義）和Transformer轉(zhuǎn)換定義，可以在共享容器 (Share Container) 中被其他用戶重復(fù)使用。共享容器允許用戶提高產(chǎn)品性和在用戶和工程間共享。作業(yè)模板 (Job Template)進一步提升了效率。用戶能夠比以前更快地啟用已定義好的模板。同時，標(biāo)準(zhǔn)化的模板也提供給用戶一個高效的起始點。智能幫助提供建造從簡單到復(fù)雜的作業(yè)。用戶通過一系列的詢問，智能幫助可以象魔術(shù)師一樣輸出一個DataStage企業(yè)版作業(yè)或作業(yè)序列。他們使用元數(shù)據(jù)智能提示用戶答案和輸出最后的結(jié)果。Ascential載入一些智能助手，一個建立緯度緩慢變化 (Slow Changing Dimension) 的星型架構(gòu) (Star Schema) 的數(shù)據(jù)庫（類型3支持）。 企業(yè)級實施和管理許多大的公司都有他們自己在復(fù)雜生產(chǎn)環(huán)境下的配置、時間序列、監(jiān)測和管理應(yīng)用的標(biāo)準(zhǔn)。DataStage企業(yè)版提供了靈活功能來迎合這些需要。首先，DataStage提供了一個圖形化的作業(yè)順序器 (Job Sequencer)，允許用戶定義作業(yè)執(zhí)行的序列。設(shè)計一個作業(yè)序列就象設(shè)計一個作業(yè)。用戶在DataStage中設(shè)計作業(yè)序列。從工具條增加一個Activities（相對于Stage），并且通過Trigger進行連接用以定義控制流。每個activity都有屬性，可以在trigger表達(dá)式中測試并且傳到序列前面的其他的activity中。Activity也可以有參數(shù)，可以用來支持job參數(shù)或routine參數(shù)。Job序列可以有自己的屬性和參數(shù)，這些屬性和參數(shù)可以順序傳到activity中。序列也可以包括控制信息，例如，序列中job的成功或失敗影響活動的走向。一旦job序列被定義完成，可以在任何提供的接口（下面做詳細(xì)的介紹）中建立時間順序和執(zhí)行。圖五、DataStage Job序列例子其次，企業(yè)版提供了Director和Manager的圖形化功能。象前面說過的，manager是用來管理工程的，包括導(dǎo)入和導(dǎo)出組件，用來將應(yīng)用配置到產(chǎn)品。Director用來建立時序，執(zhí)行和監(jiān)測job（或job序列）。另外，企業(yè)版提供了mand－line、API和web services用來對應(yīng)用進行配置、執(zhí)行、監(jiān)測和管理。Job能夠使用所有的工具進行開始、停止和監(jiān)測?？梢蕴峁┧械墓ぞ卟榭碕ob監(jiān)測的詳細(xì)內(nèi)容－包括Director。企業(yè)版返回的信息包括每個并行分區(qū)的記錄條數(shù)、CPU使用率、開始/結(jié)束時間等。所有的這些都是在單獨的stage級別。這個命令行接口是：dsjob –report project job [report type]report type = BASIC,DETAIL,XML可通過XML schema 和 XML style sheets對正在運行的job進行不同角度的查看。就算job已經(jīng)完成，這些信息仍然是可用的。這就是operational meta data。Command line和web service接口通過文本或XML方式返回出這些operational meta data。對于國際數(shù)據(jù)的需要，DataStage企業(yè)版可以處理和管理multibyte的數(shù)據(jù)結(jié)構(gòu)?？蛻舳讼鄳?yīng)（如屬性設(shè)置和表定義）可以使用用戶本地的語言。用戶可以根據(jù)國際校正規(guī)則建立客戶化的排序規(guī)則。 高擴展的體系架構(gòu)建立在高擴展軟件架構(gòu)上的企業(yè)版提供了高級別的吞吐
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1