【正文】 Dastage經(jīng)驗總結(jié)目錄1 如何重新啟動DataStage服務(wù)器, 步驟如下: 52 DataStage開發(fā)經(jīng)驗積累: 5 模板開發(fā) 5 通過Server Shared Container在Parallel Job中添加Server Job Stage 5 去除不需要的字段 5 Transformer Stage的使用 5 Look up/join 空值處理 6 DataStage中默認和隱式類型轉(zhuǎn)換時注意的問題 6 配置一個input或output,就view data一下,不要等到run時再回頭找error 7 Data型數(shù)據(jù)是比較麻煩的 7 行列互換之Horizontal Pivot（Pivot Stage） 7 行列互換之Vertical Pivot 7 Oracle EE Stage在VIEW數(shù)據(jù)時出現(xiàn)的錯誤及解決方法 9 DataStage SAP Stage的使用 10 Colum Import Stage的使用 10 Colum Export Stage的使用 12 Got ERROR: Cannot find any process number for stages in Job Jobname解決 13 Unable to create RT_CONFIGnnn 14 查看job和client的對應(yīng)的后臺進程 14 強制殺死DS進程 14 查看Server Engine的進程 15 查看Server Locks 15 關(guān)于UNIX系統(tǒng)下無法啟動服務(wù)的解決辦法 16 Locked by other user 17 dataStage Job Log的處理 17 一些BASIC語言中處理字符串的函數(shù) 17 BASIC程序中使用到的一些語法知識 183 DS中常見問題記錄 22 權(quán)限管理問題 22 job may be being monitored或者是cleanup問題 22 刪除文件的問題 22 sequence調(diào)度出現(xiàn)的錯誤問題 23 字符集問題 23 VersionControl的問題 23 sequence調(diào)不起JOB的問題 24 sequence調(diào)度失敗的問題 24 DS發(fā)送郵件的配置問題 24 隨機錯誤問題 24 DS中的日期問題 25 DS連接oracle問題 25 在Sequence File Stage中的空值處理問題 25 在DS中使用Oracle Enterprise Stage必須的權(quán)限 26 DS中去除‘回車符’的問題以及從char類型轉(zhuǎn)變成整型的方法 26 從后臺看JOB列表的方法 26 Datastage和數(shù)據(jù)庫的連接方法 27 在datastage中使用環(huán)境變量的問題 27 IConv 和 OConv 27 在Merge中使用特殊字符 284 部分常用Stage 的使用說明 285 dsjob 語法說明: 296 如何從DataStage服務(wù)器導(dǎo)出所開發(fā)的JOBS列表 317 查看當(dāng)前服務(wù)器狀態(tài)信息的方法: 348 如何在兩臺機器之間進行FTP文件 359 如何獲得Jobstatus ,步驟如下: 3610 dsjob –run 的用法 3811 如何在后臺運行和停止一個JOB 3912 DS Oracle EE Stage 配置 41 安裝Oracle客戶端 41 添加Oracle用戶到dsadm group組選項 41 配置DataStage服務(wù)器dsenv文件 41 42 重起DataStage服務(wù) 42 配置Oacle Stage抽取的Select權(quán)限 42 Oacle EE STAGE配置結(jié)束 4313 DS ODBC 的配置 43 修改$DSHOME /dsenv 43 修改$DSHOME/., 來提供數(shù)據(jù)庫連接信息。 43 修改$DSHOME/, 來指定DSN(data source name). 4414 ETL系統(tǒng)擴展 4515 Remote Shell (rsh)的配置 45 創(chuàng)建并配置 .rhosts文件 45 修改/etc/ 4616 dsadmin命令的使用 46 dsadmin命令的使用 4617 如何啟動JobMonApp 4818 4819 uvsh常用命令 51 LOGTO ProjectName 登錄一個工程 51 進入DS工具 51 LIST DS_JOBS 顯示所有的Job及Job的分類Category 51 LIST DS_JOBS WITH NAME=JobName 顯示某個特定Job的信息 51 EVERY 列出所有的鎖及鎖的擁有用戶UserName 51 UNLOCK USER userno ALL 解鎖用戶鎖住的Jobs 51 列出資料庫的索引 5220 Usage Analysis來進行影響分析 52 如何啟動Usage Analysis 52 Usage Analysis中Select Columns的使用 53 Usage Analysis中View HTML的使用 54 Usage Analysis中Locate in Manager的使用 55 Usage Analysis可使用的Source類型 5621 DS Message Handlers 57 Message Handlers的兩種級別 57 Message Handlers的三種動作種類 58 Message Handlers的文件格式 5822 DS Parallel Routine 59 Parallel Routine注意事項 59 Parallel Routine創(chuàng)建流程 59 Parallel Routine示例 6023 uvconfig文件中參數(shù)修改方法 62 修改文件uvconfig中的參數(shù) 62 運行uvregen 62 重啟DS服務(wù) 62 校驗 6224 amp。PHamp。 62 cd \amp。PH\amp。 或 cd ‘a(chǎn)mp。PHamp?！?6225 DB2支持的數(shù)據(jù)格式 6326 DB2中Load語法和基本使用 641 如何重新啟動DataStage服務(wù)器, 步驟如下: 啟動DataStage Server 的命令要在$DSHOME/bin 目錄下進行. 啟動之前要切斷所有與服務(wù)器端的連接:1. 登陸DataStage 服務(wù)器,輸入: $DSHOME/bin 2. 關(guān)閉DataStage 服務(wù)器 ./uv –admin –stop 3. 檢查服務(wù)器上是否還有進程沒關(guān)掉，否則服務(wù)器無法啟動起來，netstat a | grep ds4. 重起服務(wù)器 ./uv –admin –start. Note: 關(guān)閉DataStage 服務(wù)器后,建議過30 sec 再重起服務(wù)器.2 DataStage開發(fā)經(jīng)驗積累: 模板開發(fā)并行JOB中模板的開發(fā)可以最大程度的重用并行JOB的構(gòu)件,節(jié)省時間 1. 使用JOB參數(shù)(PARAMETER)可以在運行時提供參數(shù)的值,增加靈活性,可以在不同的環(huán)境處理不同的數(shù)據(jù)。使用JOB PARAMETER 可以在同一時間使用不同參數(shù)運行同一個JOB 2. Shared Container 共享容器可以在多個JOB中共享相同的邏輯,當(dāng)一個JOB編譯時共享容器被嵌入. 通過Server Shared Container在Parallel Job中添加Server Job Stage 在Designer中創(chuàng)建一個server shared container，添加需要的Server job stage，再把server shared container添加到parallel job并連接到其他parallel stage. 去除不需要的字段 當(dāng)從數(shù)據(jù)庫中讀取數(shù)據(jù)時,要盡可能早的去除不需要的字段,只讀取需要的字段,而不是整個表,這樣可以提高數(shù)據(jù)讀取效率. Transformer Stage的使用1. 慎用Transformer Stage,因為它可能降低JOB的運行效率,有些功能能合并成一個單獨的STAGE的不要用多個STAGE,要用其他的STAGE來代替Transformer Stage 能完成的任務(wù). 2. Transformer Stage 的數(shù)據(jù)流程是先經(jīng)過constraint的過濾,然后再經(jīng)過Derivation處理3. 對于確定類型的操作,使用其他STAGE 比使用TRANSFORMER 會更好: (1) 對如下情況,使用Copy Stage 將比Transformer Stage 更好 ﹡在界面上提供一個JOB 設(shè)計占位符 ﹡重新命名字段 ﹡刪除字段 ﹡Implicit類型變換 (2) 使用Filter Stage 或者 Switch Stage 來把輸入記錄按照限制表式分成多個輸出分支. (3) 使用Modify Stage 來explicit 類型變換和Null處理 ﹡Modify Stage 也可重新命名字段﹡保持(keep)或刪除(drop)字段﹡也可增加新字段,并為新增字段賦值,但賦值方式要以字段=字段 形式,例如: new_columnname = old_columnname。 但new_columnname =”hf”這樣賦值是錯誤的﹡Null的處理 destinationColum=handle_null(sourceColum,Value) destinationColum=make_null(sourceColum,Value),這個使用中有問題,不處理空值 Look up/join 空值處理1. 當(dāng)使用Lookup Failure = Contunue 時,要把 reference link 的非主鍵設(shè)置成Nullable,即使reference data 是非空的,也要設(shè)置成Nullable,這樣能夠確保Lookup 把空值分配給沒有匹配的參考非主鍵 2. 如果參考非主鍵沒有設(shè)置成Nullable ,將會發(fā)生什么:Lookup 將會分配一個默認值給沒有匹配的的行:Integer 默認值為0Varchar/char 默認值為空字符串(0長度的) DataStage中默認和隱式類型轉(zhuǎn)換時注意的問題當(dāng)從源向目標(biāo)映射數(shù)據(jù)時，如果類型不一致，對于有些類型我們需要在modify或transfomer stage中通過函數(shù)進行轉(zhuǎn)換，對于有些系統(tǒng)會自動完成類型轉(zhuǎn)換，在類型轉(zhuǎn)換過程中，注意以下幾點：1 在變長到固定長度字符串的默認轉(zhuǎn)換中，parallel jobs用空格（ASCII 20）字 符來填充剩余長度(環(huán)境變量APT_STRING_PADCHAR的默認值也是空格（ASCII 20）,具體在哪個stage填充的不知.2 通過環(huán)境變量APT_STRING_PADCHAR可以改變默認的填充字符null（ASCII 0）。3 有個PadString 函數(shù)可以用來用指定的字符來填充一個變長的字符串到指定的長度。這個函數(shù)的參數(shù)不能使固定長度字符串，如果是固定長度的先轉(zhuǎn)化為變長。 配置一個input或output,就view data一下,不要等到run時再回頭找error Data型數(shù)據(jù)是比較麻煩的因為Datastage中的日期格式為timestamp,當(dāng)然你也可以把它的日期格式更改為date型，但經(jīng)常會出現(xiàn)錯誤。對于oracle數(shù)據(jù)庫源表和目標(biāo)表，不需要對date型數(shù)據(jù)做任何轉(zhuǎn)換，直接使用默認即可，但對于informix等一些數(shù)據(jù)庫，則需要使用oconv，iconv函數(shù)進行轉(zhuǎn)換，并在output中相應(yīng)的修改output sql中的日期格式 行列互換之Horizontal Pivot（Pivot Stage）列變行,即寬表變窄表,字段變少了,記錄數(shù)變多了，牽涉到Column數(shù)量的變化；注意要在Pivot224。Output的Derivation中寫上轉(zhuǎn)換字段的來源字段,字段之間用逗號隔開例子：PIVOT Input記錄如下：Id col1 col2 col32 Rootpath Workdate EdsDbname3 Rootpath Workdate AsdmDbnamePIVOT Output記錄如下：Id colum2 Rootpath2 Workdate2 EdsDbname3 Rootpath3 Workdate3 AsdmDbname 行列互換之Vertical Pivot Pivot Stage是寬表變窄表，也即：Horizontal Pivot；實際應(yīng)用中還會牽涉到窄表 寬表，即Vertical Pivot的應(yīng)用。例如： 輸入Input記錄如下： Id Column 2 Rootpath 2 Workdate 2 EdsDbname 3 Rootpath 3 Workdate 3 AsdmDbname 我們想要的輸出Output記錄是這樣的： Id NewCol 2 Rootpath，Workdate，EdsDbname 3 Rootpath，Workdate，