【正文】 查看job和client的對應(yīng)的后臺進(jìn)程$ps fu dsadmUID Installing Oracle Drvie Using C:/Your_Oracle_Client as ORACLE_HOME Installing drive for Oracle version 9i or 10g Oracel installation is plete. Reboot the machine after above is done DataStage SAP Stage的使用見附件： Colum Import Stage的使用 將一個字段中的數(shù)據(jù)輸出到多個字段中, 完成分割單個字段數(shù)據(jù)到多個字段的目的。 運行的結(jié)果如下：Id svBuildColum 2 Rootpath $Workdate $EdsDbname 3 Rootpath $Workdate $AsdmDbname4. 如果把svBuildColum的值放在不同的字段中，使用Field(NewCord, $,1)，F(xiàn)ield(NewCord, $,2)..等等，把值賦給每個Colm. 最后結(jié)果如下：Id Col1 Col2 Col3 2 Rootpath Workdate EdsDbname 3 Rootpath Workdate AsdmDbname Oracle EE Stage在VIEW數(shù)據(jù)時出現(xiàn)的錯誤及解決方法 錯誤信息如下：I TOSH 000002 04:05:22(001) main_program orchgeneral: loaded I TOSH 000002 04:05:22(002) main_program orchsort: loaded I TOSH 000002 04:05:22(003) main_program orchstats: loaded E TOSH 000205 04:05:22(004) main_program PATH search failure: E TOSH 000000 04:05:22(005) main_program Error loading orchoracle: Could not load orchoracle: The specified module could not be found. E TOSH 000000 04:05:22(006) main_program Could not locate operator definition, wrapper, or Unix mand for oraread。Parallel Job的做法：（按照SERVER JOB的做法，然后改成串行方式也能實現(xiàn)）1. 使用Sort Stage對Key Column： Id 進(jìn)行分區(qū)和排序；并設(shè)置Create Key Change Column=True（作用是第一條記錄會標(biāo)識為1，其它0），產(chǎn)生KeyChange Column； 運行出來的結(jié)果如下： Id Column KeyChange 2 Rootpath 12 Workdate 02 EdsDbname 03 Rootpath 13 Workdate 03 AsdmDbname 0 2. 在Transform Stage里創(chuàng)建Stage Variable。 Transform224。Output的Derivation中寫上轉(zhuǎn)換字段的來源字段,字段之間用逗號隔開例子：PIVOT Input記錄如下：Id col1 col2 col32 Rootpath Workdate EdsDbname3 Rootpath Workdate AsdmDbnamePIVOT Output記錄如下：Id colum2 Rootpath2 Workdate2 EdsDbname3 Rootpath3 Workdate3 AsdmDbname 行列互換之Vertical Pivot Pivot Stage是寬表變窄表，也即：Horizontal Pivot；實際應(yīng)用中還會牽涉到窄表 寬表，即Vertical Pivot的應(yīng)用。input或output,就view data一下,不要等到run時再回頭找error Data型數(shù)據(jù)是比較麻煩的因為Datastage中的日期格式為timestamp,當(dāng)然你也可以把它的日期格式更改為date型，但經(jīng)常會出現(xiàn)錯誤。這個函數(shù)的參數(shù)不能使固定長度字符串，如果是固定長度的先轉(zhuǎn)化為變長?？罩堤幚?. 當(dāng)使用Lookup Failure = Contunue 時,要把 reference link 的非主鍵設(shè)置成Nullable,即使reference data 是非空的,也要設(shè)置成Nullable,這樣能夠確保Lookup 把空值分配給沒有匹配的參考非主鍵 2. 如果參考非主鍵沒有設(shè)置成Nullable ,將會發(fā)生什么:Lookup 將會分配一個默認(rèn)值給沒有匹配的的行:Integer 默認(rèn)值為0Varchar/char 默認(rèn)值為空字符串(0長度的) DataStage中默認(rèn)和隱式類型轉(zhuǎn)換時注意的問題當(dāng)從源向目標(biāo)映射數(shù)據(jù)時，如果類型不一致，對于有些類型我們需要在modify或transfomer stage中通過函數(shù)進(jìn)行轉(zhuǎn)換，對于有些系統(tǒng)會自動完成類型轉(zhuǎn)換，在類型轉(zhuǎn)換過程中，注意以下幾點：1 在變長到固定長度字符串的默認(rèn)轉(zhuǎn)換中，parallel jobs用空格（ASCII 20）字 符來填充剩余長度(環(huán)境變量APT_STRING_PADCHAR的默認(rèn)值也是空格（ASCII 20）,具體在哪個stage填充的不知.2 通過環(huán)境變量APT_STRING_PADCHAR可以改變默認(rèn)的填充字符null（ASCII 0）。 但new_columnname =”hf”這樣賦值是錯誤的﹡Null的處理 destinationColum=handle_null(sourceColum,Value) destinationColum=make_null(sourceColum,Value),這個使用中有問題,不處理空值 Look up/join ’ 6225 DB2支持的數(shù)據(jù)格式 6326 DB2中Load語法和基本使用 641 如何重新啟動DataStage服務(wù)器, 步驟如下: 啟動DataStage Server 的命令要在$DSHOME/bin 目錄下進(jìn)行. 啟動之前要切斷所有與服務(wù)器端的連接:1. 登陸DataStage 服務(wù)器,輸入: $DSHOME/bin 2. 關(guān)閉DataStage 服務(wù)器 ./uv –admin –stop 3. 檢查服務(wù)器上是否還有進(jìn)程沒關(guān)掉，否則服務(wù)器無法啟動起來，netstat a | grep ds4. 重起服務(wù)器 ./uv –admin –start. Note: 關(guān)閉DataStage 服務(wù)器后,建議過30 sec 再重起服務(wù)器.2 DataStage開發(fā)經(jīng)驗積累: 模板開發(fā)并行JOB中模板的開發(fā)可以最大程度的重用并行JOB的構(gòu)件,節(jié)省時間 1. 使用JOB參數(shù)(PARAMETER)可以在運行時提供參數(shù)的值,增加靈活性,可以在不同的環(huán)境處理不同的數(shù)據(jù)。 或 cd ‘a(chǎn)mp。 62 cd \amp。 43 修改$DSHOME/, 來指定DSN(data source name). 4414 ETL系統(tǒng)擴展 4515 Remote Shell (rsh)的配置 45 創(chuàng)建并配置 .rhosts文件 45 修改/etc/ 4616 dsadmin命令的使用 46 dsadmin命令的使用 4617 如何啟動JobMonApp 4818 4819 uvsh常用命令 51 LOGTO ProjectName 登錄一個工程 51 進(jìn)入DS工具 51 LIST DS_JOBS 顯示所有的Job及Job的分類Category 51 LIST DS_JOBS WITH NAME=JobName 顯示某個特定Job的信息 51 EVERY 列出所有的鎖及鎖的擁有用戶UserName 51 UNLOCK USER userno ALL 解鎖用戶鎖住的Jobs 51 列出資料庫的索引 5220 Usage Analysis來進(jìn)行影響分析 52 如何啟動Usage Analysis 52 Usage Analysis中Select Columns的使用 53 Usage Analysis中View HTML的使用 54 Usage Analysis中Locate in Manager的使用 55 Usage Analysis可使用的Source類型 5621 DS Message Handlers 57 Message Handlers的兩種級別 57 Message Handlers的三種動作種類 58 Message Handlers的文件格式 5822 DS Parallel Routine 59 Parallel Routine注意事項 59 Parallel Routine創(chuàng)建流程 59 Parallel Routine示例 6023 uvconfig文件中參數(shù)修改方法 62 修改文件uvconfig中的參數(shù) 62 運行uvregen 62 重啟DS服務(wù) 62 校驗 6224 amp?？罩堤幚?6 DataStage中默認(rèn)和隱式類型轉(zhuǎn)換時注意的問題 6 配置一個Dastage經(jīng)驗總結(jié)目錄1 如何重新啟動DataStage服務(wù)器, 步驟如下: 52 DataStage開發(fā)經(jīng)驗積累: 5 模板開發(fā) 5 通過Server Shared Container在Parallel Job中添加Server Job Stage 5 去除不需要的字段 5 Transformer Stage的使用 5 Look up/join input或output,就view data一下,不要等到run時再回頭找error 7 Data型數(shù)據(jù)是比較麻煩的 7 行列互換之Horizontal Pivot（Pivot Stage） 7 行列互換之Vertical Pivot 7 Oracle EE Stage在VIEW數(shù)據(jù)時出現(xiàn)的錯誤及解決方法 9 DataStage SAP Stage的使用 10 Colum Import Stage的使用 10 Colum Export Stage的使用 12 Got ERROR: Cannot find any process number for stages in Job Jobname解決 13 Unable to create RT_CONFIGnnn 14 查看job和client的對應(yīng)的后臺進(jìn)程 14 強制殺死DS進(jìn)程 14 查看Server Engine的進(jìn)程 15 查看Server Locks 15 關(guān)于UNIX系統(tǒng)下無法啟動服務(wù)的解決辦法 16 Locked by other user 17 dataStage Job Log的處理 17 一些BASIC語言中處理字符串的函數(shù) 17 BASIC程序中使用到的一些語法知識 183 DS中常見問題記錄 22 權(quán)限管理問題 22 job may be being monitored或者是cleanup問題 22 刪除文件的問題 22 sequence調(diào)度出現(xiàn)的錯誤問題 23 字符集問題 23 VersionControl的問題 23 sequence調(diào)不起JOB的問題 24 sequence調(diào)度失敗的問題 24 DS發(fā)送郵件的配置問題 24 隨機錯誤問題 24 DS中的日期問題 25 DS連接oracle問題 25 在Sequence File Stage中的空值處理問題 25 在DS中使用Oracle Enterprise Stage必須的權(quán)限 26 DS中去除‘回車符’的問題以及從char類型轉(zhuǎn)變成整型的方法 26 從后臺看JOB列表的方法 26 Datastage和數(shù)據(jù)庫的連接方法 27 在datastage中使用環(huán)境變量的問題 27 IConv 和 OConv 27 在Merge中使用特殊字符 284 部分常用Stage 的使用說明 285 dsjob 語法說明: 296 如何從DataStage服務(wù)器導(dǎo)出所開發(fā)的JOBS列表 317 查看當(dāng)前服務(wù)器狀態(tài)信息的方法: 348 如何在兩臺機器之間進(jìn)行FTP文件 359 如何獲得Jobstatus ,步驟如下: 3610 dsjob –run 的用法 3811 如何在后臺運行