【正文】 tage的使用 10 Colum Import Stage的使用 10 Colum Export Stage的使用 12 Got ERROR: Cannot find any process number for stages in Job Jobname解決 13 Unable to create RT_CONFIGnnn 14 查看job和client的對應(yīng)的后臺進(jìn)程 14 強制殺死DS進(jìn)程 14 查看Server Engine的進(jìn)程 15 查看Server Locks 15 關(guān)于UNIX系統(tǒng)下無法啟動服務(wù)的解決辦法 16 Locked by other user 17 dataStage Job Log的處理 17 一些BASIC語言中處理字符串的函數(shù) 17 BASIC程序中使用到的一些語法知識 183 DS中常見問題記錄 22 權(quán)限管理問題 22 job may be being monitored或者是cleanup問題 22 刪除文件的問題 22 sequence調(diào)度出現(xiàn)的錯誤問題 23 字符集問題 23 VersionControl的問題 23 sequence調(diào)不起JOB的問題 24 sequence調(diào)度失敗的問題 24 DS發(fā)送郵件的配置問題 24 隨機錯誤問題 24 DS中的日期問題 25 DS連接oracle問題 25 在Sequence File Stage中的空值處理問題 25 在DS中使用Oracle Enterprise Stage必須的權(quán)限 26 DS中去除‘回車符’的問題以及從char類型轉(zhuǎn)變成整型的方法 26 從后臺看JOB列表的方法 26 Datastage和數(shù)據(jù)庫的連接方法 27 在datastage中使用環(huán)境變量的問題 27 IConv 和 OConv 27 在Merge中使用特殊字符 284 部分常用Stage 的使用說明 285 dsjob 語法說明: 296 如何從DataStage服務(wù)器導(dǎo)出所開發(fā)的JOBS列表 317 查看當(dāng)前服務(wù)器狀態(tài)信息的方法: 348 如何在兩臺機器之間進(jìn)行FTP文件 359 如何獲得Jobstatus ,步驟如下: 3610 dsjob –run 的用法 3811 如何在后臺運行和停止一個JOB 3912 DS Oracle EE Stage 配置 41 安裝Oracle客戶端 41 添加Oracle用戶到dsadm group組選項 41 配置DataStage服務(wù)器dsenv文件 41 42 重起DataStage服務(wù) 42 配置Oacle Stage抽取的Select權(quán)限 42 Oacle EE STAGE配置結(jié)束 4313 DS ODBC 的配置 43 修改$DSHOME /dsenv 43 修改$DSHOME/., 來提供數(shù)據(jù)庫連接信息。PH\amp。使用JOB PARAMETER 可以在同一時間使用不同參數(shù)運行同一個JOB 2. Shared Container 共享容器可以在多個JOB中共享相同的邏輯,當(dāng)一個JOB編譯時共享容器被嵌入. 通過Server Shared Container在Parallel Job中添加Server Job Stage 在Designer中創(chuàng)建一個server shared container，添加需要的Server job stage，再把server shared container添加到parallel job并連接到其他parallel stage. 去除不需要的字段 當(dāng)從數(shù)據(jù)庫中讀取數(shù)據(jù)時,要盡可能早的去除不需要的字段,只讀取需要的字段,而不是整個表,這樣可以提高數(shù)據(jù)讀取效率. Transformer Stage的使用1. 慎用Transformer Stage,因為它可能降低JOB的運行效率,有些功能能合并成一個單獨的STAGE的不要用多個STAGE,要用其他的STAGE來代替Transformer Stage 能完成的任務(wù). 2. Transformer Stage 的數(shù)據(jù)流程是先經(jīng)過constraint的過濾,然后再經(jīng)過Derivation處理3. 對于確定類型的操作,使用其他STAGE 比使用TRANSFORMER 會更好: (1) 對如下情況,使用Copy Stage 將比Transformer Stage 更好 ﹡在界面上提供一個JOB 設(shè)計占位符 ﹡重新命名字段 ﹡刪除字段 ﹡Implicit類型變換 (2) 使用Filter Stage 或者 Switch Stage 來把輸入記錄按照限制表式分成多個輸出分支. (3) 使用Modify Stage 來explicit 類型變換和Null處理 ﹡Modify Stage 也可重新命名字段﹡保持(keep)或刪除(drop)字段﹡也可增加新字段,并為新增字段賦值,但賦值方式要以字段=字段 形式,例如: new_columnname = old_columnname。3 有個PadString 函數(shù)可以用來用指定的字符來填充一個變長的字符串到指定的長度。對于oracle數(shù)據(jù)庫源表和目標(biāo)表，不需要對date型數(shù)據(jù)做任何轉(zhuǎn)換，直接使用默認(rèn)即可，但對于informix等一些數(shù)據(jù)庫，則需要使用oconv，iconv函數(shù)進(jìn)行轉(zhuǎn)換，并在output中相應(yīng)的修改output sql中的日期格式 行列互換之Horizontal Pivot（Pivot Stage）列變行,即寬表變窄表,字段變少了,記錄數(shù)變多了，牽涉到Column數(shù)量的變化；注意要在Pivot224。 Hash File源表結(jié)構(gòu)： Id varchar 10 Column varchar 10Define Transform as follows Stage Variables：currentKey Derivation = newRecord Derivation = if currentKey=lastKey Then newRecord:,: else L1. ColumnlastKey Derivation = currentKeyL2 Deriviations = = newRecord目標(biāo)表結(jié)構(gòu)：Id varchar 10 (marked as the key) Newcol varchar 200（注意：Stage Variable的有先后順序的，它是按照先后順序來賦值的,所以lastKey要在newRecord后面）如果把Newcol的值放在不同的字段中，格式如下：Id Col1 Col2 Col3 2 Rootpath Workdate EdsDbname 3 Rootpath Workdate AsdmDbname解決方法是：把NewColm的值讀出來賦給一個Stage Variable，然后使用Field(NewCord, ,1)，F(xiàn)ield(NewCord, ,2)..等等，把值賦給每個Colm。 please check that all needed libraries are preloaded, and check the PATH for the wrappers E TCOS 000029 04:05:22(007) main_program Creation of step finished with status = FAILED 解決方法： running EE on the Windows platform1. cd to your C:\Ascential\DataStage\PXEngine\install 2. type sh 3. ORACLE_HOME=C:/Your_Oracle_Client 4. export ORACLE_HOME 5. APT_ORCHHOME=C:/Ascential/DataStage/PXEngine 6. export APT_ORCHHOME 7. sh then you will see the message on the screen。 0 這樣，將服務(wù)停止，會很順利的重啟服務(wù)。2. netstat查看網(wǎng)絡(luò)情況，有無FIN_WAIT_2 or CLOSE_WAIT等的tcp狀態(tài)，如果有，則使用ndd 命令調(diào)整datastage的端口連接，方法如下（如hpunix）：查找進(jìn)程號：ndd get /dev/tcp tcp_status |grep e state e FIN_WAIT_2 斷開連接，釋放端口：ndd set /dev/tcp tcp_discon 0x+進(jìn)程號 1 amp。然后選擇上半部分Processes中的Show All,鼠標(biāo)選中剛才查到的PID＃，然后LogOut。在datastage內(nèi)部有其相應(yīng)的function：DSGetLogEntryDSGetLogSummaryDSGetNewestLogId 一些BASIC語言中處理字符串的函數(shù)a 使用冒號：作為字符串連接的符號。例如：計算字符串a(chǎn)bacab中的子串a(chǎn)b出現(xiàn)的次數(shù)，arrCnt = Count(abacab, ab)，那么arrCnt就等于2。TRIMB (string) 用來刪掉字符串尾部的空格。其中instance表示這個子串是在整個字符串中是第幾次出現(xiàn)。例如，*Initial. Validate the input parameters.這一行以*星號開頭，就表示這一行內(nèi)容是程序的注釋。 AND (或者符號 amp。 (3). 使用BASIC自帶的一些功能函數(shù)。其中Message為輸出的日志信息的內(nèi)容，CallingProgName就是調(diào)用這個函數(shù)的程序名。比如，OriStr中有三個子串light_01,light_02,light_03，BitValue的值為2，把十進(jìn)制的數(shù)2轉(zhuǎn)化為二進(jìn)制的數(shù)10。當(dāng)條件為假的時候，退出循環(huán)。如果其對應(yīng)的數(shù)是0，就直接進(jìn)行下一個循環(huán)去處理下一個子串。BASIC語言中數(shù)組或者字符串的第一個元素的序號是1。 TRIMF (string) 用來刪掉字符串首部的空格。 Index (abacab, ab, 2 )的結(jié)果就是5。單引號或者雙引號中包含的具體字符串~不匹配某種模式5A : _ : 2N模式就是限制字符串只能包含八個字符，并且前五個字符必須是字母，第六個字符是下劃線_，最后兩個字符必須是數(shù)字。 (7)．對編寫好的代碼進(jìn)行編譯。如何處理非DSTAGE組的用戶授權(quán)，讓其只訪問自己的project ？答：先建立一個組，在建立一個user,將該用戶放在該組中，然后給../Ascential/、PXEngine、DSParallel、Scratch目錄包括其子目錄賦７７７權(quán)限，收回project目錄下的其他項目的可讀權(quán)限。 sequence調(diào)度出現(xiàn)的錯誤問題手動編譯相關(guān)JOB后，有的JOB的失敗因為下面這個錯誤。 VersionControl的問題將可以正常運行的JOB提交到VersionControl后，再從VersionControl提交到167上運行，程序報NLS Mapping error的Warning,中文字符會變?yōu)閬y碼。other error39。在windows平臺，,通過此程序可以發(fā)送郵件。2006041239。答：原因：未將ETL賬戶加入到DBA權(quán)限組中。s fixed width (20)但是如果是varchar類型的就沒有問題。在datastage中要把字段中的回車替代掉就用 Ereplace(,CHAR(10),39。),CHR(10),39。 方法三：進(jìn)入存放JOB的位置，要產(chǎn)看某個project的JOB信息就進(jìn)到相應(yīng)的project下面用dssh“SELECT * FROM DS_JOBS WHERE NAME=’ I_Tr_TRC_TI_TRC_ASC’”或者是uvsh “SELECT * FROM DS_JOBS WHERE NAME=’ I_Tr_TRC_TI_TRC_ASC’”都可以實現(xiàn)查詢。SGM\39。SGM\39。1\39。1\39。在輸入dsjob 回車,進(jìn)入dsjob命令。 Status code = 0?表示導(dǎo)出成功輸入cd /SGMEDWETL/tmp,進(jìn)入該目錄,用命令more hf_jobs,查看導(dǎo)出的JOBS 如果想把服務(wù)器的hf_jobs導(dǎo)到本地機器上,可以使用FTP到本地,也可以使用第三方工具如: filezilla. 7 查看當(dāng)前服務(wù)器狀態(tài)信息的方法:1. cd $DSHOME/bin2. uv –admin –info 如下圖：8 如何在兩臺機器之間進(jìn)行FTP文件 假設(shè)把機器167上的文件/SGMEDWETL/tmp/hf_jobs FTP 到機器33上. 1. 登陸到33機器, 輸入命令:ftp , 進(jìn)入167機器,輸入167的登陸帳戶進(jìn)入167系統(tǒng)。 10 dsjob –run 的用法dsjob run [mode NORMAL | RESET | VALIDATE] [param name=value] [warn n] [rows n] [wait] [opmetadata