【正文】 Daemon listener Oct 25 ? STIME TTY PPID輸入數(shù)據(jù)應(yīng)為定長或者有可以被識(shí)別的可分割的界限，必須是String或者Binary類型的，輸出數(shù)據(jù)可以是任何數(shù)據(jù)類型。 創(chuàng)建變量后，根據(jù)KeyChange的值來設(shè)置變量的值；如：創(chuàng)建變量svBuildColum，賦值：if =1 then else svBuildColumn : $ : 運(yùn)行出來的結(jié)果如下：Id Column KeyChange svBuildColum 2 Rootpath 1 Rootpath 2 Workdate 0 Rootpath $Workdate 2 EdsDbname 0 Rootpath $Workdate $EdsDbname 3 Rootpath 1 Rootpath 3 Workdate 0 Rootpath $Workdate 3 AsdmDbname 0 Rootpath $Workdate $AsdmDbname 3. 使用Remove_Duplicates Stage，根據(jù)Key Colum：Id去除重復(fù)行，并Retain Last。Initial value = Initial value = Initial value = 例如： 輸入Input記錄如下： Id Column 2 Rootpath 2 Workdate 2 EdsDbname 3 Rootpath 3 Workdate 3 AsdmDbname 我們想要的輸出Output記錄是這樣的： Id NewCol 2 Rootpath，Workdate，EdsDbname 3 Rootpath，Workdate，AsdmDbname 解決方法如下： Server Job的做法： Sequence File224。 配置一個(gè)PHamp。PHamp?？罩堤幚?6 DataStage中默認(rèn)和隱式類型轉(zhuǎn)換時(shí)注意的問題 6 配置一個(gè) 62 cd \amp?！?6225 DB2支持的數(shù)據(jù)格式 6326 DB2中Load語法和基本使用 641 如何重新啟動(dòng)DataStage服務(wù)器, 步驟如下: 啟動(dòng)DataStage Server 的命令要在$DSHOME/bin 目錄下進(jìn)行. 啟動(dòng)之前要切斷所有與服務(wù)器端的連接:1. 登陸DataStage 服務(wù)器,輸入: $DSHOME/bin 2. 關(guān)閉DataStage 服務(wù)器 ./uv –admin –stop 3. 檢查服務(wù)器上是否還有進(jìn)程沒關(guān)掉，否則服務(wù)器無法啟動(dòng)起來，netstat a | grep ds4. 重起服務(wù)器 ./uv –admin –start. Note: 關(guān)閉DataStage 服務(wù)器后,建議過30 sec 再重起服務(wù)器.2 DataStage開發(fā)經(jīng)驗(yàn)積累: 模板開發(fā)并行JOB中模板的開發(fā)可以最大程度的重用并行JOB的構(gòu)件,節(jié)省時(shí)間 1. 使用JOB參數(shù)(PARAMETER)可以在運(yùn)行時(shí)提供參數(shù)的值,增加靈活性,可以在不同的環(huán)境處理不同的數(shù)據(jù)?？罩堤幚?. 當(dāng)使用Lookup Failure = Contunue 時(shí),要把 reference link 的非主鍵設(shè)置成Nullable,即使reference data 是非空的,也要設(shè)置成Nullable,這樣能夠確保Lookup 把空值分配給沒有匹配的參考非主鍵 2. 如果參考非主鍵沒有設(shè)置成Nullable ,將會(huì)發(fā)生什么:Lookup 將會(huì)分配一個(gè)默認(rèn)值給沒有匹配的的行:Integer 默認(rèn)值為0Varchar/char 默認(rèn)值為空字符串(0長度的) DataStage中默認(rèn)和隱式類型轉(zhuǎn)換時(shí)注意的問題當(dāng)從源向目標(biāo)映射數(shù)據(jù)時(shí)，如果類型不一致，對(duì)于有些類型我們需要在modify或transfomer stage中通過函數(shù)進(jìn)行轉(zhuǎn)換，對(duì)于有些系統(tǒng)會(huì)自動(dòng)完成類型轉(zhuǎn)換，在類型轉(zhuǎn)換過程中，注意以下幾點(diǎn)：1 在變長到固定長度字符串的默認(rèn)轉(zhuǎn)換中，parallel jobs用空格（ASCII 20）字 符來填充剩余長度(環(huán)境變量APT_STRING_PADCHAR的默認(rèn)值也是空格（ASCII 20）,具體在哪個(gè)stage填充的不知.2 通過環(huán)境變量APT_STRING_PADCHAR可以改變默認(rèn)的填充字符null（ASCII 0）。input或output,就view data一下,不要等到run時(shí)再回頭找error Data型數(shù)據(jù)是比較麻煩的因?yàn)镈atastage中的日期格式為timestamp,當(dāng)然你也可以把它的日期格式更改為date型，但經(jīng)常會(huì)出現(xiàn)錯(cuò)誤。 Transform224。 運(yùn)行的結(jié)果如下：Id svBuildColum 2 Rootpath $Workdate $EdsDbname 3 Rootpath $Workdate $AsdmDbname4. 如果把svBuildColum的值放在不同的字段中，使用Field(NewCord, $,1)，F(xiàn)ield(NewCord, $,2)..等等，把值賦給每個(gè)Colm. 最后結(jié)果如下：Id Col1 Col2 Col3 2 Rootpath Workdate EdsDbname 3 Rootpath Workdate AsdmDbname Oracle EE Stage在VIEW數(shù)據(jù)時(shí)出現(xiàn)的錯(cuò)誤及解決方法 錯(cuò)誤信息如下：I TOSH 000002 04:05:22(001) main_program orchgeneral: loaded I TOSH 000002 04:05:22(002) main_program orchsort: loaded I TOSH 000002 04:05:22(003) main_program orchstats: loaded E TOSH 000205 04:05:22(004) main_program PATH search failure: E TOSH 000000 04:05:22(005) main_program Error loading orchoracle: Could not load orchoracle: The specified module could not be found. E TOSH 000000 04:05:22(006) main_program Could not locate operator definition, wrapper, or Unix mand for oraread。字段分割后： Colum Export Stage的使用與Column Import Stage相反，將多個(gè)類型不同的字段合并成一個(gè)string或者binary類型的字段合并字段后： Got ERROR: Cannot find any process number for stages in Job Jobname解決當(dāng)我們用Director來ClearUp Resources 或 Clear Status File 時(shí)候，會(huì)出現(xiàn)上面的錯(cuò)誤提示；原因是：incorrect permissions settings. Following correct settings were done to solve the problem: rwsrxx 1 root dstage 1519616 Nov 13 2003 dsdlockd rwsrxx 1 root dstage 1499136 Nov 13 2003 dslictool rwsrxx 1 root dstage 3678208 Nov 13 2003 dstskup rwsrxx 1 root dstage 1519616 Nov 13 2003 list_readu rwsrxx 1 root dstage 1486848 Nov 13 2003 upduvtrans rwsrxx 1 root dstage 53248 Nov 13 2003 uv rwsrxx 2 root dstage 3796992 Nov 13 2003 uvbackup rwsrxx 1 root dstage 49152 Nov 13 2003 uvdls rwsrxx 2 root dstage 3796992 Nov 13 2003 uvrestore rwsrxx 1 root dstage 16384 Nov 13 2003 uvsetacc Settings for all the above was found to be incorrect. dsadm was the owner instead of root and also permissions were incorrect. Unable to create RT_CONFIGnnn造成這種問題的最普遍的兩個(gè)原因是：Is the file system on which your project directory exists full；Do you have write permission to your project directory 查看job和client的對(duì)應(yīng)的后臺(tái)進(jìn)程$ps fu dsadmUID C TIME CMD dsadm 11779 11776 0 09:02:02 ? 0:14 phantom loadDataDayAg. 3 0/0dsadm 1761 1760 2 08:56:27 ? 23:16 phantom Batch::MasterControlOrderDetail. 0 ParameterFile=/var/opt/dat前者是Job stage thread，后者是Job main threaddsadm 29865 29863...... ...................ESTABLISHEDClients attached$ ipcs Shared memory usage$ ps ef |grep uniEngine daemonroot 12970 1 0 Oct 09 ? 0:11 /opt/Ascential/DataStage/unishared/unirpc/unirpcdEngine daemon 查看Server Locks$ cd `cat /.dshome` $ . ./dsenv $ bin/uvshDSEngine mand prompt上面的操作等同于DataStage AdminitratotProjects(tab)Command(button)Verb is not in your VOC. utility LOGTO yourprojectname Which would you like? ( 1 6 ) ?5 Which would you like? ( 1 11 ) ?4LISTUUsers in DataStage lock table mand上面操作等同于$DSHOME/bin/list_readuQUIT同樣，在查看job pid及l(fā)ocks也可以通過datastage directorJobsClearup Resources4,DataStage Filesystem Mount Points$ cd `cat /.dshome` $ df k . 5,DataStage Engine Daemon $ cd /etc/ $ more 關(guān)于UNIX系統(tǒng)下無法啟動(dòng)服務(wù)的解決辦法在診斷啟動(dòng)失敗的原因之前，先說說如何停止服務(wù)。 當(dāng)執(zhí)行完重啟命令后，使用ps ef|grep dsrpcd 查看服務(wù)是否啟動(dòng)，如果此服務(wù)沒有啟動(dòng)，查看：1. ps查看有無client連接，殺掉進(jìn)程。 請(qǐng)使用 ./bin dsrpcd d9 /tmp/ 2amp。在Item Id的列表里找到你需要重新打開的job/routine和其對(duì)應(yīng)的PID＃值。s Ok! dataStage Job Log的處理如何在操作系統(tǒng)層面上，使用mand的到j(luò)ob log？在操作系統(tǒng)中我們可以使用engine(UNIX DSEngine)/bin 下的命令：dsjob log [info | warn] projectjobdsjob logsum [typeINFO|WARNING|FATAL|REJECT|STARTED|RESET|BATCH] [max n]