【正文】 10g編程藝術(shù)——深入數(shù)據(jù)庫(kù)體系結(jié)構(gòu)[M]. 北京:人民郵電出版社, 2006.[3] 于寧斌. AIX5L系統(tǒng)管理技術(shù)[M]. 北京:電子工業(yè)出版社, 2003.[4] 王海亮. 精通Oracle 10g ProC/C++編程[M]. 北京:中國(guó)水利水電出版社, 2005.[5] Paulraj Ponniah著, 段云峰等譯. 數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)[M]. 北京:電子工業(yè)出版社, 2004.[6] Paul Wilton, John Colby著. 敖富江譯. SQL入門(mén)經(jīng)典[M]. 北京:清華大學(xué)出版社, 2006.[7] 侯捷. More Effective C++ 中文版(簡(jiǎn)體)[M]. 北京:電力出版社, 2003.[8] 張旭峰, 孫未未, 汪衛(wèi), 馮雅慧, 施伯樂(lè). 增量ETL過(guò)程自動(dòng)化產(chǎn)生方法的研究[J]. 計(jì)算機(jī)研究與發(fā)展, 2006, 43(6):10971103.[9] 賈自艷, 黃友平, 羅平, 李嘉佑, 秦亮曦, 史忠植. 面向數(shù)據(jù)質(zhì)量的ETL過(guò)程建模與實(shí)現(xiàn)[J]. 系統(tǒng)仿真學(xué)報(bào), 2004, 16(5):907911, 914.[10] 斯沃茲著, 趙學(xué)良譯. Unix系統(tǒng)簡(jiǎn)明教程（第2版）[M]. 北京:清華大學(xué)出版社. 2006.[11] good_old_times, derrick domino, stevetuf, Shamiul, BenTremblay. Extract, Transfer, Load[EB/OL]. ,_Transfer,_Load.。他們不僅給我學(xué)習(xí)知識(shí)的機(jī)會(huì)，還教育了我學(xué)習(xí)如何做人。然后還要感謝大學(xué)四年來(lái)所有的老師，他們?yōu)槲覀兇蛳掠?jì)算機(jī)專(zhuān)業(yè)知識(shí)的基礎(chǔ)；同時(shí)感謝大學(xué)四年來(lái)跟我一起成長(zhǎng)的同學(xué)們，正是他們，為我營(yíng)造了一個(gè)積極向上的學(xué)習(xí)環(huán)境，讓我有了一種很健康上進(jìn)的學(xué)習(xí)態(tài)度和責(zé)任心。同時(shí)我要特別感謝我的公司導(dǎo)師董朝剛，張士龍。首先感謝申煜湘老師，本課題在選題及研究過(guò)程中得到申老師的悉心指導(dǎo)，沒(méi)有申老師的支持，我不可能完成這個(gè)課題。圖1 圖名如表1所示。接著，本文利用軟件工程的思想，從需求分析、總體設(shè)計(jì)到概要設(shè)計(jì)的流程，逐步完成對(duì)EMC產(chǎn)品ETL框架結(jié)構(gòu)的詳細(xì)分析，并且著重介紹了后臺(tái)的數(shù)據(jù)調(diào)度校驗(yàn)過(guò)程，并根據(jù)實(shí)例驗(yàn)證了EMC產(chǎn)品中所采用的調(diào)度校驗(yàn)過(guò)程的實(shí)用性和合理性。 根據(jù)腳本返回值確定nAuditState的值。 判斷腳本類(lèi)型。 判斷校驗(yàn)邏輯類(lèi)型。無(wú)參數(shù)和返回值。216。216。216。216。216。： 參數(shù)表參數(shù)名稱(chēng)參數(shù)類(lèi)型方向參數(shù)描述stScriptchar *輸入宏替換前的腳本字符串。exit(AUDIT_RESULT_FAILED) 。2) 數(shù)據(jù)插入meta_step_indi_rel_inst表時(shí)出錯(cuò)：TRACE([ERROR]原來(lái)INSERT INTO meta_step_indi_rel_inst出錯(cuò):%s,%s\, strMsg)。EXEC SQL AT :g_szDb COMMIT WORK RELEASE。無(wú)參數(shù)和返回值。EXEC SQL AT :g_szDb ROLLBACK TO SAVEPOINT spoint。無(wú)參數(shù)和返回值。異常處理：數(shù)據(jù)插入meta_step_indi_rel_inst表失敗時(shí)：TRACE(顯示:插入meta_step_indi_rel_inst表數(shù)據(jù)失敗:err_msg=%s\n, ) 。InsertRelInst()功能：在meta_step_indi_rel_inst表中插入校驗(yàn)產(chǎn)生的相關(guān)記錄，包括： g_nInstID,g_nBusiFlowID,g_nStepTaskID,g_nBillingCycle,g_nAuditCatgID,g_nIndiScriptID, g_nExecCounts, sysdate, :g_nAuditState, :g_stAuditMsg, :g_nStepIndiRelID等信息。EXEC SQL AT :g_szDb COMMIT WORK RELEASE。3) 游標(biāo)FETCH操作時(shí)出錯(cuò)：TRACE ([ERROR]FETCH游標(biāo)cusor_node_id出錯(cuò),err_no=%d, err_msg=%s,%s\n,strMs）。EXEC SQL AT :g_szDb COMMIT WORK RELEASE。2) 取指標(biāo)操作中打開(kāi)游標(biāo)出錯(cuò)：TRACE ( [ERROR]打開(kāi)游標(biāo)cusor_node_id 出錯(cuò), err_no=%d, err_msg=%s, %s\n, ,strMsg) 。EXEC SQL AT :g_szDb COMMIT WORK RELEASE。異常處理：1) 取指標(biāo)個(gè)數(shù)操作出錯(cuò)或者沒(méi)有查到數(shù)據(jù)時(shí)：TRACE ([ERROR] 取IndiNodeID個(gè)數(shù)nIDNum出錯(cuò), err_no=%d, err_msg=%s, %s\n”, , , strMsg) 。216。： 參數(shù)表參數(shù)名稱(chēng)參數(shù)類(lèi)型方向參數(shù)描述stScriptchar *輸出用于取得的腳本指標(biāo)字符串： 返回值返回值返回值類(lèi)型描述stScriptChar*取得的指標(biāo)字符串函數(shù)流程：216。Return 2 。Return 2。 釋放分配的空間，提交數(shù)據(jù)庫(kù)操作。 調(diào)用ProcessSelectList（）函數(shù)，為設(shè)置選擇變量信息。 調(diào)用SetBindVariables（）函數(shù)，為設(shè)置綁定變量信息。 為SQLDA分配空間。ProcessScript（）功能：用于處理SQL腳本，調(diào)用AllocDescriptors（）為描述區(qū)分配空間，調(diào)用ProcessSelectList（）處理選擇區(qū)變量，調(diào)用SetBindVariables（）處理綁定區(qū)變量無(wú)參數(shù)。異常處理：當(dāng)bind_dpF 0（實(shí)際的參數(shù)超出了預(yù)算的最大值）：TRACE(\nToo many bind variables (%d), maximum is %d.\n, bind_dpF, MAX_ITEMS)。216。216。函數(shù)流程：216。SetBindVariables()功能：在sql動(dòng)態(tài)方法4中，專(zhuān)門(mén)處理綁定區(qū)變量，通過(guò)DESCRIBE語(yǔ)句，將處理語(yǔ)句的參數(shù)名、數(shù)據(jù)類(lèi)型等信息存放在bind_dp中。bIsContinue = false。return。 //設(shè)置實(shí)際選擇的變量數(shù)為0return 。 執(zhí)行select語(yǔ)句，并將取出的數(shù)據(jù)循環(huán)處理，調(diào)用InsertAuditDtl函數(shù)將數(shù)據(jù)結(jié)果保存到META_STEP_INDI_AUDIT_DTL表中。 根據(jù)不同的數(shù)據(jù)類(lèi)型給選擇變量確定L值。 設(shè)置最大列數(shù)為實(shí)際列數(shù)。 如果是SELECT語(yǔ)句，則通過(guò)DESCRIBE函數(shù)返回列名、數(shù)據(jù)類(lèi)型、長(zhǎng)度和是否為NULL標(biāo)志。 判斷sql語(yǔ)句是否為select語(yǔ)句，如果不是則設(shè)置F（即返回的列數(shù)）為0。無(wú)參數(shù)和返回值。return 1。return 1。 給存放指示符變量值和存放數(shù)據(jù)的變量申請(qǐng)空間。 設(shè)置最大列數(shù)和最大變量數(shù)。 為SQLDA動(dòng)態(tài)查詢(xún)的變量分配空間。 為SQLDA需要輸入的動(dòng)態(tài)參數(shù)分配空間。： 參數(shù)表參數(shù)名稱(chēng)參數(shù)類(lèi)型方向參數(shù)描述sizeint輸入第一個(gè)參數(shù)是SQL語(yǔ)句的最大列數(shù)或輸入宿主變量的最大個(gè)數(shù)max_vnameint輸入第二個(gè)參數(shù)，是指列名的最大長(zhǎng)度，或參數(shù)名的最大長(zhǎng)度max_iname_lenint輸入第三個(gè)參數(shù)，是指指示符變量名的最大長(zhǎng)度。return g_return_value。8進(jìn)行宏替換用實(shí)際值替換腳本中的宏9判斷腳本類(lèi)型并調(diào)度腳本根據(jù)腳本類(lèi)型調(diào)度腳本，并根據(jù)腳本返回值確定g_nAuditState的值10調(diào)用setAuditState()根據(jù)校驗(yàn)邏輯和腳本返回值確定校驗(yàn)返回狀態(tài)nAuditState11調(diào)用updAuditState()修改meta_step_indi_rel_inst表中校驗(yàn)狀態(tài)UPDATE meta_step_indi_rel_inst SET audit_state = :g_nAuditState where ((billing_cycle = :g_nBillingCycle) AND (step_indi_rel_id = :g_nStepIndiRelID) AND (exec_counts = :g_nExecCounts))。4是否可以查到是走6，否走55程序退出提示沒(méi)有查詢(xún)到第%d條script_type, rule_script記錄%s,g_nStepTaskID=%d\。)，AUDIT_LEVELSTEP_INDI_REL_ID2準(zhǔn)備處理上一步產(chǎn)生的第一條“校驗(yàn)信息”記錄申明并打開(kāi)游標(biāo)，提取記錄信息。)NVL(FAIL_MSG,39。得到的數(shù)據(jù)包括下列字段的值：STEP_INDI_REL_SEQ，AUDIT_CATG_IDINDI_SCRIPT_ID，NVL(SUCC_MSG,39。 數(shù)據(jù)結(jié)構(gòu)無(wú) 流程： 校驗(yàn)流程ID流程步驟內(nèi)容概述1根據(jù)“校驗(yàn)信息表”在內(nèi)存中生成需要校驗(yàn)的“節(jié)點(diǎn)校驗(yàn)記錄“查詢(xún)“校驗(yàn)信息表（META_STEP_INDI_REL）”，得到該節(jié)點(diǎn)的所有校驗(yàn)信息。通過(guò)ETL高度系統(tǒng)的開(kāi)發(fā)使用，不僅可以快速準(zhǔn)確有效地處理ETL過(guò)程，還能提供更彈性的擴(kuò)展空間。job可能是抽取、清洗、轉(zhuǎn)換或加載，也可能是PI加工。結(jié)果：修改任務(wù)組實(shí)例狀態(tài)，修改任務(wù)實(shí)例狀態(tài)，啟動(dòng)符合條件的任務(wù)實(shí)例和殺掉所有僵死進(jìn)程。當(dāng)掃描出來(lái)的任務(wù)實(shí)例都遍歷完成后，判斷任務(wù)實(shí)例中有無(wú)僵死進(jìn)程，如果有，則終止所有的僵死進(jìn)程。如果已經(jīng)完成，則判斷該任務(wù)實(shí)例的后置任務(wù)是否已經(jīng)完成，如果后置任務(wù)的實(shí)例狀態(tài)為為正在運(yùn)行、待刪除、異常結(jié)束，則從符合條件的任務(wù)實(shí)例中取下一條記錄來(lái)判斷。如果該任務(wù)實(shí)例有依賴(lài)條件，并且所依賴(lài)的任務(wù)組已經(jīng)完成，或者任務(wù)實(shí)例沒(méi)有依賴(lài)條件，則與任務(wù)實(shí)例狀態(tài)為未運(yùn)行的處理方式一樣。過(guò)程：掃描任務(wù)實(shí)例表取出所有未運(yùn)行、回滾、待刪除的任務(wù)實(shí)例，根據(jù)任務(wù)的狀態(tài)進(jìn)行相應(yīng)的處理：如果任務(wù)實(shí)例的狀態(tài)是待刪除，則終止該任務(wù)實(shí)例，并修改任務(wù)實(shí)例狀態(tài)為異常運(yùn)行結(jié)束，并從符合條件的任務(wù)實(shí)例中取下一條記錄來(lái)判斷。216。當(dāng)任務(wù)組被實(shí)例化后，則根據(jù)該任務(wù)組的組成生成每個(gè)任務(wù)實(shí)例。如果時(shí)間信息滿(mǎn)足實(shí)例化條件，則判斷該任務(wù)組在該時(shí)間點(diǎn)有沒(méi)有實(shí)例化過(guò)；如果有被實(shí)例化，則從要實(shí)例化的任務(wù)組里面取出下一個(gè)任務(wù)進(jìn)行判斷。接著判斷任務(wù)組中的每個(gè)任務(wù)有沒(méi)有約束條件；如果有則判斷所依賴(lài)的任務(wù)組是否完成；如果沒(méi)有完成則從要實(shí)例化的任務(wù)組里面取出下一個(gè)任務(wù)進(jìn)行判斷。過(guò)程：當(dāng)程序剛啟動(dòng)，掃描任務(wù)實(shí)例表結(jié)束正在運(yùn)行的任務(wù)。216。過(guò)程：前臺(tái)根據(jù)用戶(hù)指定的查詢(xún)條件查詢(xún)數(shù)據(jù)庫(kù)的任務(wù)實(shí)例日志表。216。對(duì)數(shù)據(jù)庫(kù)的任務(wù)實(shí)例的各狀態(tài)字段進(jìn)行更新。前臺(tái)根據(jù)用戶(hù)所選擇任務(wù)實(shí)例及修改后的狀態(tài)更新數(shù)據(jù)的任務(wù)實(shí)例表。 任務(wù)實(shí)例狀態(tài)修改功能：對(duì)任務(wù)組實(shí)例中的任務(wù)實(shí)例運(yùn)行狀態(tài)進(jìn)行修改。結(jié)果：前臺(tái)將這些正在運(yùn)行的任務(wù)實(shí)例紀(jì)錄返回到界面。 任務(wù)實(shí)例監(jiān)控功能：對(duì)在運(yùn)行的任務(wù)實(shí)例進(jìn)行監(jiān)控，可以查詢(xún)?nèi)蝿?wù)實(shí)例的狀態(tài)。同樣，刪除任務(wù)/任務(wù)組就要求把那條記錄從表中刪除。結(jié)果：當(dāng)增加任務(wù)/任務(wù)組時(shí)，在數(shù)據(jù)庫(kù)的任務(wù)/任務(wù)組表應(yīng)該增加一條記錄。過(guò)程：在添加任務(wù)或修改任務(wù)/任務(wù)組之前，先對(duì)輸入的數(shù)據(jù)有效性進(jìn)行檢驗(yàn)。