【正文】 問題具體優(yōu)化情況見附件：問 題 跟 蹤 清 分 .xls BEA工程師的監(jiān)控報(bào)告序號 工程師 文檔1 鄧釗星 PICC_電 銷 系 統(tǒng) 清 分功 能 壓 力 測 試 amp。? 清分模塊在從隊(duì)列中取消息時(shí)，未進(jìn)行數(shù)據(jù)庫連接狀態(tài)的判斷，導(dǎo)致數(shù)據(jù)庫異常時(shí)，消息大量丟失。Comment [p10]: 功能問題，已經(jīng)修改并驗(yàn)證。? : Pool not open：連接池未打開，主要由于數(shù)據(jù)庫連接數(shù)已滿，導(dǎo)致應(yīng)用程序創(chuàng)建連接時(shí)無法正常連接。 （測試計(jì)算出 PNOqueue的 TPS為 25，滿足業(yè)務(wù)需要的 TPS值 14）? 根據(jù)目前的測試環(huán)境無法給出生產(chǎn)環(huán)境所需要的線程數(shù)配置大小，但是通過測試可以得出：增加清分系統(tǒng)的線程數(shù)，會(huì)提高應(yīng)用系統(tǒng)的工作效率，但是增加線程數(shù)會(huì)對 CPU產(chǎn)生更大的開銷。? 就目前測試環(huán)境測算出的系統(tǒng)容量基本可以滿足 PICC未來一年業(yè)務(wù)量的發(fā)展。7 測試結(jié)論根據(jù)本文前面結(jié)果分析的分析，可以得出如下測試結(jié)論：? 清分功能中涉及到的 PNOqueue、queueR 和 queueData三個(gè)隊(duì)列，其中queueR的工作效率最高，PNOqueue 和 queueData處理能力相對較弱。確認(rèn)連接無法自動(dòng)斷開的原因。由于與生產(chǎn)服務(wù)器共享硬件資源，連接數(shù)不能繼續(xù)增大，測試過程中出現(xiàn)過多次連接數(shù)滿的情況。無法同是監(jiān)控三個(gè)隊(duì)列的運(yùn)行狀態(tài)，考慮Comment [p2]: 與開發(fā)確認(rèn)此問題不用修復(fù)。而著重監(jiān)控總中心隊(duì)列所消耗的時(shí)間。? 所測業(yè)務(wù)流程涉及與分中心的交互，由于無法監(jiān)控到分中心的處理情況，僅監(jiān)控總中心處 PNOqueue、queueR、queueData 三個(gè)隊(duì)列的運(yùn)行狀況。5 秒的誤差。? 由于測試環(huán)境存在和生產(chǎn)環(huán)境共用網(wǎng)絡(luò)帶寬和服務(wù)器系統(tǒng)資源的情況，正常生產(chǎn)業(yè)務(wù)繁忙與空閑期，也會(huì)對性能測試的結(jié)果有影響。? 在測試執(zhí)行過程中，無法監(jiān)控分公司服務(wù)器的運(yùn)行情況，分公司若出現(xiàn)異?；蛱幚磔^慢，將會(huì)影響性能測試的測試結(jié)果。在執(zhí)行性能測試時(shí)只能監(jiān)控系統(tǒng)全局的資源消耗，無法準(zhǔn)確判斷被測系統(tǒng)的資源消耗情況。與實(shí)際生產(chǎn)環(huán)境運(yùn)行時(shí)的性能表現(xiàn)存在差異。如果能夠?qū)?shù)據(jù)庫查詢性能進(jìn)行優(yōu)化，將能夠大大縮短業(yè)務(wù)執(zhí)行時(shí)間，同時(shí)也能夠大大提高應(yīng)用程序的性能。pnoQueue 的線程進(jìn)行 dump 分析：15 個(gè)線程中有 1113 個(gè)從數(shù)據(jù)庫讀取數(shù)據(jù)，占用了73%到 87%的線程資源。如圖所示：PICC 電銷系統(tǒng)清分功能性能測試報(bào)告 29 從上分析可以看出，WebService 的結(jié)果返回占用時(shí)間最長，是整個(gè)隊(duì)列 2290 這個(gè)JMS Client 端最大的時(shí)間消耗者。到了業(yè)務(wù)最高峰的時(shí)候，15 個(gè)線程全部在等待 WebService 的結(jié)果。注：以下段落為 Weblogic 工程師對 queueData 和 pnoQueue 兩個(gè)隊(duì)列的分析建議。可以通過一個(gè)簡單的計(jì)算來驗(yàn)證目前測試出系統(tǒng)的容量是否滿足未來 2 萬筆的需要。本次性能測試的其中一個(gè)目的是“評估當(dāng)前系統(tǒng)容量是否滿足業(yè)務(wù)未來一年發(fā)展的需要” 。建議項(xiàng)目組對三個(gè)隊(duì)列的技術(shù)實(shí)現(xiàn)形式和業(yè)務(wù)邏輯進(jìn)行分析。? queueData 隊(duì)列處理能力最弱，TPS 值為 20 左右。PICC 電銷系統(tǒng)清分功能性能測試報(bào)告 28 從圖中可以發(fā)現(xiàn)：? 三個(gè)隊(duì)列中 queueR 的處理能力最強(qiáng)，遠(yuǎn)遠(yuǎn)高于另外兩個(gè)隊(duì)列。根據(jù)上述總結(jié)，可以畫出下圖所示 CPU%、線程數(shù)以及程序 TPS 值之間的關(guān)系。? 當(dāng)應(yīng)用系統(tǒng)無法滿足當(dāng)前工作需要時(shí)，可以通過增加應(yīng)用的線程數(shù)來提高性能，但需要考慮 CPU 的負(fù)荷情況，一般情況專用服務(wù)器的 CPU 使用率不應(yīng)該超過 60%。圖 4244 20220 數(shù)據(jù)量 TF 流程 PNOqueueTPS 和 queueDataTPS下圖為 TF 測試過程中，監(jiān)控的系統(tǒng) CPU 使用率，值約為 75%。圖 4242 20220 數(shù)據(jù)量 TF 流程 JVM HeapPICC 電銷系統(tǒng)清分功能性能測試報(bào)告 26 圖 4243 20220 數(shù)據(jù)量 TF 流程 JMS 處理情況從圖 4239 中可以發(fā)現(xiàn)，從 queueData 隊(duì)列中取走 20220 條消息需要大約 20 分鐘。本流程主要設(shè)計(jì)的隊(duì)列為 PNOqueue和 queueData。尤其 queueData 的 TPS 是業(yè)務(wù)繁忙期的 4 倍左右。圖 4241 15000 數(shù)據(jù)量 TF 流程 PNOqueueTPS 和 queueDataTPS通過下表，可以對比一下生產(chǎn)業(yè)務(wù)繁忙期和空閑期 15000 數(shù)據(jù)量下系統(tǒng)的性能表現(xiàn)。這次的測試結(jié)果基本可以和 20220數(shù)據(jù)量下的測試結(jié)果進(jìn)行比較。PICC 電銷系統(tǒng)清分功能性能測試報(bào)告 24 圖 4238 15000 數(shù)據(jù)量 TF 流程 JVM Heap圖 4239 15000 數(shù)據(jù)量 TF 流程 JMS 處理情況從圖 832 中可以發(fā)現(xiàn)，本次從 queueData 隊(duì)列中取走 15000 條消息僅需要大約 7 分鐘，在此過程中，PNOqueue 隊(duì)列中的消息也隨著 queueData 中的消息的消費(fèi)而逐漸增多，仍然存在分中心平臺返回錯(cuò)誤信息的情況。所以我們特意挑選了一個(gè)生產(chǎn)業(yè)務(wù)空閑期，來重新執(zhí)行此次測試。通過和項(xiàng)目開發(fā)人員商討，發(fā)現(xiàn) 15000 數(shù)據(jù)量測試時(shí)正處于生產(chǎn)業(yè)務(wù)的高峰期，而進(jìn)行 20220 數(shù)據(jù)量測試時(shí)屬于生產(chǎn)業(yè)務(wù)的空閑期。PICC 電銷系統(tǒng)清分功能性能測試報(bào)告 23 圖 4236 15000 數(shù)據(jù)量 TF 流程 PNOqueueTPS 和 queueDataTPS下圖為 TF 測試過程中，監(jiān)控的系統(tǒng) CPU 使用率，值約為 60%。通過開發(fā)工程師分析得出是由于分中心平臺返回錯(cuò)誤信息導(dǎo)致。下面將描述這兩個(gè)隊(duì)列在測試過程中的性能表現(xiàn)。 圖 4233 20220 數(shù)據(jù)量 TI 流程系統(tǒng) CUP 使用處理情況PICC 電銷系統(tǒng)清分功能性能測試報(bào)告 22 見費(fèi)上收測試 15000 數(shù)據(jù)量測試本節(jié)描述在 15000 數(shù)據(jù)量下，TF 流程性能表現(xiàn)。 PICC 電銷系統(tǒng)清分功能性能測試報(bào)告 21 圖 4231 20220 數(shù)據(jù)量 TI 流程 JMS 處理情況（queuer）圖 4232 20220 數(shù)據(jù)量 TI 流程 queuerTPS從圖 4231 和圖 4232 中可以發(fā)現(xiàn)，從 queueR 中取走 20220 條消息，僅需要 1 分鐘左右，TPS 值高達(dá) 200。下面將描述這兩個(gè)隊(duì)列在測試過程中的性能表現(xiàn)。 圖 4227 15000 數(shù)據(jù)量 TI 流程系統(tǒng) CUP 使用處理情況 20220 數(shù)據(jù)量測試本節(jié)描述在 20220 數(shù)據(jù)量下，TI 流程性能表現(xiàn)。圖 4225 15000 數(shù)據(jù)量 TI 流程 JMS 處理情況（queuer）PICC 電銷系統(tǒng)清分功能性能測試報(bào)告 19 圖 4226 15000 數(shù)據(jù)量 TI 流程 queuerTPS從圖 4225 和圖 4226 中可以發(fā)現(xiàn)，從 queueR 中取走 15000 條消息，僅需要 1 分鐘左右，TPS 值高達(dá) 200。下面將描述這兩個(gè)隊(duì)列在測試過程中的性能表現(xiàn)。 15000 數(shù)據(jù)量測試本節(jié)描述在 15000 數(shù)據(jù)量下，TI 流程性能表現(xiàn)。后續(xù)測試均按照此數(shù)字配置。圖 4221 5000 數(shù)據(jù)量 TI 流程系統(tǒng)不通線程數(shù)下 PNOqueue 的 TPS 對比PICC 電銷系統(tǒng)清分功能性能測試報(bào)告 17 圖 4221 5000 數(shù)據(jù)量 TI 流程系統(tǒng)不通線程數(shù)下系統(tǒng) CPU 空閑率對比通過觀察上面兩個(gè)圖表，可以發(fā)現(xiàn)一下幾點(diǎn)：? 隨著線程數(shù)的不斷增加，清分系統(tǒng)從隊(duì)列中取消息的效率會(huì)逐步提升，同時(shí)開啟更多的線程，會(huì)增加系統(tǒng) CPU 的開銷，提高 CPU 的利用率。圖 4217 5000 數(shù)據(jù)量 TI 流程 JVM Heap（20 線程）圖 4218 5000 數(shù)據(jù)量 TI 流程 PNOqueueTPS（20 線程）PICC 電銷系統(tǒng)清分功能性能測試報(bào)告 16 圖 4219 5000 數(shù)據(jù)量 TI 流程 JMS 處理情況（20 線程）圖 4220 5000 數(shù)據(jù)量 TI 流程系統(tǒng) CUP 使用處理情況（20 線程