去哪兒網(wǎng)機(jī)票搜索系統(tǒng)的高并發(fā)架構(gòu)設(shè)計(jì)說明(編輯修改稿)
2025-05-05 22:12 本頁面
【文章內(nèi)容簡介】 3。 Java Executor框架提供了完善線程池管理機(jī)制：譬如newCachedThreadPool、 SingleThreadExecutor 等線程池。 FutureTask類靈活實(shí)現(xiàn)多線程的并行、串行計(jì)算。 在高并發(fā)場景下，提供了保證線程安全的對象、方法。比如經(jīng)典的ConcurrentHashMap，它比起HashMap，有更小粒度的鎖，并發(fā)讀寫性能更好。線程安全的StringBuilder取代String、StringBuffer等等（Java在多線程這塊實(shí)現(xiàn)是非常優(yōu)秀和成熟的）。高并發(fā)下數(shù)據(jù)傳輸 因?yàn)槊看嗡阉鳈C(jī)票，返回的航班數(shù)據(jù)是很多的： 包含各種航線組合：單程、單程一次中轉(zhuǎn)、單程多次中轉(zhuǎn)，往返更不用說了。 航線上又區(qū)分上百種航空公司的組合。比如北京到紐約，有美國航空，國航，大韓， 東京等等各個國家的各大航空公司，琳瑯滿目。那么，最早航班數(shù)據(jù)用標(biāo)準(zhǔn)的XML、JSON存儲，不過隨著搜索量不斷飆升，CPU和帶寬壓力很大了。后來采取自己定義一種txt格式來傳輸數(shù)據(jù)：一方面數(shù)據(jù)壓縮到原來30%~40%，極大的節(jié)約了帶寬。同時CPU的運(yùn)算量大大減低，服務(wù)器數(shù)量也隨之減小。在大用戶量、高并發(fā)的情況下，是特別能看出開源系統(tǒng)的特點(diǎn)：比如機(jī)票的數(shù)據(jù)解析用到了很多第三方庫，當(dāng)時我們也用了Fastjson。在正常情況下，F(xiàn)astjson 確實(shí)解析很快，一旦并發(fā)量上來，就會越來越吃內(nèi)存，甚至JVM很快出現(xiàn)內(nèi)存溢出。原因呢，很簡單，F(xiàn)astjson設(shè)計(jì)初衷是：先把整個數(shù)據(jù)裝載到內(nèi)存，然后解析，所以執(zhí)行很快，但很費(fèi)內(nèi)存。當(dāng)然，這不能說Fastjson不優(yōu)秀，現(xiàn)在看 GitHub上有8000多star。只是它不適應(yīng)剛才的業(yè)務(wù)場景。這里順便說到聯(lián)想到一個事：互聯(lián)網(wǎng)公司因?yàn)榭焖侔l(fā)展，需要新技術(shù)來支撐業(yè)務(wù)。 那么，應(yīng)用新的技術(shù)應(yīng)該注意些什么呢？我的體會是： 好的技術(shù)要大膽嘗試，謹(jǐn)慎使用。 優(yōu)秀開源項(xiàng)目，注意是優(yōu)秀。使用前一定弄清他的使用場景，多做做壓力測試。 高并發(fā)的用戶系統(tǒng)要做A/B測試，然后逐步導(dǎo)流，最后上線后還要有個觀察期。后臺搜索 后臺搜索系統(tǒng)的核心任務(wù)是從外部的GDS系統(tǒng)抓取航班數(shù)據(jù)，然后異步寫入緩存。首先說一個概念GDS(Global Distribution System)即“全球分銷系統(tǒng)”，是應(yīng)用于民用航空運(yùn)輸及整個旅游業(yè)的大型計(jì)算機(jī)信息服務(wù)系統(tǒng)。通過GDS，遍及全球的旅游銷售機(jī)構(gòu)可以及時地從航空公司、旅館、租車公司、旅游公司獲取大量的與旅游相關(guān)的信息。機(jī)票的源數(shù)據(jù)都來自于各種GDS系統(tǒng)，但每個GDS卻千差萬別：1. 服務(wù)器遍布全球各地：國內(nèi)GDS主要有中航信的IBE系統(tǒng)、黑屏數(shù)據(jù)（去機(jī)場、火車站看到售票員輸入的電腦終端系統(tǒng)），國際GDS遍布于東南亞、北美、歐洲等等。2. 通訊協(xié)議不一樣，HTTP（API、Webservice）、Socket等等。3. 服務(wù)不穩(wěn)定，尤其國外的GDS，受網(wǎng)路鏈路影響，訪問很慢（十幾分鐘長連接很常見），服務(wù)白天經(jīng)常性掛掉。4. 更麻煩的是：GDS一般付費(fèi)按次查詢，在大搜索量下，實(shí)時付費(fèi)用它，估計(jì)哪家公司都得破產(chǎn)。而且就算有錢 , 各種歷史悠久的
公司管理相關(guān)推薦
鄂ICP備17016276號-1