魔方系統(tǒng)架構(gòu)設(shè)計(jì)說明書v1-文庫吧
2025-07-18 22:35 本頁面
【正文】 器來滿足我們的業(yè)務(wù)需求，即使ip遭到屏蔽，由于可能傷害到其他普通ADSL用戶，所以也不大可能永遠(yuǎn)屏蔽，過一段時(shí)間ip解除屏蔽后，這些代理服務(wù)器又可以實(shí)現(xiàn)復(fù)用。所需要的代理服務(wù)器數(shù)量的計(jì)算方法：假設(shè)頻率至少為5分鐘/ip才不會(huì)遭到屏蔽，根據(jù)初期需求，每個(gè)渠道每小時(shí)內(nèi)有4500個(gè)請(qǐng)求，五分鐘內(nèi)就有375個(gè)請(qǐng)求，這樣的話就至少需要375個(gè)代理服務(wù)器ip才可以避免被屏蔽，我們就會(huì)保持在ip地址池中至少有375個(gè)ip是可用的。代理服務(wù)器ip獲取方法可以有如下幾種方式：1. 通過網(wǎng)絡(luò)掃描，自動(dòng)獲取。2. 通過向?qū)I(yè)服務(wù)商購買。第二種方式目前我們供應(yīng)商給我們的數(shù)據(jù)是300元/月，有15萬個(gè)ip可用。這個(gè)目前來說足夠滿足我們的需求了。動(dòng)機(jī)運(yùn)價(jià)數(shù)據(jù)是整個(gè)系統(tǒng)的中心，用戶希望系統(tǒng)能夠穩(wěn)定地抓取數(shù)據(jù)，有穩(wěn)定的數(shù)據(jù)來源。以支持后續(xù)的數(shù)據(jù)分析及查詢。 問題：大數(shù)據(jù)量存儲(chǔ)解決方案描述：使用云計(jì)算平臺(tái)因素需要支持海量數(shù)據(jù)存取。解決方案目前數(shù)據(jù)量還不大的時(shí)候，我們使用HBase來存儲(chǔ)抓取的運(yùn)價(jià)數(shù)據(jù)，經(jīng)過對(duì)比之后把變化的數(shù)據(jù)保存入數(shù)據(jù)庫。隨著數(shù)據(jù)的增大，以及并發(fā)的增加，我們會(huì)考慮使用Hadoop云計(jì)算平臺(tái)來支持大數(shù)據(jù)量的快速存取。同時(shí)使用Memcache緩存來加快查詢速度，對(duì)于某些功能，比如最低價(jià)查詢，我們還會(huì)使用預(yù)處理的方式先把最低價(jià)保存在一張表中，加快處理速度。動(dòng)機(jī)隨著數(shù)據(jù)量的增大，如果用普通的關(guān)系型數(shù)據(jù)庫，很快會(huì)面臨性能問題，一旦性能有問題，用戶體驗(yàn)就會(huì)大打折扣，試想每次查詢都要等幾十秒鐘甚至幾分鐘，那很快用戶就會(huì)失去耐心，很快就會(huì)拋棄你的系統(tǒng)。所以保持快速響應(yīng)是非常重要的目標(biāo)之一。 問題：渠道適配器的適應(yīng)性解決方案描述：提供自定義適配器的界面。因素提供多種方式讓適配器或者解析方式是可配置的。解決方案1． 用戶可以用java編寫自己的渠道實(shí)現(xiàn)（實(shí)現(xiàn)IPlaneService），系統(tǒng)會(huì)根據(jù)配置自動(dòng)加載相應(yīng)的渠道實(shí)現(xiàn)。2． 可以使用規(guī)則引擎或者動(dòng)態(tài)語言提供另外一種除java之外的適配器編寫方式。以上2種方式不需要重新啟動(dòng)服務(wù)器就能讓新的適配器生效，但缺點(diǎn)是需要運(yùn)維人員具備相應(yīng)語言的開發(fā)能力。3． 提供界面讓用戶自定義數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)，以xml為例，用戶指定航班號(hào)，起飛時(shí)間，航空公司等應(yīng)該對(duì)應(yīng)什么節(jié)點(diǎn)，然后xml通用適配器就會(huì)取得對(duì)應(yīng)節(jié)點(diǎn)的值把它作為航班號(hào)，起飛時(shí)間，航空公司等，類似可以指定所有其他的節(jié)點(diǎn)對(duì)應(yīng)關(guān)系。最后xml通用適配器取完所有的值之后就存入數(shù)據(jù)庫。Jason格式也類似，也會(huì)有jason通用適配器來處理。動(dòng)機(jī)系統(tǒng)運(yùn)維人員希望系統(tǒng)上線之后，如果遇到目標(biāo)網(wǎng)站改版，添加新的抓取渠道等要修改適配器或者添加適配器的時(shí)候，能盡可能簡單，同時(shí)盡可能把成本降到最低。 子系統(tǒng)本系統(tǒng)從邏輯上可以分為2個(gè)子系統(tǒng)：1． WEB前端子系統(tǒng)：前端用戶界面，提供運(yùn)價(jià)查詢，抓取設(shè)置管理等用戶接口。2． 抓取機(jī)器人子系統(tǒng)：讀取用戶在WEB前端設(shè)置的任務(wù)，按計(jì)劃運(yùn)行。 邏輯視圖 總體架構(gòu)圖Figure 1 總體架構(gòu)圖 技術(shù)架構(gòu)Figure 2 Web前端子系統(tǒng)技術(shù)架構(gòu)Figure 3 抓取機(jī)器人技術(shù)架構(gòu) WEB前端WEB前端項(xiàng)目層次如下：Figure 4 前端框架層次圖基于DDD思想。 抓取機(jī)器人 類圖Figure 5 抓取機(jī)器人類圖詳細(xì)運(yùn)行機(jī)制可參照抓取機(jī)器人的運(yùn)行視圖。 物理架構(gòu) 部署視圖Web前端跟抓取機(jī)器人分開不同的機(jī)器運(yùn)行，以使對(duì)對(duì)方的影響降到最低，也降低Web跟抓取機(jī)器人之間的耦合。Oracle單獨(dú)一臺(tái)機(jī)器，HBase也獨(dú)立出來，方便水平擴(kuò)展，也令對(duì)其他系統(tǒng)的影響降到最低。 網(wǎng)絡(luò)拓?fù)鋱D詳細(xì)服務(wù)ip及端口說明： 硬件設(shè)備架構(gòu)各層次節(jié)點(diǎn)對(duì)硬件的要求對(duì)照表（供參考）：CPU內(nèi)存磁盤備注Load Balancer高高一般無應(yīng)用服務(wù)器高高一般無抓取機(jī)器人服務(wù)器高高一般無Memcache服務(wù)器高高一般無HBase服務(wù)器高高高無數(shù)據(jù)庫服務(wù)器高高高無初期需投入的設(shè)備設(shè)備數(shù)量用途和備注LVS1負(fù)載均衡服務(wù)器應(yīng)用服務(wù)器2部署Web前端抓取機(jī)器人服務(wù)器2部署抓取機(jī)器人HBase服務(wù)器4部署HBase Master及Slaver數(shù)據(jù)庫服務(wù)器1部署Oracle 硬件采購部署項(xiàng)目部署應(yīng)用數(shù)量（臺(tái)）硬件需求備注hadoop集群、Zookeeper集群及Hbase集群1hadoop分布式文件系統(tǒng)主節(jié)點(diǎn)1內(nèi)存：8G硬盤：300G 2JobTracker：hadoop分布是計(jì)算框架任務(wù)調(diào)度節(jié)點(diǎn)3Hmaster ：HBase數(shù)據(jù)庫主節(jié)點(diǎn)4QuorumPeerMain ：zookeeper集群節(jié)點(diǎn)1SecondaryNameNode ：hadoop文件系統(tǒng)備份節(jié)點(diǎn)1CPU 內(nèi)存：8G硬盤：300G 2HMaster：Hbase數(shù)據(jù)庫備用主節(jié)點(diǎn)3QuorumPeerMain ：zookeeper集群節(jié)點(diǎn)1DataNode ：hadoop分布式文件系統(tǒng)數(shù)據(jù)節(jié)點(diǎn)5內(nèi)存：8G硬盤：4T 2TaskTracker ：hadoop分布式計(jì)算框架計(jì)算節(jié)點(diǎn)3HRegionServer ：HBase數(shù)據(jù)庫數(shù)據(jù)節(jié)點(diǎn)4QuorumPeerMain ：zookee
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1