魔方系統(tǒng)架構(gòu)設(shè)計(jì)說(shuō)明書(shū)v1-wenkub
2022-08-30 22:35:36 本頁(yè)面
【正文】 的需求是初期100條航線(xiàn)13個(gè)渠道，每小時(shí)抓取一次，范圍是之后45天之內(nèi)的數(shù)據(jù)。高度影響，如存儲(chǔ)性能太低，會(huì)大大影響用戶(hù)體驗(yàn)。中度影響，會(huì)影響系統(tǒng)的運(yùn)營(yíng)及擴(kuò)展。因素自動(dòng)改變ip解決方案當(dāng)前，我們使用代理服務(wù)器來(lái)運(yùn)行機(jī)器人抓取任務(wù)。2. 通過(guò)向?qū)I(yè)服務(wù)商購(gòu)買(mǎi)。以支持后續(xù)的數(shù)據(jù)分析及查詢(xún)。同時(shí)使用Memcache緩存來(lái)加快查詢(xún)速度，對(duì)于某些功能，比如最低價(jià)查詢(xún)，我們還會(huì)使用預(yù)處理的方式先把最低價(jià)保存在一張表中，加快處理速度。因素提供多種方式讓適配器或者解析方式是可配置的。3． 提供界面讓用戶(hù)自定義數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)，以xml為例，用戶(hù)指定航班號(hào)，起飛時(shí)間，航空公司等應(yīng)該對(duì)應(yīng)什么節(jié)點(diǎn)，然后xml通用適配器就會(huì)取得對(duì)應(yīng)節(jié)點(diǎn)的值把它作為航班號(hào)，起飛時(shí)間，航空公司等，類(lèi)似可以指定所有其他的節(jié)點(diǎn)對(duì)應(yīng)關(guān)系。 子系統(tǒng)本系統(tǒng)從邏輯上可以分為2個(gè)子系統(tǒng)：1． WEB前端子系統(tǒng)：前端用戶(hù)界面，提供運(yùn)價(jià)查詢(xún)，抓取設(shè)置管理等用戶(hù)接口。 物理架構(gòu) 部署視圖Web前端跟抓取機(jī)器人分開(kāi)不同的機(jī)器運(yùn)行，以使對(duì)對(duì)方的影響降到最低，也降低Web跟抓取機(jī)器人之間的耦合。開(kāi)發(fā)框架基于DDD思想，且不耦合具體的IoC容器（Spring，Guice），持久層框架（Hibernate、JPA、JDBC），能夠盡可能保持核心業(yè)務(wù)層（即領(lǐng)域?qū)樱┑募儍?，提供最大限度的重用?提供一系列工具類(lèi)和模式重用：Excel/Script Engine（腳本引擎，JSR223）/Rule Engine（規(guī)則引擎支持，JSR94）/Observer模式216。 立刻針對(duì)業(yè)務(wù)進(jìn)行開(kāi)發(fā)216。倉(cāng)儲(chǔ)實(shí)現(xiàn)層（數(shù)據(jù)訪問(wèn)DAO層）：提供領(lǐng)域?qū)ο蟮某志没瘜?shí)現(xiàn)，它的作用是把領(lǐng)域?qū)ο蟮木唧w持久化實(shí)現(xiàn)細(xì)節(jié)封裝起來(lái)。JRE System Library和Maven Dependencies放置的是JRE的類(lèi)庫(kù)和由Maven管理的第三方依賴(lài)類(lèi)庫(kù)文件，target是工程的編譯輸出路徑，可以通過(guò)Eclipse配置進(jìn)行選擇，一般選用target作為編譯路徑。采用Maven標(biāo)準(zhǔn)的目錄結(jié)構(gòu)。Maven可以方便地進(jìn)行項(xiàng)目的編譯，打包，項(xiàng)目報(bào)告，及文檔化。這個(gè)是整個(gè)系統(tǒng)關(guān)鍵的數(shù)據(jù)來(lái)源。 WEB前端Figure 7 WEB前端子系統(tǒng)運(yùn)行架構(gòu)上圖展示了用戶(hù)發(fā)起請(qǐng)求的時(shí)候Web前端系統(tǒng)的運(yùn)行序列圖：5. 客戶(hù)端用戶(hù)操作瀏覽器中的頁(yè)面，發(fā)起請(qǐng)求。8. Domain調(diào)用Repository對(duì)數(shù)據(jù)進(jìn)行持久化。 渠道實(shí)現(xiàn)的總體運(yùn)行視圖上圖展示了渠道實(shí)現(xiàn)的總體運(yùn)行序列圖：1. 抓取任務(wù)根據(jù)配置調(diào)用相應(yīng)的渠道實(shí)現(xiàn)。5. 目標(biāo)網(wǎng)站返回?cái)?shù)據(jù)。2. 創(chuàng)建post請(qǐng)求對(duì)象post。6. 調(diào)用HttpClient的execute方法以post為參數(shù)。步驟：1. 以返回的InputStream流is為參數(shù)創(chuàng)建gzip流的讀取流GZIPInputStream。5. 將os轉(zhuǎn)換成InputStream，返回。4. 創(chuàng)建XPathFactory對(duì)象用來(lái)取xml的數(shù)據(jù)。 用例視圖用例1：抓取目標(biāo)數(shù)據(jù)范圍：抓取機(jī)器人級(jí)別：子功能級(jí)別主要參與者：定時(shí)器（系統(tǒng)時(shí)鐘）涉眾及其關(guān)注點(diǎn)：用戶(hù)：希望能夠定時(shí)，穩(wěn)定地獲取目標(biāo)網(wǎng)站的數(shù)據(jù)。2. 生成任務(wù)。擴(kuò)展（或替代流程）：*：。前置條件：用戶(hù)必須登錄至系統(tǒng)。8. 在添加頁(yè)面輸入所需的所有必要信息。每個(gè)用戶(hù)都必須登陸（HTTPS/Spring Security），系統(tǒng)驗(yàn)證用戶(hù)名和密碼是否匹配。 與Spring集成非常易于配置。 可插拔的架構(gòu)。根據(jù)需求，用戶(hù)和系統(tǒng)的交互的通訊過(guò)程需要加密，以防止信息被竊取或惡意篡改。業(yè)內(nèi)還有許多開(kāi)源的解決方案，比如：216。7 架構(gòu)能力 可擴(kuò)展性 系統(tǒng)可擴(kuò)展性配載系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)，均以接口為中心編程，并采用良好的分層開(kāi)發(fā)模式幫助系統(tǒng)劃分和保持結(jié)構(gòu)的一致性。應(yīng)用服務(wù)器架構(gòu)可擴(kuò)展：當(dāng)2臺(tái)應(yīng)用服務(wù)器不足以支持業(yè)務(wù)的時(shí)候，可以隨時(shí)增加應(yīng)用服務(wù)器的個(gè)數(shù)，所需要的改動(dòng)僅僅只是配置一下負(fù)載均衡的Real Server列表負(fù)載均衡架構(gòu)可擴(kuò)展：當(dāng)1臺(tái)lvs不足以滿(mǎn)足負(fù)載均衡的高可用性的時(shí)候也可以隨時(shí)添加1臺(tái)lvs做到高可用性。負(fù)載均衡：需通過(guò)piranha來(lái)添加lvs服務(wù)器就可。 目標(biāo)網(wǎng)站數(shù)據(jù)格式改變目標(biāo)網(wǎng)站的數(shù)據(jù)格式一旦改變，適配器的改變是不可避免的，所不同的就是改變的大小，方式，成本的問(wèn)題，所以這是一個(gè)風(fēng)險(xiǎn)點(diǎn)。 WORD格式整理 范文范例參考8 風(fēng)險(xiǎn)評(píng)估 抓取機(jī)器人IP遭目標(biāo)網(wǎng)站屏蔽即使使用大量的代理服務(wù)器來(lái)分散請(qǐng)求，還是有可能遭到屏蔽，而一旦所有的服務(wù)器都遭到屏蔽，那么就會(huì)面臨抓取機(jī)器人不可用的風(fēng)險(xiǎn)，核心數(shù)據(jù)來(lái)源就會(huì)中斷。 可運(yùn)維性配載系統(tǒng)架構(gòu)提供了如下可運(yùn)維性：應(yīng)用服務(wù)器：當(dāng)需要增加或減少應(yīng)用服務(wù)器節(jié)點(diǎn)時(shí)，只需要配置LVS的real server列表即可。 架構(gòu)可擴(kuò)展性在架構(gòu)上，我們?cè)诿總€(gè)層次的伸縮性上都做了良好的設(shè)計(jì)（除了數(shù)據(jù)庫(kù)層次）。216。HTTPS的原理如圖：圖表 1 HTTPS通訊原理 4 接口設(shè)計(jì) 無(wú)5 領(lǐng)域框架 見(jiàn)開(kāi)發(fā)視圖章節(jié)。 數(shù)據(jù)庫(kù)安全性借助Oracle強(qiáng)大的數(shù)據(jù)庫(kù)活動(dòng)監(jiān)控和分塊、授權(quán)用戶(hù)和多要素訪問(wèn)控制、數(shù)據(jù)分類(lèi)、透明的數(shù)據(jù)加密、統(tǒng)一的審計(jì)和報(bào)表編制、安全的配置管理和數(shù)據(jù)屏蔽等強(qiáng)大功能，用戶(hù)無(wú)需對(duì)現(xiàn)有應(yīng)用程序做任何改變即可部署可靠的數(shù)據(jù)安全性解決方案，從而節(jié)省時(shí)間和金錢(qián)。 非侵入式設(shè)置。Spring Securit
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1