【正文】 目標(biāo)網(wǎng)站數(shù)據(jù)格式改變目標(biāo)網(wǎng)站的數(shù)據(jù)格式一旦改變，適配器的改變是不可避免的，所不同的就是改變的大小，方式，成本的問題，所以這是一個(gè)風(fēng)險(xiǎn)點(diǎn)。 WORD格式整理 范文范例參考8 風(fēng)險(xiǎn)評估 抓取機(jī)器人IP遭目標(biāo)網(wǎng)站屏蔽即使使用大量的代理服務(wù)器來分散請求，還是有可能遭到屏蔽，而一旦所有的服務(wù)器都遭到屏蔽，那么就會(huì)面臨抓取機(jī)器人不可用的風(fēng)險(xiǎn)，核心數(shù)據(jù)來源就會(huì)中斷。負(fù)載均衡：需通過piranha來添加lvs服務(wù)器就可。 可運(yùn)維性配載系統(tǒng)架構(gòu)提供了如下可運(yùn)維性：應(yīng)用服務(wù)器：當(dāng)需要增加或減少應(yīng)用服務(wù)器節(jié)點(diǎn)時(shí)，只需要配置LVS的real server列表即可。應(yīng)用服務(wù)器架構(gòu)可擴(kuò)展：當(dāng)2臺(tái)應(yīng)用服務(wù)器不足以支持業(yè)務(wù)的時(shí)候，可以隨時(shí)增加應(yīng)用服務(wù)器的個(gè)數(shù)，所需要的改動(dòng)僅僅只是配置一下負(fù)載均衡的Real Server列表負(fù)載均衡架構(gòu)可擴(kuò)展：當(dāng)1臺(tái)lvs不足以滿足負(fù)載均衡的高可用性的時(shí)候也可以隨時(shí)添加1臺(tái)lvs做到高可用性。 架構(gòu)可擴(kuò)展性在架構(gòu)上，我們在每個(gè)層次的伸縮性上都做了良好的設(shè)計(jì)（除了數(shù)據(jù)庫層次）。7 架構(gòu)能力 可擴(kuò)展性 系統(tǒng)可擴(kuò)展性配載系統(tǒng)的設(shè)計(jì)和開發(fā)，均以接口為中心編程，并采用良好的分層開發(fā)模式幫助系統(tǒng)劃分和保持結(jié)構(gòu)的一致性。216。業(yè)內(nèi)還有許多開源的解決方案，比如：216。HTTPS的原理如圖：圖表 1 HTTPS通訊原理 4 接口設(shè)計(jì) 無5 領(lǐng)域框架 見開發(fā)視圖章節(jié)。根據(jù)需求，用戶和系統(tǒng)的交互的通訊過程需要加密，以防止信息被竊取或惡意篡改。 數(shù)據(jù)庫安全性借助Oracle強(qiáng)大的數(shù)據(jù)庫活動(dòng)監(jiān)控和分塊、授權(quán)用戶和多要素訪問控制、數(shù)據(jù)分類、透明的數(shù)據(jù)加密、統(tǒng)一的審計(jì)和報(bào)表編制、安全的配置管理和數(shù)據(jù)屏蔽等強(qiáng)大功能，用戶無需對現(xiàn)有應(yīng)用程序做任何改變即可部署可靠的數(shù)據(jù)安全性解決方案，從而節(jié)省時(shí)間和金錢。 可插拔的架構(gòu)。 非侵入式設(shè)置。 與Spring集成非常易于配置。Spring Security 是一個(gè)基于角色及資源的權(quán)限控制系統(tǒng)，可以過濾所有基于的資源請求。每個(gè)用戶都必須登陸（HTTPS/Spring Security），系統(tǒng)驗(yàn)證用戶名和密碼是否匹配。擴(kuò)展（或替代流程）：*“取消”按鈕：發(fā)生頻率：可能會(huì)不斷發(fā)生。8. 在添加頁面輸入所需的所有必要信息。主成功場景（或基本流程）：6. 用戶打開預(yù)警規(guī)則管理頁面。前置條件：用戶必須登錄至系統(tǒng)。發(fā)生頻率：頻繁發(fā)生。擴(kuò)展（或替代流程）：*：。4. 對返回?cái)?shù)據(jù)進(jìn)行分析提取。2. 生成任務(wù)。成功保證（或后置條件）：獲取到目標(biāo)網(wǎng)站的數(shù)據(jù)并提取然后保存至數(shù)據(jù)庫。 用例視圖用例1：抓取目標(biāo)數(shù)據(jù)范圍：抓取機(jī)器人級別：子功能級別主要參與者：定時(shí)器（系統(tǒng)時(shí)鐘）涉眾及其關(guān)注點(diǎn)：用戶：希望能夠定時(shí)，穩(wěn)定地獲取目標(biāo)網(wǎng)站的數(shù)據(jù)。6. 用xpath在Document對象上循環(huán)取值并創(chuàng)建PlanInfo對象用來保存取得的值，然后將PlaneInfo對象加入到之前創(chuàng)建的ArrayList對象list。4. 創(chuàng)建XPathFactory對象用來取xml的數(shù)據(jù)。2. 在創(chuàng)建的DocumentBuilderFactory對象上調(diào)用newDocumentBuilder生成DocumentBuilder對象parser。5. 將os轉(zhuǎn)換成InputStream，返回。3. 創(chuàng)建緩存數(shù)組data。步驟：1. 以返回的InputStream流is為參數(shù)創(chuàng)建gzip流的讀取流GZIPInputStream。8. 檢查response的encode屬性如果為gzip，需要對其進(jìn)行解壓。6. 調(diào)用HttpClient的execute方法以post為參數(shù)。4. 設(shè)置HttpClien的代理為之前創(chuàng)建的proxy。2. 創(chuàng)建post請求對象post。7. 保存如HBase數(shù)據(jù)庫。5. 目標(biāo)網(wǎng)站返回?cái)?shù)據(jù)。3. HttpClient（HTMLUnit）調(diào)用ProxyIPFactory獲取代理ip。 渠道實(shí)現(xiàn)的總體運(yùn)行視圖上圖展示了渠道實(shí)現(xiàn)的總體運(yùn)行序列圖：1. 抓取任務(wù)根據(jù)配置調(diào)用相應(yīng)的渠道實(shí)現(xiàn)。2. 抓取機(jī)器人讀取數(shù)據(jù)庫的配置。8. Domain調(diào)用Repository對數(shù)據(jù)進(jìn)行持久化。調(diào)用Service。 WEB前端Figure 7 WEB前端子系統(tǒng)運(yùn)行架構(gòu)上圖展示了用戶發(fā)起請求的時(shí)候Web前端系統(tǒng)的運(yùn)行序列圖：5. 客戶端用戶操作瀏覽器中的頁面，發(fā)起請求。 運(yùn)行視圖 整體運(yùn)行架構(gòu)上圖展示了當(dāng)客戶端請求發(fā)起的時(shí)候，整個(gè)運(yùn)行的序列圖：1. 客戶端用戶操作瀏覽器中的頁面，發(fā)起請求2. LVS接收到請求之后，根據(jù)調(diào)度策略把請求分發(fā)到對應(yīng)的Web Server上去。這個(gè)是整個(gè)系統(tǒng)關(guān)鍵的數(shù)據(jù)來源。在虛擬機(jī)上虛擬4臺(tái)服務(wù)器分別安裝上圖所示的服務(wù)器，推薦用C檔的服務(wù)器來安裝虛擬機(jī)。Maven可以方便地進(jìn)行項(xiàng)目的編譯，打包，項(xiàng)目報(bào)告，及文檔化。 開發(fā)技術(shù)框架使用列表語言平臺(tái)：JDK 開發(fā)工具：Eclipse （插件：m2eclipse，subclipse）開發(fā)數(shù)據(jù)庫：Oracle10構(gòu)建工具：開發(fā)框架：基于（、） 版本控制使用SVN進(jìn)行版本控制，同時(shí)在eclipse安裝Subclipse插件，可以在Eclipse里面方便地進(jìn)行源代碼的checkin及checkout操作。采用Maven標(biāo)準(zhǔn)的目錄結(jié)構(gòu)。WEB應(yīng)用子工程的目錄結(jié)構(gòu)與其他JAR子工程的