【文章內(nèi)容簡介】 per集群節(jié)點抓取引擎服務(wù)器crawlServercrawlServer2 3內(nèi)存：8G硬盤：300G　代理服務(wù)服務(wù)器ProxyServer1內(nèi)存：8G硬盤：300G　web應(yīng)用服務(wù)器JBOSS服務(wù)器 1內(nèi)存：8G硬盤：300G　數(shù)據(jù)預處理服務(wù)器DataProcessServer1內(nèi)存：8G硬盤：300G數(shù)據(jù)庫服務(wù)器Memcache緩存服務(wù)器數(shù)據(jù)庫服務(wù)器1內(nèi)存：8G硬盤：500G　 開發(fā)視圖 開發(fā)框架概述運價魔方基于恒拓開源的開發(fā)框架進行開發(fā)：。目的是支持快速開發(fā)，減少冗余代碼和配置文件的編寫，避免花大量時間搭建持久層等基礎(chǔ)設(shè)施層，使開發(fā)人員可以立刻針對對業(yè)務(wù)進行編程。開發(fā)框架基于DDD思想，且不耦合具體的IoC容器（Spring，Guice），持久層框架（Hibernate、JPA、JDBC），能夠盡可能保持核心業(yè)務(wù)層（即領(lǐng)域?qū)樱┑募儍?，提供最大限度的重用。開發(fā)框架功能列表：216。 不依賴IoC容器，適配多種IoC容器：Spring/Guice（Google）/Tapestry IoC216。 不依賴持久層框架，支持多種主流實現(xiàn)：JPA/Hibernate216。 提供一系列工具類和模式重用：Excel/Script Engine（腳本引擎，JSR223）/Rule Engine（規(guī)則引擎支持，JSR94）/Observer模式216。 單元測試基類：提供DBUnit，數(shù)據(jù)庫事務(wù)等支持，不必重復搭建216。 核心業(yè)務(wù)保留在領(lǐng)域?qū)樱咧赜?16。 不必重復搭建基礎(chǔ)設(shè)施216。 立刻針對業(yè)務(wù)進行開發(fā)216。 十分便捷的支持持續(xù)集成：持續(xù)構(gòu)建，一鍵發(fā)布，構(gòu)建結(jié)果反饋（郵件、MSN、GTalk） 開發(fā)框架分層圖表 1 開發(fā)架構(gòu)分層示意圖展現(xiàn)層：負責為用戶提供用戶界面，接收用戶的輸入?yún)?shù)，提交給應(yīng)用服務(wù)層執(zhí)行相應(yīng)業(yè)務(wù)操作，并接收應(yīng)用服務(wù)層的返回結(jié)果展示給用戶，其直接依賴于應(yīng)用服務(wù)層。應(yīng)用層：向外提供業(yè)務(wù)功能服務(wù)，它只負責系統(tǒng)應(yīng)用級別的邏輯如事務(wù)控制、權(quán)限控制、日志處理等，以及少量的跨領(lǐng)域?qū)ο蟮臉I(yè)務(wù)邏輯，它通過領(lǐng)域?qū)拥念I(lǐng)域?qū)ο髠}庫獲取相關(guān)的領(lǐng)域?qū)ο?，然后調(diào)用領(lǐng)域?qū)ο蟮姆椒ㄍ瓿上鄳?yīng)的業(yè)務(wù)，再把業(yè)務(wù)結(jié)果封裝到數(shù)據(jù)傳輸對象（DTO）中返回給展示層，這里的DTO是作為展示層與應(yīng)用服務(wù)層的數(shù)據(jù)載體，它負有裝載請求數(shù)據(jù)和結(jié)果數(shù)據(jù)的職責。領(lǐng)域?qū)樱喊瑯I(yè)務(wù)領(lǐng)域內(nèi)的一系列相關(guān)領(lǐng)域服務(wù)（傳統(tǒng)的Service層），領(lǐng)域?qū)ο蠹捌鋫}庫接口，領(lǐng)域?qū)ο蠓庋b其領(lǐng)域內(nèi)的業(yè)務(wù)邏輯，領(lǐng)域?qū)ο笸ㄟ^其倉儲接口獲取和持久化。倉儲實現(xiàn)層（數(shù)據(jù)訪問DAO層）：提供領(lǐng)域?qū)ο蟮某志没瘜崿F(xiàn)，它的作用是把領(lǐng)域?qū)ο蟮木唧w持久化實現(xiàn)細節(jié)封裝起來。該層只提供持久化實現(xiàn)，持久化操作的接口由領(lǐng)域?qū)佣x，因此，該層依賴于領(lǐng)域?qū)犹峁┫嚓P(guān)領(lǐng)域?qū)ο蟮臄?shù)據(jù)結(jié)構(gòu)和持久化操作接口，即倉儲接口。下圖展示了系統(tǒng)各邏輯層之間的關(guān)系：圖表 2 開發(fā)框架各層次邏輯關(guān)系圖 項目工程及目錄結(jié)構(gòu)，使用一個開源的Maven插件m2eclipse搭建基于Maven目錄結(jié)構(gòu)的開發(fā)環(huán)境，使用該工具，生成如下的目錄結(jié)構(gòu)：圖表 3 項目工程結(jié)構(gòu)一圖中的“taluo”是整個項目的根工程，m2eclipse會自動導入根工程下的5個子工程，這些子工程對應(yīng)于“功能模塊”章節(jié)中描述的各個子模塊和層次。導入后如下圖所示：圖表 4 項目工程結(jié)構(gòu)二下圖是子工程的目錄結(jié)構(gòu)：圖表 5 子工程目錄結(jié)構(gòu)上圖為子工程“taluocore”，src/main/java目錄放置的是Java源代碼文件，src/main/resources目錄放置的是相關(guān)資源文件（如SpringContext等），src/test/java目錄放置的是Java測試用例源代碼文件，src/test/resources目錄放置的是Java測試用例的相關(guān)資源文件。JRE System Library和Maven Dependencies放置的是JRE的類庫和由Maven管理的第三方依賴類庫文件，target是工程的編譯輸出路徑，可以通過Eclipse配置進行選擇，一般選用target作為編譯路徑。 。WEB應(yīng)用子工程的目錄結(jié)構(gòu)與其他JAR子工程的目錄結(jié)構(gòu)基本一致，唯一的不同是在src/main目錄下面需要放置一個webapp目錄，里面按照web應(yīng)用的標準目錄結(jié)構(gòu)放置jsp等頁面資源文件。Figure 6 抓取機器人工程目錄結(jié)構(gòu)由于抓取機器人功能簡單且獨立，我們把他作為一個單獨的工程。采用Maven標準的目錄結(jié)構(gòu)。 項目工程包依賴關(guān)系子工程包之間的依賴關(guān)系已經(jīng)在“功能模塊”的“核心領(lǐng)域?qū)印敝杏袌D示說明。 開發(fā)技術(shù)框架使用列表語言平臺：JDK 開發(fā)工具：Eclipse （插件：m2eclipse，subclipse）開發(fā)數(shù)據(jù)庫：Oracle10構(gòu)建工具：開發(fā)框架：基于（、） 版本控制使用SVN進行版本控制，同時在eclipse安裝Subclipse插件，可以在Eclipse里面方便地進行源代碼的checkin及checkout操作。 構(gòu)建及測試用構(gòu)建工具Maven進行構(gòu)建，然后發(fā)布到應(yīng)用服務(wù)器（Tomcat）進行測試。Maven可以方便地進行項目的編譯，打包，項目報告，及文檔化。 開發(fā)環(huán)境（虛擬機）搭建搭建開發(fā)環(huán)境可以把Web前端跟抓取機器人部署到同一臺機器上，HBase只用一臺Slaver，這樣的話總共需要4臺服務(wù)器。在虛擬機上虛擬4臺服務(wù)器分別安裝上圖所示的服務(wù)器，推薦用C檔的服務(wù)器來安裝虛