【文章內(nèi)容簡介】 海量數(shù)據(jù)的能力，而且產(chǎn)品還對數(shù)據(jù)采集周期有一定要求，負責采集數(shù)據(jù)的爬蟲系統(tǒng)需要具備非常高的抓取效率。系統(tǒng)將來需要處理的數(shù)據(jù)量肯定將會越來越多，所以在設(shè)計整個系統(tǒng)架構(gòu)時，需要充分的考慮系統(tǒng)各個模塊（主要是采集、存儲、分析）的擴展性，采用分布式集群設(shè)計。2. 系統(tǒng)拓撲方案設(shè)計網(wǎng)絡(luò)采用星型網(wǎng)絡(luò)拓撲結(jié)構(gòu),并采用分層方式設(shè)計。簡化網(wǎng)絡(luò)結(jié)構(gòu)，提高數(shù)據(jù)傳輸效率。網(wǎng)絡(luò)核心交換到服務(wù)器，形成千M到千M傳輸，網(wǎng)絡(luò)接入層設(shè)計、內(nèi)部網(wǎng)絡(luò)服務(wù)。網(wǎng)絡(luò)核心采用一臺華為 的H3C S5024E核心交換機。交換機提供1000M以太網(wǎng)端口，與網(wǎng)絡(luò)的其他部分連接，組成1000M主干網(wǎng)絡(luò)，為了保證整個網(wǎng)絡(luò)的可靠性，核心交換機配置冗余引擎和雙電源。Internet數(shù)據(jù)首先通過防火墻過慮進入二層交換機，經(jīng)過前端軟防火墻的策略檢測，最終到達服務(wù)器，并訪問資源。服務(wù)器集群內(nèi)包括兩臺蜘蛛服務(wù)器，三臺分布式數(shù)據(jù)存儲和分析服務(wù)器，一臺數(shù)據(jù)中心服務(wù)器，一臺數(shù)據(jù)備份服務(wù)器（與數(shù)據(jù)中心服務(wù)器以熱備方式工作，此結(jié)構(gòu)為冗余設(shè)計，在數(shù)據(jù)中心出現(xiàn)問題時，可由交換機自動將數(shù)據(jù)切換至備份服務(wù)器。），一臺管理服務(wù)器。服務(wù)器全部采用成熟的企業(yè)版linux 系統(tǒng)，免費快速安全，系統(tǒng)對用戶數(shù)據(jù)、資料的安全性，以及網(wǎng)絡(luò)帶寬都要比較高，網(wǎng)絡(luò)的負載能力強，存儲空間大，前面準備采用asa 5540，對一些非法用戶入侵限制，訪問規(guī)則，對數(shù)據(jù)包的檢測過濾。圖 12系統(tǒng)拓撲圖3. 系統(tǒng)流量設(shè)計方案根據(jù)我們的經(jīng)驗，在10M網(wǎng)絡(luò)帶寬環(huán)境下，系統(tǒng)每小時最多可以采集大約5萬個網(wǎng)頁，這只是最理想的狀態(tài)，因為對帶寬流量的消耗主要包括檢查新的網(wǎng)頁內(nèi)容和對正文頁的抓取兩部分，為了讓系統(tǒng)能夠保證滿足一定的時效性，蜘蛛程序需要不斷的訪問目標網(wǎng)頁來確認是否有新的文章更新，而且每次訪問不一定能夠帶回來新的文章，大多數(shù)是重復(fù)的，這對帶寬的消耗量其實是非常巨大的。要使系統(tǒng)即能滿足數(shù)據(jù)的全面性，又能達到一定時效性，僅僅依靠幾臺爬蟲服務(wù)器和幾十兆的帶寬資源是遠遠無法滿足需求的。九次方在國內(nèi)外多個地區(qū)的IDC機房部署了服務(wù)器集群，目前的服務(wù)器總數(shù)量已達到2000多臺，專門用于數(shù)據(jù)采集的服務(wù)器大約為1500臺，各機房擁有的總帶寬出口量大約在2G bit/s，充分保證了對互聯(lián)網(wǎng)海量數(shù)據(jù)的采集、存儲、分析能力。目前系統(tǒng)每天能夠采集到大約500萬條信息，每條信息能夠在20分鐘之內(nèi)完成存儲、索引和分析過程并呈現(xiàn)給用戶。安全中心可以在本地數(shù)據(jù)中心部署一定量的服務(wù)器和帶寬資源，保證對幾家重點媒體的數(shù)據(jù)采集能力，其他媒體的數(shù)據(jù)采集可以由九次方的服務(wù)器集群負責，采集過來的數(shù)據(jù)進行簡單過濾處理后傳送到安全中心的IDC，或者由客戶定時自取，九次方提供各類數(shù)據(jù)API，數(shù)據(jù)存儲和數(shù)據(jù)分析都在安全中心的IDC中處理。九次方為用戶提供的及時、全面的數(shù)據(jù)采集服務(wù)，安全中心無需自己搭設(shè)過多的數(shù)據(jù)采集點，只需要從九次方的數(shù)據(jù)通道獲得即可，這不但可以解決數(shù)據(jù)隱私的問題，而且可以大大降低了項目的實施成本。（三） 系統(tǒng)基礎(chǔ)組件結(jié)構(gòu)系統(tǒng)基礎(chǔ)組件選用九次方自主研發(fā)的關(guān)鍵組件，與成熟的開源技術(shù)相結(jié)合，最大程度的降低了系統(tǒng)通用中間件的成本。圖 13系統(tǒng)基礎(chǔ)組件結(jié)構(gòu)示意圖（四） 系統(tǒng)技術(shù)架構(gòu)本工程采用主流成熟的開發(fā)框架和產(chǎn)品組件進行開發(fā)，采用多層體系結(jié)構(gòu)來構(gòu)建符合標準與管理規(guī)范體系、安全與運行保障體系的高可用性系統(tǒng)。綜上，本項目開發(fā)的整體技術(shù)架構(gòu)如下：圖 14大數(shù)據(jù)綜合應(yīng)用平臺總體技術(shù)架構(gòu)示意圖其中：針對數(shù)據(jù)源層的數(shù)據(jù)采集：需提供多種方式，以滿足吳中區(qū)政府各局級單位IT系統(tǒng)的特點，數(shù)據(jù)采集不限于數(shù)據(jù)文件的“推”與“拉”方式、web錄入與上傳方式、數(shù)據(jù)庫直接方式等；并滿足離線采集、實時采集等不同采集類型的需要；數(shù)據(jù)處理層：負責系統(tǒng)所有數(shù)據(jù)的處理工作，基于分布式服務(wù)框架，實現(xiàn)包括離線處理、實時處理、實時交互查詢、數(shù)據(jù)預(yù)處理等，完成數(shù)據(jù)的加工以及對外展現(xiàn)的服務(wù)；數(shù)據(jù)存儲層：負責結(jié)構(gòu)化和非結(jié)構(gòu)化的存儲，存儲方式包括不限于HDFS、ORACLE、MYSQL（或）、內(nèi)存數(shù)據(jù)庫等，滿足不同的應(yīng)用場景需要；展現(xiàn)層：負責數(shù)據(jù)對外應(yīng)用的展現(xiàn)，由Web負載集群實現(xiàn)展現(xiàn)應(yīng)用。（五） 技術(shù)開發(fā)原則開放架構(gòu)新平臺要構(gòu)建開放架構(gòu)，系統(tǒng)將通過參數(shù)設(shè)置定制，形成新產(chǎn)品以適應(yīng)互聯(lián)網(wǎng)金融產(chǎn)品日新月異的發(fā)展，新產(chǎn)品上線將以插件化的方式，避免對老產(chǎn)品的影響。基礎(chǔ)平臺采用租用擴展能力強、運維能力強的云服務(wù)平臺模式，從而減少硬件設(shè)備投入，避免因容量擴展迅速而頻繁進行硬件設(shè)備的迭代。體驗優(yōu)先用戶體驗度將是平臺成敗之根本，將簡潔清晰的用戶操作始終貫徹于平臺中的每個產(chǎn)品。移動優(yōu)先開發(fā)執(zhí)行移動優(yōu)先的策略，APP將覆蓋我們平臺的所有功能，但盡可能減少營銷信息，確?？蛻趔w驗。PC端主要是作為產(chǎn)品超市，下載平臺，宣傳媒介，功能主要是服務(wù)企業(yè)客戶。安全獨立新平臺將釆取開發(fā)廠商和安全廠商相對獨立，以確定平臺能達到設(shè)計的安全水平，同時跟進實時監(jiān)測，確保運行安全。第五章 建設(shè)進度一、 建設(shè)條件落實情況主要申報單位——江蘇太湖九次方大數(shù)據(jù)信息技術(shù)服務(wù)有限公司，擁有大數(shù)據(jù)挖掘技術(shù)、數(shù)據(jù)清洗、企業(yè)數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)標準頂層設(shè)計、數(shù)據(jù)可視化等成熟技術(shù)和部分大數(shù)據(jù)產(chǎn)業(yè)相關(guān)項目建設(shè)運營、而且公司的專業(yè)人才涉及大數(shù)據(jù)產(chǎn)業(yè)全產(chǎn)業(yè)鏈。因此，城市綜合管理服務(wù)大數(shù)據(jù)平臺的建設(shè)就有人才、技術(shù)、資金的保障。此次建設(shè)項目為城市綜合管理服務(wù)大數(shù)據(jù)平臺新項目，其建設(shè)內(nèi)容：新建機房，購置硬件設(shè)備，根據(jù)需要購置系統(tǒng)軟件、數(shù)據(jù)交換平臺及開發(fā)基礎(chǔ)信息資源庫等內(nèi)容。二、 建設(shè)工期和進度安排本項目建設(shè)周期為24個月。本項目各應(yīng)用子系統(tǒng)建設(shè)、設(shè)備采購、網(wǎng)絡(luò)、計算、存儲、安全等系統(tǒng)運行環(huán)境建設(shè)、應(yīng)用系統(tǒng)安裝部署、組織測試、試運行、驗收。初步的工程進度計劃如下表。雙月計算1234567891011121制定有關(guān)標準規(guī)范2城市綜合管理大數(shù)據(jù)平臺建設(shè)3安裝部署應(yīng)用系統(tǒng)4組織測試5培訓(xùn)、試運行、驗收6竣工驗收第六章 項目實施管理一、 領(lǐng)導(dǎo)和管理機構(gòu)應(yīng)用平臺作為支撐大數(shù)據(jù)應(yīng)用的基礎(chǔ)平臺，由政府部門牽頭，完成各委辦局應(yīng)用數(shù)據(jù)資源的梳理和目錄編制工作。為了保障應(yīng)用平臺的順利建設(shè)，成立項目建設(shè)領(lǐng)導(dǎo)小組。領(lǐng)導(dǎo)小組全權(quán)負責應(yīng)用平臺建設(shè)相關(guān)的規(guī)劃指導(dǎo)、統(tǒng)籌協(xié)調(diào)與建設(shè)管理工作。二、 項目實施機構(gòu)為保障項目順利實施，項目組織結(jié)構(gòu)采用項目領(lǐng)導(dǎo)層、項目管理層以及項目工程實施層的組織方式，采用分層次的協(xié)調(diào)管理和項目經(jīng)理負責制的管理體系來實現(xiàn)組織保證。明確各機構(gòu)職責，建立工程開發(fā)實施過程中的各項制度，確保工程圓滿完工。圖 15應(yīng)用平臺項目的組織機構(gòu)圖（一） 項目實施小組負責整個項目開發(fā)實施過程中的最高決策和總體協(xié)調(diào)工作。它的職責是：批準該項目總體設(shè)計方案和實施進度計劃；進行重大投資決策；負責項目實施關(guān)鍵問題的戰(zhàn)略指導(dǎo)；對項目管理層不能達到一致的意見進行決策；批準項目的重大變更；協(xié)調(diào)工程相關(guān)的外部環(huán)境。（二） 需求調(diào)研組負責整個項目前期的需求調(diào)研工作，對各政府部門業(yè)務(wù)及其計算機應(yīng)用現(xiàn)狀進行全面調(diào)研，在反復(fù)研討的基礎(chǔ)上出具調(diào)研報告，為后續(xù)的設(shè)計開發(fā)工作奠定基礎(chǔ)。（三） 分析設(shè)計組負責整個項目的系統(tǒng)規(guī)劃、總體設(shè)計、總體技術(shù)方案的工作。它的職責是：根據(jù)工程建設(shè)的總體目標、建設(shè)規(guī)模與內(nèi)容的要求，進行總體方案的規(guī)劃與設(shè)計，編制工程開發(fā)實施的指導(dǎo)性文件，并在工程開發(fā)實施過程中，進行必要的咨詢與支持。（四） 平臺建設(shè)組在項目實施小組的統(tǒng)一領(lǐng)導(dǎo)組織下，負責完成應(yīng)用平臺的開發(fā)任務(wù)。（五） 質(zhì)量保障組對于整個項目的系統(tǒng)集成、軟件開發(fā)、系統(tǒng)實施等進行質(zhì)量監(jiān)督、測試檢查、用戶測試、階段評審等工作，提交測試報告和評價報告；對工程進度進行控制，組織系統(tǒng)測試驗收。（六） 技術(shù)咨詢與培訓(xùn)組將應(yīng)用軟件系統(tǒng)轉(zhuǎn)換成實際運行的系統(tǒng)。開展有關(guān)業(yè)務(wù)規(guī)程、業(yè)務(wù)管理、應(yīng)用操作、系統(tǒng)操作、環(huán)境建設(shè)、應(yīng)用維護等方面的培訓(xùn)，輔助有關(guān)應(yīng)用安裝、系統(tǒng)調(diào)試、數(shù)據(jù)轉(zhuǎn)換、現(xiàn)場指導(dǎo)等方面的工作。人員組成：熟悉應(yīng)用軟件系統(tǒng)需求、功能和操作的業(yè)務(wù)人員或測試人員；對網(wǎng)絡(luò)計算機環(huán)境、應(yīng)用軟件系統(tǒng)、用戶培訓(xùn)有實際實施經(jīng)驗的技術(shù)人員。（七） 運維組負責對網(wǎng)絡(luò)平臺系統(tǒng)和應(yīng)用軟件系統(tǒng)，提供系統(tǒng)維護、系統(tǒng)升級、技術(shù)支持、咨詢答疑等售后服務(wù)。由相應(yīng)的系統(tǒng)集成商和應(yīng)用開發(fā)商承擔。三、 項目管理模式(一) 項目會議制度項目組內(nèi)部例會：承建方項目組內(nèi)部定期按計劃舉行項目內(nèi)部例會。由項目經(jīng)理召集，項目主要負責人員參加，視情況項目其他有關(guān)人員也可參加。內(nèi)部例會定期舉行。專題討論會：業(yè)主和承建方項目組主要負責人均可召集專題討論會，就某些專門問題進行討論，取得一致。專題討論會不定期舉行。(二) 書面信息溝通制度承建方每周定期向業(yè)主、項目承擔方和項目監(jiān)理方提交正式項目進展報告；承建方每周定期向公司領(lǐng)導(dǎo)以書面或正式會議的方式匯報項目進展情況。承