【文章內容簡介】 統(tǒng)需要具備非常高的抓取效率。系統(tǒng)將來需要處理的數(shù)據(jù)量肯定將會越來越多，所以在設計整個系統(tǒng)架構時，需要充分的考慮系統(tǒng)各個模塊（主要是采集、存儲、分析）的擴展性，采用分布式集群設計。2. 系統(tǒng)拓撲方案設計網(wǎng)絡采用星型網(wǎng)絡拓撲結構,并采用分層方式設計。簡化網(wǎng)絡結構，提高數(shù)據(jù)傳輸效率。網(wǎng)絡核心交換到服務器，形成千M到千M傳輸，網(wǎng)絡接入層設計、內部網(wǎng)絡服務。網(wǎng)絡核心采用一臺華為 的H3C S5024E核心交換機。交換機提供1000M以太網(wǎng)端口，與網(wǎng)絡的其他部分連接，組成1000M主干網(wǎng)絡，為了保證整個網(wǎng)絡的可靠性，核心交換機配置冗余引擎和雙電源。Internet數(shù)據(jù)首先通過防火墻過慮進入二層交換機，經(jīng)過前端軟防火墻的策略檢測，最終到達服務器，并訪問資源。服務器集群內包括兩臺蜘蛛服務器，三臺分布式數(shù)據(jù)存儲和分析服務器，一臺數(shù)據(jù)中心服務器，一臺數(shù)據(jù)備份服務器（與數(shù)據(jù)中心服務器以熱備方式工作，此結構為冗余設計，在數(shù)據(jù)中心出現(xiàn)問題時，可由交換機自動將數(shù)據(jù)切換至備份服務器。），一臺管理服務器。服務器全部采用成熟的企業(yè)版linux 系統(tǒng)，免費快速安全，系統(tǒng)對用戶數(shù)據(jù)、資料的安全性，以及網(wǎng)絡帶寬都要比較高，網(wǎng)絡的負載能力強，存儲空間大，前面準備采用asa 5540，對一些非法用戶入侵限制，訪問規(guī)則，對數(shù)據(jù)包的檢測過濾。圖 12系統(tǒng)拓撲圖3. 系統(tǒng)流量設計方案根據(jù)我們的經(jīng)驗，在10M網(wǎng)絡帶寬環(huán)境下，系統(tǒng)每小時最多可以采集大約5萬個網(wǎng)頁，這只是最理想的狀態(tài)，因為對帶寬流量的消耗主要包括檢查新的網(wǎng)頁內容和對正文頁的抓取兩部分，為了讓系統(tǒng)能夠保證滿足一定的時效性，蜘蛛程序需要不斷的訪問目標網(wǎng)頁來確認是否有新的文章更新，而且每次訪問不一定能夠帶回來新的文章，大多數(shù)是重復的，這對帶寬的消耗量其實是非常巨大的。要使系統(tǒng)即能滿足數(shù)據(jù)的全面性，又能達到一定時效性，僅僅依靠幾臺爬蟲服務器和幾十兆的帶寬資源是遠遠無法滿足需求的。九次方在國內外多個地區(qū)的IDC機房部署了服務器集群，目前的服務器總數(shù)量已達到2000多臺，專門用于數(shù)據(jù)采集的服務器大約為1500臺，各機房擁有的總帶寬出口量大約在2G bit/s，充分保證了對互聯(lián)網(wǎng)海量數(shù)據(jù)的采集、存儲、分析能力。目前系統(tǒng)每天能夠采集到大約500萬條信息，每條信息能夠在20分鐘之內完成存儲、索引和分析過程并呈現(xiàn)給用戶。安全中心可以在本地數(shù)據(jù)中心部署一定量的服務器和帶寬資源，保證對幾家重點媒體的數(shù)據(jù)采集能力，其他媒體的數(shù)據(jù)采集可以由九次方的服務器集群負責，采集過來的數(shù)據(jù)進行簡單過濾處理后傳送到安全中心的IDC，或者由客戶定時自取，九次方提供各類數(shù)據(jù)API，數(shù)據(jù)存儲和數(shù)據(jù)分析都在安全中心的IDC中處理。九次方為用戶提供的及時、全面的數(shù)據(jù)采集服務，安全中心無需自己搭設過多的數(shù)據(jù)采集點，只需要從九次方的數(shù)據(jù)通道獲得即可，這不但可以解決數(shù)據(jù)隱私的問題，而且可以大大降低了項目的實施成本。（三） 系統(tǒng)基礎組件結構系統(tǒng)基礎組件選用九次方自主研發(fā)的關鍵組件，與成熟的開源技術相結合，最大程度的降低了系統(tǒng)通用中間件的成本。圖 13系統(tǒng)基礎組件結構示意圖（四） 系統(tǒng)技術架構本工程采用主流成熟的開發(fā)框架和產(chǎn)品組件進行開發(fā)，采用多層體系結構來構建符合標準與管理規(guī)范體系、安全與運行保障體系的高可用性系統(tǒng)。綜上，本項目開發(fā)的整體技術架構如下：圖 14大數(shù)據(jù)綜合應用平臺總體技術架構示意圖其中：針對數(shù)據(jù)源層的數(shù)據(jù)采集：需提供多種方式，以滿足吳中區(qū)政府各局級單位IT系統(tǒng)的特點，數(shù)據(jù)采集不限于數(shù)據(jù)文件的“推”與“拉”方式、web錄入與上傳方式、數(shù)據(jù)庫直接方式等；并滿足離線采集、實時采集等不同采集類型的需要；數(shù)據(jù)處理層：負責系統(tǒng)所有數(shù)據(jù)的處理工作，基于分布式服務框架，實現(xiàn)包括離線處理、實時處理、實時交互查詢、數(shù)據(jù)預處理等，完成數(shù)據(jù)的加工以及對外展現(xiàn)的服務；數(shù)據(jù)存儲層：負責結構化和非結構化的存儲，存儲方式包括不限于HDFS、ORACLE、MYSQL（或）、內存數(shù)據(jù)庫等，滿足不同的應用場景需要；展現(xiàn)層：負責數(shù)據(jù)對外應用的展現(xiàn)，由Web負載集群實現(xiàn)展現(xiàn)應用。（五） 技術開發(fā)原則開放架構新平臺要構建開放架構，系統(tǒng)將通過參數(shù)設置定制，形成新產(chǎn)品以適應互聯(lián)網(wǎng)金融產(chǎn)品日新月異的發(fā)展，新產(chǎn)品上線將以插件化的方式，避免對老產(chǎn)品的影響?；A平臺采用租用擴展能力強、運維能力強的云服務平臺模式，從而減少硬件設備投入，避免因容量擴展迅速而頻繁進行硬件設備的迭代。體驗優(yōu)先用戶體驗度將是平臺成敗之根本，將簡潔清晰的用戶操作始終貫徹于平臺中的每個產(chǎn)品。移動優(yōu)先開發(fā)執(zhí)行移動優(yōu)先的策略，APP將覆蓋我們平臺的所有功能，但盡可能減少營銷信息，確?？蛻趔w驗。PC端主要是作為產(chǎn)品超市，下載平臺，宣傳媒介，功能主要是服務企業(yè)客戶。安全獨立新平臺將釆取開發(fā)廠商和安全廠商相對獨立，以確定平臺能達到設計的安全水平，同時跟進實時監(jiān)測，確保運行安全。第五章 建設進度一、 建設條件落實情況主要申報單位——江蘇太湖九次方大數(shù)據(jù)信息技術服務有限公司，擁有大數(shù)據(jù)挖掘技術、數(shù)據(jù)清洗、企業(yè)數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)標準頂層設計、數(shù)據(jù)可視化等成熟技術和部分大數(shù)據(jù)產(chǎn)業(yè)相關項目建設運營、而且公司的專業(yè)人才涉及大數(shù)據(jù)產(chǎn)業(yè)全產(chǎn)業(yè)鏈。因此，城市綜合管理服務大數(shù)據(jù)平臺的建設就有人才、技術、資金的保障。此次建設項目為城市綜合管理服務大數(shù)據(jù)平臺新項目，其建設內容：新建機房，購置硬件設備，根據(jù)需要購置系統(tǒng)軟件、數(shù)據(jù)交換平臺及開發(fā)基礎信息資源庫等內容。二、 建設工期和進度安排本項目建設周期為24個月。本項目各應用子系統(tǒng)建設、設備采購、網(wǎng)絡、計算、存儲、安全等系統(tǒng)運行環(huán)境建設、應用系統(tǒng)安裝部署、組織測試、試運行、驗收。初步的工程進度計劃如下表。雙月計算1234567891011121制定有關標準規(guī)范2城市綜合管理大數(shù)據(jù)平臺建設3安裝部署應用系統(tǒng)4組織測試5培訓、試運行、驗收6竣工驗收第六章 項目實施管理一、 領導和管理機構應用平臺作為支撐大數(shù)據(jù)應用的基礎平臺，由政府部門牽頭，完成各委辦局應用數(shù)據(jù)資源的梳理和目錄編制工作。為了保障應用平臺的順利建設，成立項目建設領導小組。領導小組全權負責應用平臺建設相關的規(guī)劃指導、統(tǒng)籌協(xié)調與建設管理工作。二、 項目實施機構為保障項目順利實施，項目組織結構采用項目領導層、項目管理層以及項目工程實施層的組織方式，采用分層次的協(xié)調管理和項目經(jīng)理負責制的管理體系來實現(xiàn)組織保證。明確各機構職責，建立工程開發(fā)實施過程中的各項制度，確保工程圓滿完工。圖 15應用平臺項目的組織機構圖（一） 項目實施小組負責整個項目開發(fā)實施過程中的最高決策和總體協(xié)調工作。它的職責是：批準該項目總體設計方案和實施進度計劃；進行重大投資決策；負責項目實施關鍵問題的戰(zhàn)略指導；對項目管理層不能達到一致的意見進行決策；批準項目的重大變更；協(xié)調工程相關的外部環(huán)境。（二） 需求調研組負責整個項目前期的需求調研工作，對各政府部門業(yè)務及其計算機應用現(xiàn)狀進行全面調研，在反復研討的基礎上出具調研報告，為后續(xù)的設計開發(fā)工作奠定基礎。（三） 分析設計組負責整個項目的系統(tǒng)規(guī)劃、總體設計、總體技術方案的工作。它的職責是：根據(jù)工程建設的總體目標、建設規(guī)模與內容的要求，進行總體方案的規(guī)劃與設計，編制工程開發(fā)實施的指導性文件，并在工程開發(fā)實施過程中，進行必要的咨詢與支持。（四） 平臺建設組在項目實施小組的統(tǒng)一領導組織下，負責完成應用平臺的開發(fā)任務。（五） 質量保障組對于整個項目的系統(tǒng)集成、軟件開發(fā)、系統(tǒng)實施等進行質量監(jiān)督、測試檢查、用戶測試、階段評審等工作，提交測試報告和評價報告；對工程進度進行控制，組織系統(tǒng)測試驗收。（六） 技術咨詢與培訓組將應用軟件系統(tǒng)轉換成實際運行的系統(tǒng)。開展有關業(yè)務規(guī)程、業(yè)務管理、應用操作、系統(tǒng)操作、環(huán)境建設、應用維護等方面的培訓，輔助有關應用安裝、系統(tǒng)調試、數(shù)據(jù)轉換、現(xiàn)場指導等方面的工作。人員組成：熟悉應用軟件系統(tǒng)需求、功能和操作的業(yè)務人員或測試人員；對網(wǎng)絡計算機環(huán)境、應用軟件系統(tǒng)、用戶培訓有實際實施經(jīng)驗的技術人員。（七） 運維組負責對網(wǎng)絡平臺系統(tǒng)和應用軟件系統(tǒng)，提供系統(tǒng)維護、系統(tǒng)升級、技術支持、咨詢答疑等售后服務。由相應的系統(tǒng)集成商和應用開發(fā)商承擔。三、 項目管理模式(一) 項目會議制度項目組內部例會：承建方項目組內部定期按計劃舉行項目內部例會。由項目經(jīng)理召集，項目主要負責人員參加，視情況項目其他有關人員也可參加。內部例會定期舉行。專題討論會：業(yè)主和承建方項目組主要負責人均可召集專題討論會，就某些專門問題進行討論，取得一致。專題討論會不定期舉行。(二) 書面信息溝通制度承建方每周定期向業(yè)主、項目承擔方和項目監(jiān)理方提交正式項目進展報告；承建方每周定期向公司領導以書面或正式會議的方式匯報項目進展情況。承建方項目經(jīng)理根據(jù)項目建設過程中遇到的各種問題，隨時通過電話、傳真或電子郵件等方式與業(yè)主、監(jiān)理方、專家組進行溝通和匯