【文章內(nèi)容簡介】 用asa 5540，對一些非法用戶入侵限制，訪問規(guī)則，對數(shù)據(jù)包的檢測過濾。圖 12系統(tǒng)拓撲圖3. 系統(tǒng)流量設計方案根據(jù)我們的經(jīng)驗，在10M網(wǎng)絡帶寬環(huán)境下，系統(tǒng)每小時最多可以采集大約5萬個網(wǎng)頁，這只是最理想的狀態(tài)，因為對帶寬流量的消耗主要包括檢查新的網(wǎng)頁內(nèi)容和對正文頁的抓取兩部分，為了讓系統(tǒng)能夠保證滿足一定的時效性，蜘蛛程序需要不斷的訪問目標網(wǎng)頁來確認是否有新的文章更新，而且每次訪問不一定能夠帶回來新的文章，大多數(shù)是重復的，這對帶寬的消耗量其實是非常巨大的。要使系統(tǒng)即能滿足數(shù)據(jù)的全面性，又能達到一定時效性，僅僅依靠幾臺爬蟲服務器和幾十兆的帶寬資源是遠遠無法滿足需求的。九次方在國內(nèi)外多個地區(qū)的IDC機房部署了服務器集群，目前的服務器總數(shù)量已達到2000多臺，專門用于數(shù)據(jù)采集的服務器大約為1500臺，各機房擁有的總帶寬出口量大約在2G bit/s，充分保證了對互聯(lián)網(wǎng)海量數(shù)據(jù)的采集、存儲、分析能力。目前系統(tǒng)每天能夠采集到大約500萬條信息，每條信息能夠在20分鐘之內(nèi)完成存儲、索引和分析過程并呈現(xiàn)給用戶。安全中心可以在本地數(shù)據(jù)中心部署一定量的服務器和帶寬資源，保證對幾家重點媒體的數(shù)據(jù)采集能力，其他媒體的數(shù)據(jù)采集可以由九次方的服務器集群負責，采集過來的數(shù)據(jù)進行簡單過濾處理后傳送到安全中心的IDC，或者由客戶定時自取，九次方提供各類數(shù)據(jù)API，數(shù)據(jù)存儲和數(shù)據(jù)分析都在安全中心的IDC中處理。九次方為用戶提供的及時、全面的數(shù)據(jù)采集服務，安全中心無需自己搭設過多的數(shù)據(jù)采集點，只需要從九次方的數(shù)據(jù)通道獲得即可，這不但可以解決數(shù)據(jù)隱私的問題，而且可以大大降低了項目的實施成本。（三） 系統(tǒng)基礎組件結構系統(tǒng)基礎組件選用九次方自主研發(fā)的關鍵組件，與成熟的開源技術相結合，最大程度的降低了系統(tǒng)通用中間件的成本。圖 13系統(tǒng)基礎組件結構示意圖（四） 系統(tǒng)技術架構本工程采用主流成熟的開發(fā)框架和產(chǎn)品組件進行開發(fā)，采用多層體系結構來構建符合標準與管理規(guī)范體系、安全與運行保障體系的高可用性系統(tǒng)。綜上，本項目開發(fā)的整體技術架構如下：圖 14大數(shù)據(jù)綜合應用平臺總體技術架構示意圖其中：針對數(shù)據(jù)源層的數(shù)據(jù)采集：需提供多種方式，以滿足吳中區(qū)政府各局級單位IT系統(tǒng)的特點，數(shù)據(jù)采集不限于數(shù)據(jù)文件的“推”與“拉”方式、web錄入與上傳方式、數(shù)據(jù)庫直接方式等；并滿足離線采集、實時采集等不同采集類型的需要；數(shù)據(jù)處理層：負責系統(tǒng)所有數(shù)據(jù)的處理工作，基于分布式服務框架，實現(xiàn)包括離線處理、實時處理、實時交互查詢、數(shù)據(jù)預處理等，完成數(shù)據(jù)的加工以及對外展現(xiàn)的服務；數(shù)據(jù)存儲層：負責結構化和非結構化的存儲，存儲方式包括不限于HDFS、ORACLE、MYSQL（或）、內(nèi)存數(shù)據(jù)庫等，滿足不同的應用場景需要；展現(xiàn)層：負責數(shù)據(jù)對外應用的展現(xiàn)，由Web負載集群實現(xiàn)展現(xiàn)應用。（五） 技術開發(fā)原則開放架構新平臺要構建開放架構，系統(tǒng)將通過參數(shù)設置定制，形成新產(chǎn)品以適應互聯(lián)網(wǎng)金融產(chǎn)品日新月異的發(fā)展，新產(chǎn)品上線將以插件化的方式，避免對老產(chǎn)品的影響?；A平臺采用租用擴展能力強、運維能力強的云服務平臺模式，從而減少硬件設備投入，避免因容量擴展迅速而頻繁進行硬件設備的迭代。體驗優(yōu)先用戶體驗度將是平臺成敗之根本，將簡潔清晰的用戶操作始終貫徹于平臺中的每個產(chǎn)品。移動優(yōu)先開發(fā)執(zhí)行移動優(yōu)先的策略，APP將覆蓋我們平臺的所有功能，但盡可能減少營銷信息，確保客戶體驗。PC端主要是作為產(chǎn)品超市，下載平臺，宣傳媒介，功能主要是服務企業(yè)客戶。安全獨立新平臺將釆取開發(fā)廠商和安全廠商相對獨立，以確定平臺能達到設計的安全水平，同時跟進實時監(jiān)測，確保運行安全。第五章 建設進度一、 建設條件落實情況主要申報單位——江蘇太湖九次方大數(shù)據(jù)信息技術服務有限公司，擁有大數(shù)據(jù)挖掘技術、數(shù)據(jù)清洗、企業(yè)數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)標準頂層設計、數(shù)據(jù)可視化等成熟技術和部分大數(shù)據(jù)產(chǎn)業(yè)相關項目建設運營、而且公司的專業(yè)人才涉及大數(shù)據(jù)產(chǎn)業(yè)全產(chǎn)業(yè)鏈。因此，城市綜合管理服務大數(shù)據(jù)平臺的建設就有人才、技術、資金的保障。此次建設項目為城市綜合管理服務大數(shù)據(jù)平臺新項目，其建設內(nèi)容：新建機房，購置硬件設備，根據(jù)需要購置系統(tǒng)軟件、數(shù)據(jù)交換平臺及開發(fā)基礎信息資源庫等內(nèi)容。二、 建設工期和進度安排本項目建設周期為24個月。本項目各應用子系統(tǒng)建設、設備采購、網(wǎng)絡、計算、存儲、安全等系統(tǒng)運行環(huán)境建設、應用系統(tǒng)安裝部署、組織測試、試運行、驗收。初步的工程進度計劃如下表。雙月計算1234567891011121制定有關標準規(guī)范2城市綜合管理大數(shù)據(jù)平臺建設3安裝部署應用系統(tǒng)4組織測試5培訓、試運行、驗收6竣工驗收第六章 項目實施管理一、 領導和管理機構應用平臺作為支撐大數(shù)據(jù)應用的基礎平臺，由政府部門牽頭，完成各委辦局應用數(shù)據(jù)資源的梳理和目錄編制工作。為了保障應用平臺的順利建設，成立項目建設領導小組。領導小組全權負責應用平臺建設相關的規(guī)劃指導、統(tǒng)籌協(xié)調(diào)與建設管理工作。二、 項目實施機構為保障項目順利實施，項目組織結構采用項目領導層、項目管理層以及項目工程實施層的組織方式，采用分層次的協(xié)調(diào)管理和項目經(jīng)理負責制的管理體系來實現(xiàn)組織保證。明確各機構職責，建立工程開發(fā)實施過程中的各項制度，確保工程圓滿完工。圖 15應用平臺項目的組織機構圖（一） 項目實施小組負責整個項目開發(fā)實施過程中的最高決策和總體協(xié)調(diào)工作。它的職責是：批準該項目總體設計方案和實施進度計劃；進行重大投資決策；負責項目實施關鍵問題的戰(zhàn)略指導；對項目管理層不能達到一致的意見進行決策；批準項目的重大變更；協(xié)調(diào)工程相關的外部環(huán)境。（二） 需求調(diào)研組負責整個項目前期的需求調(diào)研工作，對各政府部門業(yè)務及其計算機應用現(xiàn)狀進行全面調(diào)研，在反復研討的基礎上出具調(diào)研報告，為后續(xù)的設計開發(fā)工作奠定基礎。（三） 分析設計組負責整個項目的系統(tǒng)規(guī)劃、總體設計、總體技術方案的工作。它的職責是：根據(jù)工程建設的總體目標、建設規(guī)模與內(nèi)容的要求，進行總體方案的規(guī)劃與設計，編制工程開發(fā)實施的指導性文件，并在工程開發(fā)實施過程中，進行必要的咨詢與支持。（四） 平臺建設組在項目實施小組的統(tǒng)一領導組織下，負責完成應用平臺的開發(fā)任務。（五） 質量保障組對于整個項目的系統(tǒng)集成、軟件開發(fā)、系統(tǒng)實施等進行質量監(jiān)督、測試檢查、用戶測試、階段評審等工作，提交測試報告和評價報告；對工程進度進行控制，組織系統(tǒng)測試驗收。（六） 技術咨詢與培訓組將應用軟件系統(tǒng)轉換成實際運行的系統(tǒng)。開展有關業(yè)務規(guī)程、業(yè)務管理、應用操作、系統(tǒng)操作、環(huán)境建設、應用維護等方面的培訓，輔助有關應用安裝、系統(tǒng)調(diào)試、數(shù)據(jù)轉換、現(xiàn)場指導等方面的工作。人員組成：熟悉應用軟件系統(tǒng)需求、功能和操作的業(yè)務人員或測試人員；對網(wǎng)絡計算機環(huán)境、應用軟件系統(tǒng)、用戶培訓有實際實施經(jīng)驗的技術人員。（七） 運維組負責對網(wǎng)絡平臺系統(tǒng)和應用軟件系統(tǒng)，提供系統(tǒng)維護、系統(tǒng)升級、技術支持、咨詢答疑等售后服務。由相應的系統(tǒng)集成商和應用開發(fā)商承擔。三、 項目管理模式(一) 項目會議制度項目組內(nèi)部例會：承建方項目組內(nèi)部定期按計劃舉行項目內(nèi)部例會。由項目經(jīng)理召集，項目主要負責人員參加，視情況項目其他有關人員也可參加。內(nèi)部例會定期舉行。專題討論會：業(yè)主和承建方項目組主要負責人均可召集專題討論會，就某些專門問題進行討論，取得一致。專題討論會不定期舉行。(二) 書面信息溝通制度承建方每周定期向業(yè)主、項目承擔方和項目監(jiān)理方提交正式項目進展報告；承建方每周定期向公司領導以書面或正式會議的方式匯報項目進展情況。承建方項目經(jīng)理根據(jù)項目建設過程中遇到的各種問題，隨時通過電話、傳真或電子郵件等方式與業(yè)主、監(jiān)理方、專家組進行溝通和匯報。(三) 重大事項的決策項目重大事項是指項目范圍的重大變更，或項目實施過程中的重大問題，比如項目重大延期、項目重大的商務問題等等。此類重大事項一般情況下可采用書面報告的形式進行溝通和協(xié)調(diào)，必要的時候采取專題會議的形式進行決策，會議由監(jiān)理方召集，參加人員包括：業(yè)主、項目承建方、監(jiān)理方，會議最終決定以三方書面簽字的方式確定。四、 運行維護機構(一) 運維機構系統(tǒng)建成投入運行后，需要一支穩(wěn)定的技術隊伍進行日常維護，保障系統(tǒng)的長期正常運行，與廠商技術部門互相配合，負責平臺系統(tǒng)的運維、實施、配置以及新需求的響應工作等。將從信息化技術隊伍中組建一支高素質技術人員