【文章內(nèi)容簡介】 濾 、 數(shù)據(jù)分類全文檢索系統(tǒng)數(shù)據(jù)庫支持系統(tǒng)M y s q l 高性能可擴(kuò)展的數(shù)據(jù)庫存儲技術(shù)索引支持系統(tǒng)基于九次方自主研發(fā)的高性能可擴(kuò)展的索引技術(shù)分布式數(shù)據(jù)挖掘系統(tǒng) H a d o o p / H i v eM ap R e d u ce 大規(guī)模數(shù)據(jù)集并行計算技術(shù)基于九次方自主研發(fā)的 N L P 技術(shù)系統(tǒng)基礎(chǔ)組件備份及恢復(fù)系統(tǒng)數(shù)據(jù)庫系統(tǒng)原生同步備份機(jī)制自行開發(fā)的同步備份系統(tǒng)支持遠(yuǎn)程同步備份及恢復(fù)前端系統(tǒng)T o m cat 、 M e m C a ch e 緩存系統(tǒng) 、 圖表系統(tǒng) 圖 3 系統(tǒng)基礎(chǔ)組件結(jié)構(gòu)示意圖 （四） 系統(tǒng)技術(shù)架構(gòu) 本工程采用主流成熟的開發(fā)框架和產(chǎn)品組件進(jìn)行開發(fā)，采用多層體系結(jié)構(gòu)來構(gòu)建符合標(biāo)準(zhǔn)與管理規(guī)范體系、安全與運行保障體系的高可用性系統(tǒng)。 綜上，本項目開發(fā)的整體技術(shù)架構(gòu)如下： 14 圖 4 大數(shù)據(jù) 綜合應(yīng)用平臺總體技術(shù)架構(gòu)示意圖 其中：針對數(shù)據(jù)源層的數(shù)據(jù)采集：需提供多種方式，以滿足吳中區(qū)政府各局級單位 IT 系統(tǒng)的特點，數(shù)據(jù)采集不限于數(shù)據(jù)文件的“推”與“拉”方式、 web 錄入與上傳方式、數(shù)據(jù)庫直接方式等；并滿足離線采集、實時采集等不同采集類型的需要； 數(shù)據(jù)處理層：負(fù)責(zé)系統(tǒng)所有數(shù)據(jù)的處理工作，基于分布式服務(wù)框架，實現(xiàn)包括離線處理、實時處理、實時交互查詢、數(shù)據(jù)預(yù)處理等，完成數(shù)據(jù)的加工以及對外展現(xiàn)的服務(wù)； 數(shù)據(jù)存儲層：負(fù)責(zé)結(jié)構(gòu)化和非結(jié)構(gòu)化的存儲，存儲方式包括不限于 HDFS、 ORACLE、 MYSQL（或）、內(nèi)存數(shù)據(jù)庫等，滿足不同的應(yīng)用場景需要； 展現(xiàn)層：負(fù)責(zé)數(shù)據(jù)對外應(yīng)用的展現(xiàn)，由 Web負(fù)載集群實現(xiàn)展現(xiàn)應(yīng)用。 15 （五） 技術(shù)開發(fā)原則 開放架構(gòu) 新平臺要構(gòu)建開放架構(gòu)，系統(tǒng)將通過參數(shù)設(shè)置定制，形成新產(chǎn)品以適應(yīng)互聯(lián)網(wǎng)金融產(chǎn)品日新月異的發(fā)展，新產(chǎn)品上線將以插件化的方式，避免對老產(chǎn)品 的影響。 基礎(chǔ)平臺 采用租用擴(kuò)展能力強、運維能力強的云服務(wù)平臺模式，從而減少硬件設(shè)備投入，避免因容量擴(kuò)展迅速而頻繁進(jìn)行硬件設(shè)備的迭代。 體驗優(yōu)先 用戶體驗度將是平臺成敗之根本，將簡潔清晰的用戶操作始終貫徹于平臺中的每個產(chǎn)品。 移動優(yōu)先 開發(fā)執(zhí)行移動優(yōu)先的策略， APP將覆蓋我們平臺的所有功能，但盡可能減少營銷信息，確?？蛻趔w驗。 PC 端主要是作為產(chǎn)品超市，下載平臺，宣傳媒介，功能主要是服務(wù)企業(yè)客戶。 安全獨立 新平臺將釆取開發(fā)廠商和安全廠商相對獨立，以確定平臺能達(dá)到設(shè)計的安全水平，同時跟進(jìn)實時監(jiān)測，確保運行安 全。 16 第四章 建設(shè)進(jìn)度 一、 建設(shè)條件落實情況 本項目聯(lián)合申報單位九次方， 成立至今已經(jīng)成為中國最大的大數(shù)據(jù)資產(chǎn)運營商，擁有大數(shù)據(jù)挖掘、數(shù)據(jù)清洗、企業(yè)數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)標(biāo)準(zhǔn)頂層設(shè)計、數(shù)據(jù)可視化等成熟技術(shù)和部分大數(shù)據(jù)相關(guān)項目建設(shè)運營、管理經(jīng)驗、質(zhì)量控制、風(fēng)險控制等經(jīng)驗，而且公司的專業(yè)人才涉及大數(shù)據(jù)產(chǎn)業(yè)全產(chǎn)業(yè)鏈，同時公司融資能力在國內(nèi)大數(shù)據(jù)領(lǐng)域排名領(lǐng)先。因此， 蘇州 旅游 服務(wù) 大數(shù)據(jù)平臺的建設(shè)具備人才、技術(shù)、資金等諸多方面的扎實保障。 本項目為新建項目，項目總 投資 3000 萬元人民幣，主要建設(shè)內(nèi)容： 蘇州 旅游路線信息、旅游信息查詢、旅游收入統(tǒng)計、旅游大數(shù)據(jù)預(yù)測等四大模塊等內(nèi)容。 二、 建設(shè)工期和進(jìn)度安排 本期旅游及商務(wù)工程實施主要工作有：制定 旅游 業(yè)務(wù)的信息化標(biāo)準(zhǔn)規(guī)范、各應(yīng)用子系統(tǒng)建設(shè)、設(shè)備采購、網(wǎng)絡(luò)、計算、存儲、安全等系統(tǒng)運行環(huán)境建設(shè)、應(yīng)用系統(tǒng)安裝部署、組織測試、試運行、驗收。初步的工程進(jìn)度計劃如下表。 `` 雙月計算 1 2 3 4 5 6 7 8 9 10 11 12 1 制定有關(guān)標(biāo)準(zhǔn)規(guī)范 17 `` 雙月計算 1 2 3 4 5 6 7 8 9 10 11 12 2 數(shù)據(jù)中心及數(shù)據(jù)交換平臺建設(shè) 3 安裝部署應(yīng)用系統(tǒng) 4 組織測試 5 培訓(xùn)、試運行、驗收 6 竣工驗收 項目實施進(jìn)度計劃表 第五章 項目實施管理 一、 領(lǐng)導(dǎo)和管理機(jī)構(gòu) 應(yīng)用平臺作為支撐大數(shù)據(jù)應(yīng)用的基礎(chǔ)平臺，由政府部門牽頭，完成各委辦局應(yīng)用數(shù)據(jù)資源的梳理和目錄編制工作。 為了保障應(yīng)用平臺的順利建設(shè)，成立項目建設(shè)領(lǐng)導(dǎo)小組。領(lǐng)導(dǎo) 小組全權(quán)負(fù)責(zé)應(yīng)用平臺建設(shè)相關(guān)的規(guī)劃指導(dǎo)、統(tǒng)籌協(xié)調(diào)與建設(shè)管理工作 。 二、 項目實施機(jī)構(gòu) 為保障項目順利實施，項目組織結(jié)構(gòu)采用項目領(lǐng)導(dǎo)層、項目管理層以及項目工程實施層的組織方式，采用分層次的協(xié)調(diào)管理18 和項目經(jīng)理負(fù)責(zé)制的管理體系來實現(xiàn)組織保證。明確各機(jī)構(gòu)職責(zé)，建立工程開發(fā)實施過程中的各項制度，確保工程圓滿完工。 應(yīng)用平臺城市大數(shù)據(jù)綜合應(yīng)用平臺項目的組織機(jī)構(gòu)圖 項目實施小組 負(fù)責(zé)整個項目開發(fā)實施過程中的最高決策和總體協(xié)調(diào)工作。它的職責(zé)是：批準(zhǔn)該項目總體設(shè)計方案和實施進(jìn)度計劃；進(jìn)行重大投資決策；負(fù)責(zé)項目實施關(guān)鍵問題的戰(zhàn)略指導(dǎo)；對項目管理層不能達(dá)到一致的意見進(jìn)行決策；批準(zhǔn)項目的重大變更；協(xié)調(diào)工程相關(guān)的 外部環(huán)境。 需求調(diào)研組 負(fù)責(zé)整個項目前期的需求調(diào)研工作，對各政府部門業(yè)務(wù)及其計算機(jī)應(yīng)用現(xiàn)狀進(jìn)行全面調(diào)研 ，在反復(fù)研討的基礎(chǔ)上出具調(diào)研報告，為后續(xù)的設(shè)計開發(fā)工作奠定基礎(chǔ) 。 分析設(shè)計組 負(fù)責(zé)整個項目的系統(tǒng)規(guī)劃、總體設(shè)計、總體技術(shù)方案的工作。它的職責(zé)是：根據(jù)工程建設(shè)的總體目標(biāo)、建設(shè)規(guī)模與內(nèi)容的要求，進(jìn)行總體方案的規(guī)劃與設(shè)計，編制工程開發(fā)實施的指導(dǎo)性文件，并在工程開發(fā)實施過程中，進(jìn)行必要的咨詢與支持。 平臺建設(shè)組 在項目實施小組的統(tǒng)一領(lǐng)導(dǎo)組織下，負(fù)責(zé)完成應(yīng)用平臺城市大數(shù)據(jù)綜合應(yīng)用平臺的開發(fā)任務(wù)。 質(zhì)量 保障組 19 對于整個項目的系統(tǒng)集成、軟件開發(fā)、系統(tǒng)實施等進(jìn)行質(zhì)量監(jiān)督、測試檢查、用戶測試、階段評審等工作，提交測試報告和評價報告；對工程進(jìn)度進(jìn)行控制，組織系統(tǒng)測試驗收。 技術(shù)咨詢與培訓(xùn)組 將應(yīng)用軟件系統(tǒng)轉(zhuǎn)換成實際運行的系統(tǒng)。開展有關(guān)業(yè)務(wù)規(guī)程、業(yè)務(wù)管理、應(yīng)用操作、系統(tǒng)操作、環(huán)境建設(shè)、應(yīng)用維護(hù)等方面的培訓(xùn)，輔助有關(guān)應(yīng)用安裝、系統(tǒng)調(diào)試、數(shù)據(jù)轉(zhuǎn)換、現(xiàn)場指導(dǎo)等方面的工作。人員組成：熟悉應(yīng)用軟件系統(tǒng)需求、功能和操作的業(yè)務(wù)人員或測試人員；對網(wǎng)絡(luò)計算機(jī)環(huán)境、應(yīng)用軟件系統(tǒng)、用戶培訓(xùn)有實際實施經(jīng)驗的技術(shù)人員。 運維組 負(fù)責(zé) 對網(wǎng)絡(luò)平臺系統(tǒng)和應(yīng)用軟件系統(tǒng)，提供系統(tǒng)維護(hù)、系統(tǒng)升級、技術(shù)支持、咨詢答疑等售后服務(wù)。由相應(yīng)的系統(tǒng)集成商和應(yīng)用開發(fā)商承擔(dān)。 三、 項目管理模式 項目會議制度 項目組內(nèi)部例會：承建方項目組內(nèi)部定期按計劃舉行項目內(nèi)部例會。由項目經(jīng)理召集，項目主要負(fù)責(zé)人員參加，視情況項目其他有關(guān)人員也可參加。內(nèi)部例會定期舉行。 專題討論會：業(yè)主和承建方項目組主要負(fù)責(zé)人均可召集專題討論會，就某些專門問題進(jìn)行討論，取得一致。專題討論會不定20 期舉行。 書面信息溝通制度 承建方每周定期向業(yè)主、項目承擔(dān)方和項目監(jiān)理方提交正式項目進(jìn)展報告； 承建方每周定期向公司領(lǐng)導(dǎo)以書面或正式會議的方式匯報項目進(jìn)展情況。 承建方項目經(jīng)理根據(jù)項目建設(shè)過程中遇到的各種問題，隨時通過電話、傳真或電子郵件等方式與業(yè)主、監(jiān)理方、專家組進(jìn)行溝通和匯報。 重大事項的決策 項目重大事項是指項目范圍的重大變更，或項目實施過程中的重大問題，比如項目重大延期、項目重大的商務(wù)問題等等。此類重大事項一般情況下可采用書面報告的形式進(jìn)行溝通和協(xié)調(diào)，必要的時候采取專題會議的形式進(jìn)行決策，會議由監(jiān)理方召集，參加人員包括：業(yè)主、項目承建方、監(jiān)理方，會議最終決定以三方書面簽字的方式確定。 四、 運行維護(hù)機(jī)構(gòu) 運維機(jī)構(gòu) 系統(tǒng)建成投入運行后，需要一支穩(wěn)定的技術(shù)隊伍進(jìn)行日常維護(hù)，保障系統(tǒng)的長期正常運行，與廠商技術(shù)部門互相配合，負(fù)責(zé)平臺系統(tǒng)的運維、實施、配置以及新需求的響應(yīng)工作等。將從應(yīng)21 用平臺區(qū)的信息化技術(shù)隊伍中組建一支高素質(zhì)技術(shù)人員組成的系統(tǒng)維護(hù)隊伍，成立系統(tǒng)運行維護(hù)機(jī)構(gòu)，專門負(fù)責(zé)各業(yè)務(wù)系統(tǒng)的日常維護(hù)。 運維方案 本項目的運維管理系統(tǒng)建設(shè)是保障應(yīng)用平臺城市大數(shù)據(jù)綜合應(yīng)用平臺正常運行和服務(wù)的基礎(chǔ)，為此，建立運維管理以及多個專項執(zhí)行小組來負(fù)責(zé)應(yīng)用平臺城市大數(shù)據(jù)綜合應(yīng)用平臺的運維，并制定了一系列運維管 理相關(guān)的制度來保障本項目的高效運維。 從具體運維內(nèi)容來看，本項目中涉及的運維內(nèi)容主要包括三種類型： ? 托管運維 對于備份機(jī)房、網(wǎng)絡(luò)環(huán)境及其配套設(shè)施的運維，采用托管方式運維。 ? 代維方式 軟件和網(wǎng)絡(luò)安全采用代維方式，通過選擇合適的專業(yè)服務(wù)公司來提高運維服務(wù)的水平和效率。 ? 自維方式 核心業(yè)務(wù)系統(tǒng)通過建立、培養(yǎng)自己的技術(shù)運維團(tuán)隊來進(jìn)行自行維護(hù)。 22 五、 相關(guān) 管理制度 應(yīng)用平臺區(qū)信息化部門應(yīng)按照國家信息安全等級保護(hù)指南的要求進(jìn)行自身的資產(chǎn)界定歸類、安全域劃分、風(fēng)險評估。制定數(shù)據(jù)更新制度、設(shè)備管理制度、安全保密制度、應(yīng)急管理制度 、崗位責(zé)任制度和人員培訓(xùn)制度。 數(shù)據(jù)更新制度 應(yīng)用平臺的建設(shè)涉及多個部門 ,是一個長期的過程，必需建立完善的數(shù)據(jù)更新制度以保證相關(guān)資源數(shù)據(jù)的有效性、及時性和完整性，通過政府領(lǐng)導(dǎo)的統(tǒng)籌協(xié)調(diào)，明確各個部門的職責(zé)，建立完整高效的數(shù)據(jù)更新制度 。 安全保密制度 安全保密制度分計算機(jī)安全防護(hù)制度、日志記錄制度、密級管理制度、人員保密制度。 計算機(jī)安全防護(hù)制度：計算機(jī)系統(tǒng)安全管理應(yīng)以防為主，從建立計算機(jī)病毒防范、強化密碼管理、嚴(yán)格管理用戶權(quán)限三個方面建立經(jīng)常性的安全管理制度。 日志記錄制度：運行日志是貫穿于系統(tǒng)運行 全過程的最重要環(huán)節(jié)，實行記錄、監(jiān)控、檢查，及時發(fā)現(xiàn)、解決運行過程中出現(xiàn)的問題，把風(fēng)險降到最低限度。 密級管理制度：建立屬于單位或系統(tǒng)的秘密文件、資料和其它物品的制作、收發(fā)、傳遞、使用、復(fù)制、摘抄、保存和銷毀制度，由單位總負(fù)責(zé)人或副負(fù)責(zé)人委托專人執(zhí)行，采用電腦技術(shù)存23 取、處理、傳遞的單位密級信息由電腦部門負(fù)責(zé)保密的制度。 人員保密制度：不準(zhǔn)在私人交往和通信中泄露系統(tǒng)秘密和網(wǎng)絡(luò)使用口令，不準(zhǔn)在公共場所談?wù)摽赡芪＜跋到y(tǒng)安全的秘密，不準(zhǔn)通過其他方式傳遞或散播所發(fā)現(xiàn)的系統(tǒng)運行中的漏洞；工作人員發(fā)現(xiàn)系統(tǒng)秘密或口令已經(jīng)泄露 或者可能泄露時，應(yīng)當(dāng)立即采取補救措施并及時報告總負(fù)責(zé)人，總負(fù)責(zé)人接到報告，應(yīng)立即做出處理；如果由于個人行為泄密導(dǎo)致的系統(tǒng)破壞，追究個人的責(zé)任直至法律責(zé)任。 應(yīng)急管理制度 為了應(yīng)對項目中重要系統(tǒng)突發(fā)的故障，必須建立一套行之有效的應(yīng)急管理機(jī)制。相關(guān)部門應(yīng)急管理制度中應(yīng)包括：制定應(yīng)急計劃、進(jìn)行應(yīng)急訓(xùn)練。 制定應(yīng)急計劃：針對項目中某個重大系統(tǒng)可能發(fā)生的事故和故障，建設(shè)管理單位應(yīng)當(dāng)預(yù)先制定系統(tǒng)應(yīng)急計劃，內(nèi)容包括：局部事故應(yīng)急計劃、大范圍事故應(yīng)急計劃和系統(tǒng)整體應(yīng)急計劃。各應(yīng)急計劃應(yīng)相互銜接、協(xié)調(diào)一致。 進(jìn)行應(yīng)急訓(xùn)練：應(yīng)組織應(yīng)急演練和培訓(xùn)，做好精神、物質(zhì)、技術(shù)等方面的準(zhǔn)備，同時提高員工的防范意識和自助能力。 崗位責(zé)任制 建立和健全技術(shù)崗位責(zé)任制，明確各個崗位的職責(zé)，并建立相應(yīng)的考核制度，將對實現(xiàn)科學(xué)監(jiān)督、建立正常的監(jiān)督秩序、提高監(jiān)督效率、更好地為系統(tǒng)服務(wù)有著重要作用。 24 人員培訓(xùn)制度 高新技術(shù)的使用對運行管理人員在管理水平和能力上提出了更高的要求，以保障操作人員按規(guī)定正常操作。當(dāng)新的系統(tǒng)投入使用時，應(yīng)確保操作人員接受系統(tǒng)的培訓(xùn)，在確認(rèn)操作人員充分了解和掌握之后，才能正式上崗作業(yè)。人員培