【正文】 理服務(wù)（Stream Data Service）l DMQ：分布式消息隊列（Distributed Message Queue）l JGS：作業(yè)生成服務(wù)（Job Generation Service）l ACS：自動清理服務(wù)進程（Automatic Cleaning Services）l HTTP：超文本傳輸協(xié)定（HyperText Transfer Protocol）l SMB：服務(wù)器信息塊協(xié)議（Server Message Block）2 云數(shù)據(jù)采集中心 需求概述根據(jù) CC 的階段規(guī)劃，第一期云數(shù)據(jù)采集中心的建立至少滿足 1 至 2 年內(nèi)的 數(shù)據(jù)存儲和計算規(guī)模，需要滿足 200 萬臺各種智能終端的數(shù)據(jù)存儲和計算規(guī)模。具有安全性，在系統(tǒng)遭到 攻擊或崩潰時能快速恢復(fù)，確保重要數(shù)據(jù)的機密性和完整性。l 先進性和成熟性 為了確保項目具有較長的生命周期，應(yīng)充分考慮到管理創(chuàng)新、技術(shù)發(fā)展 需要，按照先進的建設(shè)理念，選擇先進的技術(shù)架構(gòu)和成熟技術(shù)，滿足業(yè)務(wù)需求。 建設(shè)原則基于本項目的建設(shè)要求，本項目將遵循以下建設(shè)原則：l 前瞻性和高標準 整個項目要按照企業(yè)對大數(shù)據(jù)應(yīng)用的需要的高要求和高標準建設(shè)，參考 行業(yè)標桿應(yīng)用，建立滿足需求，面向未來的目標，整個項目具有一定前 瞻性。l 云中心初期建立至少保證可以正常運營 1~2 年，硬件選型，軟件開始要 考慮到今后大規(guī)模擴容的要求。 項目目標l 搭建分布式存儲平臺（能夠存儲海量非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)）、分 布式并行計算平臺等等，滿足海量數(shù)據(jù)的采集、存儲、計算的需要，平8臺必須具備高可用性，高擴展性，高可靠性要求。建立統(tǒng)一有效的云數(shù)據(jù)采集中心有利于 CC 大數(shù)據(jù)的管理，符合 CC 新的發(fā) 展戰(zhàn)略，CC 黑電和白電產(chǎn)品終端傳感器采集的數(shù)據(jù)有用戶行為的文本數(shù)據(jù)（log）、 臺標等圖片數(shù)據(jù)以及自建的影視知識庫的結(jié)構(gòu)化數(shù)據(jù)、電商平臺的海量鏡像數(shù)據(jù)。目前 CC 數(shù)據(jù)中心是主要基于 CC 黑電、白電、瀏覽器等產(chǎn)品終端傳感器采 集的海量文本、圖片數(shù)據(jù)以及用戶數(shù)據(jù)，為 CC 后續(xù)其他數(shù)據(jù)分析挖掘項目提供 數(shù)據(jù)支撐的信息平臺。CC 云數(shù)據(jù)采集中心及大數(shù)據(jù)計算平臺建設(shè)方案成都中藍信息技術(shù)有限責任公司目 錄聯(lián)系 ：1280986324，歡迎探討！1 引言 5 項目背景 5 項目目標 5 建設(shè)原則 6 參考規(guī)范 7 名詞解釋 92 云數(shù)據(jù)采集中心 10 需求概述 10 總體設(shè)計 13 核心技術(shù)及功能 18 分布式文件存儲技術(shù) 18 分布式并行計算技術(shù) 27 分布式數(shù)據(jù)庫技術(shù) 31 負載均衡 34 數(shù)據(jù)采集 39 開放平臺 45 部署方案 48 實施計劃 503 大數(shù)據(jù)計算平臺 52 需求概述 52 總體設(shè)計 52 應(yīng)用建設(shè) 57 收視率統(tǒng)計 57 智能推薦 60 拍立購 63 部署方案 69 實施計劃 724 性能及成本分析 73 運營商網(wǎng)絡(luò)性能分析 73 服務(wù)器網(wǎng)卡性能分析 73 服務(wù)器內(nèi)存性能分析 73 服務(wù)器硬盤性能分析 74 服務(wù)器 RAID 模式分析 74 性能分析 75 平臺性能分析 755 存儲空間規(guī)劃表 766 機房選型 777 安全設(shè)計 788 風險分析 811 引言 項目背景根據(jù) CC 智能戰(zhàn)略的規(guī)劃：做強終端、云平臺建設(shè)、大數(shù)據(jù)商業(yè)模式，CC 正 邁向大數(shù)據(jù)時代，當前正面向所有智能終端提供優(yōu)質(zhì)的服務(wù)，同時通過終端傳感 器或數(shù)據(jù)采集服務(wù)能夠獲取海量的數(shù)據(jù)，并且數(shù)據(jù)量會以 TB 級劇增。因此 CC 迫切需要建設(shè)一套高性能、高安全性、高可靠性，可擴展性的云數(shù)據(jù)采集中心， 并搭建一個數(shù)據(jù)中心支撐平臺，以滿足當今高速增長的數(shù)據(jù)存儲、管理、計算的 需求，同時便于將來拓展和進一步的改造。對應(yīng)方針——終端內(nèi)容服務(wù)、云服務(wù)支撐與數(shù)據(jù)挖掘、個 性化數(shù)據(jù)價值探索。 當 CC 的用戶量和采集的數(shù)據(jù)量與日俱增的時候，數(shù)據(jù)中心必須能通過添加更多 服務(wù)節(jié)點來擴展性能和負載能力，保證高可擴展性和高可用性從而滿足 CC 業(yè)務(wù) 發(fā)展的需要。l 為 CC 后面的產(chǎn)品（收視率統(tǒng)計，智能推薦系統(tǒng),拍立購，開放平臺等等） 的應(yīng)用和實施打下堅實的基礎(chǔ)，為集團 CC 的大數(shù)據(jù)提供運營支撐。l 技術(shù)平臺要有能力支持數(shù)據(jù)量最高 1000W 終端數(shù)量的數(shù)據(jù)存儲、數(shù)據(jù)計 算、信息推薦等的能力。l 經(jīng)濟性和實用性 整個項目以現(xiàn)有需求為基礎(chǔ)，充分考慮未來發(fā)展的需要來確定系統(tǒng)的架 構(gòu)，既要降低系統(tǒng)的初期投入，又能滿足服務(wù)對象的需求，同時系統(tǒng)設(shè) 計應(yīng)充分考慮對已有投資的保護，對已建立的數(shù)據(jù)中心、基礎(chǔ)平臺、應(yīng) 用軟件應(yīng)提供完備的整合方案。l 高性能和安全性 規(guī)范地進行系統(tǒng)建設(shè)和開發(fā)，提供合理且經(jīng)濟有效的應(yīng)急方案，確保系 統(tǒng)的穩(wěn)定，向各類服務(wù)對象提供可靠的服務(wù)。 參考規(guī)范l GB 936188 計算站場地安全要求l GB 5017393 電子計算機機房設(shè)計規(guī)范l GB 288789 計算站場地技術(shù)條件l GB 501742008 電子信息系統(tǒng)機房設(shè)計規(guī)范l GB 504622008 電子信息系統(tǒng)機房施工及驗收規(guī)范l GB 503112007 綜合布線工程設(shè)計規(guī)范l GB 503122007 綜合布線系統(tǒng)工程驗收規(guī)范l GB 503952007 視頻安防監(jiān)控系統(tǒng)設(shè)計規(guī)范l GB 502632007 氣體滅火系統(tǒng)施工及驗收規(guī)范l GB 503942007 入侵報警系統(tǒng)工程設(shè)計規(guī)范l GB/T 202692006 信息安全技術(shù)—信息系統(tǒng)安全管理要求l GB/T 209842007 信息安全技術(shù)—信息安全風險評估規(guī)范l GB/T 222392008 信息安全技術(shù)—信息系統(tǒng)安全等級保護基本要求l GB/T 222402008 信息安全技術(shù)—信息系統(tǒng)安全等級保護定級指南l GA/T 3882002B 計算機信息系統(tǒng)安全等級保護管理要求l GB/T 8567 1988 計算機軟件產(chǎn)品開發(fā)文件編制指l GB/T 114571995 軟件工程術(shù)語l GB/T 114572006 信息技術(shù) 軟件工程術(shù)語l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 1 部分:質(zhì)量模型l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 2 部分:外部度量l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 3 部分:內(nèi)部度量l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 4 部分:使用質(zhì)量的度量l GB/T 143942008 計算機軟件可靠性和可維護性管理l GB/T 175441998 信息技術(shù) 軟件包 質(zhì)量要求和測試l GB/T 182212000 信息技術(shù) 程序設(shè)計語言、環(huán)境與系統(tǒng)軟件借口 獨立 于語言的數(shù)據(jù)類型l GB/T 信息技術(shù) 軟件測量 功能規(guī)模測量 第 1 部分：概念 定義l GB/T 184922001 信息技術(shù) 系統(tǒng)及軟件完整性級別l GB/Z 184932001 信息技術(shù) 軟件生存周期過程指南l GB/T 201572006 信息技術(shù) 軟件維護l GB/T 202722006 信息安全技術(shù) 操作系統(tǒng)安全技術(shù)要求l GB/T 200082005 信息安全技術(shù) 操作系統(tǒng)安全評估準則l GB/T 200092005 信息安全技術(shù) 數(shù)據(jù)庫管理系統(tǒng)安全評估準則l GB/T 209182007 信息技術(shù) 軟件生存周期過程 風險管理l GB/T 85662007 信息技術(shù) 軟件生存周期過程l SJ/T 103671993 計算機過程控制軟件開發(fā)規(guī)程l SJ/T 112342001 軟件過程能力評估模型l SDO (Service Data Object) for Java Specification 10l SCA (Service Component Architecture)Java EE Integration Specification l Java 2 Platform, Enterprise Editionl Capability Maturity Model174。今后整個云數(shù)據(jù)采集中心的技術(shù)平臺和架構(gòu)需要輕松擴展到支持 1000 萬臺規(guī)模 的各種智能終端的數(shù)據(jù)存儲和計算規(guī)模。 總體設(shè)計整個云數(shù)據(jù)采集中心分為四部分：硬件資源層、軟件平臺層、軟件應(yīng)用層、 智能終端層。 作為數(shù)據(jù)通信用的全千兆三層交換機等等。存儲服務(wù)器用來部署分布式文件系統(tǒng)和分布式數(shù)據(jù)庫，同 時存儲非結(jié)構(gòu)化和結(jié)構(gòu)化（臺標圖片，電商圖片等等）和結(jié)構(gòu)化數(shù)據(jù)（行為數(shù)據(jù)， 索引數(shù)據(jù)，log 數(shù)據(jù)，清理后的細顆粒度數(shù)據(jù)等等）。為了節(jié)省成本和減少通信代價，建議存儲服13務(wù)器和計算服務(wù)器合二為一，所以該服務(wù)器同時具有計算和存儲數(shù)據(jù)的功能，前 期也可以考慮把作業(yè)調(diào)度服務(wù)進程（JSS）進程部署在存儲/計算服務(wù)器上。軟件平臺層是云數(shù)據(jù)采集中心的核心支撐層，也是我們這次方案設(shè)計和實施 的主體部分，在核心技術(shù)章節(jié)會對“分布式文件系統(tǒng)（S2DFS）”、“分布式數(shù) 據(jù)庫（D2B）”、“分布式消息服務(wù)（DMQ）”“作業(yè)調(diào)度服務(wù)進程（JSS）、數(shù) 據(jù)計算服務(wù)進程（DCS）”主要部分加以詳細的描述。WEB 及應(yīng)用服務(wù)器軟件 Apacheamp。還要實現(xiàn)整個云數(shù)據(jù)采集 中心的資源管理及監(jiān)控管理系統(tǒng)。該層的主要功能應(yīng)用有：數(shù)據(jù)采集 應(yīng)用、收視率統(tǒng)計應(yīng)用、智能推薦應(yīng)用、拍立購應(yīng)用，云數(shù)據(jù)采集中心的資源監(jiān) 控及調(diào)度，通過提供標準 API，在 CC 的云平臺上集成第三方 APP 應(yīng)用，使我們 的云平臺成為一個開放的平臺，圍繞 CC 的各種智能終端或者第三方的終端，都 納入到平臺上來，建立一個完備而豐富的運營生態(tài)圈，使 CC 在互聯(lián)網(wǎng)時代的競爭中占得先機。 第一期是單向交互，主要是終端提供數(shù)據(jù)，云數(shù)據(jù)采集中心負責計算，并作推薦。收視率統(tǒng)計應(yīng)用智能推薦應(yīng)用拍立購應(yīng)用云中心監(jiān)控第三方應(yīng)用API存儲設(shè)備網(wǎng)絡(luò)設(shè)備服務(wù)器設(shè)備JSSDCSJGSMPSSDS開放平臺S2DFSD2BPostgreSQLNginxApacheTomcatDMQCentOS x64云數(shù)據(jù)采集中心整體架構(gòu)圖智能終端智能終端智能終端……骨 干 網(wǎng)資源及監(jiān)控管理資源及權(quán)限管理WEB及消息服務(wù)器存儲/計算服務(wù)器存儲/計算服務(wù)器WEB及消息服務(wù)器存儲/計算服務(wù)器WEB及消息服務(wù)器…………分布式數(shù)據(jù)庫服務(wù)器數(shù)據(jù)公共網(wǎng)聯(lián)通/電信/移動防火墻分布式數(shù)據(jù)庫服務(wù)器分布式數(shù)據(jù)庫服務(wù)器負載均衡服務(wù)器……負載均衡服務(wù)器作業(yè)調(diào)度服務(wù)器(主)……作業(yè)調(diào)度服務(wù)器(備)云數(shù)據(jù)采集中心網(wǎng)絡(luò)結(jié)構(gòu)圖17 核心技術(shù)及功能 分布式文件存儲技術(shù)（1） 傳統(tǒng)存儲技術(shù)面臨的問題：n 構(gòu)建成本高：大容量及高網(wǎng)絡(luò)帶寬的高端存儲系統(tǒng)架構(gòu)昂貴。n 擴展性困難：技術(shù)存在瓶頸（Scaleup 架構(gòu)決定的）、擴展成本無法 控制。n 應(yīng)用目標差異：主要面臨運營商、金融行業(yè)的 OLTP 應(yīng)用、很少針 對海量的流數(shù)據(jù)，或者非結(jié)構(gòu)化數(shù)據(jù)進行設(shè)計和優(yōu)化。分布式文件系統(tǒng)主要為解決以上問題而出現(xiàn)的一種新型大規(guī)模數(shù)據(jù)存儲技 術(shù)架構(gòu)。分布式文件系統(tǒng)是一種構(gòu)建于通用 x86 部件之上的高可用、高可靠、高可擴 展的新型分布式文件系統(tǒng)。（2） 分布式文件系統(tǒng)應(yīng)對的數(shù)據(jù)特性和訪問特性：n 數(shù)據(jù)量巨大，數(shù)百 TB 或 PB 級，增長迅速；36n 類型多樣化，包括圖像、文本、語音、視頻等文件數(shù)據(jù)；n 按時間有序生成，數(shù)據(jù)均帶有時間標志 ；n 前端數(shù)據(jù)寫入速度很高，每秒鐘寫入數(shù)據(jù)可達幾萬甚至幾十萬條記 錄或者上 GB 量數(shù)據(jù) ；n 更新操作極少：追加方式寫入，一旦寫入，幾乎沒有數(shù)據(jù)修改，查 詢涉及大量的磁盤讀操作，查詢處理產(chǎn)生大量的臨時結(jié)果，不同類 型的數(shù)據(jù)存在聯(lián)合分析查詢；分布式文件系統(tǒng)的基本原理是采用集群方式來整合物理上獨立的多個存儲 資源，以軟件方式提供單一的名字空間；采用多副本的方式保證數(shù)據(jù)的高可用性， 任意單一節(jié)點失效均不會導(dǎo)致數(shù)據(jù)丟失和數(shù)據(jù)服務(wù)的正常運行；同時，分布式文 件系統(tǒng)通過良好設(shè)計的系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)分布策略，可保證系統(tǒng)性能的高可擴展性， 并支持存儲容量/性能的在線擴展。（3） 分布式文件系統(tǒng)與傳統(tǒng) NAS/SAN 設(shè)備的比較：比較項高端 NASFCSAN分布式文件系統(tǒng)性能一般雙端口，性能受機頭影響，難以擴展，出口帶 寬是瓶頸一般雙端口，性能受機頭影響，難以擴展， IOPS 較好性能隨節(jié)點數(shù)的增加成線性增長擴展能力性能及容量無法擴展，或者有限擴展能較好擴展，但成本高昂性能及容量按需擴展，動態(tài)均衡可用性RAID 方式保護， 雙機保護，停機 RA