【正文】 CC 云數(shù)據(jù)采集中心及大數(shù)據(jù)計算平臺建設(shè)方案成都中藍信息技術(shù)有限責(zé)任公司目 錄聯(lián)系 ：1280986324，歡迎探討！1 引言 5 項目背景 5 項目目標(biāo) 5 建設(shè)原則 6 參考規(guī)范 7 名詞解釋 92 云數(shù)據(jù)采集中心 10 需求概述 10 總體設(shè)計 13 核心技術(shù)及功能 18 分布式文件存儲技術(shù) 18 分布式并行計算技術(shù) 27 分布式數(shù)據(jù)庫技術(shù) 31 負載均衡 34 數(shù)據(jù)采集 39 開放平臺 45 部署方案 48 實施計劃 503 大數(shù)據(jù)計算平臺 52 需求概述 52 總體設(shè)計 52 應(yīng)用建設(shè) 57 收視率統(tǒng)計 57 智能推薦 60 拍立購 63 部署方案 69 實施計劃 724 性能及成本分析 73 運營商網(wǎng)絡(luò)性能分析 73 服務(wù)器網(wǎng)卡性能分析 73 服務(wù)器內(nèi)存性能分析 73 服務(wù)器硬盤性能分析 74 服務(wù)器 RAID 模式分析 74 性能分析 75 平臺性能分析 755 存儲空間規(guī)劃表 766 機房選型 777 安全設(shè)計 788 風(fēng)險分析 811 引言 項目背景根據(jù) CC 智能戰(zhàn)略的規(guī)劃：做強終端、云平臺建設(shè)、大數(shù)據(jù)商業(yè)模式，CC 正 邁向大數(shù)據(jù)時代，當(dāng)前正面向所有智能終端提供優(yōu)質(zhì)的服務(wù)，同時通過終端傳感 器或數(shù)據(jù)采集服務(wù)能夠獲取海量的數(shù)據(jù)，并且數(shù)據(jù)量會以 TB 級劇增。因此 CC 迫切需要建設(shè)一套高性能、高安全性、高可靠性，可擴展性的云數(shù)據(jù)采集中心， 并搭建一個數(shù)據(jù)中心支撐平臺，以滿足當(dāng)今高速增長的數(shù)據(jù)存儲、管理、計算的 需求，同時便于將來拓展和進一步的改造。目前 CC 數(shù)據(jù)中心是主要基于 CC 黑電、白電、瀏覽器等產(chǎn)品終端傳感器采 集的海量文本、圖片數(shù)據(jù)以及用戶數(shù)據(jù)，為 CC 后續(xù)其他數(shù)據(jù)分析挖掘項目提供 數(shù)據(jù)支撐的信息平臺。對應(yīng)方針——終端內(nèi)容服務(wù)、云服務(wù)支撐與數(shù)據(jù)挖掘、個 性化數(shù)據(jù)價值探索。建立統(tǒng)一有效的云數(shù)據(jù)采集中心有利于 CC 大數(shù)據(jù)的管理，符合 CC 新的發(fā) 展戰(zhàn)略，CC 黑電和白電產(chǎn)品終端傳感器采集的數(shù)據(jù)有用戶行為的文本數(shù)據(jù)（log）、 臺標(biāo)等圖片數(shù)據(jù)以及自建的影視知識庫的結(jié)構(gòu)化數(shù)據(jù)、電商平臺的海量鏡像數(shù)據(jù)。 當(dāng) CC 的用戶量和采集的數(shù)據(jù)量與日俱增的時候，數(shù)據(jù)中心必須能通過添加更多 服務(wù)節(jié)點來擴展性能和負載能力，保證高可擴展性和高可用性從而滿足 CC 業(yè)務(wù) 發(fā)展的需要。 項目目標(biāo)l 搭建分布式存儲平臺（能夠存儲海量非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)）、分 布式并行計算平臺等等，滿足海量數(shù)據(jù)的采集、存儲、計算的需要，平8臺必須具備高可用性，高擴展性，高可靠性要求。l 為 CC 后面的產(chǎn)品（收視率統(tǒng)計，智能推薦系統(tǒng),拍立購，開放平臺等等） 的應(yīng)用和實施打下堅實的基礎(chǔ)，為集團 CC 的大數(shù)據(jù)提供運營支撐。l 云中心初期建立至少保證可以正常運營 1~2 年，硬件選型，軟件開始要 考慮到今后大規(guī)模擴容的要求。l 技術(shù)平臺要有能力支持數(shù)據(jù)量最高 1000W 終端數(shù)量的數(shù)據(jù)存儲、數(shù)據(jù)計 算、信息推薦等的能力。 建設(shè)原則基于本項目的建設(shè)要求，本項目將遵循以下建設(shè)原則：l 前瞻性和高標(biāo)準 整個項目要按照企業(yè)對大數(shù)據(jù)應(yīng)用的需要的高要求和高標(biāo)準建設(shè)，參考 行業(yè)標(biāo)桿應(yīng)用，建立滿足需求，面向未來的目標(biāo)，整個項目具有一定前 瞻性。l 經(jīng)濟性和實用性 整個項目以現(xiàn)有需求為基礎(chǔ)，充分考慮未來發(fā)展的需要來確定系統(tǒng)的架 構(gòu)，既要降低系統(tǒng)的初期投入，又能滿足服務(wù)對象的需求，同時系統(tǒng)設(shè) 計應(yīng)充分考慮對已有投資的保護，對已建立的數(shù)據(jù)中心、基礎(chǔ)平臺、應(yīng) 用軟件應(yīng)提供完備的整合方案。l 先進性和成熟性 為了確保項目具有較長的生命周期，應(yīng)充分考慮到管理創(chuàng)新、技術(shù)發(fā)展 需要，按照先進的建設(shè)理念，選擇先進的技術(shù)架構(gòu)和成熟技術(shù)，滿足業(yè)務(wù)需求。l 高性能和安全性 規(guī)范地進行系統(tǒng)建設(shè)和開發(fā)，提供合理且經(jīng)濟有效的應(yīng)急方案，確保系 統(tǒng)的穩(wěn)定，向各類服務(wù)對象提供可靠的服務(wù)。具有安全性，在系統(tǒng)遭到 攻擊或崩潰時能快速恢復(fù)，確保重要數(shù)據(jù)的機密性和完整性。 參考規(guī)范l GB 936188 計算站場地安全要求l GB 5017393 電子計算機機房設(shè)計規(guī)范l GB 288789 計算站場地技術(shù)條件l GB 501742008 電子信息系統(tǒng)機房設(shè)計規(guī)范l GB 504622008 電子信息系統(tǒng)機房施工及驗收規(guī)范l GB 503112007 綜合布線工程設(shè)計規(guī)范l GB 503122007 綜合布線系統(tǒng)工程驗收規(guī)范l GB 503952007 視頻安防監(jiān)控系統(tǒng)設(shè)計規(guī)范l GB 502632007 氣體滅火系統(tǒng)施工及驗收規(guī)范l GB 503942007 入侵報警系統(tǒng)工程設(shè)計規(guī)范l GB/T 202692006 信息安全技術(shù)—信息系統(tǒng)安全管理要求l GB/T 209842007 信息安全技術(shù)—信息安全風(fēng)險評估規(guī)范l GB/T 222392008 信息安全技術(shù)—信息系統(tǒng)安全等級保護基本要求l GB/T 222402008 信息安全技術(shù)—信息系統(tǒng)安全等級保護定級指南l GA/T 3882002B 計算機信息系統(tǒng)安全等級保護管理要求l GB/T 8567 1988 計算機軟件產(chǎn)品開發(fā)文件編制指l GB/T 114571995 軟件工程術(shù)語l GB/T 114572006 信息技術(shù) 軟件工程術(shù)語l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 1 部分:質(zhì)量模型l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 2 部分:外部度量l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 3 部分:內(nèi)部度量l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 4 部分:使用質(zhì)量的度量l GB/T 143942008 計算機軟件可靠性和可維護性管理l GB/T 175441998 信息技術(shù) 軟件包 質(zhì)量要求和測試l GB/T 182212000 信息技術(shù) 程序設(shè)計語言、環(huán)境與系統(tǒng)軟件借口 獨立 于語言的數(shù)據(jù)類型l GB/T 信息技術(shù) 軟件測量 功能規(guī)模測量 第 1 部分：概念 定義l GB/T 184922001 信息技術(shù) 系統(tǒng)及軟件完整性級別l GB/Z 184932001 信息技術(shù) 軟件生存周期過程指南l GB/T 201572006 信息技術(shù) 軟件維護l GB/T 202722006 信息安全技術(shù) 操作系統(tǒng)安全技術(shù)要求l GB/T 200082005 信息安全技術(shù) 操作系統(tǒng)安全評估準則l GB/T 200092005 信息安全技術(shù) 數(shù)據(jù)庫管理系統(tǒng)安全評估準則l GB/T 209182007 信息技術(shù) 軟件生存周期過程 風(fēng)險管理l GB/T 85662007 信息技術(shù) 軟件生存周期過程l SJ/T 103671993 計算機過程控制軟件開發(fā)規(guī)程l SJ/T 112342001 軟件過程能力評估模型l SDO (Service Data Object) for Java Specification 10l SCA (Service Component Architecture)Java EE Integration Specification l Java 2 Platform, Enterprise Editionl Capability Maturity Model174。 Integration (CMMISM), Version l Extensible Markup Language (XML) (Fifth Edition)l Web Services Business Process Execution Language 名詞解釋l S2DFS：簡單存儲分布式文件系統(tǒng)（Simple Storage Distributed File System）l D2B:分布式數(shù)據(jù)庫（Distributed Database）l JSS：作業(yè)調(diào)度服務(wù)（Job Scheduler Service）l DCS：數(shù)據(jù)計算服務(wù)（Data Computer Service）l MPS：消息處理服務(wù)（Message Process Service）l SDS：流數(shù)據(jù)處理服務(wù)（Stream Data Service）l DMQ：分布式消息隊列（Distributed Message Queue）l JGS：作業(yè)生成服務(wù)（Job Generation Service）l ACS：自動清理服務(wù)進程（Automatic Cleaning Services）l HTTP：超文本傳輸協(xié)定（HyperText Transfer Protocol）l SMB：服務(wù)器信息塊協(xié)議（Server Message Block）2 云數(shù)據(jù)采集中心 需求概述根據(jù) CC 的階段規(guī)劃，第一期云數(shù)據(jù)采集中心的建立至少滿足 1 至 2 年內(nèi)的 數(shù)據(jù)存儲和計算規(guī)模，需要滿足 200 萬臺各種智能終端的數(shù)據(jù)存儲和計算規(guī)模。今后整個云數(shù)據(jù)采集中心的技術(shù)平臺和架構(gòu)需要輕松擴展到支持 1000 萬臺規(guī)模 的各種智能終端的數(shù)據(jù)存儲和計算規(guī)模。以下的數(shù)據(jù)為預(yù)估數(shù)據(jù)（基于小范圍的實驗數(shù)據(jù)為依據(jù)）：數(shù)據(jù)類別文件(記錄)大小 1文件(記錄)數(shù)量 1文件(記錄)大小 2文件(記錄)數(shù)量 2臺標(biāo)數(shù)據(jù)（原始數(shù)據(jù)，1 天周期）約 16KB/臺/天(由 200Kb/臺/天而得)約 36 個文件/臺/天約 32GB/200 萬臺/天約 7200 萬個/200 萬臺/天行為數(shù)據(jù)（原始數(shù)據(jù)，1 天周期）約 60KB/臺/天(記錄)(由 400Kb/臺/天而得,加上了 10KB 的索引記錄) 約 50KB/臺/天(文件)(由 400Kb/臺/天而得)（平均估值）約 100 條記錄/臺/天(記錄)約 100 個文件/臺/天(文件)（平均估值）約 120GB/200 萬臺/天(記錄)約 100GB/200 萬臺/天(文件）（平均估值）約 2 億條/200 萬臺/天(記錄)約 2 億個/200 萬臺/天(文件）（平均估值）行為數(shù)據(jù)（原始數(shù)據(jù)，永久保存，壓縮處理）約 60KB/臺/天(記錄)(由 400Kb/臺/天而得,加上了 10KB 的索引記錄) 約 50KB/臺/天(文件)(由 400Kb/臺/天而得)（平均估值）約 100 條記錄/臺/天約 100 個文件/臺/天（平均估值）約 45TB/200 萬臺/1 年(文件， 加上元數(shù)據(jù)描述文件）（平均估值） 注：記錄的大小約為 10GB約 35 萬條/200 萬臺/1 年（記錄）約 35 萬個/200 萬臺/1 年（文件）（平均估值） 注：128MB/1 個文件行為分析/收視率統(tǒng)計/推薦/電商索引等記 錄約 10KB/1 條(記錄)（平均估值）約 10TB/1 年（記錄）（平均估值）約 1015 億條記錄/1 年（記錄）（平均估值）11至少 6 大電商的鏡像數(shù)據(jù)約 30KB/1 個(文件)（平均估值）約 10 億個/1 年(文件)（平均估值）約 30TB/1 年（文件）（平均估值）12以 1 年為計算周期（數(shù)據(jù)整合、壓縮、清洗后），初步預(yù)估： 數(shù)據(jù)記錄：約為 1015 億條； 文件個數(shù)：約為 1012 億個； 記錄總大?。杭s為 10TB；（雙份副本：需要約 20TB 存儲空間） 文件總大?。杭s為 75TB；（雙份副本：需要約 150TB 存儲空間） 總?cè)萘看笮。杭s為 85TB；（雙份副本：需要約 170TB 存儲空間）為了數(shù)據(jù)的高可靠性，為每份（文件/記錄）建立鏡像副本，所以總?cè)萘砍?步可以規(guī)劃約為 170TB。 總體設(shè)計整個云數(shù)據(jù)采集中心分為四部分：硬件資源層、軟件平臺層、軟件應(yīng)用層、 智能終端層。硬件資源層主要指實體硬件設(shè)備，包括用來存儲數(shù)據(jù)的光纖陣列柜和存儲服 務(wù)器，用來作統(tǒng)計、分析以及搜索用的計算服務(wù)器，用來部署分布式消息（DMQ）/WEB/APP 軟件的 WEB 及消息服務(wù)器，用來部署用 PostgreSQL 關(guān)系數(shù)據(jù)庫軟 件的應(yīng)用數(shù)據(jù)庫服務(wù)器，用來部署作業(yè)調(diào)度服務(wù)進程（JSS）的作業(yè)調(diào)度服務(wù)器。 作為數(shù)據(jù)通信用的全千兆三層交換機等等。其中光纖陣列柜主要用來存儲統(tǒng)計分 析后的粗顆粒度數(shù)據(jù)。存儲服務(wù)器用來部署分布式文件系統(tǒng)和分布式數(shù)據(jù)庫，同 時存儲非結(jié)構(gòu)化和結(jié)構(gòu)化（臺標(biāo)圖片，電商圖片等等）和結(jié)構(gòu)化數(shù)據(jù)（行為數(shù)據(jù)， 索引數(shù)據(jù)，log 數(shù)據(jù)，清理后的細顆粒度數(shù)據(jù)等等）。計算服務(wù)器主要用來完成數(shù) 據(jù)的清理、統(tǒng)計、搜索等計算任務(wù)。為了節(jié)省成本和減少通信代價，建議存儲服13務(wù)器和計算服務(wù)器合二為一，所以該服務(wù)器同時具有計算和存儲數(shù)據(jù)的功能，前 期也可以考慮把作業(yè)調(diào)度服務(wù)進程（JSS）進程部署在存儲/計算服務(wù)器上。由于 云數(shù)據(jù)采集中心需要面對多種寬帶用戶（電信、移動、聯(lián)通），所以，數(shù)據(jù)中心 的對外的網(wǎng)絡(luò)需要直連上電信、移動、聯(lián)通三家公司的網(wǎng)絡(luò)，保證以上三家公司 間的通信性能高速和可靠。軟件平臺層是云數(shù)據(jù)采集中心的核心支撐層