【正文】 支撐超過幾萬次的并發(fā)量；建議用 Nginx（或者 HAProxy）作為負(fù)載均衡（反向代理）軟件配合硬件負(fù) 載均衡使用。4) 開源負(fù)載均衡（反向代理）軟件對比LVSNginxHAProxyLVS（Linux Virtual Server）可以實(shí) 現(xiàn)Linux平臺下的負(fù)載均衡, 提供 了含有三種IP負(fù)載均衡技術(shù)的IP 虛擬服務(wù)器軟件IPVS、基于內(nèi)容請 求分發(fā)的內(nèi)核Layer7交換機(jī) KTCPVS和集群等功能Nginx是一款輕量級、高可用性的 Web服務(wù)軟件及反向代理軟件，基 于HTTP（第七層）應(yīng)用代理服務(wù) 器。綜述1) 基于硬件的負(fù)載均衡在電信、金融行業(yè)用的非常多，而基于軟件的負(fù)載均衡在互聯(lián)網(wǎng)行業(yè)用的非常多，比如3大門戶網(wǎng)站，6大電商網(wǎng)站。如果所有功能一起使用，價(jià)格非 常昂貴。所有功能可以在一 臺設(shè)備中實(shí)現(xiàn)。 負(fù)載均衡這里選擇的國產(chǎn)設(shè)備是北京太一星晨信息技術(shù)有限公司的設(shè)備作為參考對 比設(shè)備。l 高性能無爭用并發(fā)機(jī)制的即時更新。l 使用提示、解釋計(jì)劃和分析的查詢優(yōu)化特性。l 支持查詢中的正則表達(dá)式。 和 Solaris 的官方二進(jìn)制版本。l 支持動態(tài)查詢l 支持完全索引，包含內(nèi)部對象。集合的概念類似關(guān)系型數(shù)據(jù) 庫（RDBMS）里的表（table），不同的是它不需要定義任何模式（schema)。D2B 另外的最大的特點(diǎn)是他支持的查詢語言非常強(qiáng)大，其 語法有點(diǎn)類似于面向?qū)ο蟮牟樵冋Z言，幾乎可以實(shí)現(xiàn)類似關(guān)系數(shù)據(jù)庫單表查詢的 絕大部分功能，而且還支持對數(shù)據(jù)建立索引。n 通道式工作機(jī)制 平臺為用戶提供一個并行任務(wù)處理通道，處理過程對用戶來說完全 透明，由平臺自動進(jìn)行負(fù)載均衡、資源匹配、任務(wù)傳輸?shù)龋褂脩?專注于自身任務(wù)管理，將執(zhí)行過程交由平臺完成。這里主要為門戶網(wǎng)站提供作業(yè)調(diào)度平臺， 實(shí)現(xiàn)日志分析，性能優(yōu)化，全文檢索，視頻處理，用為分析等等的支撐平臺。這使 得數(shù)據(jù)訪問完全并行化，從而實(shí)現(xiàn)真正的線性性能擴(kuò)展。傳統(tǒng)分布式存儲系統(tǒng)使用集中式或分布式元數(shù)據(jù)服務(wù)來維 護(hù)元數(shù)據(jù)，集中式元數(shù)據(jù)服務(wù)會導(dǎo)致單點(diǎn)故障和性能瓶頸問題，而 分布式元數(shù)據(jù)服務(wù)存在性能負(fù)載和元數(shù)據(jù)同步一致性問題。n 原始數(shù)據(jù)格式存儲（Data Stored in Native Formats）：分布式文件系統(tǒng) 以原始數(shù)據(jù)格式（如 EXTEXTXFS、ZFS）儲存數(shù)據(jù)，并實(shí)現(xiàn) 多種數(shù)據(jù)自動修復(fù)機(jī)制。另外，這也極大降低了普通用戶基于源碼修改分布式文件系統(tǒng)的門檻，僅僅需要通用的 C 程序設(shè)計(jì)技能，而不需要特別的內(nèi)核編程經(jīng)驗(yàn)。簡而言之，分布式文件系統(tǒng)是開放的全軟件實(shí) 現(xiàn)，完全獨(dú)立于硬件和操作系統(tǒng)。n 完全軟件實(shí)現(xiàn)（Software Only）：分布式文件系統(tǒng)認(rèn)為存儲是軟件問 題，不能夠把用戶局限于使用特定的供應(yīng)商或硬件配置來解決。n 彈性卷管理：數(shù)據(jù)儲存在邏輯卷中，邏輯卷可以從虛擬化的物理存儲池進(jìn)行獨(dú)立邏輯劃分而得到。n 彈性哈希算法：分布式文件系統(tǒng)采用彈性哈希算法在存儲池中定位 數(shù)據(jù)，而不是采用集中式或分布式元數(shù)據(jù)服務(wù)器索引。n 全局統(tǒng)一命名空間：全局統(tǒng)一命名空間將磁盤和內(nèi)存資源聚集成一 個單一的虛擬存儲池，對上層用戶和應(yīng)用屏蔽了底層的物理硬件。分布式文件系統(tǒng)彈性哈 希（Elastic Hash）解除了分布式文件系統(tǒng)對元數(shù)據(jù)服務(wù)器的需求， 消除了單點(diǎn)故障和性能瓶頸，真正實(shí)現(xiàn)了并行化數(shù)據(jù)訪問。分布式文件系統(tǒng) Server端 設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷分布式文件系統(tǒng)邏輯卷分布式文件系統(tǒng)客戶端NFS/Samba卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端分布式文件系統(tǒng)網(wǎng)關(guān)分布式文件系統(tǒng) Client端分布式文件系統(tǒng)架構(gòu)圖 分布式文件系統(tǒng)的服務(wù)器端程序運(yùn)行于 Linux x64 系統(tǒng)之上，支持多種 Linux64 位發(fā)行版，包括 Redhat、CentOS 等。 對比參看下面兩幅示意圖：傳統(tǒng)存儲架構(gòu)圖分布式文件系統(tǒng)架構(gòu)圖 分布式文件系統(tǒng)的設(shè)計(jì)應(yīng)用特別適合海量非結(jié)構(gòu)化數(shù)據(jù)存儲，大量客戶端并發(fā)的 I/O 密集型應(yīng)用。相比較于 DAS（直連存儲）、SAN（存儲區(qū)域網(wǎng)絡(luò)）和 NAS（網(wǎng)絡(luò)存儲）， 應(yīng)用分布式文件系統(tǒng)構(gòu)建的網(wǎng)絡(luò)存儲系統(tǒng)更像是一個 NAS，提供類似于傳統(tǒng) NAS 的文件級訪問接口（SAN 和 DAS 都是塊設(shè)備級別的訪問接口）。主要為非結(jié)構(gòu)化數(shù)據(jù)（視頻/文件/文檔/圖像/音頻等非結(jié)構(gòu)化數(shù)據(jù)）提 供海量的存儲平臺，以集群的方式提供線性橫向擴(kuò)展能力。n 可用性問題：潛在的單點(diǎn)故障,數(shù)據(jù)恢復(fù)困難，代價(jià)高。 第二期會引入終端與云數(shù)據(jù)采集中心的實(shí)時雙向交互功能。軟件應(yīng)用層是云數(shù)據(jù)采集中心的功能實(shí)現(xiàn)及 UI 表達(dá)層，功能實(shí)現(xiàn)需要基于 軟件平臺層的支撐，后期設(shè)計(jì)和實(shí)施的主體。軟件平臺層的所有服務(wù)器都統(tǒng)一部署的 64 位操作系統(tǒng) CentOS （也可以選擇 RHEL x64）；其核心軟 件或者進(jìn)程有：分布式文件系統(tǒng)（S2DFS）、分布式數(shù)據(jù)庫（D2B）、作業(yè)調(diào)度服 務(wù)進(jìn)程（JSS）、數(shù)據(jù)計(jì)算服務(wù)進(jìn)程（DCS）、作業(yè)生成服務(wù)進(jìn)程（JGS）、消息處 理服務(wù)進(jìn)程（MPS）、流數(shù)據(jù)處理進(jìn)程（SDS）等等。計(jì)算服務(wù)器主要用來完成數(shù) 據(jù)的清理、統(tǒng)計(jì)、搜索等計(jì)算任務(wù)。硬件資源層主要指實(shí)體硬件設(shè)備，包括用來存儲數(shù)據(jù)的光纖陣列柜和存儲服 務(wù)器，用來作統(tǒng)計(jì)、分析以及搜索用的計(jì)算服務(wù)器，用來部署分布式消息（DMQ）/WEB/APP 軟件的 WEB 及消息服務(wù)器，用來部署用 PostgreSQL 關(guān)系數(shù)據(jù)庫軟 件的應(yīng)用數(shù)據(jù)庫服務(wù)器，用來部署作業(yè)調(diào)度服務(wù)進(jìn)程（JSS）的作業(yè)調(diào)度服務(wù)器。 Integration (CMMISM), Version l Extensible Markup Language (XML) (Fifth Edition)l Web Services Business Process Execution Language 名詞解釋l S2DFS：簡單存儲分布式文件系統(tǒng)（Simple Storage Distributed File System）l D2B:分布式數(shù)據(jù)庫（Distributed Database）l JSS：作業(yè)調(diào)度服務(wù)（Job Scheduler Service）l DCS：數(shù)據(jù)計(jì)算服務(wù)（Data Computer Service）l MPS：消息處理服務(wù)（Message Process Service）l SDS：流數(shù)據(jù)處理服務(wù)（Stream Data Service）l DMQ：分布式消息隊(duì)列（Distributed Message Queue）l JGS：作業(yè)生成服務(wù)（Job Generation Service）l ACS：自動清理服務(wù)進(jìn)程（Automatic Cleaning Services）l HTTP：超文本傳輸協(xié)定（HyperText Transfer Protocol）l SMB：服務(wù)器信息塊協(xié)議（Server Message Block）2 云數(shù)據(jù)采集中心 需求概述根據(jù) CC 的階段規(guī)劃，第一期云數(shù)據(jù)采集中心的建立至少滿足 1 至 2 年內(nèi)的 數(shù)據(jù)存儲和計(jì)算規(guī)模，需要滿足 200 萬臺各種智能終端的數(shù)據(jù)存儲和計(jì)算規(guī)模。l 先進(jìn)性和成熟性 為了確保項(xiàng)目具有較長的生命周期，應(yīng)充分考慮到管理創(chuàng)新、技術(shù)發(fā)展 需要，按照先進(jìn)的建設(shè)理念，選擇先進(jìn)的技術(shù)架構(gòu)和成熟技術(shù)，滿足業(yè)務(wù)需求。l 云中心初期建立至少保證可以正常運(yùn)營 1~2 年，硬件選型，軟件開始要 考慮到今后大規(guī)模擴(kuò)容的要求。建立統(tǒng)一有效的云數(shù)據(jù)采集中心有利于 CC 大數(shù)據(jù)的管理，符合 CC 新的發(fā) 展戰(zhàn)略，CC 黑電和白電產(chǎn)品終端傳感器采集的數(shù)據(jù)有用戶行為的文本數(shù)據(jù)（log）、 臺標(biāo)等圖片數(shù)據(jù)以及自建的影視知識庫的結(jié)構(gòu)化數(shù)據(jù)、電商平臺的海量鏡像數(shù)據(jù)。CC 云數(shù)據(jù)采集中心及大數(shù)據(jù)計(jì)算平臺建設(shè)方案成都中藍(lán)信息技術(shù)有限責(zé)任公司目 錄聯(lián)系 ：1280986324，歡迎探討！1 引言 5 項(xiàng)目背景 5 項(xiàng)目目標(biāo) 5 建設(shè)原則 6 參考規(guī)范 7 名詞解釋 92 云數(shù)據(jù)采集中心 10 需求概述 10 總體設(shè)計(jì) 13 核心技術(shù)及功能 18 分布式文件存儲技術(shù) 18 分布式并行計(jì)算技術(shù) 27 分布式數(shù)據(jù)庫技術(shù) 31 負(fù)載均衡 34 數(shù)據(jù)采集 39 開放平臺 45 部署方案 48 實(shí)施計(jì)劃 503 大數(shù)據(jù)計(jì)算平臺 52 需求概述 52 總體設(shè)計(jì) 52 應(yīng)用建設(shè) 57 收視率統(tǒng)計(jì) 57 智能推薦 60 拍立購 63 部署方案 69 實(shí)施計(jì)劃 724 性能及成本分析 73 運(yùn)營商網(wǎng)絡(luò)性能分析 73 服務(wù)器網(wǎng)卡性能分析 73 服務(wù)器內(nèi)存性能分析 73 服務(wù)器硬盤性能分析 74 服務(wù)器 RAID 模式分析 74 性能分析 75 平臺性能分析 755 存儲空間規(guī)劃表 766 機(jī)房選型 777 安全設(shè)計(jì) 788 風(fēng)險(xiǎn)分析 811 引言 項(xiàng)目背景根據(jù) CC 智能戰(zhàn)略的規(guī)劃：做強(qiáng)終端、云平臺建設(shè)、大數(shù)據(jù)商業(yè)模式，CC 正 邁向大數(shù)據(jù)時代，當(dāng)前正面向所有智能終端提供優(yōu)質(zhì)的服務(wù)，同時通過終端傳感 器或數(shù)據(jù)采集服務(wù)能夠獲取海量的數(shù)據(jù)，并且數(shù)據(jù)量會以 TB 級劇增。對應(yīng)方針——終端內(nèi)容服務(wù)、云服務(wù)支撐與數(shù)據(jù)挖掘、個 性化數(shù)據(jù)價(jià)值探索。l 為 CC 后面的產(chǎn)品（收視率統(tǒng)計(jì)，智能推薦系統(tǒng),拍立購，開放平臺等等） 的應(yīng)用和實(shí)施打下堅(jiān)實(shí)的基礎(chǔ)，為集團(tuán) CC 的大數(shù)據(jù)提供運(yùn)營支撐。l 經(jīng)濟(jì)性和實(shí)用性 整個項(xiàng)目以現(xiàn)有需求為基礎(chǔ)，充分考慮未來發(fā)展的需要來確定系統(tǒng)的架 構(gòu)，既要降低系統(tǒng)的初期投入，又能滿足服務(wù)對象的需求，同時系統(tǒng)設(shè) 計(jì)應(yīng)充分考慮對已有投資的保護(hù)，對已建立的數(shù)據(jù)中心、基礎(chǔ)平臺、應(yīng) 用軟件應(yīng)提供完備的整合方案。 參考規(guī)范l GB 936188 計(jì)算站場地安全要求l GB 5017393 電子計(jì)算機(jī)機(jī)房設(shè)計(jì)規(guī)范l GB 288789 計(jì)算站場地技術(shù)條件l GB 501742008 電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范l GB 504622008 電子信息系統(tǒng)機(jī)房施工及驗(yàn)收規(guī)范l GB 503112007 綜合布線工程設(shè)計(jì)規(guī)范l GB 503122007 綜合布線系統(tǒng)工程驗(yàn)收規(guī)范l GB 503952007 視頻安防監(jiān)控系統(tǒng)設(shè)計(jì)規(guī)范l GB 502632007 氣體滅火系統(tǒng)施工及驗(yàn)收規(guī)范l GB 503942007 入侵報(bào)警系統(tǒng)工程設(shè)計(jì)規(guī)范l GB/T 202692006 信息安全技術(shù)—信息系統(tǒng)安全管理要求l GB/T 209842007 信息安全技術(shù)—信息安全風(fēng)險(xiǎn)評估規(guī)范l GB/T 222392008 信息安全技術(shù)—信息系統(tǒng)安全等級保護(hù)基本要求l GB/T 222402008 信息安全技術(shù)—信息系統(tǒng)安全等級保護(hù)定級指南l GA/T 3882002B 計(jì)算機(jī)信息系統(tǒng)安全等級保護(hù)管理要求l GB/T 8567 1988 計(jì)算機(jī)軟件產(chǎn)品開發(fā)文件編制指l GB/T 114571995 軟件工程術(shù)語l GB/T 114572006 信息技術(shù) 軟件工程術(shù)語l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 1 部分:質(zhì)量模型l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 2 部分:外部度量l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 3 部分:內(nèi)部度量l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 4 部分:使用質(zhì)量的度量l GB/T 143942008 計(jì)算機(jī)軟件可靠性和可維護(hù)性管理l GB/T 175441998 信息技術(shù) 軟件包 質(zhì)量要求和測試l GB/T 182212000 信息技術(shù) 程序設(shè)計(jì)語言、環(huán)境與系統(tǒng)軟件借口 獨(dú)立 于語言的數(shù)據(jù)類型l GB/T 信息技術(shù) 軟件測量 功能規(guī)模測量 第 1 部分：概念 定義l GB/T 184922001 信息技術(shù) 系統(tǒng)及軟件完整性級別l GB/Z 184932001 信息技術(shù) 軟件生存周期過程指南l GB/T 201572006 信息技術(shù) 軟件維護(hù)l GB/T 202722006 信息安全技術(shù) 操作系統(tǒng)安全技術(shù)要求l GB/T 200082005 信息安全技術(shù) 操作系統(tǒng)安全評估準(zhǔn)則l GB/T 200092005 信息安全技術(shù) 數(shù)據(jù)庫管理系統(tǒng)安全評估準(zhǔn)則l GB/T 209182007 信息技術(shù) 軟件生存周期過程 風(fēng)險(xiǎn)管理l GB/T 85662007 信息技術(shù) 軟件生存周期過程l SJ/T 103671993 計(jì)算機(jī)過程控制軟件開發(fā)規(guī)程l SJ/T 112342001 軟件過程能力評估模型l SDO (Service Data Object) for Java Specification 10l SCA (Service Component Architecture)Java EE Integration Specification l Java 2 Platform, Enterprise Editionl Capability Maturity Model174。 總體設(shè)計(jì)整個云數(shù)據(jù)采集中心分為四部分：硬件資源層、