【正文】 l 內(nèi)容關(guān)聯(lián)元數(shù)據(jù)定義◎ 視頻節(jié)目特征向量={節(jié)目名稱，播放時(shí)間，導(dǎo)演，主演，年份……}?！?支持以多頻道餅圖或多頻道柱狀圖的形式統(tǒng)計(jì)設(shè)定時(shí)間段內(nèi)數(shù)字電 視所有頻道收視時(shí)長收視率和人次收視率。l 支持節(jié)目管理。以下會對幾大應(yīng)用的核心架構(gòu) 及功能加以詳細(xì)的描述。如果采用 HDFS，為了保證應(yīng)用系統(tǒng)的透明，那 么統(tǒng)一接口的底層必須要寫兩種代碼，第一是對面 S2DFS，第二是面 對 HDFS。計(jì)算量很大，可以多部署 DCS 進(jìn)程，提高計(jì)算并發(fā)度，作業(yè)調(diào)度也要采用 分部署調(diào)度架構(gòu)。Tomcat 2014－3－15 前5.部署并聯(lián)調(diào)分布式文件系統(tǒng)（S2DFS）、部署分布式數(shù)據(jù)庫（D2B）、分布式消息（DMQ）2014－3－31前3 大數(shù)據(jù)計(jì)算平臺 需求概述搖立購應(yīng)用，這個(gè)項(xiàng)目暫定為 200W 個(gè)終端，激活用戶數(shù)位 200W*20%，并 發(fā)量為 5W。開放平臺需要具備以下原則：l 安全性：◎ 用戶數(shù)據(jù)安全性，如應(yīng)用授權(quán)管理；◎ 應(yīng)用身份安全；l 穩(wěn)定性：◎ 平臺架構(gòu)穩(wěn)定；◎ 海量訪問穩(wěn)定運(yùn)營及快速響應(yīng)；l 易用性：◎ 開發(fā)者學(xué)習(xí)成本低；◎ 易查錯(cuò)；CC 的開放平臺面向第三方應(yīng)用開發(fā)者，提供 API 接口和相關(guān)開發(fā)環(huán)境。數(shù)據(jù)發(fā) 布’整個(gè)過程保證數(shù)據(jù)的高性能吞吐、高可靠性、高擴(kuò)展性、可維護(hù)性等屬性?；謴?fù)模式：一般是在服務(wù)剛啟動(dòng)或者在領(lǐng)導(dǎo)者（Leader）崩潰后，開始進(jìn)入 恢復(fù)模式，此時(shí)先就會開始選舉領(lǐng)導(dǎo)者（Leader），當(dāng)領(lǐng)導(dǎo)者（Leader）被選舉出 來，并且追隨者（Follower）完成了和當(dāng)前領(lǐng)導(dǎo)者（Leader）的狀態(tài)及數(shù)據(jù)同步以 后，恢復(fù)模式就結(jié)束了。l 分布式統(tǒng)一鏡像：Client 無論連接到集群中的哪一個(gè) DMQ 集群節(jié)點(diǎn) 服務(wù)，都是得到同樣的鏡像視圖。 DMQ 的增加或者減少不需要 關(guān)閉整個(gè)服務(wù)。 數(shù)據(jù)采集的來源有： IPP 客戶端、瀏覽器、智能電視、智能空調(diào)、智能冰箱、 智能日電采集上來的用戶基本數(shù)據(jù)、終端“傳感器”數(shù)據(jù)、web 數(shù)據(jù)采集、用戶 EPG 數(shù)據(jù)等。所以，CC 云數(shù)據(jù)采集中心的中前期，我們建議采用 Nginx（或者 HAproxy）作為負(fù)載均衡的支撐軟件，或者與國產(chǎn)負(fù)載均衡硬件 設(shè)備混合使用。對于鏈路負(fù)載常用的“智能 DNS”功能， 必須購買全局負(fù)載才包含。分布式數(shù)據(jù)庫（D2B） 集群示例圖 D2B 與關(guān)系型數(shù)據(jù)庫的邏輯結(jié)構(gòu)對比:D2B關(guān)系型數(shù)據(jù)庫數(shù)據(jù)庫(database)數(shù)據(jù)庫(database)集合(collection)表(table)文檔(document)行(row)D2B 的性能指標(biāo)：10 億約 600GB 以上（與每條記錄大小有關(guān)系，這里的數(shù)據(jù)：1Kb/條）寫（1 億,無索引）約 1500020000 條/s寫（1 億,有索引）約 10000 條/s寫（1 億：Replica Sets + Sharding 模式）約 60008000 條/s讀（1 億）約 80MB120MB/s讀（1 億）800010000 個(gè)查詢/s統(tǒng)計(jì)一個(gè)值（10 億）3s（復(fù)雜查詢）最大節(jié)點(diǎn)數(shù)量1024（理論上）測試環(huán)境的硬件配置：Intel Xeon E78837 2 路 16 核心,256GB 內(nèi)存，15k SAS 16*600GB硬盤，RAID50；總共 12 臺設(shè)備；D2B 的架構(gòu)模式：Replica Sets + Sharding。l 類似于 RDBMS 的屬性索引支持，可以直接在文檔的選定屬性上創(chuàng)建索 引。、Mac OS X、Linux174。每個(gè) 集合在數(shù)據(jù)庫中都有一個(gè)唯一 的標(biāo)識名，并且可以包含無限數(shù)目的文檔。n 無中心系統(tǒng)架構(gòu) 在平臺管理下的單節(jié)點(diǎn)能力一致，使節(jié)點(diǎn)在部署上和使用上具備無 差別性，任一節(jié)點(diǎn)功能可由其他節(jié)點(diǎn)替代或強(qiáng)化，可以最大程度確 保平臺資源使用的靈活性以及在災(zāi)備環(huán)境下的可靠性系統(tǒng)架構(gòu)。集群中的所有存儲系統(tǒng)服務(wù)器都可以智能地對文件數(shù)據(jù)分片進(jìn)行定位，僅僅根據(jù)文件名 和路徑并運(yùn)用算法即可，而不需要查詢索引或者其他服務(wù)器。比如，Replicate 模塊可實(shí)現(xiàn) RAID1，Stripe 模塊可實(shí)現(xiàn) RAID0，通過兩者的組合可實(shí)現(xiàn) RAID10 和 RAID01，同時(shí)獲得高性能和高可靠性。開源社區(qū)中，分布式文件系統(tǒng) 被大量部署在基于廉價(jià)閑置硬件的各種操作系統(tǒng)上，構(gòu)成集中統(tǒng)一 的虛擬存儲資源池。這種設(shè)計(jì)機(jī)制完全并行化了數(shù)據(jù)訪問，實(shí)現(xiàn)了真正 的線性性能擴(kuò)展。分布式 文件系統(tǒng)沒有設(shè)計(jì)自己的私有數(shù)據(jù)文件格式，而是采用操作系統(tǒng)中 主流標(biāo)準(zhǔn)的磁盤文件系統(tǒng)（如 XFS/EXT4/ZFS）來存儲文件，因此 數(shù)據(jù)可以使用各種標(biāo)準(zhǔn)工具進(jìn)行復(fù)制和訪問。經(jīng)過長時(shí)間 的實(shí)際生產(chǎn)環(huán)境使用，分布式文件系統(tǒng)已被證明是該類型應(yīng)用的有效解決方案。（2） 分布式文件系統(tǒng)應(yīng)對的數(shù)據(jù)特性和訪問特性：n 數(shù)據(jù)量巨大，數(shù)百 TB 或 PB 級，增長迅速；36n 類型多樣化，包括圖像、文本、語音、視頻等文件數(shù)據(jù)；n 按時(shí)間有序生成，數(shù)據(jù)均帶有時(shí)間標(biāo)志 ；n 前端數(shù)據(jù)寫入速度很高，每秒鐘寫入數(shù)據(jù)可達(dá)幾萬甚至幾十萬條記 錄或者上 GB 量數(shù)據(jù) ；n 更新操作極少：追加方式寫入，一旦寫入，幾乎沒有數(shù)據(jù)修改，查 詢涉及大量的磁盤讀操作，查詢處理產(chǎn)生大量的臨時(shí)結(jié)果，不同類 型的數(shù)據(jù)存在聯(lián)合分析查詢；分布式文件系統(tǒng)的基本原理是采用集群方式來整合物理上獨(dú)立的多個(gè)存儲 資源，以軟件方式提供單一的名字空間；采用多副本的方式保證數(shù)據(jù)的高可用性， 任意單一節(jié)點(diǎn)失效均不會導(dǎo)致數(shù)據(jù)丟失和數(shù)據(jù)服務(wù)的正常運(yùn)行；同時(shí)，分布式文 件系統(tǒng)通過良好設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)分布策略，可保證系統(tǒng)性能的高可擴(kuò)展性， 并支持存儲容量/性能的在線擴(kuò)展。n 擴(kuò)展性困難：技術(shù)存在瓶頸（Scaleup 架構(gòu)決定的）、擴(kuò)展成本無法 控制。還要實(shí)現(xiàn)整個(gè)云數(shù)據(jù)采集 中心的資源管理及監(jiān)控管理系統(tǒng)。存儲服務(wù)器用來部署分布式文件系統(tǒng)和分布式數(shù)據(jù)庫，同 時(shí)存儲非結(jié)構(gòu)化和結(jié)構(gòu)化（臺標(biāo)圖片，電商圖片等等）和結(jié)構(gòu)化數(shù)據(jù)（行為數(shù)據(jù)， 索引數(shù)據(jù)，log 數(shù)據(jù)，清理后的細(xì)顆粒度數(shù)據(jù)等等）。 參考規(guī)范l GB 936188 計(jì)算站場地安全要求l GB 5017393 電子計(jì)算機(jī)機(jī)房設(shè)計(jì)規(guī)范l GB 288789 計(jì)算站場地技術(shù)條件l GB 501742008 電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范l GB 504622008 電子信息系統(tǒng)機(jī)房施工及驗(yàn)收規(guī)范l GB 503112007 綜合布線工程設(shè)計(jì)規(guī)范l GB 503122007 綜合布線系統(tǒng)工程驗(yàn)收規(guī)范l GB 503952007 視頻安防監(jiān)控系統(tǒng)設(shè)計(jì)規(guī)范l GB 502632007 氣體滅火系統(tǒng)施工及驗(yàn)收規(guī)范l GB 503942007 入侵報(bào)警系統(tǒng)工程設(shè)計(jì)規(guī)范l GB/T 202692006 信息安全技術(shù)—信息系統(tǒng)安全管理要求l GB/T 209842007 信息安全技術(shù)—信息安全風(fēng)險(xiǎn)評估規(guī)范l GB/T 222392008 信息安全技術(shù)—信息系統(tǒng)安全等級保護(hù)基本要求l GB/T 222402008 信息安全技術(shù)—信息系統(tǒng)安全等級保護(hù)定級指南l GA/T 3882002B 計(jì)算機(jī)信息系統(tǒng)安全等級保護(hù)管理要求l GB/T 8567 1988 計(jì)算機(jī)軟件產(chǎn)品開發(fā)文件編制指l GB/T 114571995 軟件工程術(shù)語l GB/T 114572006 信息技術(shù) 軟件工程術(shù)語l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 1 部分:質(zhì)量模型l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 2 部分:外部度量l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 3 部分:內(nèi)部度量l GB/T 軟件工程 產(chǎn)品質(zhì)量 第 4 部分:使用質(zhì)量的度量l GB/T 143942008 計(jì)算機(jī)軟件可靠性和可維護(hù)性管理l GB/T 175441998 信息技術(shù) 軟件包 質(zhì)量要求和測試l GB/T 182212000 信息技術(shù) 程序設(shè)計(jì)語言、環(huán)境與系統(tǒng)軟件借口 獨(dú)立 于語言的數(shù)據(jù)類型l GB/T 信息技術(shù) 軟件測量 功能規(guī)模測量 第 1 部分：概念 定義l GB/T 184922001 信息技術(shù) 系統(tǒng)及軟件完整性級別l GB/Z 184932001 信息技術(shù) 軟件生存周期過程指南l GB/T 201572006 信息技術(shù) 軟件維護(hù)l GB/T 202722006 信息安全技術(shù) 操作系統(tǒng)安全技術(shù)要求l GB/T 200082005 信息安全技術(shù) 操作系統(tǒng)安全評估準(zhǔn)則l GB/T 200092005 信息安全技術(shù) 數(shù)據(jù)庫管理系統(tǒng)安全評估準(zhǔn)則l GB/T 209182007 信息技術(shù) 軟件生存周期過程 風(fēng)險(xiǎn)管理l GB/T 85662007 信息技術(shù) 軟件生存周期過程l SJ/T 103671993 計(jì)算機(jī)過程控制軟件開發(fā)規(guī)程l SJ/T 112342001 軟件過程能力評估模型l SDO (Service Data Object) for Java Specification 10l SCA (Service Component Architecture)Java EE Integration Specification l Java 2 Platform, Enterprise Editionl Capability Maturity Model174。l 為 CC 后面的產(chǎn)品（收視率統(tǒng)計(jì)，智能推薦系統(tǒng),拍立購，開放平臺等等） 的應(yīng)用和實(shí)施打下堅(jiān)實(shí)的基礎(chǔ)，為集團(tuán) CC 的大數(shù)據(jù)提供運(yùn)營支撐。CC 云數(shù)據(jù)采集中心及大數(shù)據(jù)計(jì)算平臺建設(shè)方案成都中藍(lán)信息技術(shù)有限責(zé)任公司目 錄聯(lián)系 ：1280986324，歡迎探討！1 引言 5 項(xiàng)目背景 5 項(xiàng)目目標(biāo) 5 建設(shè)原則 6 參考規(guī)范 7 名詞解釋 92 云數(shù)據(jù)采集中心 10 需求概述 10 總體設(shè)計(jì) 13 核心技術(shù)及功能 18 分布式文件存儲技術(shù) 18 分布式并行計(jì)算技術(shù) 27 分布式數(shù)據(jù)庫技術(shù) 31 負(fù)載均衡 34 數(shù)據(jù)采集 39 開放平臺 45 部署方案 48 實(shí)施計(jì)劃 503 大數(shù)據(jù)計(jì)算平臺 52 需求概述 52 總體設(shè)計(jì) 52 應(yīng)用建設(shè) 57 收視率統(tǒng)計(jì) 57 智能推薦 60 拍立購 63 部署方案 69 實(shí)施計(jì)劃 724 性能及成本分析 73 運(yùn)營商網(wǎng)絡(luò)性能分析 73 服務(wù)器網(wǎng)卡性能分析 73 服務(wù)器內(nèi)存性能分析 73 服務(wù)器硬盤性能分析 74 服務(wù)器 RAID 模式分析 74 性能分析 75 平臺性能分析 755 存儲空間規(guī)劃表 766 機(jī)房選型 777 安全設(shè)計(jì) 788 風(fēng)險(xiǎn)分析 811 引言 項(xiàng)目背景根據(jù) CC 智能戰(zhàn)略的規(guī)劃：做強(qiáng)終端、云平臺建設(shè)、大數(shù)據(jù)商業(yè)模式，CC 正 邁向大數(shù)據(jù)時(shí)代，當(dāng)前正面向所有智能終端提供優(yōu)質(zhì)的服務(wù)，同時(shí)通過終端傳感 器或數(shù)據(jù)采集服務(wù)能夠獲取海量的數(shù)據(jù)，并且數(shù)據(jù)量會以 TB 級劇增。l 云中心初期建立至少保證可以正常運(yùn)營 1~2 年，硬件選型，軟件開始要 考慮到今后大規(guī)模擴(kuò)容的要求。 Integration (CMMISM), Version l Extensible Markup Language (XML) (Fifth Edition)l Web Services Business Process Execution Language 名詞解釋l S2DFS：簡單存儲分布式文件系統(tǒng)（Simple Storage Distributed File System）l D2B:分布式數(shù)據(jù)庫（Distributed Database）l JSS：作業(yè)調(diào)度服務(wù)（Job Scheduler Service）l DCS：數(shù)據(jù)計(jì)算服務(wù)（Data Computer Service）l MPS：消息處理服務(wù)（Message Process Service）l SDS：流數(shù)據(jù)處理服務(wù)（Stream Data Service）l DMQ：分布式消息隊(duì)列（Distributed Message Queue）l JGS：作業(yè)生成服務(wù)（Job Generation Service）l ACS：自動(dòng)清理服務(wù)進(jìn)程（Automatic Cleaning Services）l HTTP：超文本傳輸協(xié)定（HyperText Transfer Protocol）l SMB：服務(wù)器信息塊協(xié)議（Server Message Block）2 云數(shù)據(jù)采集中心 需求概述根據(jù) CC 的階段規(guī)劃，第一期云數(shù)據(jù)采集中心的建立至少滿足 1 至 2 年內(nèi)的 數(shù)據(jù)存儲和計(jì)算規(guī)模，需要滿足 200 萬臺各種智能終端的數(shù)據(jù)存儲和計(jì)算規(guī)模。計(jì)算服務(wù)器主要用來完成數(shù) 據(jù)的清理、統(tǒng)計(jì)、搜索等計(jì)算任務(wù)。軟件應(yīng)用層是云數(shù)據(jù)采集中心的功能實(shí)現(xiàn)及 UI 表達(dá)層，功能實(shí)現(xiàn)需要基于 軟件平臺層的支撐，后期設(shè)計(jì)和實(shí)施的主體。n 可用性問題：潛在的單點(diǎn)故障,數(shù)據(jù)恢復(fù)困難，代價(jià)高。相比較于 DAS（直連存儲）、SAN（存儲區(qū)域網(wǎng)絡(luò)）和 NAS（網(wǎng)絡(luò)存儲）， 應(yīng)用分布式文件系統(tǒng)構(gòu)建的網(wǎng)絡(luò)存儲系統(tǒng)