【正文】 顯得有些浪費，而用 軟件就要合算得多，因為服務(wù)器同時還可以跑應(yīng)用做集群等。3) LVS/HAProxy/Nginx每秒鐘的吞吐量一般在為1萬3萬之間，選擇軟件的構(gòu)建方式：需要2臺高性能設(shè)備作主備集群，費用在6 萬人民幣左右。HAProxy是一款提供高可用性的 基于TCP（第四層）和HTTP（第 七層）應(yīng)用的代理軟件。45 數(shù)據(jù)采集1) 概述數(shù)據(jù)采集功能主要完成海量智能終端的數(shù)據(jù)（臺標、log 等等）采集、上傳。臺標等非結(jié)構(gòu)化數(shù)據(jù)存儲在分布式文件系統(tǒng)（S2DFS）中， log 或者行為等結(jié)構(gòu)化數(shù)據(jù)存儲在分布式數(shù)據(jù)庫（MongonDB）中。應(yīng)用也無需再借助于一個巨大的獨立 數(shù)據(jù)庫來獲取數(shù)據(jù)以追求最大性能的 這是 80%以上的企業(yè)應(yīng)用中 的瓶頸所在!l 擴展性：由于數(shù)據(jù)是均勻分布的，所以除了考慮到網(wǎng)絡(luò)上的組通訊， 根本就沒有必要來限制網(wǎng)格的大小 網(wǎng)絡(luò)上的組通訊只要能夠發(fā)現(xiàn) 一個新的節(jié)點即可. 所有的數(shù)據(jù)獲取方式都是通過點對點通信，即節(jié)點之間直接進行通信，非常容易控制。 一致性哈希算法成本低，速度快并且最重要的是不需要額外的元數(shù)據(jù) 或者網(wǎng)絡(luò)通信就能確定鍵值的位置。l 實時性：對于每個 Client，DMQ 集群中的所有服務(wù)器都會保持實時更 新制度，使得所有的服務(wù)視圖都會是最新的。參與領(lǐng)導(dǎo)者（Leader）發(fā)起的投票。DMQ 的核心是原子廣播，這個機制保證了各個 Server 之間的同步,有兩種模 式，它們分別是恢復(fù)模式和廣播模式。通過嵌入式 nosql 內(nèi)核完 成上百萬并發(fā)量的緩存數(shù)據(jù)來提供異步發(fā)布和訂閱。數(shù)據(jù)緩存224。平臺商將服務(wù)打包成統(tǒng)一的、可識別的接口并開放出去，以使得第 三方的服務(wù)以相應(yīng)形式接入到平臺之上，第三方開發(fā)者為平臺提供產(chǎn)品和服務(wù)的 同時能夠與平臺共享各種資源。l 根據(jù)開放技術(shù)劃分，可將開放平臺劃分為五種類型：OpenAPI 型開放平臺、插件式開放平臺、綜合型開放平臺、應(yīng)用超市型開放平臺和基礎(chǔ)服 務(wù)型開放平臺（云計算平臺）。開放平臺的使命是把各種智能家電以及電商的商品、用戶、交易、物流52等等基礎(chǔ)服務(wù)，像水、電、煤一樣輸送給有需要的商家、開發(fā)者、社區(qū)媒體和各 行各業(yè)。46.線材、工 具、其他 材料等等安普超5類雙絞線、作線工具、 管材等等若干2. 軟件配置表序號名稱配置描述部署硬件數(shù)量用途1.S2DFS分布式文件系統(tǒng)存儲及計算服務(wù)器10用來存儲非結(jié)構(gòu) 化和結(jié)構(gòu)化數(shù)據(jù)， 比如:視頻、圖片、 文檔等富媒體文件2.JSS作業(yè)調(diào)度服務(wù)進程存儲及計算服務(wù)器2作業(yè)（任務(wù)）的調(diào) 度程序，是計算任 務(wù)的發(fā)起者和調(diào) 度者3.DCS數(shù)據(jù)計算服務(wù)進程存儲及計算服務(wù)器10作業(yè)（任務(wù)）的具 體負責(zé)計算的程 序，接受 JSS 的分 配任務(wù)，處理任 務(wù)，比如：圖片特征批評，視頻的分 析等等4.JGS作業(yè)自動生成進程存儲及計算服務(wù)器2作業(yè)（任務(wù)）的自 動生成，主要用來 生成固定規(guī)則的 任務(wù)，比如臺標數(shù) 據(jù)清理任務(wù)5.ACS自動清理服務(wù)進程存儲及計算服務(wù)器2自動定時清除沒 有利用價值的歷 史數(shù)據(jù)，垃圾數(shù)據(jù)6.MPS消息處理服務(wù)進程WEB 及消息服務(wù)器6獲取分布式消息 隊列中的數(shù)據(jù)，并 對獲取的數(shù)據(jù)進 行既定規(guī)則的業(yè) 務(wù)處理，最后把數(shù) 據(jù)存儲在 S2DFS 或者 D2B 中7.SDS實時流數(shù)據(jù)處理服務(wù)進程WEB 及消息服務(wù)器6能夠?qū)崟r持續(xù)的 完成流式數(shù)據(jù)的 計算處理，具有實 時性，低延遲特 點，與批計算相對 應(yīng)8.D2B分布式數(shù)據(jù)庫（開源）分布式數(shù)據(jù)庫服務(wù)器10分布式 noSQL 數(shù) 據(jù)庫，完成海量結(jié) 構(gòu)化數(shù)據(jù)的存儲， 具有容量大，分布 式，易擴展，性能 好的特點 實施計劃數(shù)據(jù)中心 IaaS 設(shè)施（軟件、硬件）到位并部署工作安排，下面表格是實施 計劃的主要交付節(jié)點：序號工作內(nèi)容時間1.實施啟動2014－2－25 前2.采購硬件（服務(wù)器、陣列柜、交換機、其他）2014－3－5 前3.部署并聯(lián)調(diào)硬件（安裝操作系統(tǒng)）及局域網(wǎng)網(wǎng)絡(luò)，包括外接三線光纖網(wǎng)絡(luò)2014－3－10 前4.部 署 并 聯(lián) 調(diào) PostgreSQL x64 for Linux 、Apacheamp。 初步估計數(shù)據(jù)量在 60TB100TB 之間，由于數(shù)據(jù)量很大，需要配置大容量分布式存儲空間,需要分布 式文件系統(tǒng)和分布式數(shù)據(jù)庫支撐。此項目之后會做成實時計算，需要用到流式計算的相關(guān)計算和調(diào) 度。大數(shù)據(jù)計算平臺 的需要的數(shù)據(jù)：包括智能終端上報的、網(wǎng)上實時爬取得、二次計算分析而獲取的 等等，都通過通用接口存儲在云數(shù)據(jù)采集中心的分布式存儲平臺中（分布式文件 系統(tǒng)（S2DFS）、分布式數(shù)據(jù)庫（D2B））。第二，學(xué)習(xí)成本及進度問題：要使用 HDFS，必須熟悉它的 API，以及后面 帶來的整個 HDFS 集群部署維護等工作，這個與可利用的團隊資源相 沖突；S2DFS 提供標準的 POSIX 協(xié)議接口，應(yīng)用程序代碼不需作任 何改變就可以執(zhí)行。前面部署的 10 臺設(shè)備通過對原始數(shù)據(jù)處理壓縮 后，存儲空間還有多余。資源及監(jiān)控管理資源及權(quán)利權(quán)限…...收視率統(tǒng)計APIJSSDCSJGSMPSSDSS2DFSD2BPostgreSQLNginxApacheTomcatDMQ開放平臺CentOS x64API數(shù)據(jù)挖掘分布式計算挖掘算法存儲設(shè)備網(wǎng)絡(luò)設(shè)備服務(wù)器設(shè)備CentOS x64拍立購智能推薦第三方應(yīng)用調(diào)用 云 數(shù) 據(jù) 中 心 API大數(shù)據(jù)計算平臺架構(gòu)圖56智能終端智能終端智能終端……骨 干 網(wǎng)收視率統(tǒng)計應(yīng) 智能推薦應(yīng)用 用拍立購應(yīng)用 開放平臺應(yīng)用WEB及消息服務(wù)器存儲/計算服務(wù)器存儲/計算服務(wù)器WEB及消息服務(wù)器存儲/計算服務(wù)器…………負載均衡服務(wù)器分布式數(shù)據(jù)庫服務(wù)器數(shù)據(jù)公共網(wǎng)聯(lián)通/電信/移動負載均衡服務(wù)器分布式數(shù)據(jù)庫服務(wù)器分布式數(shù)據(jù)庫防火墻 服務(wù)器…………應(yīng)用數(shù)據(jù)庫服務(wù)器(主)光纖作業(yè)調(diào)度服務(wù)器(主)應(yīng)用數(shù)據(jù)庫 光纖服務(wù)器(備)作業(yè)調(diào)度服務(wù)器(備)FC SAN大數(shù)據(jù)計算平臺網(wǎng)絡(luò)圖 應(yīng)用建設(shè)今后我們會在這次“云數(shù)據(jù)采集中心的平臺”上構(gòu)建以下幾大應(yīng)用：數(shù)據(jù)采 集、收視率統(tǒng)計、智能推薦、拍立購、開放平臺。l 支持實時上報數(shù)據(jù)的查看，包括 IC 卡 ID、頻道名稱、頻道 ID、收看開 始時間、收看結(jié)束時間，觀看時長（秒）、GW2IP 地址。◎ 支持按頻道 ID、頻道名稱、索引、導(dǎo)入文件的名稱單項或組合查詢 已添加頻道?！?支持按名稱、頻道 ID、開始時間單項或組合查詢已添加節(jié)目?！?支持查詢結(jié)果以 EXCEL 的格式導(dǎo)出?；谶@種原因，CC 通過收集海量 用戶行為數(shù)據(jù)，通過推薦算法，把觀眾想看的節(jié)目推薦給終端用戶，提高用戶的 體驗。l 構(gòu)建知識庫：◎ 通過第三方數(shù)據(jù)源擴充媒體大數(shù)據(jù)，為了精細化分析用戶的興趣愛 好，需要擴充電視直播、點播數(shù)據(jù)和 IPP 平臺的 EPG 數(shù)據(jù)，增加視 頻的顯性內(nèi)容；◎ 構(gòu)建影視內(nèi)容知識庫：通過分類、聚類、關(guān)聯(lián)規(guī)則算法，實現(xiàn)影視 內(nèi)容知識庫構(gòu)建；◎ 構(gòu)建領(lǐng)域知識庫：在影視知識庫的基礎(chǔ)上，分析視頻內(nèi)容的隱性關(guān) 聯(lián)數(shù)據(jù)，實現(xiàn)用戶性格領(lǐng)域的知識庫構(gòu)建。l 用戶興趣模型呈現(xiàn)◎ 構(gòu)建“用戶興趣類別興趣特征”三級管理模式。視頻節(jié)目名稱播放時間導(dǎo)演主演出版年份 名字國籍性別 關(guān)聯(lián)元數(shù)據(jù)定義示例圖l 用戶興趣度權(quán)重定義◎ 基于視頻內(nèi)容的興趣度權(quán)重定義：對用戶觀看的視頻節(jié)目進行聚類 分析，根據(jù)用戶觀看不同類型的節(jié)目的總次數(shù)和連續(xù)看某類視頻的次數(shù)，確定用戶興趣度。數(shù)據(jù)采集的來源有： IPP 客戶端、瀏覽器、智能電視、智能空調(diào)、智能冰箱、 智能日電采集上來的用戶基本數(shù)據(jù)、終端“傳感器”數(shù)據(jù)、web 數(shù)據(jù)采集、用戶 EPG 數(shù)據(jù)等?！?支持以單頻道折現(xiàn)圖的形式統(tǒng)計數(shù)字電視設(shè)定時間段內(nèi)某頻道收視 時長收視率或人次收視率隨時間的變化。◎ 支持以餅圖、柱狀圖的形式統(tǒng)計數(shù)字電視設(shè)定時間段內(nèi)某頻道所有 節(jié)目收視時長收視率和人次收視率?！?支持修改、刪除、增加、查看節(jié)目名稱、頻道 ID、開始時間、結(jié)束 時間和欄目名稱?！?支持修改、刪除、增加、查看頻道 ID、頻道名稱。 收視率統(tǒng)計可對一段時間內(nèi)數(shù)字電視的某個頻道的某個節(jié)目進行人次收視率或收視時 長收視率進行統(tǒng)計。第四，應(yīng)用場景問題：HDFS 對存儲網(wǎng)頁等文件比較友好，畢竟它的基因就 是為互聯(lián)網(wǎng)搜索而開發(fā)出來的，但是 CC 的應(yīng)用場景很雜，要涉及到 網(wǎng)頁，文本處理，也要涉及到圖片、視頻等搜索，HDFS 對大尺寸視 頻文件，圖像文件的性能就不能很好的適應(yīng)。新增加了開發(fā)、維護、測試的時間。請參考下面的圖例：根據(jù) 小節(jié)對 S2DFS分布式文件系統(tǒng)的詳細介紹，本章節(jié)就不重復(fù)敘述， 由于要增加新的存儲設(shè)備，對于新設(shè)備上安裝分布式文件系統(tǒng)是否繼續(xù)選用 S2DFS 還是 HDFS，我們需要回答以下幾個問題：第一，預(yù)算增加及擴展問題：要部署 HDFS，還得單獨購買兩臺高性能設(shè)備 作為 HDFS 的元數(shù)據(jù)庫服務(wù)器（注：兩臺設(shè)備，構(gòu)成主備；配置不能 比我們現(xiàn)在選擇的設(shè)備配置差，不然就會成為瓶頸，如果差了，數(shù)據(jù) 節(jié)點就擴展不了幾臺。收視率應(yīng)用，初步估計并發(fā)量為 1W。網(wǎng)絡(luò)爬蟲爬取的影視節(jié)目信息存儲 在數(shù)據(jù)中心，此數(shù)據(jù)量跟用戶收視記錄相關(guān)，只爬取收視記錄中涉及的影視節(jié)目。項目涉及的數(shù)據(jù)有 6 大電商的 5 類主要商品的信息，包括圖片、連 接、價格等信息，每三十天進行覆蓋更新，這些數(shù)據(jù)存儲在數(shù)據(jù)中心，方便數(shù)據(jù) 共享。Intel 千 兆網(wǎng)口 4*Gb NIC；SATA3 企業(yè)級硬盤 8*3TB:RAID10做數(shù)據(jù)盤（保證高性能、高可靠性 的同時，單臺有效空間為 12TB）；冗余電源；2. 主要用來存儲非結(jié)構(gòu)化和 結(jié)構(gòu)化數(shù)據(jù)：日志、行為 記錄；圖片、視頻、文檔、 網(wǎng)頁等文件、索引等記錄； 部署備份數(shù)據(jù)也可以存儲 在該存儲集群上。軟 件開發(fā)者可通過平臺 API 來獲取智能家電的信息，以及智能家電的控制信息，鏡 像電商網(wǎng)站的用戶信息（賣方和賣方用戶信息，私有信息需要授權(quán)）、商品信息（商品的名稱、類目、型號、介紹等信息）、商品類目信息（商品索引及分類明 細）、店鋪信息、交易明細信息（在取得用戶授權(quán)的情況下，查詢每筆交易的詳 細情況）、商品管理（商品的上傳、編輯、修改等接口）等信息，并建立相應(yīng)的 電子商務(wù)應(yīng)用。l 根據(jù)開放層級劃分，開放平臺主要分為四層，即“硬件”層、系統(tǒng)層、 業(yè)務(wù)層和應(yīng)用層。注：*越多速速越快。4) 典型分布式消息平臺比較：由于常見的 RabbitMQ、ActiveMQ 和 ZeroMQ 消息中間件不具備分布式功能， 所以不在比較之列。廣播模式：恢復(fù)模式結(jié)束后，即領(lǐng)導(dǎo)者（Leader）已經(jīng)和追隨者（Follower） 進行了狀態(tài)同步以后，他就可以開始廣播消息了，即進入廣播狀態(tài)。但是Observer不參加投票過程，只是同步領(lǐng)導(dǎo)者（Leader）的狀態(tài)。l 可靠性：數(shù)據(jù)在內(nèi)存中緩存了 2 份，任何一臺計算機故障，都不會造 成數(shù)據(jù)的丟失。l 原子性：一個 Update 操作不是成功就是失敗，不會有第三種狀態(tài)出現(xiàn)。 簡單的添加刪除集群中的機器不會引發(fā)任何服務(wù)中 斷。相反，借助于分布式復(fù)制架構(gòu)，可獲得 100GB 的備份虛擬堆內(nèi)存，并且在網(wǎng)格中的任何位置都能訪問。根據(jù)特定的通信解析協(xié)議對來自不同終端，不同應(yīng)用，不同類型 的數(shù)據(jù)進行收集，并提供統(tǒng)一的數(shù)據(jù)采集方式，方便后臺數(shù)據(jù)集成、數(shù)據(jù)存儲?？关撦d能力強、是工作在網(wǎng)絡(luò)4 層之上僅作分發(fā)之用，沒有流量的 產(chǎn)生，這個特點也決定了它在負載 均衡軟件里的性能最強的；配置性比較低，這是一個缺點 也是一個優(yōu)點，因為沒有可太多配 置的東西，所以并不需要太多接 觸，大大減少了人為出錯的幾率；工作穩(wěn)定，自身有完整的雙機 熱備方案，如LVS+Keepalived和 LVS+Heartbeat；無流量，保證了均衡器IO的性 能不會收到大流量的影響；軟件本身不支持正則處理，不 能做動靜分離；工作在網(wǎng)絡(luò)的7層之上，可以針 對應(yīng)用做一些分流的策略，比 如針對域名、目錄結(jié)構(gòu)，它的正則 規(guī)則比HAProxy更為強大和靈活；Nginx對網(wǎng)絡(luò)的依賴非常小，理 論上能ping通就就能進行負載功 能；Nginx安裝、配置、維護比較簡 單；可以承擔高的負載壓力且穩(wěn)定， 一般能支撐超過幾萬次的并發(fā)量；Nginx可以通過端口檢測到服務(wù) 器內(nèi)部的故障，不支持url來檢測；Nginx也可作為Web反向加速緩 存器；能夠補充Nginx的一些缺點比如 Session的保持，Cookie的引導(dǎo)等工 作；HAProxy對網(wǎng)絡(luò)的依賴非常小， 理論上能ping通就就能進行負載 功能；它跟LVS一樣，本身僅僅就只 是一款負載均衡軟件；單純從效率 上來講HAProxy更會比Nginx有更 出色，在并發(fā)處理上也是優(yōu)于 Nginx；HAProxy安裝、配置、維護比 較簡單；可以承擔高的負載壓力且穩(wěn)定， 一般能