【正文】 者CentOS x64（該類設(shè)備上都 要部署）2. 分布式消息平臺：DMQ（該類 設(shè)備上都要部署）；3. WEB 及應(yīng)用服務(wù)中間價： Tomcat 或者 JBOSS（該類設(shè)備 上都要部署）4. 消息處理服務(wù)進(jìn)程：MPS（該 類設(shè)備上都要部署）5. 實(shí)時流數(shù)據(jù)處理進(jìn)程：SDS（該 類設(shè)備上都要部署）63.負(fù)載均衡 服務(wù)器1. 機(jī)架服務(wù)器；Intel Xeon E52620 1*CPU:6 核心； 64GB ECC 服 務(wù)器內(nèi)存 條；Intel 千兆網(wǎng)口 2*Gb NIC；SAS 硬盤 10K:2*300GB:RAID1；冗余 電源；1. 操作系統(tǒng)：RHEL x64 或者 CentOS x64（2 臺設(shè)備上都 要部署）2. Nginx x64 for Linux（該類 設(shè)備上都要部署）44.華為全千 兆交換機(jī)產(chǎn)品型號 S570052CPWRSI產(chǎn)品類型 千兆以太網(wǎng) 應(yīng)用層級 三層 背板帶寬 256Gbps 包轉(zhuǎn)發(fā)率 132Mpps傳輸方式 存儲轉(zhuǎn)發(fā)方式 接口類型 48 個10/100/1000BaseT，上行支持 41000BaseX SFP，210GE SFP+，410GE SFP+插卡接口數(shù)目 52 口傳輸速率 10M/100M/1000Mbps 擴(kuò)展插槽 4堆疊支持 可堆疊 1U 機(jī)架式25.標(biāo)準(zhǔn)圖騰 機(jī)柜42U服務(wù)器機(jī)柜：600mm寬*1000mm深*2000mm高,內(nèi)含4個 風(fēng)扇、10塊托盤。46.線材、工 具、其他 材料等等安普超5類雙絞線、作線工具、 管材等等若干2. 軟件配置表序號名稱配置描述部署硬件數(shù)量用途1.S2DFS分布式文件系統(tǒng)存儲及計(jì)算服務(wù)器10用來存儲非結(jié)構(gòu) 化和結(jié)構(gòu)化數(shù)據(jù)， 比如:視頻、圖片、 文檔等富媒體文件2.JSS作業(yè)調(diào)度服務(wù)進(jìn)程存儲及計(jì)算服務(wù)器2作業(yè)（任務(wù)）的調(diào) 度程序，是計(jì)算任 務(wù)的發(fā)起者和調(diào) 度者3.DCS數(shù)據(jù)計(jì)算服務(wù)進(jìn)程存儲及計(jì)算服務(wù)器10作業(yè)（任務(wù)）的具 體負(fù)責(zé)計(jì)算的程 序，接受 JSS 的分 配任務(wù)，處理任 務(wù)，比如：圖片特征批評，視頻的分 析等等4.JGS作業(yè)自動生成進(jìn)程存儲及計(jì)算服務(wù)器2作業(yè)（任務(wù)）的自 動生成，主要用來 生成固定規(guī)則的 任務(wù)，比如臺標(biāo)數(shù) 據(jù)清理任務(wù)5.ACS自動清理服務(wù)進(jìn)程存儲及計(jì)算服務(wù)器2自動定時清除沒 有利用價值的歷 史數(shù)據(jù)，垃圾數(shù)據(jù)6.MPS消息處理服務(wù)進(jìn)程WEB 及消息服務(wù)器6獲取分布式消息 隊(duì)列中的數(shù)據(jù)，并 對獲取的數(shù)據(jù)進(jìn) 行既定規(guī)則的業(yè) 務(wù)處理，最后把數(shù) 據(jù)存儲在 S2DFS 或者 D2B 中7.SDS實(shí)時流數(shù)據(jù)處理服務(wù)進(jìn)程WEB 及消息服務(wù)器6能夠?qū)崟r持續(xù)的 完成流式數(shù)據(jù)的 計(jì)算處理，具有實(shí) 時性，低延遲特 點(diǎn)，與批計(jì)算相對 應(yīng)8.D2B分布式數(shù)據(jù)庫（開源）分布式數(shù)據(jù)庫服務(wù)器10分布式 noSQL 數(shù) 據(jù)庫，完成海量結(jié) 構(gòu)化數(shù)據(jù)的存儲， 具有容量大，分布 式，易擴(kuò)展，性能 好的特點(diǎn) 實(shí)施計(jì)劃數(shù)據(jù)中心 IaaS 設(shè)施（軟件、硬件）到位并部署工作安排，下面表格是實(shí)施 計(jì)劃的主要交付節(jié)點(diǎn)：序號工作內(nèi)容時間1.實(shí)施啟動2014－2－25 前2.采購硬件（服務(wù)器、陣列柜、交換機(jī)、其他）2014－3－5 前3.部署并聯(lián)調(diào)硬件（安裝操作系統(tǒng)）及局域網(wǎng)網(wǎng)絡(luò)，包括外接三線光纖網(wǎng)絡(luò)2014－3－10 前4.部 署 并 聯(lián) 調(diào) PostgreSQL x64 for Linux 、Apacheamp。Tomcat 2014－3－15 前5.部署并聯(lián)調(diào)分布式文件系統(tǒng)（S2DFS）、部署分布式數(shù)據(jù)庫（D2B）、分布式消息（DMQ）2014－3－31前3 大數(shù)據(jù)計(jì)算平臺 需求概述搖立購應(yīng)用，這個項(xiàng)目暫定為 200W 個終端，激活用戶數(shù)位 200W*20%，并 發(fā)量為 5W。項(xiàng)目涉及的數(shù)據(jù)有 6 大電商的 5 類主要商品的信息，包括圖片、連 接、價格等信息，每三十天進(jìn)行覆蓋更新，這些數(shù)據(jù)存儲在數(shù)據(jù)中心，方便數(shù)據(jù) 共享。此項(xiàng)目還涉及海量圖片的搜索與特征值匹配。 初步估計(jì)數(shù)據(jù)量在 60TB100TB 之間，由于數(shù)據(jù)量很大，需要配置大容量分布式存儲空間,需要分布 式文件系統(tǒng)和分布式數(shù)據(jù)庫支撐。智能推薦應(yīng)用，此項(xiàng)目跟智能電視終端密切相關(guān)，并與用戶同時開機(jī)量、同 時在線使用數(shù)有關(guān)，所以并發(fā)量暫定為 10W。網(wǎng)絡(luò)爬蟲爬取的影視節(jié)目信息存儲 在數(shù)據(jù)中心，此數(shù)據(jù)量跟用戶收視記錄相關(guān)，只爬取收視記錄中涉及的影視節(jié)目。 同時，需要對清洗后的收視記錄和計(jì)算好的推薦結(jié)果進(jìn)行存儲，但是這些數(shù)據(jù)不 放在數(shù)據(jù)中心。此項(xiàng)目之后會做成實(shí)時計(jì)算，需要用到流式計(jì)算的相關(guān)計(jì)算和調(diào) 度。計(jì)算量很大，可以多部署 DCS 進(jìn)程，提高計(jì)算并發(fā)度，作業(yè)調(diào)度也要采用 分部署調(diào)度架構(gòu)。收視率應(yīng)用，初步估計(jì)并發(fā)量為 1W。 總體設(shè)計(jì)云數(shù)據(jù)采集中心與大數(shù)據(jù)計(jì)算平臺的關(guān)系是，云數(shù)據(jù)采集中心提供存儲和計(jì) 算資源，通過 API 的方式訪問資源，大數(shù)據(jù)計(jì)算平臺主要實(shí)現(xiàn)核心算法，包括圖 像匹配算法，挖掘算法，智能推薦算法，知識學(xué)習(xí)算法等等，也能夠通過 API的方式建立收視率統(tǒng)計(jì)應(yīng)用、智能推薦應(yīng)用、拍立購應(yīng)用等等。大數(shù)據(jù)計(jì)算平臺 的需要的數(shù)據(jù)：包括智能終端上報的、網(wǎng)上實(shí)時爬取得、二次計(jì)算分析而獲取的 等等，都通過通用接口存儲在云數(shù)據(jù)采集中心的分布式存儲平臺中（分布式文件 系統(tǒng)（S2DFS）、分布式數(shù)據(jù)庫（D2B））。計(jì)算時候，通過接口發(fā)起作業(yè)，由云 數(shù)據(jù)采集中心的作業(yè)調(diào)度服務(wù)進(jìn)程（JSS）負(fù)責(zé)調(diào)度，由數(shù)據(jù)計(jì)算服務(wù)進(jìn)程（DCS） 負(fù)責(zé)計(jì)算處理，并把結(jié)果反饋給大數(shù)據(jù)計(jì)算平臺的各個應(yīng)用。請參考下面的圖例：根據(jù) 小節(jié)對 S2DFS分布式文件系統(tǒng)的詳細(xì)介紹，本章節(jié)就不重復(fù)敘述， 由于要增加新的存儲設(shè)備，對于新設(shè)備上安裝分布式文件系統(tǒng)是否繼續(xù)選用 S2DFS 還是 HDFS，我們需要回答以下幾個問題：第一，預(yù)算增加及擴(kuò)展問題：要部署 HDFS，還得單獨(dú)購買兩臺高性能設(shè)備 作為 HDFS 的元數(shù)據(jù)庫服務(wù)器（注：兩臺設(shè)備，構(gòu)成主備；配置不能 比我們現(xiàn)在選擇的設(shè)備配置差，不然就會成為瓶頸，如果差了，數(shù)據(jù) 節(jié)點(diǎn)就擴(kuò)展不了幾臺。）。第二，學(xué)習(xí)成本及進(jìn)度問題：要使用 HDFS，必須熟悉它的 API，以及后面 帶來的整個 HDFS 集群部署維護(hù)等工作，這個與可利用的團(tuán)隊(duì)資源相 沖突；S2DFS 提供標(biāo)準(zhǔn)的 POSIX 協(xié)議接口，應(yīng)用程序代碼不需作任 何改變就可以執(zhí)行。如果采用 HDFS，為了保證應(yīng)用系統(tǒng)的透明，那 么統(tǒng)一接口的底層必須要寫兩種代碼，第一是對面 S2DFS，第二是面 對 HDFS。新增加了開發(fā)、維護(hù)、測試的時間。第三，空間浪費(fèi)及孤島問題：S2DFS 與 HDFS 是兩套不同體系的文件系統(tǒng)， 他們之間設(shè)備及存儲空間是不能共用的，后面增加的 6 臺設(shè)備在 2 副54本情況下，可以利用 3 臺，3 臺的存儲空間是（如果采用低性能的RAID5:21TB）63TB。前面部署的 10 臺設(shè)備通過對原始數(shù)據(jù)處理壓縮 后，存儲空間還有多余。二者構(gòu)成了孤島，同時造成空間浪費(fèi)。第四，應(yīng)用場景問題：HDFS 對存儲網(wǎng)頁等文件比較友好，畢竟它的基因就 是為互聯(lián)網(wǎng)搜索而開發(fā)出來的，但是 CC 的應(yīng)用場景很雜，要涉及到 網(wǎng)頁，文本處理，也要涉及到圖片、視頻等搜索，HDFS 對大尺寸視 頻文件，圖像文件的性能就不能很好的適應(yīng)。所以，我們認(rèn)為，CC 在“大數(shù)據(jù)計(jì)算平臺”新部署 HDFS 在當(dāng)前階段來說 不很適合。資源及監(jiān)控管理資源及權(quán)利權(quán)限…...收視率統(tǒng)計(jì)APIJSSDCSJGSMPSSDSS2DFSD2BPostgreSQLNginxApacheTomcatDMQ開放平臺CentOS x64API數(shù)據(jù)挖掘分布式計(jì)算挖掘算法存儲設(shè)備網(wǎng)絡(luò)設(shè)備服務(wù)器設(shè)備CentOS x64拍立購智能推薦第三方應(yīng)用調(diào)用 云 數(shù) 據(jù) 中 心 API大數(shù)據(jù)計(jì)算平臺架構(gòu)圖56智能終端智能終端智能終端……骨 干 網(wǎng)收視率統(tǒng)計(jì)應(yīng) 智能推薦應(yīng)用 用拍立購應(yīng)用 開放平臺應(yīng)用WEB及消息服務(wù)器存儲/計(jì)算服務(wù)器存儲/計(jì)算服務(wù)器WEB及消息服務(wù)器存儲/計(jì)算服務(wù)器…………負(fù)載均衡服務(wù)器分布式數(shù)據(jù)庫服務(wù)器數(shù)據(jù)公共網(wǎng)聯(lián)通/電信/移動負(fù)載均衡服務(wù)器分布式數(shù)據(jù)庫服務(wù)器分布式數(shù)據(jù)庫防火墻 服務(wù)器…………應(yīng)用數(shù)據(jù)庫服務(wù)器(主)光纖作業(yè)調(diào)度服務(wù)器(主)應(yīng)用數(shù)據(jù)庫 光纖服務(wù)器(備)作業(yè)調(diào)度服務(wù)器(備)FC SAN大數(shù)據(jù)計(jì)算平臺網(wǎng)絡(luò)圖 應(yīng)用建設(shè)今后我們會在這次“云數(shù)據(jù)采集中心的平臺”上構(gòu)建以下幾大應(yīng)用：數(shù)據(jù)采 集、收視率統(tǒng)計(jì)、智能推薦、拍立購、開放平臺。以下會對幾大應(yīng)用的核心架構(gòu) 及功能加以詳細(xì)的描述。 收視率統(tǒng)計(jì)可對一段時間內(nèi)數(shù)字電視的某個頻道的某個節(jié)目進(jìn)行人次收視率或收視時 長收視率進(jìn)行統(tǒng)計(jì)。支持餅圖、柱狀圖等形式的統(tǒng)計(jì)報表；l 支持對數(shù)字電視收視率統(tǒng)計(jì)。l 支持實(shí)時上報數(shù)據(jù)的查看，包括 IC 卡 ID、頻道名稱、頻道 ID、收看開 始時間、收看結(jié)束時間，觀看時長（秒）、GW2IP 地址。l 支持頻道管理?！?支持修改、刪除、增加、查看頻道 ID、頻道名稱?！?支持導(dǎo)入該頻道下節(jié)目 EPG 信息?！?支持按頻道 ID、頻道名稱、索引、導(dǎo)入文件的名稱單項(xiàng)或組合查詢 已添加頻道。l 支持節(jié)目管理?！?支持修改、刪除、增加、查看節(jié)目名稱、頻道 ID、開始時間、結(jié)束 時間和欄目名稱。◎ 支持批量導(dǎo)入多個頻道下所有節(jié)目的 EPG 信息?！?支持按名稱、頻道 ID、開始時間單項(xiàng)或組合查詢已添加節(jié)目。65l 節(jié)目收視率統(tǒng)計(jì)◎ 支持查詢設(shè)定時間段內(nèi)數(shù)字電視某頻道下某節(jié)目的收視記錄情況， 收視記錄情況包括本時間段內(nèi)某節(jié)目的頻道歸屬、收視人次、人次 收視率、收視總時長、收視時長收視率和本節(jié)目的開始、結(jié)束時間 等信息。◎ 支持以餅圖、柱狀圖的形式統(tǒng)計(jì)數(shù)字電視設(shè)定時間段內(nèi)某頻道所有 節(jié)目收視時長收視率和人次收視率。l 頻道收視率統(tǒng)計(jì)◎ 支持以人次或收視時長的升序、降序排序方式查詢設(shè)定時間段內(nèi)數(shù) 字電視某頻道的收視記錄情況，收視記錄情況包括本時間段內(nèi)某頻 道的頻道 ID、頻道名稱、收視總?cè)舜?、人次收視率、收視總時長、 收視時長收視率信息。◎ 支持查詢結(jié)果以 EXCEL 的格式導(dǎo)出?！?支持以多頻道餅圖或多頻道柱狀圖的形式統(tǒng)計(jì)設(shè)定時間段內(nèi)數(shù)字電 視所有頻道收視時長收視率和人次收視率?！?支持以單頻道折現(xiàn)圖的形式統(tǒng)計(jì)數(shù)字電視設(shè)定時間段內(nèi)某頻道收視 時長收視率或人次收視率隨時間的變化。l 收視率統(tǒng)計(jì)報表節(jié)目人次收視率餅圖多頻道人次收視率餅圖人次收視率變化折現(xiàn)圖 智能推薦現(xiàn)有交互技術(shù)，用戶不能快速定位感興趣的視頻節(jié)目，用戶不能“隨心看”， 也不知道“今晚看啥”，或者喜歡已看節(jié)目的同類節(jié)目，但是還要進(jìn)行搜索，花 時間，很麻煩，還是找不到自己希望的節(jié)目?；谶@種原因，CC 通過收集海量 用戶行為數(shù)據(jù)，通過推薦算法，把觀眾想看的節(jié)目推薦給終端用戶，提高用戶的 體驗(yàn)。目標(biāo)是通過建立基于視頻數(shù)據(jù)挖掘的用戶興趣模型，實(shí)現(xiàn)視頻內(nèi)容的個性 化推薦服務(wù)系統(tǒng)。數(shù)據(jù)采集的來源有： IPP 客戶端、瀏覽器、智能電視、智能空調(diào)、智能冰箱、 智能日電采集上來的用戶基本數(shù)據(jù)、終端“傳感器”數(shù)據(jù)、web 數(shù)據(jù)采集、用戶 EPG 數(shù)據(jù)等。智能推薦應(yīng)用架構(gòu)圖智能推薦系統(tǒng)流程圖實(shí)現(xiàn)功能：l 數(shù)據(jù)采集◎ 這個功能請參考功能應(yīng)用章節(jié)的第一小節(jié)“數(shù)據(jù)采集”內(nèi)容。l 構(gòu)建知識庫：◎ 通過第三方數(shù)據(jù)源擴(kuò)充媒體大數(shù)據(jù)，為了精細(xì)化分析用戶的興趣愛 好，需要擴(kuò)充電視直播、點(diǎn)播數(shù)據(jù)和 IPP 平臺的 EPG 數(shù)據(jù)，增加視 頻的顯性內(nèi)容；◎ 構(gòu)建影視內(nèi)容知識庫：通過分類、聚類、關(guān)聯(lián)規(guī)則算法，實(shí)現(xiàn)影視 內(nèi)容知識庫構(gòu)建；◎ 構(gòu)建領(lǐng)域知識庫：在影視知識庫的基礎(chǔ)上，分析視頻內(nèi)容的隱性關(guān) 聯(lián)數(shù)據(jù)，實(shí)現(xiàn)用戶性格領(lǐng)域的知識庫構(gòu)建。l 內(nèi)容關(guān)聯(lián)元數(shù)據(jù)定義◎ 視頻節(jié)目特征向量={節(jié)目名稱，播放時間，導(dǎo)演，主演，年份……}。視頻節(jié)目名稱播放時間導(dǎo)演主演出版年份 名字國籍性別 關(guān)聯(lián)元數(shù)據(jù)定義示例圖l 用戶興趣度權(quán)重定義◎ 基于視頻內(nèi)容的興趣度權(quán)重定義：對用戶觀看的視頻節(jié)目進(jìn)行聚類 分析，根據(jù)用戶觀看不同類型的節(jié)目的總次數(shù)和連續(xù)看某類視頻的次數(shù)，確定用戶興趣度?！?基于用戶行為的興趣度權(quán)重定義：對用戶觀看視頻節(jié)目時的行為信 息進(jìn)行分析，得到用戶對單一視頻節(jié)目的興趣度。l 用戶興趣模型呈現(xiàn)◎ 構(gòu)建“用戶興趣類別興趣特征”三級管理模式。興趣類1電影類興趣類3 興趣類i愛情片，0 張三動作片，0興趣i，權(quán)值i，遺忘因子i用戶興趣模型呈現(xiàn)