【正文】 更像是一個(gè) NAS，提供類似于傳統(tǒng) NAS 的文件級(jí)訪問接口（SAN 和 DAS 都是塊設(shè)備級(jí)別的訪問接口）。分布式文件系統(tǒng) Server端 設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷分布式文件系統(tǒng)邏輯卷分布式文件系統(tǒng)客戶端NFS/Samba卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端分布式文件系統(tǒng)網(wǎng)關(guān)分布式文件系統(tǒng) Client端分布式文件系統(tǒng)架構(gòu)圖 分布式文件系統(tǒng)的服務(wù)器端程序運(yùn)行于 Linux x64 系統(tǒng)之上，支持多種 Linux64 位發(fā)行版，包括 Redhat、CentOS 等。n 全局統(tǒng)一命名空間：全局統(tǒng)一命名空間將磁盤和內(nèi)存資源聚集成一 個(gè)單一的虛擬存儲(chǔ)池，對(duì)上層用戶和應(yīng)用屏蔽了底層的物理硬件。n 彈性卷管理：數(shù)據(jù)儲(chǔ)存在邏輯卷中，邏輯卷可以從虛擬化的物理存儲(chǔ)池進(jìn)行獨(dú)立邏輯劃分而得到。簡(jiǎn)而言之，分布式文件系統(tǒng)是開放的全軟件實(shí) 現(xiàn)，完全獨(dú)立于硬件和操作系統(tǒng)。n 原始數(shù)據(jù)格式存儲(chǔ)（Data Stored in Native Formats）：分布式文件系統(tǒng) 以原始數(shù)據(jù)格式（如 EXTEXTXFS、ZFS）儲(chǔ)存數(shù)據(jù)，并實(shí)現(xiàn) 多種數(shù)據(jù)自動(dòng)修復(fù)機(jī)制。這使 得數(shù)據(jù)訪問完全并行化，從而實(shí)現(xiàn)真正的線性性能擴(kuò)展。n 通道式工作機(jī)制 平臺(tái)為用戶提供一個(gè)并行任務(wù)處理通道，處理過(guò)程對(duì)用戶來(lái)說(shuō)完全 透明，由平臺(tái)自動(dòng)進(jìn)行負(fù)載均衡、資源匹配、任務(wù)傳輸?shù)?，使用?專注于自身任務(wù)管理，將執(zhí)行過(guò)程交由平臺(tái)完成。集合的概念類似關(guān)系型數(shù)據(jù) 庫(kù)（RDBMS）里的表（table），不同的是它不需要定義任何模式（schema)。 和 Solaris 的官方二進(jìn)制版本。l 使用提示、解釋計(jì)劃和分析的查詢優(yōu)化特性。 負(fù)載均衡這里選擇的國(guó)產(chǎn)設(shè)備是北京太一星晨信息技術(shù)有限公司的設(shè)備作為參考對(duì) 比設(shè)備。如果所有功能一起使用，價(jià)格非 常昂貴。4) 開源負(fù)載均衡（反向代理）軟件對(duì)比LVSNginxHAProxyLVS（Linux Virtual Server）可以實(shí) 現(xiàn)Linux平臺(tái)下的負(fù)載均衡, 提供 了含有三種IP負(fù)載均衡技術(shù)的IP 虛擬服務(wù)器軟件IPVS、基于內(nèi)容請(qǐng) 求分發(fā)的內(nèi)核Layer7交換機(jī) KTCPVS和集群等功能Nginx是一款輕量級(jí)、高可用性的 Web服務(wù)軟件及反向代理軟件，基 于HTTP（第七層）應(yīng)用代理服務(wù) 器。根據(jù)特定的通信解析協(xié)議對(duì)來(lái)自不同終端，不同應(yīng)用，不同類型 的數(shù)據(jù)進(jìn)行收集，并提供統(tǒng)一的數(shù)據(jù)采集方式，方便后臺(tái)數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)。 簡(jiǎn)單的添加刪除集群中的機(jī)器不會(huì)引發(fā)任何服務(wù)中 斷。l 可靠性：數(shù)據(jù)在內(nèi)存中緩存了 2 份，任何一臺(tái)計(jì)算機(jī)故障，都不會(huì)造 成數(shù)據(jù)的丟失。廣播模式：恢復(fù)模式結(jié)束后，即領(lǐng)導(dǎo)者（Leader）已經(jīng)和追隨者（Follower） 進(jìn)行了狀態(tài)同步以后，他就可以開始廣播消息了，即進(jìn)入廣播狀態(tài)。注：*越多速速越快。軟 件開發(fā)者可通過(guò)平臺(tái) API 來(lái)獲取智能家電的信息，以及智能家電的控制信息，鏡 像電商網(wǎng)站的用戶信息（賣方和賣方用戶信息，私有信息需要授權(quán)）、商品信息（商品的名稱、類目、型號(hào)、介紹等信息）、商品類目信息（商品索引及分類明 細(xì)）、店鋪信息、交易明細(xì)信息（在取得用戶授權(quán)的情況下，查詢每筆交易的詳 細(xì)情況）、商品管理（商品的上傳、編輯、修改等接口）等信息，并建立相應(yīng)的 電子商務(wù)應(yīng)用。項(xiàng)目涉及的數(shù)據(jù)有 6 大電商的 5 類主要商品的信息，包括圖片、連 接、價(jià)格等信息，每三十天進(jìn)行覆蓋更新，這些數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)中心，方便數(shù)據(jù) 共享。收視率應(yīng)用，初步估計(jì)并發(fā)量為 1W。新增加了開發(fā)、維護(hù)、測(cè)試的時(shí)間。 收視率統(tǒng)計(jì)可對(duì)一段時(shí)間內(nèi)數(shù)字電視的某個(gè)頻道的某個(gè)節(jié)目進(jìn)行人次收視率或收視時(shí) 長(zhǎng)收視率進(jìn)行統(tǒng)計(jì)。◎ 支持修改、刪除、增加、查看節(jié)目名稱、頻道 ID、開始時(shí)間、結(jié)束 時(shí)間和欄目名稱?！?支持以單頻道折現(xiàn)圖的形式統(tǒng)計(jì)數(shù)字電視設(shè)定時(shí)間段內(nèi)某頻道收視 時(shí)長(zhǎng)收視率或人次收視率隨時(shí)間的變化。視頻節(jié)目名稱播放時(shí)間導(dǎo)演主演出版年份 名字國(guó)籍性別 關(guān)聯(lián)元數(shù)據(jù)定義示例圖l 用戶興趣度權(quán)重定義◎ 基于視頻內(nèi)容的興趣度權(quán)重定義：對(duì)用戶觀看的視頻節(jié)目進(jìn)行聚類 分析，根據(jù)用戶觀看不同類型的節(jié)目的總次數(shù)和連續(xù)看某類視頻的次數(shù)，確定用戶興趣度。l 構(gòu)建知識(shí)庫(kù)：◎ 通過(guò)第三方數(shù)據(jù)源擴(kuò)充媒體大數(shù)據(jù)，為了精細(xì)化分析用戶的興趣愛 好，需要擴(kuò)充電視直播、點(diǎn)播數(shù)據(jù)和 IPP 平臺(tái)的 EPG 數(shù)據(jù)，增加視 頻的顯性內(nèi)容；◎ 構(gòu)建影視內(nèi)容知識(shí)庫(kù)：通過(guò)分類、聚類、關(guān)聯(lián)規(guī)則算法，實(shí)現(xiàn)影視 內(nèi)容知識(shí)庫(kù)構(gòu)建；◎ 構(gòu)建領(lǐng)域知識(shí)庫(kù)：在影視知識(shí)庫(kù)的基礎(chǔ)上，分析視頻內(nèi)容的隱性關(guān) 聯(lián)數(shù)據(jù)，實(shí)現(xiàn)用戶性格領(lǐng)域的知識(shí)庫(kù)構(gòu)建?！?支持查詢結(jié)果以 EXCEL 的格式導(dǎo)出。◎ 支持按頻道 ID、頻道名稱、索引、導(dǎo)入文件的名稱單項(xiàng)或組合查詢 已添加頻道。資源及監(jiān)控管理資源及權(quán)利權(quán)限…...收視率統(tǒng)計(jì)APIJSSDCSJGSMPSSDSS2DFSD2BPostgreSQLNginxApacheTomcatDMQ開放平臺(tái)CentOS x64API數(shù)據(jù)挖掘分布式計(jì)算挖掘算法存儲(chǔ)設(shè)備網(wǎng)絡(luò)設(shè)備服務(wù)器設(shè)備CentOS x64拍立購(gòu)智能推薦第三方應(yīng)用調(diào)用 云 數(shù) 據(jù) 中 心 API大數(shù)據(jù)計(jì)算平臺(tái)架構(gòu)圖56智能終端智能終端智能終端……骨 干 網(wǎng)收視率統(tǒng)計(jì)應(yīng) 智能推薦應(yīng)用 用拍立購(gòu)應(yīng)用 開放平臺(tái)應(yīng)用WEB及消息服務(wù)器存儲(chǔ)/計(jì)算服務(wù)器存儲(chǔ)/計(jì)算服務(wù)器WEB及消息服務(wù)器存儲(chǔ)/計(jì)算服務(wù)器…………負(fù)載均衡服務(wù)器分布式數(shù)據(jù)庫(kù)服務(wù)器數(shù)據(jù)公共網(wǎng)聯(lián)通/電信/移動(dòng)負(fù)載均衡服務(wù)器分布式數(shù)據(jù)庫(kù)服務(wù)器分布式數(shù)據(jù)庫(kù)防火墻 服務(wù)器…………應(yīng)用數(shù)據(jù)庫(kù)服務(wù)器(主)光纖作業(yè)調(diào)度服務(wù)器(主)應(yīng)用數(shù)據(jù)庫(kù) 光纖服務(wù)器(備)作業(yè)調(diào)度服務(wù)器(備)FC SAN大數(shù)據(jù)計(jì)算平臺(tái)網(wǎng)絡(luò)圖 應(yīng)用建設(shè)今后我們會(huì)在這次“云數(shù)據(jù)采集中心的平臺(tái)”上構(gòu)建以下幾大應(yīng)用：數(shù)據(jù)采 集、收視率統(tǒng)計(jì)、智能推薦、拍立購(gòu)、開放平臺(tái)。第二，學(xué)習(xí)成本及進(jìn)度問題：要使用 HDFS，必須熟悉它的 API，以及后面 帶來(lái)的整個(gè) HDFS 集群部署維護(hù)等工作，這個(gè)與可利用的團(tuán)隊(duì)資源相 沖突；S2DFS 提供標(biāo)準(zhǔn)的 POSIX 協(xié)議接口，應(yīng)用程序代碼不需作任 何改變就可以執(zhí)行。此項(xiàng)目之后會(huì)做成實(shí)時(shí)計(jì)算，需要用到流式計(jì)算的相關(guān)計(jì)算和調(diào) 度。46.線材、工 具、其他 材料等等安普超5類雙絞線、作線工具、 管材等等若干2. 軟件配置表序號(hào)名稱配置描述部署硬件數(shù)量用途1.S2DFS分布式文件系統(tǒng)存儲(chǔ)及計(jì)算服務(wù)器10用來(lái)存儲(chǔ)非結(jié)構(gòu) 化和結(jié)構(gòu)化數(shù)據(jù)， 比如:視頻、圖片、 文檔等富媒體文件2.JSS作業(yè)調(diào)度服務(wù)進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器2作業(yè)（任務(wù)）的調(diào) 度程序，是計(jì)算任 務(wù)的發(fā)起者和調(diào) 度者3.DCS數(shù)據(jù)計(jì)算服務(wù)進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器10作業(yè)（任務(wù)）的具 體負(fù)責(zé)計(jì)算的程 序，接受 JSS 的分 配任務(wù)，處理任 務(wù)，比如：圖片特征批評(píng)，視頻的分 析等等4.JGS作業(yè)自動(dòng)生成進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器2作業(yè)（任務(wù)）的自 動(dòng)生成，主要用來(lái) 生成固定規(guī)則的 任務(wù)，比如臺(tái)標(biāo)數(shù) 據(jù)清理任務(wù)5.ACS自動(dòng)清理服務(wù)進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器2自動(dòng)定時(shí)清除沒 有利用價(jià)值的歷 史數(shù)據(jù)，垃圾數(shù)據(jù)6.MPS消息處理服務(wù)進(jìn)程WEB 及消息服務(wù)器6獲取分布式消息 隊(duì)列中的數(shù)據(jù)，并 對(duì)獲取的數(shù)據(jù)進(jìn) 行既定規(guī)則的業(yè) 務(wù)處理，最后把數(shù) 據(jù)存儲(chǔ)在 S2DFS 或者 D2B 中7.SDS實(shí)時(shí)流數(shù)據(jù)處理服務(wù)進(jìn)程WEB 及消息服務(wù)器6能夠?qū)崟r(shí)持續(xù)的 完成流式數(shù)據(jù)的 計(jì)算處理，具有實(shí) 時(shí)性，低延遲特 點(diǎn)，與批計(jì)算相對(duì) 應(yīng)8.D2B分布式數(shù)據(jù)庫(kù)（開源）分布式數(shù)據(jù)庫(kù)服務(wù)器10分布式 noSQL 數(shù) 據(jù)庫(kù)，完成海量結(jié) 構(gòu)化數(shù)據(jù)的存儲(chǔ)， 具有容量大，分布 式，易擴(kuò)展，性能 好的特點(diǎn) 實(shí)施計(jì)劃數(shù)據(jù)中心 IaaS 設(shè)施（軟件、硬件）到位并部署工作安排，下面表格是實(shí)施 計(jì)劃的主要交付節(jié)點(diǎn)：序號(hào)工作內(nèi)容時(shí)間1.實(shí)施啟動(dòng)2014－2－25 前2.采購(gòu)硬件（服務(wù)器、陣列柜、交換機(jī)、其他）2014－3－5 前3.部署并聯(lián)調(diào)硬件（安裝操作系統(tǒng)）及局域網(wǎng)網(wǎng)絡(luò)，包括外接三線光纖網(wǎng)絡(luò)2014－3－10 前4.部 署 并 聯(lián) 調(diào) PostgreSQL x64 for Linux 、Apacheamp。l 根據(jù)開放技術(shù)劃分，可將開放平臺(tái)劃分為五種類型：OpenAPI 型開放平臺(tái)、插件式開放平臺(tái)、綜合型開放平臺(tái)、應(yīng)用超市型開放平臺(tái)和基礎(chǔ)服 務(wù)型開放平臺(tái)（云計(jì)算平臺(tái)）。數(shù)據(jù)緩存224。DMQ 的核心是原子廣播，這個(gè)機(jī)制保證了各個(gè) Server 之間的同步,有兩種模 式，它們分別是恢復(fù)模式和廣播模式。l 實(shí)時(shí)性：對(duì)于每個(gè) Client，DMQ 集群中的所有服務(wù)器都會(huì)保持實(shí)時(shí)更 新制度，使得所有的服務(wù)視圖都會(huì)是最新的。應(yīng)用也無(wú)需再借助于一個(gè)巨大的獨(dú)立 數(shù)據(jù)庫(kù)來(lái)獲取數(shù)據(jù)以追求最大性能的 這是 80%以上的企業(yè)應(yīng)用中 的瓶頸所在!l 擴(kuò)展性：由于數(shù)據(jù)是均勻分布的，所以除了考慮到網(wǎng)絡(luò)上的組通訊， 根本就沒有必要來(lái)限制網(wǎng)格的大小 網(wǎng)絡(luò)上的組通訊只要能夠發(fā)現(xiàn) 一個(gè)新的節(jié)點(diǎn)即可. 所有的數(shù)據(jù)獲取方式都是通過(guò)點(diǎn)對(duì)點(diǎn)通信，即節(jié)點(diǎn)之間直接進(jìn)行通信，非常容易控制。45 數(shù)據(jù)采集1) 概述數(shù)據(jù)采集功能主要完成海量智能終端的數(shù)據(jù)（臺(tái)標(biāo)、log 等等）采集、上傳。3) LVS/HAProxy/Nginx每秒鐘的吞吐量一般在為1萬(wàn)3萬(wàn)之間，選擇軟件的構(gòu)建方式：需要2臺(tái)高性能設(shè)備作主備集群，費(fèi)用在6 萬(wàn)人民幣左右。但鏈路負(fù)載、全 局負(fù)載是單獨(dú)設(shè)備。推薦運(yùn)行在 64 位平臺(tái)，因?yàn)?D2B 在 32 位模式運(yùn)行時(shí)支持的最大文件尺寸 為 2GB。l 高級(jí)聚合的 map/reduce 實(shí)現(xiàn)。l 可通過(guò)網(wǎng)絡(luò)訪問l 可用于 Windows174。主要功能特性：l 面向集合存儲(chǔ)，易存儲(chǔ)對(duì)象類型的數(shù)據(jù)“面向集合”（CollenctionOriented），意思是數(shù)據(jù)被分組存儲(chǔ)在數(shù)據(jù)集 中，被稱為一個(gè)集合（Collenction)。（2） 分布式并行計(jì)算架構(gòu)圖分布式并行計(jì)算架構(gòu)圖（3） 作業(yè)調(diào)度及計(jì)算過(guò)程（4） 分布式并行計(jì)算技術(shù)特點(diǎn)n 池化資源管理利用池化技術(shù)，任何一臺(tái)聯(lián)在互聯(lián)網(wǎng)上的普通 PC 機(jī)從硬件到軟件，可通過(guò)池化技術(shù)加入服務(wù)器池中，等待任務(wù)分配,系統(tǒng)能充分利用現(xiàn) 有服務(wù)器資源，將所有運(yùn)算子任務(wù)分配給節(jié)點(diǎn)服務(wù)器，有效避免計(jì) 算資源閑置現(xiàn)象的發(fā)生。分布式文 件系統(tǒng)獨(dú)特地采用無(wú)元數(shù)據(jù)服務(wù)的設(shè)計(jì)，取而代之使用算法來(lái)定位文件，元數(shù)據(jù)和數(shù)據(jù)沒有分離而是一起存儲(chǔ)。每個(gè)功能以模塊形式實(shí)現(xiàn)，然后以積木方式進(jìn) 行簡(jiǎn)單的組合，即可實(shí)現(xiàn)復(fù)雜的功能。對(duì)于商業(yè)客戶， 分布式文件系統(tǒng)可以以虛擬裝置的形式交付，也可以與虛擬機(jī)容器 打包，或者是公有云中部署的映像。分布式文件系統(tǒng)中，所有在 ScaleOut 存儲(chǔ)配置中的存 儲(chǔ)系統(tǒng)都可以智能地定位任意數(shù)據(jù)分片，不需要查看索引或者向其 他服務(wù)器查詢。自我修復(fù)功能能夠把數(shù)據(jù)恢復(fù)到正確的狀態(tài)，而且 修復(fù)是以增量的方式在后臺(tái)執(zhí)行，幾乎不會(huì)產(chǎn)生性能負(fù)載。這些領(lǐng)域的數(shù)據(jù)訪問特征均為： 數(shù)據(jù)量巨大，I/O 吞吐率高，數(shù)據(jù)增長(zhǎng)迅速以及數(shù)據(jù)可用性要求高。應(yīng)用分布式文件系統(tǒng)，用戶可以采用廉價(jià)可靠的通用 服務(wù)器、SATA/SAS 硬盤以及以太網(wǎng)絡(luò)來(lái)構(gòu)建媲美企業(yè)級(jí)存儲(chǔ)產(chǎn)品的存儲(chǔ)系統(tǒng)。n 文件系統(tǒng)功能和性能差強(qiáng)人意：難以實(shí)現(xiàn)全局命名空間的文件共享、 文件系統(tǒng)難以擴(kuò)展，容易形成瓶頸。Tomcat，消息隊(duì)列軟件分布式消息（DMQ）。其中光纖陣列柜主要用來(lái)存儲(chǔ)統(tǒng)計(jì)分 析后的粗顆粒度數(shù)據(jù)。具有安全性，在系統(tǒng)遭到 攻擊或崩潰時(shí)能快速恢復(fù)，確保重要數(shù)據(jù)的機(jī)密性和完整性。 項(xiàng)目目標(biāo)l 搭建分布式存儲(chǔ)平臺(tái)（能夠存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)）、分 布式并行計(jì)算平臺(tái)等等，滿足海量數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算的需要，平8臺(tái)必須具備高可用性，高擴(kuò)展性，高可靠性要求。因此 CC 迫切需要建設(shè)一套高性能、高安全性、高可靠性，可擴(kuò)展性的云數(shù)據(jù)采集中心， 并搭建一個(gè)數(shù)據(jù)中心支撐平臺(tái)，以滿足當(dāng)今高速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)、管理、計(jì)算的 需求，同時(shí)便于將來(lái)拓展和進(jìn)一步的改造。l 技術(shù)平臺(tái)要有能力支持?jǐn)?shù)據(jù)量最高 1000W 終端數(shù)量的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì) 算、信息推薦等的能力。今后整個(gè)云數(shù)據(jù)采集中心的技術(shù)平臺(tái)和架構(gòu)需要輕松擴(kuò)展到支持 1000 萬(wàn)臺(tái)規(guī)模 的各種智能終端的數(shù)據(jù)存儲(chǔ)和計(jì)算規(guī)模。為了節(jié)省成本和減少通信代價(jià)，建議存儲(chǔ)服13務(wù)器和計(jì)算服務(wù)器合二為一，所以該服務(wù)器同時(shí)具有計(jì)算和存儲(chǔ)數(shù)據(jù)的功能，前 期也可以考慮把作業(yè)調(diào)度服務(wù)進(jìn)程（JSS）進(jìn)程部署在存儲(chǔ)/計(jì)算服務(wù)器上。該層的