【正文】 更像是一個 NAS，提供類似于傳統(tǒng) NAS 的文件級訪問接口（SAN 和 DAS 都是塊設(shè)備級別的訪問接口）。分布式文件系統(tǒng) Server端 設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷分布式文件系統(tǒng)邏輯卷分布式文件系統(tǒng)客戶端NFS/Samba卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端分布式文件系統(tǒng)網(wǎng)關(guān)分布式文件系統(tǒng) Client端分布式文件系統(tǒng)架構(gòu)圖 分布式文件系統(tǒng)的服務器端程序運行于 Linux x64 系統(tǒng)之上，支持多種 Linux64 位發(fā)行版，包括 Redhat、CentOS 等。n 全局統(tǒng)一命名空間：全局統(tǒng)一命名空間將磁盤和內(nèi)存資源聚集成一 個單一的虛擬存儲池，對上層用戶和應用屏蔽了底層的物理硬件。n 彈性卷管理：數(shù)據(jù)儲存在邏輯卷中，邏輯卷可以從虛擬化的物理存儲池進行獨立邏輯劃分而得到。簡而言之，分布式文件系統(tǒng)是開放的全軟件實 現(xiàn)，完全獨立于硬件和操作系統(tǒng)。n 原始數(shù)據(jù)格式存儲（Data Stored in Native Formats）：分布式文件系統(tǒng) 以原始數(shù)據(jù)格式（如 EXTEXTXFS、ZFS）儲存數(shù)據(jù)，并實現(xiàn) 多種數(shù)據(jù)自動修復機制。這使 得數(shù)據(jù)訪問完全并行化，從而實現(xiàn)真正的線性性能擴展。n 通道式工作機制 平臺為用戶提供一個并行任務處理通道，處理過程對用戶來說完全 透明，由平臺自動進行負載均衡、資源匹配、任務傳輸?shù)?，使用?專注于自身任務管理，將執(zhí)行過程交由平臺完成。集合的概念類似關(guān)系型數(shù)據(jù) 庫（RDBMS）里的表（table），不同的是它不需要定義任何模式（schema)。 和 Solaris 的官方二進制版本。l 使用提示、解釋計劃和分析的查詢優(yōu)化特性。 負載均衡這里選擇的國產(chǎn)設(shè)備是北京太一星晨信息技術(shù)有限公司的設(shè)備作為參考對 比設(shè)備。如果所有功能一起使用，價格非 常昂貴。4) 開源負載均衡（反向代理）軟件對比LVSNginxHAProxyLVS（Linux Virtual Server）可以實 現(xiàn)Linux平臺下的負載均衡, 提供 了含有三種IP負載均衡技術(shù)的IP 虛擬服務器軟件IPVS、基于內(nèi)容請 求分發(fā)的內(nèi)核Layer7交換機 KTCPVS和集群等功能Nginx是一款輕量級、高可用性的 Web服務軟件及反向代理軟件，基 于HTTP（第七層）應用代理服務 器。根據(jù)特定的通信解析協(xié)議對來自不同終端，不同應用，不同類型 的數(shù)據(jù)進行收集，并提供統(tǒng)一的數(shù)據(jù)采集方式，方便后臺數(shù)據(jù)集成、數(shù)據(jù)存儲。 簡單的添加刪除集群中的機器不會引發(fā)任何服務中 斷。l 可靠性：數(shù)據(jù)在內(nèi)存中緩存了 2 份，任何一臺計算機故障，都不會造 成數(shù)據(jù)的丟失。廣播模式：恢復模式結(jié)束后，即領(lǐng)導者（Leader）已經(jīng)和追隨者（Follower） 進行了狀態(tài)同步以后，他就可以開始廣播消息了，即進入廣播狀態(tài)。注：*越多速速越快。軟 件開發(fā)者可通過平臺 API 來獲取智能家電的信息，以及智能家電的控制信息，鏡 像電商網(wǎng)站的用戶信息（賣方和賣方用戶信息，私有信息需要授權(quán)）、商品信息（商品的名稱、類目、型號、介紹等信息）、商品類目信息（商品索引及分類明 細）、店鋪信息、交易明細信息（在取得用戶授權(quán)的情況下，查詢每筆交易的詳 細情況）、商品管理（商品的上傳、編輯、修改等接口）等信息，并建立相應的 電子商務應用。項目涉及的數(shù)據(jù)有 6 大電商的 5 類主要商品的信息，包括圖片、連 接、價格等信息，每三十天進行覆蓋更新，這些數(shù)據(jù)存儲在數(shù)據(jù)中心，方便數(shù)據(jù) 共享。收視率應用，初步估計并發(fā)量為 1W。新增加了開發(fā)、維護、測試的時間。 收視率統(tǒng)計可對一段時間內(nèi)數(shù)字電視的某個頻道的某個節(jié)目進行人次收視率或收視時 長收視率進行統(tǒng)計?！?支持修改、刪除、增加、查看節(jié)目名稱、頻道 ID、開始時間、結(jié)束 時間和欄目名稱。◎ 支持以單頻道折現(xiàn)圖的形式統(tǒng)計數(shù)字電視設(shè)定時間段內(nèi)某頻道收視 時長收視率或人次收視率隨時間的變化。視頻節(jié)目名稱播放時間導演主演出版年份 名字國籍性別 關(guān)聯(lián)元數(shù)據(jù)定義示例圖l 用戶興趣度權(quán)重定義◎ 基于視頻內(nèi)容的興趣度權(quán)重定義：對用戶觀看的視頻節(jié)目進行聚類 分析，根據(jù)用戶觀看不同類型的節(jié)目的總次數(shù)和連續(xù)看某類視頻的次數(shù)，確定用戶興趣度。l 構(gòu)建知識庫：◎ 通過第三方數(shù)據(jù)源擴充媒體大數(shù)據(jù)，為了精細化分析用戶的興趣愛 好，需要擴充電視直播、點播數(shù)據(jù)和 IPP 平臺的 EPG 數(shù)據(jù)，增加視 頻的顯性內(nèi)容；◎ 構(gòu)建影視內(nèi)容知識庫：通過分類、聚類、關(guān)聯(lián)規(guī)則算法，實現(xiàn)影視 內(nèi)容知識庫構(gòu)建；◎ 構(gòu)建領(lǐng)域知識庫：在影視知識庫的基礎(chǔ)上，分析視頻內(nèi)容的隱性關(guān) 聯(lián)數(shù)據(jù)，實現(xiàn)用戶性格領(lǐng)域的知識庫構(gòu)建。◎ 支持查詢結(jié)果以 EXCEL 的格式導出?！?支持按頻道 ID、頻道名稱、索引、導入文件的名稱單項或組合查詢 已添加頻道。資源及監(jiān)控管理資源及權(quán)利權(quán)限…...收視率統(tǒng)計APIJSSDCSJGSMPSSDSS2DFSD2BPostgreSQLNginxApacheTomcatDMQ開放平臺CentOS x64API數(shù)據(jù)挖掘分布式計算挖掘算法存儲設(shè)備網(wǎng)絡設(shè)備服務器設(shè)備CentOS x64拍立購智能推薦第三方應用調(diào)用 云 數(shù) 據(jù) 中 心 API大數(shù)據(jù)計算平臺架構(gòu)圖56智能終端智能終端智能終端……骨 干 網(wǎng)收視率統(tǒng)計應 智能推薦應用 用拍立購應用 開放平臺應用WEB及消息服務器存儲/計算服務器存儲/計算服務器WEB及消息服務器存儲/計算服務器…………負載均衡服務器分布式數(shù)據(jù)庫服務器數(shù)據(jù)公共網(wǎng)聯(lián)通/電信/移動負載均衡服務器分布式數(shù)據(jù)庫服務器分布式數(shù)據(jù)庫防火墻 服務器…………應用數(shù)據(jù)庫服務器(主)光纖作業(yè)調(diào)度服務器(主)應用數(shù)據(jù)庫 光纖服務器(備)作業(yè)調(diào)度服務器(備)FC SAN大數(shù)據(jù)計算平臺網(wǎng)絡圖 應用建設(shè)今后我們會在這次“云數(shù)據(jù)采集中心的平臺”上構(gòu)建以下幾大應用：數(shù)據(jù)采 集、收視率統(tǒng)計、智能推薦、拍立購、開放平臺。第二，學習成本及進度問題：要使用 HDFS，必須熟悉它的 API，以及后面 帶來的整個 HDFS 集群部署維護等工作，這個與可利用的團隊資源相 沖突；S2DFS 提供標準的 POSIX 協(xié)議接口，應用程序代碼不需作任 何改變就可以執(zhí)行。此項目之后會做成實時計算，需要用到流式計算的相關(guān)計算和調(diào) 度。46.線材、工 具、其他 材料等等安普超5類雙絞線、作線工具、 管材等等若干2. 軟件配置表序號名稱配置描述部署硬件數(shù)量用途1.S2DFS分布式文件系統(tǒng)存儲及計算服務器10用來存儲非結(jié)構(gòu) 化和結(jié)構(gòu)化數(shù)據(jù)， 比如:視頻、圖片、 文檔等富媒體文件2.JSS作業(yè)調(diào)度服務進程存儲及計算服務器2作業(yè)（任務）的調(diào) 度程序，是計算任 務的發(fā)起者和調(diào) 度者3.DCS數(shù)據(jù)計算服務進程存儲及計算服務器10作業(yè)（任務）的具 體負責計算的程 序，接受 JSS 的分 配任務，處理任 務，比如：圖片特征批評，視頻的分 析等等4.JGS作業(yè)自動生成進程存儲及計算服務器2作業(yè)（任務）的自 動生成，主要用來 生成固定規(guī)則的 任務，比如臺標數(shù) 據(jù)清理任務5.ACS自動清理服務進程存儲及計算服務器2自動定時清除沒 有利用價值的歷 史數(shù)據(jù)，垃圾數(shù)據(jù)6.MPS消息處理服務進程WEB 及消息服務器6獲取分布式消息 隊列中的數(shù)據(jù)，并 對獲取的數(shù)據(jù)進 行既定規(guī)則的業(yè) 務處理，最后把數(shù) 據(jù)存儲在 S2DFS 或者 D2B 中7.SDS實時流數(shù)據(jù)處理服務進程WEB 及消息服務器6能夠?qū)崟r持續(xù)的 完成流式數(shù)據(jù)的 計算處理，具有實 時性，低延遲特 點，與批計算相對 應8.D2B分布式數(shù)據(jù)庫（開源）分布式數(shù)據(jù)庫服務器10分布式 noSQL 數(shù) 據(jù)庫，完成海量結(jié) 構(gòu)化數(shù)據(jù)的存儲， 具有容量大，分布 式，易擴展，性能 好的特點 實施計劃數(shù)據(jù)中心 IaaS 設(shè)施（軟件、硬件）到位并部署工作安排，下面表格是實施 計劃的主要交付節(jié)點：序號工作內(nèi)容時間1.實施啟動2014－2－25 前2.采購硬件（服務器、陣列柜、交換機、其他）2014－3－5 前3.部署并聯(lián)調(diào)硬件（安裝操作系統(tǒng)）及局域網(wǎng)網(wǎng)絡，包括外接三線光纖網(wǎng)絡2014－3－10 前4.部 署 并 聯(lián) 調(diào) PostgreSQL x64 for Linux 、Apacheamp。l 根據(jù)開放技術(shù)劃分，可將開放平臺劃分為五種類型：OpenAPI 型開放平臺、插件式開放平臺、綜合型開放平臺、應用超市型開放平臺和基礎(chǔ)服 務型開放平臺（云計算平臺）。數(shù)據(jù)緩存224。DMQ 的核心是原子廣播，這個機制保證了各個 Server 之間的同步,有兩種模 式，它們分別是恢復模式和廣播模式。l 實時性：對于每個 Client，DMQ 集群中的所有服務器都會保持實時更 新制度，使得所有的服務視圖都會是最新的。應用也無需再借助于一個巨大的獨立 數(shù)據(jù)庫來獲取數(shù)據(jù)以追求最大性能的 這是 80%以上的企業(yè)應用中 的瓶頸所在!l 擴展性：由于數(shù)據(jù)是均勻分布的，所以除了考慮到網(wǎng)絡上的組通訊， 根本就沒有必要來限制網(wǎng)格的大小 網(wǎng)絡上的組通訊只要能夠發(fā)現(xiàn) 一個新的節(jié)點即可. 所有的數(shù)據(jù)獲取方式都是通過點對點通信，即節(jié)點之間直接進行通信，非常容易控制。45 數(shù)據(jù)采集1) 概述數(shù)據(jù)采集功能主要完成海量智能終端的數(shù)據(jù)（臺標、log 等等）采集、上傳。3) LVS/HAProxy/Nginx每秒鐘的吞吐量一般在為1萬3萬之間，選擇軟件的構(gòu)建方式：需要2臺高性能設(shè)備作主備集群，費用在6 萬人民幣左右。但鏈路負載、全 局負載是單獨設(shè)備。推薦運行在 64 位平臺，因為 D2B 在 32 位模式運行時支持的最大文件尺寸 為 2GB。l 高級聚合的 map/reduce 實現(xiàn)。l 可通過網(wǎng)絡訪問l 可用于 Windows174。主要功能特性：l 面向集合存儲，易存儲對象類型的數(shù)據(jù)“面向集合”（CollenctionOriented），意思是數(shù)據(jù)被分組存儲在數(shù)據(jù)集 中，被稱為一個集合（Collenction)。（2） 分布式并行計算架構(gòu)圖分布式并行計算架構(gòu)圖（3） 作業(yè)調(diào)度及計算過程（4） 分布式并行計算技術(shù)特點n 池化資源管理利用池化技術(shù)，任何一臺聯(lián)在互聯(lián)網(wǎng)上的普通 PC 機從硬件到軟件，可通過池化技術(shù)加入服務器池中，等待任務分配,系統(tǒng)能充分利用現(xiàn) 有服務器資源，將所有運算子任務分配給節(jié)點服務器，有效避免計 算資源閑置現(xiàn)象的發(fā)生。分布式文 件系統(tǒng)獨特地采用無元數(shù)據(jù)服務的設(shè)計，取而代之使用算法來定位文件，元數(shù)據(jù)和數(shù)據(jù)沒有分離而是一起存儲。每個功能以模塊形式實現(xiàn)，然后以積木方式進 行簡單的組合，即可實現(xiàn)復雜的功能。對于商業(yè)客戶， 分布式文件系統(tǒng)可以以虛擬裝置的形式交付，也可以與虛擬機容器 打包，或者是公有云中部署的映像。分布式文件系統(tǒng)中，所有在 ScaleOut 存儲配置中的存 儲系統(tǒng)都可以智能地定位任意數(shù)據(jù)分片，不需要查看索引或者向其 他服務器查詢。自我修復功能能夠把數(shù)據(jù)恢復到正確的狀態(tài)，而且 修復是以增量的方式在后臺執(zhí)行，幾乎不會產(chǎn)生性能負載。這些領(lǐng)域的數(shù)據(jù)訪問特征均為： 數(shù)據(jù)量巨大，I/O 吞吐率高，數(shù)據(jù)增長迅速以及數(shù)據(jù)可用性要求高。應用分布式文件系統(tǒng)，用戶可以采用廉價可靠的通用 服務器、SATA/SAS 硬盤以及以太網(wǎng)絡來構(gòu)建媲美企業(yè)級存儲產(chǎn)品的存儲系統(tǒng)。n 文件系統(tǒng)功能和性能差強人意：難以實現(xiàn)全局命名空間的文件共享、 文件系統(tǒng)難以擴展，容易形成瓶頸。Tomcat，消息隊列軟件分布式消息（DMQ）。其中光纖陣列柜主要用來存儲統(tǒng)計分 析后的粗顆粒度數(shù)據(jù)。具有安全性，在系統(tǒng)遭到 攻擊或崩潰時能快速恢復，確保重要數(shù)據(jù)的機密性和完整性。 項目目標l 搭建分布式存儲平臺（能夠存儲海量非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)）、分 布式并行計算平臺等等，滿足海量數(shù)據(jù)的采集、存儲、計算的需要，平8臺必須具備高可用性，高擴展性，高可靠性要求。因此 CC 迫切需要建設(shè)一套高性能、高安全性、高可靠性，可擴展性的云數(shù)據(jù)采集中心， 并搭建一個數(shù)據(jù)中心支撐平臺，以滿足當今高速增長的數(shù)據(jù)存儲、管理、計算的 需求，同時便于將來拓展和進一步的改造。l 技術(shù)平臺要有能力支持數(shù)據(jù)量最高 1000W 終端數(shù)量的數(shù)據(jù)存儲、數(shù)據(jù)計 算、信息推薦等的能力。今后整個云數(shù)據(jù)采集中心的技術(shù)平臺和架構(gòu)需要輕松擴展到支持 1000 萬臺規(guī)模 的各種智能終端的數(shù)據(jù)存儲和計算規(guī)模。為了節(jié)省成本和減少通信代價，建議存儲服13務器和計算服務器合二為一，所以該服務器同時具有計算和存儲數(shù)據(jù)的功能，前 期也可以考慮把作業(yè)調(diào)度服務進程（JSS）進程部署在存儲/計算服務器上。該層的