【正文】 ，也是我們這次方案設(shè)計(jì)和實(shí)施 的主體部分，在核心技術(shù)章節(jié)會(huì)對(duì)“分布式文件系統(tǒng)（S2DFS）”、“分布式數(shù) 據(jù)庫(kù)（D2B）”、“分布式消息服務(wù)（DMQ）”“作業(yè)調(diào)度服務(wù)進(jìn)程（JSS）、數(shù) 據(jù)計(jì)算服務(wù)進(jìn)程（DCS）”主要部分加以詳細(xì)的描述。軟件平臺(tái)層的所有服務(wù)器都統(tǒng)一部署的 64 位操作系統(tǒng) CentOS （也可以選擇 RHEL x64）；其核心軟 件或者進(jìn)程有：分布式文件系統(tǒng)（S2DFS）、分布式數(shù)據(jù)庫(kù)（D2B）、作業(yè)調(diào)度服 務(wù)進(jìn)程（JSS）、數(shù)據(jù)計(jì)算服務(wù)進(jìn)程（DCS）、作業(yè)生成服務(wù)進(jìn)程（JGS）、消息處 理服務(wù)進(jìn)程（MPS）、流數(shù)據(jù)處理進(jìn)程（SDS）等等。WEB 及應(yīng)用服務(wù)器軟件 Apacheamp。Tomcat，消息隊(duì)列軟件分布式消息（DMQ）。還要實(shí)現(xiàn)整個(gè)云數(shù)據(jù)采集 中心的資源管理及監(jiān)控管理系統(tǒng)。軟件應(yīng)用層是云數(shù)據(jù)采集中心的功能實(shí)現(xiàn)及 UI 表達(dá)層，功能實(shí)現(xiàn)需要基于 軟件平臺(tái)層的支撐，后期設(shè)計(jì)和實(shí)施的主體。該層的主要功能應(yīng)用有：數(shù)據(jù)采集 應(yīng)用、收視率統(tǒng)計(jì)應(yīng)用、智能推薦應(yīng)用、拍立購(gòu)應(yīng)用，云數(shù)據(jù)采集中心的資源監(jiān) 控及調(diào)度，通過(guò)提供標(biāo)準(zhǔn) API，在 CC 的云平臺(tái)上集成第三方 APP 應(yīng)用，使我們 的云平臺(tái)成為一個(gè)開(kāi)放的平臺(tái)，圍繞 CC 的各種智能終端或者第三方的終端，都 納入到平臺(tái)上來(lái)，建立一個(gè)完備而豐富的運(yùn)營(yíng)生態(tài)圈，使 CC 在互聯(lián)網(wǎng)時(shí)代的競(jìng)爭(zhēng)中占得先機(jī)。16智能終端層主要包括 CC 黑電、白電、瀏覽器等產(chǎn)品設(shè)備，這些終端設(shè)備通過(guò)公共數(shù)據(jù)網(wǎng)（電信、聯(lián)通、移動(dòng)）和 HTTP 協(xié)議，把終端傳感器采集的海量文 本、圖片數(shù)據(jù)以及用戶行為數(shù)據(jù)存儲(chǔ)在云數(shù)據(jù)采集中心里，以供后期分析計(jì)算用。 第一期是單向交互，主要是終端提供數(shù)據(jù)，云數(shù)據(jù)采集中心負(fù)責(zé)計(jì)算，并作推薦。 第二期會(huì)引入終端與云數(shù)據(jù)采集中心的實(shí)時(shí)雙向交互功能。收視率統(tǒng)計(jì)應(yīng)用智能推薦應(yīng)用拍立購(gòu)應(yīng)用云中心監(jiān)控第三方應(yīng)用API存儲(chǔ)設(shè)備網(wǎng)絡(luò)設(shè)備服務(wù)器設(shè)備JSSDCSJGSMPSSDS開(kāi)放平臺(tái)S2DFSD2BPostgreSQLNginxApacheTomcatDMQCentOS x64云數(shù)據(jù)采集中心整體架構(gòu)圖智能終端智能終端智能終端……骨 干 網(wǎng)資源及監(jiān)控管理資源及權(quán)限管理WEB及消息服務(wù)器存儲(chǔ)/計(jì)算服務(wù)器存儲(chǔ)/計(jì)算服務(wù)器WEB及消息服務(wù)器存儲(chǔ)/計(jì)算服務(wù)器WEB及消息服務(wù)器…………分布式數(shù)據(jù)庫(kù)服務(wù)器數(shù)據(jù)公共網(wǎng)聯(lián)通/電信/移動(dòng)防火墻分布式數(shù)據(jù)庫(kù)服務(wù)器分布式數(shù)據(jù)庫(kù)服務(wù)器負(fù)載均衡服務(wù)器……負(fù)載均衡服務(wù)器作業(yè)調(diào)度服務(wù)器(主)……作業(yè)調(diào)度服務(wù)器(備)云數(shù)據(jù)采集中心網(wǎng)絡(luò)結(jié)構(gòu)圖17 核心技術(shù)及功能 分布式文件存儲(chǔ)技術(shù)（1） 傳統(tǒng)存儲(chǔ)技術(shù)面臨的問(wèn)題：n 構(gòu)建成本高：大容量及高網(wǎng)絡(luò)帶寬的高端存儲(chǔ)系統(tǒng)架構(gòu)昂貴。n 文件系統(tǒng)功能和性能差強(qiáng)人意：難以實(shí)現(xiàn)全局命名空間的文件共享、 文件系統(tǒng)難以擴(kuò)展，容易形成瓶頸。n 擴(kuò)展性困難：技術(shù)存在瓶頸（Scaleup 架構(gòu)決定的）、擴(kuò)展成本無(wú)法 控制。n 可用性問(wèn)題：潛在的單點(diǎn)故障,數(shù)據(jù)恢復(fù)困難，代價(jià)高。n 應(yīng)用目標(biāo)差異：主要面臨運(yùn)營(yíng)商、金融行業(yè)的 OLTP 應(yīng)用、很少針 對(duì)海量的流數(shù)據(jù)，或者非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行設(shè)計(jì)和優(yōu)化。n 異構(gòu)設(shè)備繁雜：不同時(shí)期、不同公司、不同操作系統(tǒng)的異構(gòu)設(shè)備紛 繁復(fù)雜，無(wú)法整合，資源利用率極低。分布式文件系統(tǒng)主要為解決以上問(wèn)題而出現(xiàn)的一種新型大規(guī)模數(shù)據(jù)存儲(chǔ)技 術(shù)架構(gòu)。主要為非結(jié)構(gòu)化數(shù)據(jù)（視頻/文件/文檔/圖像/音頻等非結(jié)構(gòu)化數(shù)據(jù)）提 供海量的存儲(chǔ)平臺(tái)，以集群的方式提供線性橫向擴(kuò)展能力。分布式文件系統(tǒng)是一種構(gòu)建于通用 x86 部件之上的高可用、高可靠、高可擴(kuò) 展的新型分布式文件系統(tǒng)。應(yīng)用分布式文件系統(tǒng)，用戶可以采用廉價(jià)可靠的通用 服務(wù)器、SATA/SAS 硬盤(pán)以及以太網(wǎng)絡(luò)來(lái)構(gòu)建媲美企業(yè)級(jí)存儲(chǔ)產(chǎn)品的存儲(chǔ)系統(tǒng)。（2） 分布式文件系統(tǒng)應(yīng)對(duì)的數(shù)據(jù)特性和訪問(wèn)特性：n 數(shù)據(jù)量巨大，數(shù)百 TB 或 PB 級(jí)，增長(zhǎng)迅速；36n 類(lèi)型多樣化，包括圖像、文本、語(yǔ)音、視頻等文件數(shù)據(jù)；n 按時(shí)間有序生成，數(shù)據(jù)均帶有時(shí)間標(biāo)志 ；n 前端數(shù)據(jù)寫(xiě)入速度很高，每秒鐘寫(xiě)入數(shù)據(jù)可達(dá)幾萬(wàn)甚至幾十萬(wàn)條記 錄或者上 GB 量數(shù)據(jù) ；n 更新操作極少：追加方式寫(xiě)入，一旦寫(xiě)入，幾乎沒(méi)有數(shù)據(jù)修改，查 詢(xún)涉及大量的磁盤(pán)讀操作，查詢(xún)處理產(chǎn)生大量的臨時(shí)結(jié)果，不同類(lèi) 型的數(shù)據(jù)存在聯(lián)合分析查詢(xún)；分布式文件系統(tǒng)的基本原理是采用集群方式來(lái)整合物理上獨(dú)立的多個(gè)存儲(chǔ) 資源，以軟件方式提供單一的名字空間；采用多副本的方式保證數(shù)據(jù)的高可用性， 任意單一節(jié)點(diǎn)失效均不會(huì)導(dǎo)致數(shù)據(jù)丟失和數(shù)據(jù)服務(wù)的正常運(yùn)行；同時(shí)，分布式文 件系統(tǒng)通過(guò)良好設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)分布策略，可保證系統(tǒng)性能的高可擴(kuò)展性， 并支持存儲(chǔ)容量/性能的在線擴(kuò)展。相比較于 DAS（直連存儲(chǔ)）、SAN（存儲(chǔ)區(qū)域網(wǎng)絡(luò)）和 NAS（網(wǎng)絡(luò)存儲(chǔ)）， 應(yīng)用分布式文件系統(tǒng)構(gòu)建的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)更像是一個(gè) NAS，提供類(lèi)似于傳統(tǒng) NAS 的文件級(jí)訪問(wèn)接口（SAN 和 DAS 都是塊設(shè)備級(jí)別的訪問(wèn)接口）。（3） 分布式文件系統(tǒng)與傳統(tǒng) NAS/SAN 設(shè)備的比較：比較項(xiàng)高端 NASFCSAN分布式文件系統(tǒng)性能一般雙端口，性能受機(jī)頭影響，難以擴(kuò)展，出口帶 寬是瓶頸一般雙端口，性能受機(jī)頭影響，難以擴(kuò)展， IOPS 較好性能隨節(jié)點(diǎn)數(shù)的增加成線性增長(zhǎng)擴(kuò)展能力性能及容量無(wú)法擴(kuò)展，或者有限擴(kuò)展能較好擴(kuò)展，但成本高昂性能及容量按需擴(kuò)展，動(dòng)態(tài)均衡可用性RAID 方式保護(hù)， 雙機(jī)保護(hù)，停機(jī) RAID Rebuid，耗 時(shí)RAID 方式保護(hù)，雙機(jī)保 護(hù) ， 停 機(jī) RAID Rebuid，耗時(shí)基于靈活的多副本機(jī)制，自動(dòng)檢測(cè)，自動(dòng)故障恢復(fù)， 無(wú)需停機(jī)數(shù)據(jù)管理企業(yè)級(jí)功能需要單獨(dú)購(gòu)買(mǎi)企業(yè)級(jí)功能需要單獨(dú)購(gòu)買(mǎi)（還需要單獨(dú)的內(nèi)嵌多種企業(yè)級(jí)應(yīng)用：快照、鏡像、回收站文件系統(tǒng)，100 多萬(wàn)一套）成本專(zhuān)有的硬件平臺(tái)，軟件擁有成本高，擴(kuò)展成本高專(zhuān)有的硬件平臺(tái)，軟件擁有成本高，擴(kuò)展 成本高開(kāi)發(fā)通用的硬件平臺(tái)，一體化的軟件，成本低，擴(kuò) 展成本低可維護(hù)性專(zhuān)門(mén)的技術(shù)支持服務(wù)，需要培訓(xùn)結(jié)構(gòu)異常復(fù)雜，需要大量培訓(xùn)，廠商服務(wù) 昂貴內(nèi)嵌多種自動(dòng)化的故障檢測(cè)和恢復(fù)功能，國(guó)內(nèi)開(kāi)發(fā)， 技術(shù)支持快速用戶使用分布式文件系統(tǒng)如同使用本地文件系統(tǒng)。所不同的是，傳統(tǒng) NAS 通常以單一節(jié)點(diǎn)的方式實(shí)現(xiàn)，容量和性能的擴(kuò)展能力有限，易于成為性能瓶頸和 單一故障點(diǎn)。而分布式文件系統(tǒng)則有多個(gè)節(jié)點(diǎn)集合地提供服務(wù)，由于其結(jié)構(gòu)特征， 分布式文件系統(tǒng)的性能和容量均可在線線性擴(kuò)展，并且系統(tǒng)內(nèi)不存在單一故障點(diǎn)。 對(duì)比參看下面兩幅示意圖：傳統(tǒng)存儲(chǔ)架構(gòu)圖分布式文件系統(tǒng)架構(gòu)圖 分布式文件系統(tǒng)的設(shè)計(jì)應(yīng)用特別適合海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，大量客戶端并發(fā)的 I/O 密集型應(yīng)用。目前，分布式文件系統(tǒng)已經(jīng)被應(yīng)用于政府、醫(yī)療影像、 勘查數(shù)據(jù)計(jì)算、視頻服務(wù)以及動(dòng)畫(huà)制作等領(lǐng)域。這些領(lǐng)域的數(shù)據(jù)訪問(wèn)特征均為： 數(shù)據(jù)量巨大，I/O 吞吐率高，數(shù)據(jù)增長(zhǎng)迅速以及數(shù)據(jù)可用性要求高。經(jīng)過(guò)長(zhǎng)時(shí)間 的實(shí)際生產(chǎn)環(huán)境使用，分布式文件系統(tǒng)已被證明是該類(lèi)型應(yīng)用的有效解決方案。分布式文件系統(tǒng) Server端 設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷分布式文件系統(tǒng)邏輯卷分布式文件系統(tǒng)客戶端NFS/Samba卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端分布式文件系統(tǒng)網(wǎng)關(guān)分布式文件系統(tǒng) Client端分布式文件系統(tǒng)架構(gòu)圖 分布式文件系統(tǒng)的服務(wù)器端程序運(yùn)行于 Linux x64 系統(tǒng)之上，支持多種 Linux64 位發(fā)行版，包括 Redhat、CentOS 等。分布式文件系統(tǒng)客戶端則支持 Linux 和 Windows，同時(shí)分布式文件系統(tǒng)還可以通過(guò)第三方軟件輸出 CIFS 和 NFS 接口， 可以兼容大多數(shù)應(yīng)用。（4） 分布式文件系統(tǒng)的核心技術(shù)及特征：n 擴(kuò)展性和高性能：分布式文件系統(tǒng)利用雙重特性來(lái)提供幾 TB 至數(shù) PB 的高擴(kuò)展存儲(chǔ)解決方案。ScaleOut 架構(gòu)允許通過(guò)簡(jiǎn)單地增加資源 來(lái)提高存儲(chǔ)容量和性能，磁盤(pán)、計(jì)算和 I/O 資源都可以獨(dú)立增加， 支持 10GbE 和 InfiniBand 等高速網(wǎng)絡(luò)互聯(lián)。分布式文件系統(tǒng)彈性哈 希（Elastic Hash）解除了分布式文件系統(tǒng)對(duì)元數(shù)據(jù)服務(wù)器的需求， 消除了單點(diǎn)故障和性能瓶頸，真正實(shí)現(xiàn)了并行化數(shù)據(jù)訪問(wèn)。n 高可用性：分布式文件系統(tǒng)可以對(duì)文件進(jìn)行自動(dòng)復(fù)制，如鏡像或多 次復(fù)制，從而確保數(shù)據(jù)總是可以訪問(wèn)，甚至是在硬件故障的情況下 也能正常訪問(wèn)。自我修復(fù)功能能夠把數(shù)據(jù)恢復(fù)到正確的狀態(tài)，而且 修復(fù)是以增量的方式在后臺(tái)執(zhí)行，幾乎不會(huì)產(chǎn)生性能負(fù)載。分布式 文件系統(tǒng)沒(méi)有設(shè)計(jì)自己的私有數(shù)據(jù)文件格式，而是采用操作系統(tǒng)中 主流標(biāo)準(zhǔn)的磁盤(pán)文件系統(tǒng)（如 XFS/EXT4/ZFS）來(lái)存儲(chǔ)文件，因此 數(shù)據(jù)可以使用各種標(biāo)準(zhǔn)工具進(jìn)行復(fù)制和訪問(wèn)。n 全局統(tǒng)一命名空間：全局統(tǒng)一命名空間將磁盤(pán)和內(nèi)存資源聚集成一 個(gè)單一的虛擬存儲(chǔ)池，對(duì)上層用戶和應(yīng)用屏蔽了底層的物理硬件。 存儲(chǔ)資源可以根據(jù)需要在虛擬存儲(chǔ)池中進(jìn)行彈性擴(kuò)展，比如擴(kuò)容或 收縮。當(dāng)存儲(chǔ)虛擬機(jī)映像時(shí)，存儲(chǔ)的虛擬映像文件沒(méi)有數(shù)量限制， 成千虛擬機(jī)均通過(guò)單一掛載點(diǎn)進(jìn)行數(shù)據(jù)共享。虛擬機(jī) I/O 可在命名 空間內(nèi)的所有服務(wù)器上自動(dòng)進(jìn)行負(fù)載均衡，消除了 SAN 環(huán)境中經(jīng)常 發(fā)生的訪問(wèn)熱點(diǎn)和性能瓶頸問(wèn)題。n 彈性哈希算法：分布式文件系統(tǒng)采用彈性哈希算法在存儲(chǔ)池中定位 數(shù)據(jù)，而不是采用集中式或分布式元數(shù)據(jù)服務(wù)器索引。在其他的 ScaleOut 存儲(chǔ)系統(tǒng)中，元數(shù)據(jù)服務(wù)器通常會(huì)導(dǎo)致 I/O 性能瓶頸和單 點(diǎn)故障問(wèn)題。分布式文件系統(tǒng)中，所有在 ScaleOut 存儲(chǔ)配置中的存 儲(chǔ)系統(tǒng)都可以智能地定位任意數(shù)據(jù)分片，不需要查看索引或者向其 他服務(wù)器查詢(xún)。這種設(shè)計(jì)機(jī)制完全并行化了數(shù)據(jù)訪問(wèn)，實(shí)現(xiàn)了真正 的線性性能擴(kuò)展。n 彈性卷管理：數(shù)據(jù)儲(chǔ)存在邏輯卷中，邏輯卷可以從虛擬化的物理存儲(chǔ)池進(jìn)行獨(dú)立邏輯劃分而得到。存儲(chǔ)服務(wù)器可以在線進(jìn)行增加和移除，不會(huì)導(dǎo)致應(yīng)用中斷。邏輯卷可以在所有配置服務(wù)器中增長(zhǎng)和縮 減，可以在不同服務(wù)器遷移進(jìn)行容量均衡，或者增加和移除系統(tǒng)， 這些操作都可在線進(jìn)行。文件系統(tǒng)配置更改也可以實(shí)時(shí)在線進(jìn)行并 應(yīng)用，從而可以適應(yīng)工作負(fù)載條件變化或在線性能調(diào)優(yōu)。n 完全軟件實(shí)現(xiàn)（Software Only）：分布式文件系統(tǒng)認(rèn)為存儲(chǔ)是軟件問(wèn) 題，不能夠把用戶局限于使用特定的供應(yīng)商或硬件配置來(lái)解決。分 布式文件系統(tǒng)采用開(kāi)放式設(shè)計(jì)，廣泛支持工業(yè)標(biāo)準(zhǔn)的存儲(chǔ)、網(wǎng)絡(luò)和 計(jì)算機(jī)設(shè)備，而非與定制化的專(zhuān)用硬件設(shè)備捆綁。對(duì)于商業(yè)客戶， 分布式文件系統(tǒng)可以以虛擬裝置的形式交付，也可以與虛擬機(jī)容器 打包，或者是公有云中部署的映像。開(kāi)源社區(qū)中，分布式文件系統(tǒng) 被大量部署在基于廉價(jià)閑置硬件的各種操作系統(tǒng)上，構(gòu)成集中統(tǒng)一 的虛擬存儲(chǔ)資源池。簡(jiǎn)而言之，分布式文件系統(tǒng)是開(kāi)放的全軟件實(shí) 現(xiàn)，完全獨(dú)立于硬件和操作系統(tǒng)。n 完整的存儲(chǔ)操作系統(tǒng)棧（Complete Storage Operating System Stack：分 布式文件系統(tǒng)不僅提供了一個(gè)分布式文件系統(tǒng)，而且還提供了許多 其他重要的分布式功能，比如分布式內(nèi)存管理、I/O 調(diào)度、軟 RAID 和自我修復(fù)等。分布式文件系統(tǒng)汲取了微內(nèi)核架構(gòu)的經(jīng)驗(yàn)教訓(xùn)，借 鑒了 GNU/Hurd 操作系統(tǒng)的設(shè)計(jì)思想，在用戶空間實(shí)現(xiàn)了完整的存 儲(chǔ)操作系統(tǒng)棧。n 用戶空間實(shí)現(xiàn)（User Space）：與傳統(tǒng)的文件系統(tǒng)不同，分布式文件系 統(tǒng)在用戶空間實(shí)現(xiàn)，這使得其安裝和升級(jí)特別簡(jiǎn)便。另外，這也極大降低了普通用戶基于源碼修改分布式文件系統(tǒng)的門(mén)檻，僅僅需要通用的 C 程序設(shè)計(jì)技能，而不需要特別的內(nèi)核編程經(jīng)驗(yàn)。n 模塊化堆棧式架構(gòu)（Modular Stackable Architecture）：分布式文件系統(tǒng) 采用模塊化、堆棧式的架構(gòu)，可通過(guò)靈活的配置支持高度定制化的 應(yīng)用環(huán)境，比如大文件存儲(chǔ)、海量小文件存儲(chǔ)、分布式文件系統(tǒng)、 多傳輸協(xié)議應(yīng)用等。每個(gè)功能以模塊形式實(shí)現(xiàn)，然后以積木方式進(jìn) 行簡(jiǎn)單的組合，即可實(shí)現(xiàn)復(fù)雜的功能。比如，Replicate 模塊可實(shí)現(xiàn) RAID1，Stripe 模塊可實(shí)現(xiàn) RAID0，通過(guò)兩者的組合可實(shí)現(xiàn) RAID10 和 RAID01，同時(shí)獲得高性能和高可靠性。n 原始數(shù)據(jù)格式存儲(chǔ)（Data Stored in Native Formats）：分布式文件系統(tǒng) 以原始數(shù)據(jù)格式（如 EXTEXTXFS、ZFS）儲(chǔ)存數(shù)據(jù)，并實(shí)現(xiàn) 多種數(shù)據(jù)自動(dòng)修復(fù)機(jī)制。因此，系統(tǒng)極具彈性，即使離線情形下文 件也可以通過(guò)其他標(biāo)準(zhǔn)工具進(jìn)行訪問(wèn)。如果用戶需要從分布式文件 系統(tǒng)中遷移數(shù)據(jù)，不需要作任何修改仍然可以完全使用這些數(shù)據(jù)。n 無(wú)元數(shù)據(jù)服務(wù)設(shè)計(jì)（No Metadata with the Elastic Hash Algorithm）：對(duì) ScaleOut 存儲(chǔ)系統(tǒng)而言，最大的挑戰(zhàn)之一就是記錄數(shù)據(jù)邏輯與物理 位置的映像關(guān)系，即數(shù)據(jù)元數(shù)據(jù)，可能還包括諸如屬性和訪問(wèn)權(quán)限 等信息。傳統(tǒng)分布式存儲(chǔ)系統(tǒng)使用