【正文】 ，也是我們這次方案設(shè)計和實施 的主體部分，在核心技術(shù)章節(jié)會對“分布式文件系統(tǒng)（S2DFS）”、“分布式數(shù) 據(jù)庫（D2B）”、“分布式消息服務(wù)（DMQ）”“作業(yè)調(diào)度服務(wù)進程（JSS）、數(shù) 據(jù)計算服務(wù)進程（DCS）”主要部分加以詳細的描述。軟件平臺層的所有服務(wù)器都統(tǒng)一部署的 64 位操作系統(tǒng) CentOS （也可以選擇 RHEL x64）；其核心軟 件或者進程有：分布式文件系統(tǒng)（S2DFS）、分布式數(shù)據(jù)庫（D2B）、作業(yè)調(diào)度服 務(wù)進程（JSS）、數(shù)據(jù)計算服務(wù)進程（DCS）、作業(yè)生成服務(wù)進程（JGS）、消息處 理服務(wù)進程（MPS）、流數(shù)據(jù)處理進程（SDS）等等。WEB 及應(yīng)用服務(wù)器軟件 Apacheamp。Tomcat，消息隊列軟件分布式消息（DMQ）。還要實現(xiàn)整個云數(shù)據(jù)采集 中心的資源管理及監(jiān)控管理系統(tǒng)。軟件應(yīng)用層是云數(shù)據(jù)采集中心的功能實現(xiàn)及 UI 表達層，功能實現(xiàn)需要基于 軟件平臺層的支撐，后期設(shè)計和實施的主體。該層的主要功能應(yīng)用有：數(shù)據(jù)采集 應(yīng)用、收視率統(tǒng)計應(yīng)用、智能推薦應(yīng)用、拍立購應(yīng)用，云數(shù)據(jù)采集中心的資源監(jiān) 控及調(diào)度，通過提供標準 API，在 CC 的云平臺上集成第三方 APP 應(yīng)用，使我們 的云平臺成為一個開放的平臺，圍繞 CC 的各種智能終端或者第三方的終端，都 納入到平臺上來，建立一個完備而豐富的運營生態(tài)圈，使 CC 在互聯(lián)網(wǎng)時代的競爭中占得先機。16智能終端層主要包括 CC 黑電、白電、瀏覽器等產(chǎn)品設(shè)備，這些終端設(shè)備通過公共數(shù)據(jù)網(wǎng)（電信、聯(lián)通、移動）和 HTTP 協(xié)議，把終端傳感器采集的海量文 本、圖片數(shù)據(jù)以及用戶行為數(shù)據(jù)存儲在云數(shù)據(jù)采集中心里，以供后期分析計算用。 第一期是單向交互，主要是終端提供數(shù)據(jù)，云數(shù)據(jù)采集中心負責計算，并作推薦。 第二期會引入終端與云數(shù)據(jù)采集中心的實時雙向交互功能。收視率統(tǒng)計應(yīng)用智能推薦應(yīng)用拍立購應(yīng)用云中心監(jiān)控第三方應(yīng)用API存儲設(shè)備網(wǎng)絡(luò)設(shè)備服務(wù)器設(shè)備JSSDCSJGSMPSSDS開放平臺S2DFSD2BPostgreSQLNginxApacheTomcatDMQCentOS x64云數(shù)據(jù)采集中心整體架構(gòu)圖智能終端智能終端智能終端……骨 干 網(wǎng)資源及監(jiān)控管理資源及權(quán)限管理WEB及消息服務(wù)器存儲/計算服務(wù)器存儲/計算服務(wù)器WEB及消息服務(wù)器存儲/計算服務(wù)器WEB及消息服務(wù)器…………分布式數(shù)據(jù)庫服務(wù)器數(shù)據(jù)公共網(wǎng)聯(lián)通/電信/移動防火墻分布式數(shù)據(jù)庫服務(wù)器分布式數(shù)據(jù)庫服務(wù)器負載均衡服務(wù)器……負載均衡服務(wù)器作業(yè)調(diào)度服務(wù)器(主)……作業(yè)調(diào)度服務(wù)器(備)云數(shù)據(jù)采集中心網(wǎng)絡(luò)結(jié)構(gòu)圖17 核心技術(shù)及功能 分布式文件存儲技術(shù)（1） 傳統(tǒng)存儲技術(shù)面臨的問題：n 構(gòu)建成本高：大容量及高網(wǎng)絡(luò)帶寬的高端存儲系統(tǒng)架構(gòu)昂貴。n 文件系統(tǒng)功能和性能差強人意：難以實現(xiàn)全局命名空間的文件共享、 文件系統(tǒng)難以擴展，容易形成瓶頸。n 擴展性困難：技術(shù)存在瓶頸（Scaleup 架構(gòu)決定的）、擴展成本無法 控制。n 可用性問題：潛在的單點故障,數(shù)據(jù)恢復(fù)困難，代價高。n 應(yīng)用目標差異：主要面臨運營商、金融行業(yè)的 OLTP 應(yīng)用、很少針 對海量的流數(shù)據(jù)，或者非結(jié)構(gòu)化數(shù)據(jù)進行設(shè)計和優(yōu)化。n 異構(gòu)設(shè)備繁雜：不同時期、不同公司、不同操作系統(tǒng)的異構(gòu)設(shè)備紛 繁復(fù)雜，無法整合，資源利用率極低。分布式文件系統(tǒng)主要為解決以上問題而出現(xiàn)的一種新型大規(guī)模數(shù)據(jù)存儲技 術(shù)架構(gòu)。主要為非結(jié)構(gòu)化數(shù)據(jù)（視頻/文件/文檔/圖像/音頻等非結(jié)構(gòu)化數(shù)據(jù)）提 供海量的存儲平臺，以集群的方式提供線性橫向擴展能力。分布式文件系統(tǒng)是一種構(gòu)建于通用 x86 部件之上的高可用、高可靠、高可擴 展的新型分布式文件系統(tǒng)。應(yīng)用分布式文件系統(tǒng)，用戶可以采用廉價可靠的通用 服務(wù)器、SATA/SAS 硬盤以及以太網(wǎng)絡(luò)來構(gòu)建媲美企業(yè)級存儲產(chǎn)品的存儲系統(tǒng)。（2） 分布式文件系統(tǒng)應(yīng)對的數(shù)據(jù)特性和訪問特性：n 數(shù)據(jù)量巨大，數(shù)百 TB 或 PB 級，增長迅速；36n 類型多樣化，包括圖像、文本、語音、視頻等文件數(shù)據(jù)；n 按時間有序生成，數(shù)據(jù)均帶有時間標志 ；n 前端數(shù)據(jù)寫入速度很高，每秒鐘寫入數(shù)據(jù)可達幾萬甚至幾十萬條記 錄或者上 GB 量數(shù)據(jù) ；n 更新操作極少：追加方式寫入，一旦寫入，幾乎沒有數(shù)據(jù)修改，查 詢涉及大量的磁盤讀操作，查詢處理產(chǎn)生大量的臨時結(jié)果，不同類 型的數(shù)據(jù)存在聯(lián)合分析查詢；分布式文件系統(tǒng)的基本原理是采用集群方式來整合物理上獨立的多個存儲 資源，以軟件方式提供單一的名字空間；采用多副本的方式保證數(shù)據(jù)的高可用性， 任意單一節(jié)點失效均不會導(dǎo)致數(shù)據(jù)丟失和數(shù)據(jù)服務(wù)的正常運行；同時，分布式文 件系統(tǒng)通過良好設(shè)計的系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)分布策略，可保證系統(tǒng)性能的高可擴展性， 并支持存儲容量/性能的在線擴展。相比較于 DAS（直連存儲）、SAN（存儲區(qū)域網(wǎng)絡(luò)）和 NAS（網(wǎng)絡(luò)存儲）， 應(yīng)用分布式文件系統(tǒng)構(gòu)建的網(wǎng)絡(luò)存儲系統(tǒng)更像是一個 NAS，提供類似于傳統(tǒng) NAS 的文件級訪問接口（SAN 和 DAS 都是塊設(shè)備級別的訪問接口）。（3） 分布式文件系統(tǒng)與傳統(tǒng) NAS/SAN 設(shè)備的比較：比較項高端 NASFCSAN分布式文件系統(tǒng)性能一般雙端口，性能受機頭影響，難以擴展，出口帶 寬是瓶頸一般雙端口，性能受機頭影響，難以擴展， IOPS 較好性能隨節(jié)點數(shù)的增加成線性增長擴展能力性能及容量無法擴展，或者有限擴展能較好擴展，但成本高昂性能及容量按需擴展，動態(tài)均衡可用性RAID 方式保護， 雙機保護，停機 RAID Rebuid，耗 時RAID 方式保護，雙機保 護 ， 停 機 RAID Rebuid，耗時基于靈活的多副本機制，自動檢測，自動故障恢復(fù)， 無需停機數(shù)據(jù)管理企業(yè)級功能需要單獨購買企業(yè)級功能需要單獨購買（還需要單獨的內(nèi)嵌多種企業(yè)級應(yīng)用：快照、鏡像、回收站文件系統(tǒng)，100 多萬一套）成本專有的硬件平臺，軟件擁有成本高，擴展成本高專有的硬件平臺，軟件擁有成本高，擴展 成本高開發(fā)通用的硬件平臺，一體化的軟件，成本低，擴 展成本低可維護性專門的技術(shù)支持服務(wù)，需要培訓(xùn)結(jié)構(gòu)異常復(fù)雜，需要大量培訓(xùn)，廠商服務(wù) 昂貴內(nèi)嵌多種自動化的故障檢測和恢復(fù)功能，國內(nèi)開發(fā)， 技術(shù)支持快速用戶使用分布式文件系統(tǒng)如同使用本地文件系統(tǒng)。所不同的是，傳統(tǒng) NAS 通常以單一節(jié)點的方式實現(xiàn)，容量和性能的擴展能力有限，易于成為性能瓶頸和 單一故障點。而分布式文件系統(tǒng)則有多個節(jié)點集合地提供服務(wù)，由于其結(jié)構(gòu)特征， 分布式文件系統(tǒng)的性能和容量均可在線線性擴展，并且系統(tǒng)內(nèi)不存在單一故障點。 對比參看下面兩幅示意圖：傳統(tǒng)存儲架構(gòu)圖分布式文件系統(tǒng)架構(gòu)圖 分布式文件系統(tǒng)的設(shè)計應(yīng)用特別適合海量非結(jié)構(gòu)化數(shù)據(jù)存儲，大量客戶端并發(fā)的 I/O 密集型應(yīng)用。目前，分布式文件系統(tǒng)已經(jīng)被應(yīng)用于政府、醫(yī)療影像、 勘查數(shù)據(jù)計算、視頻服務(wù)以及動畫制作等領(lǐng)域。這些領(lǐng)域的數(shù)據(jù)訪問特征均為： 數(shù)據(jù)量巨大，I/O 吞吐率高，數(shù)據(jù)增長迅速以及數(shù)據(jù)可用性要求高。經(jīng)過長時間 的實際生產(chǎn)環(huán)境使用，分布式文件系統(tǒng)已被證明是該類型應(yīng)用的有效解決方案。分布式文件系統(tǒng) Server端 設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷分布式文件系統(tǒng)邏輯卷分布式文件系統(tǒng)客戶端NFS/Samba卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端分布式文件系統(tǒng)網(wǎng)關(guān)分布式文件系統(tǒng) Client端分布式文件系統(tǒng)架構(gòu)圖 分布式文件系統(tǒng)的服務(wù)器端程序運行于 Linux x64 系統(tǒng)之上，支持多種 Linux64 位發(fā)行版，包括 Redhat、CentOS 等。分布式文件系統(tǒng)客戶端則支持 Linux 和 Windows，同時分布式文件系統(tǒng)還可以通過第三方軟件輸出 CIFS 和 NFS 接口， 可以兼容大多數(shù)應(yīng)用。（4） 分布式文件系統(tǒng)的核心技術(shù)及特征：n 擴展性和高性能：分布式文件系統(tǒng)利用雙重特性來提供幾 TB 至數(shù) PB 的高擴展存儲解決方案。ScaleOut 架構(gòu)允許通過簡單地增加資源 來提高存儲容量和性能，磁盤、計算和 I/O 資源都可以獨立增加， 支持 10GbE 和 InfiniBand 等高速網(wǎng)絡(luò)互聯(lián)。分布式文件系統(tǒng)彈性哈 希（Elastic Hash）解除了分布式文件系統(tǒng)對元數(shù)據(jù)服務(wù)器的需求， 消除了單點故障和性能瓶頸，真正實現(xiàn)了并行化數(shù)據(jù)訪問。n 高可用性：分布式文件系統(tǒng)可以對文件進行自動復(fù)制，如鏡像或多 次復(fù)制，從而確保數(shù)據(jù)總是可以訪問，甚至是在硬件故障的情況下 也能正常訪問。自我修復(fù)功能能夠把數(shù)據(jù)恢復(fù)到正確的狀態(tài)，而且 修復(fù)是以增量的方式在后臺執(zhí)行，幾乎不會產(chǎn)生性能負載。分布式 文件系統(tǒng)沒有設(shè)計自己的私有數(shù)據(jù)文件格式，而是采用操作系統(tǒng)中 主流標準的磁盤文件系統(tǒng)（如 XFS/EXT4/ZFS）來存儲文件，因此 數(shù)據(jù)可以使用各種標準工具進行復(fù)制和訪問。n 全局統(tǒng)一命名空間：全局統(tǒng)一命名空間將磁盤和內(nèi)存資源聚集成一 個單一的虛擬存儲池，對上層用戶和應(yīng)用屏蔽了底層的物理硬件。 存儲資源可以根據(jù)需要在虛擬存儲池中進行彈性擴展，比如擴容或 收縮。當存儲虛擬機映像時，存儲的虛擬映像文件沒有數(shù)量限制， 成千虛擬機均通過單一掛載點進行數(shù)據(jù)共享。虛擬機 I/O 可在命名 空間內(nèi)的所有服務(wù)器上自動進行負載均衡，消除了 SAN 環(huán)境中經(jīng)常 發(fā)生的訪問熱點和性能瓶頸問題。n 彈性哈希算法：分布式文件系統(tǒng)采用彈性哈希算法在存儲池中定位 數(shù)據(jù)，而不是采用集中式或分布式元數(shù)據(jù)服務(wù)器索引。在其他的 ScaleOut 存儲系統(tǒng)中，元數(shù)據(jù)服務(wù)器通常會導(dǎo)致 I/O 性能瓶頸和單 點故障問題。分布式文件系統(tǒng)中，所有在 ScaleOut 存儲配置中的存 儲系統(tǒng)都可以智能地定位任意數(shù)據(jù)分片，不需要查看索引或者向其 他服務(wù)器查詢。這種設(shè)計機制完全并行化了數(shù)據(jù)訪問，實現(xiàn)了真正 的線性性能擴展。n 彈性卷管理：數(shù)據(jù)儲存在邏輯卷中，邏輯卷可以從虛擬化的物理存儲池進行獨立邏輯劃分而得到。存儲服務(wù)器可以在線進行增加和移除，不會導(dǎo)致應(yīng)用中斷。邏輯卷可以在所有配置服務(wù)器中增長和縮 減，可以在不同服務(wù)器遷移進行容量均衡，或者增加和移除系統(tǒng)， 這些操作都可在線進行。文件系統(tǒng)配置更改也可以實時在線進行并 應(yīng)用，從而可以適應(yīng)工作負載條件變化或在線性能調(diào)優(yōu)。n 完全軟件實現(xiàn)（Software Only）：分布式文件系統(tǒng)認為存儲是軟件問 題，不能夠把用戶局限于使用特定的供應(yīng)商或硬件配置來解決。分 布式文件系統(tǒng)采用開放式設(shè)計，廣泛支持工業(yè)標準的存儲、網(wǎng)絡(luò)和 計算機設(shè)備，而非與定制化的專用硬件設(shè)備捆綁。對于商業(yè)客戶， 分布式文件系統(tǒng)可以以虛擬裝置的形式交付，也可以與虛擬機容器 打包，或者是公有云中部署的映像。開源社區(qū)中，分布式文件系統(tǒng) 被大量部署在基于廉價閑置硬件的各種操作系統(tǒng)上，構(gòu)成集中統(tǒng)一 的虛擬存儲資源池。簡而言之，分布式文件系統(tǒng)是開放的全軟件實 現(xiàn)，完全獨立于硬件和操作系統(tǒng)。n 完整的存儲操作系統(tǒng)棧（Complete Storage Operating System Stack：分 布式文件系統(tǒng)不僅提供了一個分布式文件系統(tǒng)，而且還提供了許多 其他重要的分布式功能，比如分布式內(nèi)存管理、I/O 調(diào)度、軟 RAID 和自我修復(fù)等。分布式文件系統(tǒng)汲取了微內(nèi)核架構(gòu)的經(jīng)驗教訓(xùn)，借 鑒了 GNU/Hurd 操作系統(tǒng)的設(shè)計思想，在用戶空間實現(xiàn)了完整的存 儲操作系統(tǒng)棧。n 用戶空間實現(xiàn)（User Space）：與傳統(tǒng)的文件系統(tǒng)不同，分布式文件系 統(tǒng)在用戶空間實現(xiàn)，這使得其安裝和升級特別簡便。另外，這也極大降低了普通用戶基于源碼修改分布式文件系統(tǒng)的門檻，僅僅需要通用的 C 程序設(shè)計技能，而不需要特別的內(nèi)核編程經(jīng)驗。n 模塊化堆棧式架構(gòu)（Modular Stackable Architecture）：分布式文件系統(tǒng) 采用模塊化、堆棧式的架構(gòu)，可通過靈活的配置支持高度定制化的 應(yīng)用環(huán)境，比如大文件存儲、海量小文件存儲、分布式文件系統(tǒng)、 多傳輸協(xié)議應(yīng)用等。每個功能以模塊形式實現(xiàn)，然后以積木方式進 行簡單的組合，即可實現(xiàn)復(fù)雜的功能。比如，Replicate 模塊可實現(xiàn) RAID1，Stripe 模塊可實現(xiàn) RAID0，通過兩者的組合可實現(xiàn) RAID10 和 RAID01，同時獲得高性能和高可靠性。n 原始數(shù)據(jù)格式存儲（Data Stored in Native Formats）：分布式文件系統(tǒng) 以原始數(shù)據(jù)格式（如 EXTEXTXFS、ZFS）儲存數(shù)據(jù)，并實現(xiàn) 多種數(shù)據(jù)自動修復(fù)機制。因此，系統(tǒng)極具彈性，即使離線情形下文 件也可以通過其他標準工具進行訪問。如果用戶需要從分布式文件 系統(tǒng)中遷移數(shù)據(jù)，不需要作任何修改仍然可以完全使用這些數(shù)據(jù)。n 無元數(shù)據(jù)服務(wù)設(shè)計（No Metadata with the Elastic Hash Algorithm）：對 ScaleOut 存儲系統(tǒng)而言，最大的挑戰(zhàn)之一就是記錄數(shù)據(jù)邏輯與物理 位置的映像關(guān)系，即數(shù)據(jù)元數(shù)據(jù)，可能還包括諸如屬性和訪問權(quán)限 等信息。傳統(tǒng)分布式存儲系統(tǒng)使用