【文章內(nèi)容簡介】 ，根據(jù)負(fù)載均衡的原理，在相關(guān)存儲節(jié)點上創(chuàng)建一些新的數(shù)據(jù)塊；相關(guān)存儲節(jié)點服務(wù)器創(chuàng)建成功，將結(jié)果返回給元數(shù)據(jù)服務(wù)器；元數(shù)據(jù)服務(wù)器一方面?zhèn)浞莺屯酱嗽獢?shù)據(jù)信息，另一方面將相關(guān)存儲節(jié)點信息返回給客戶端；客戶端根據(jù)得到的存儲節(jié)點信息，向?qū)?yīng)存儲節(jié)點發(fā)出數(shù)據(jù)寫請求，并向存儲節(jié)點發(fā)送數(shù)據(jù)；存儲節(jié)點接收數(shù)據(jù)并存儲到相應(yīng)塊，同時也向其他存儲節(jié)點發(fā)起備份；當(dāng)本地寫以及備份均成功后，存儲節(jié)點將成功信息返回給客戶端；客戶端收到成功信號后，即完成數(shù)據(jù)的存儲。下圖為cStor客戶端讀數(shù)據(jù)流程圖如下所示：圖35 cStor客戶端讀數(shù)據(jù)流程總的來說，cStor云存儲系統(tǒng)的控制流和數(shù)據(jù)流是分離的，一方面降低了元數(shù)據(jù)服務(wù)的負(fù)擔(dān)，使得其處理能力更強(qiáng)，另一方面將數(shù)據(jù)讀寫的負(fù)擔(dān)分擔(dān)到各存儲節(jié)點，使得系統(tǒng)的整體性能得到了提高，與節(jié)點數(shù)目成正相關(guān)。 minicloud簡介云計算的飛速發(fā)展，使云存儲領(lǐng)域涉及的范圍越來越廣，隨著企業(yè)辦公人員對數(shù)據(jù)存儲安全性和可靠性的要求越來越高，使用傳統(tǒng)的存儲模式，如移動硬盤、U盤、刻錄光盤等方式，都存在著使用不方便、管理麻煩等諸多問題，特別軟硬件故障可能導(dǎo)致本地存儲信息的大量丟失或損壞。因此如何安全可靠的存儲企業(yè)運(yùn)營數(shù)據(jù)，成為了現(xiàn)在企業(yè)辦公的重中之重。 因此，云創(chuàng)存儲推出minicloud微型云計算數(shù)據(jù)中心，用最少的成本為企業(yè)部署云存儲以及企業(yè)辦公應(yīng)用軟件，為辦公室配置一朵迷你的云，滿足企業(yè)的辦公需求，大幅度降低了企業(yè)IT建設(shè)的門檻與風(fēng)險。圖36 minicloud外觀圖 minicloud產(chǎn)品優(yōu)勢216。 超安全的私有云計算數(shù)據(jù)中心 minicloud采用可靠的分布式云存儲,最大支撐三個27TB的存儲節(jié)點,采用1:1容錯保證企業(yè)數(shù)據(jù)安全可靠,minicloud可作為企業(yè)的數(shù)據(jù)中心,為企業(yè)的各種重要數(shù)據(jù)提供安全可靠的存儲,重要數(shù)據(jù)包括企業(yè)設(shè)計文檔、設(shè)計圖紙、經(jīng)營數(shù)據(jù)等。 216。 海量存儲空間支持靈活使用 裸容量高達(dá)81TB，采用1:1容錯，既可作為應(yīng)用軟件（如郵箱、視頻監(jiān)控等）的海量存儲空間，又可以作為員工的私密存儲空間，還可以作為數(shù)據(jù)共享空間。為了保障數(shù)據(jù)安全，辦公室內(nèi)部共享數(shù)據(jù)與通過互聯(lián)網(wǎng)共享數(shù)據(jù)采用完全隔離的兩套系統(tǒng)。 216。 簡易的部署方式 隨著中小型企業(yè)、學(xué)校等單位的迅速發(fā)展壯大，擁有自己的服務(wù)器是必不可少的。但是傳統(tǒng)的服務(wù)器的部署不僅占用空間，而且可能還需要有專門的機(jī)房，對于辦公場所面積有限制的企業(yè)、單位來說部署一套傳統(tǒng)的服務(wù)器是相當(dāng)不易的。而minicloud具有節(jié)省空間的得天獨厚優(yōu)勢， 441mm 550mm 350mm的大小集三個服務(wù)器于一身，完全消除企業(yè)單位應(yīng)對部署服務(wù)器的困難。不需要專業(yè)人員就能在自己的辦公場所部署一套集成多應(yīng)用的服務(wù)器。216。 人性化的系統(tǒng)監(jiān)控 可方便地對minicloud進(jìn)行監(jiān)控，完成對系統(tǒng)的實時監(jiān)控，包括云存儲容量的監(jiān)控、磁盤的監(jiān)控、CPU的監(jiān)控以及內(nèi)存的監(jiān)控，界面效果如下圖所示。圖37 minicloud監(jiān)控界面216。 可靠的企業(yè)應(yīng)用 企業(yè)應(yīng)用程序包括郵件服務(wù)器程序、數(shù)據(jù)庫、云存儲管理節(jié)點等均采用雙機(jī)熱備，為企業(yè)提供安全可靠的應(yīng)用，保證應(yīng)用程序可持續(xù)的運(yùn)行；同時minicloud提供配置接口，通過配置可實現(xiàn)第三方應(yīng)用程序的雙機(jī)熱備。216。 自動同步 各個客戶端中文件夾自動同步，服務(wù)器文件自動保持一致，多客戶端文件自動同步。216。 多平臺隨時訪問 minicloud微型云計算數(shù)據(jù)中心支持Windows客戶端、網(wǎng)站、Android客戶端、iPhone/iPad客戶端，方便用戶隨時隨地訪問minicloud。216。 便攜共享，協(xié)同辦公 minicloud支持多人共享同步文件夾，提供了更加便捷的協(xié)同辦公的方式。 minicloud技術(shù)規(guī)格“minicloud”產(chǎn)品根據(jù)不同應(yīng)用對象的應(yīng)用需求以及對系統(tǒng)配置的要求分成三種技術(shù)規(guī)格，詳細(xì)說明如下。表31 “minicloud”技術(shù)規(guī)格表經(jīng)濟(jì)型（minicloud M1100)標(biāo)準(zhǔn)型（minicloud M1200)增強(qiáng)型（minicloud M1300)尺寸550mm(長度) x 441mm(寬度) x 350mm(高度)售后質(zhì)保服務(wù)第1年提供免費質(zhì)保服務(wù)，第23年提供成本價維修服務(wù)內(nèi)置服務(wù)器數(shù)量333每臺服務(wù)器技術(shù)規(guī)格主板Intel芯片組主板處理器單路四核，2GHz以上雙路四核，2GHz以上雙路四核，2GHz以上內(nèi)存8GB16GB32GB網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換電源480W（1+1）冗余電源包裝內(nèi)容minicloud說明書、保修卡、電源線、網(wǎng)線包含軟件cStor云存儲系統(tǒng)存儲容量最高可達(dá)81TB，采用1:1副本容錯網(wǎng)盤系統(tǒng) 在云存儲系統(tǒng)基礎(chǔ)上構(gòu)建的領(lǐng)先的私有網(wǎng)盤系統(tǒng)，支持Windows、Android、iOS、Web等多種訪問方式。郵箱系統(tǒng) 企業(yè)私有郵箱系統(tǒng)，采用云架構(gòu)，數(shù)據(jù)更可靠更安全。minicloud管理平臺可便捷的對minicloud進(jìn)行管理，包括用戶的管理、存儲的管理、運(yùn)行狀態(tài)的管理等。 cStor存儲性能cStor云存儲系統(tǒng)的性能指標(biāo)如下表所示：表32 cStor云存儲性能指標(biāo)cStor云存儲系統(tǒng)軟件性能指標(biāo)主特性子特性功能說明高可用保證主備雙機(jī)能夠在主元數(shù)據(jù)服務(wù)器故障情況下自動切換至備用元數(shù)據(jù)服務(wù)器，對外服務(wù)不停止空間掛載（接口開放性）Windows掛載運(yùn)行Windows客戶端程序，在Windows系統(tǒng)上顯示為一本地海量磁盤Linux/Unix/FreeBS/MacOS掛載運(yùn)行Linux/Unix/FreeBS/MacOS掛載程序，在系統(tǒng)上對應(yīng)為一本地目錄可靠性保證元數(shù)據(jù)日志元數(shù)據(jù)日志本地持久化，可根據(jù)元數(shù)據(jù)日志恢復(fù)元數(shù)據(jù)元數(shù)據(jù)日志備份支持元數(shù)據(jù)日志異機(jī)備份，可根據(jù)備份日志恢復(fù)元數(shù)據(jù)塊數(shù)據(jù)備份采用副本冗余方式或編解碼方式容錯，當(dāng)磁盤損壞副本數(shù)減少時，系統(tǒng)自動重建副本數(shù)到配置的值，保證數(shù)據(jù)安全可靠、服務(wù)不間斷空間利用率磁盤有效容量系統(tǒng)N+M編解碼配置下，磁盤有效容量=N/(N+M)裸容量，如8+2編碼情況下，磁盤利用率為80%。若采用傳統(tǒng)副本方式1：N容錯，則磁盤有效容量為1/(1+N)裸容量。高性能保證吞吐量系統(tǒng)整體吞吐量隨系統(tǒng)規(guī)模增加呈線性增長寫性能單客戶端寫性能高于100MB/s讀性能單客戶端讀性能高于80MB/s動態(tài)擴(kuò)展存儲節(jié)點動態(tài)擴(kuò)展能夠在不停止服務(wù)的情況下進(jìn)行擴(kuò)容或收縮規(guī)模，在線增加和減少存儲節(jié)點訪問接口支持支持POSIX規(guī)范支持掛載為Linux/Unix本地文件目錄或Windows磁盤，用戶使用和操作與本地文件系統(tǒng)相同支持FTP訪問支持FTP訪問方式支持NFS訪問支持NFS訪問方式支持CIFS訪問支持CIFS訪問方式存儲節(jié)點可兼作服務(wù)節(jié)點存儲節(jié)點可兼作服務(wù)節(jié)點存儲節(jié)點可兼作服務(wù)節(jié)點，對外提供數(shù)據(jù)訪問服務(wù)負(fù)載均衡負(fù)載自動均衡根據(jù)空間利用情況進(jìn)行負(fù)載均衡流量分擔(dān)并發(fā)訪問時流量自動分擔(dān)并發(fā)訪問時流量自動分擔(dān)至不同的存儲節(jié)點安全性身份標(biāo)識和鑒別系統(tǒng)的管理監(jiān)控中心具有身份標(biāo)識和鑒別功能正常訪問控制系統(tǒng)具有對系統(tǒng)正常訪問的控制能力屏蔽非法操作系統(tǒng)具有對未預(yù)期的非法操作的控制能力數(shù)據(jù)備份和恢復(fù)系統(tǒng)可以配置備份因子，設(shè)置數(shù)據(jù)存儲的份數(shù)日志管理系統(tǒng)元數(shù)據(jù)服務(wù)器具有日志功能管理監(jiān)控設(shè)備監(jiān)控監(jiān)控設(shè)備的運(yùn)行狀態(tài)磁盤監(jiān)控監(jiān)控設(shè)備的磁盤狀態(tài)空間監(jiān)控監(jiān)控系統(tǒng)的空間使用狀態(tài)文件監(jiān)控監(jiān)控和統(tǒng)計系統(tǒng)的文件狀態(tài)塊級監(jiān)控監(jiān)控系統(tǒng)的數(shù)據(jù)塊狀態(tài)、壞塊統(tǒng)計和定位 PaaS層cProc云處理 JobKeeper云調(diào)度如何保證在云計算平臺中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正常運(yùn)行；如何保證在云計算平臺中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù)，同時能夠完全解決系統(tǒng)單點故障問題，負(fù)載均衡，自動調(diào)度與部署的高效云調(diào)度平臺，JobKeeper服務(wù)器最大的作用即是解決云計算系統(tǒng)中的單點故障和任務(wù)調(diào)度的問題。 Jobkeeper系統(tǒng)架構(gòu)Jobkeeper的系統(tǒng)架構(gòu)如下圖所示：圖38 Jobkeeper架構(gòu)圖上圖中對Jobkeeper進(jìn)行了分層，對每層進(jìn)行具體闡述216。 虛擬化資源層：將機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。216。 存儲層：存儲數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。216。 數(shù)據(jù)處理層：獨立的數(shù)據(jù)處理程序，是對不同需求數(shù)據(jù)的統(tǒng)一處理方案，由JobKeeper調(diào)度平臺進(jìn)行統(tǒng)一的配置管理。216。 業(yè)務(wù)層：對于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化劃分，形成統(tǒng)一的處理化模式。216。 應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。是整個系統(tǒng)面向用戶和開發(fā)人員的基礎(chǔ)承載。 Jobkeeper任務(wù)分發(fā)JobKeeper的任務(wù)分發(fā)流程如下圖所示： 圖 39 JobKeeper任務(wù)分發(fā)流程圖當(dāng)用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點，管理節(jié)點調(diào)度機(jī)器處理任務(wù)，將任務(wù)扔給具體的處理節(jié)點，處理節(jié)點將結(jié)果返回給管理節(jié)點，管理節(jié)點整理結(jié)果，而后返回給應(yīng)用層。服務(wù)器節(jié)點組：負(fù)責(zé)對處理節(jié)點的系統(tǒng)信息以及任務(wù)處理信息進(jìn)行實時的跟蹤和保存，對應(yīng)的信息鏡像存儲在基于cStor或者NFS服務(wù)的存儲系統(tǒng)上。處理節(jié)點組：通過RPC的遠(yuǎn)程調(diào)用獲取各自節(jié)點的任務(wù)處理目標(biāo)，并實時的和處理節(jié)點上的任務(wù)處理目標(biāo)進(jìn)行對比，控制程序的執(zhí)行和結(jié)束。處理節(jié)點組會在一個設(shè)定的心跳間隔內(nèi)主動的和管理節(jié)點組聯(lián)系一次，報告節(jié)點存活狀態(tài)。 Jobkeeper優(yōu)勢分析216。 高可靠性： 采用“多主多備，負(fù)載均衡”的管理節(jié)點，從而保證無論管理節(jié)點還是處理節(jié)點都不存在任何單點故障問題。216。 低依賴性：采用模塊化設(shè)計思想，通過統(tǒng)一化配置和API接口的方式向用戶提供服務(wù)。216。 低干預(yù)性：采用基于事件化的統(tǒng)一管理模式。在系統(tǒng)無人值守的情況下自動完成故障處理等功能。216。 高實時性：在機(jī)器性能允許的范圍內(nèi)，所有任務(wù)的控制工作基本都在秒級完成，具有前所未有的高效性。 Jobkeeper故障處理機(jī)制圖310 JobKeeper故障處理當(dāng)任務(wù)處理節(jié)點宕機(jī)，或者該任務(wù)被初始化時，系統(tǒng)產(chǎn)生相應(yīng)錯誤，繼而該任務(wù)會返還到任務(wù)調(diào)度層交給調(diào)度節(jié)點重新分配。如果任務(wù)處理節(jié)點宕機(jī)或者子任務(wù)出現(xiàn)未知錯誤，那么該任務(wù)將返回到任務(wù)處理節(jié)點上，由任務(wù)節(jié)點機(jī)器重新分配該子任務(wù)。而所有的任務(wù)信息和處理節(jié)點信息都會定時寫入到磁盤文件，因此，不會出現(xiàn)做了一半的任務(wù)終止后需要重新執(zhí)行的問題，系統(tǒng)會自動根據(jù)上次執(zhí)行的情況將錯誤前的狀態(tài)遷移到另一臺處理節(jié)點上，使整個任務(wù)繼續(xù)進(jìn)行下去。由于JobKeeper主節(jié)點由多臺組成，互為主備，熱備鏡像。當(dāng)工作的主節(jié)點發(fā)生故障時，備用的會自動進(jìn)行接替，成為新的主節(jié)點，確保處理任務(wù)不會中斷，服務(wù)不會停止。 cProc數(shù)據(jù)立方 簡介2012年11月，南京云創(chuàng)存儲科技有限公司推出了獨立開發(fā)的數(shù)據(jù)立方大數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)是南京云創(chuàng)存儲的專有技術(shù)，屬于當(dāng)前流行的大數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)來自方方面面，從搜集天氣情況的感測器，接入社交媒體網(wǎng)站的指令，數(shù)碼圖片，在線的視頻資料，到網(wǎng)絡(luò)購物的交易記錄，手機(jī)的全球定位系統(tǒng)信號等等。隨著數(shù)據(jù)規(guī)模的急劇膨脹，各行業(yè)累積的數(shù)據(jù)量越來越巨大，數(shù)據(jù)類型也越來越多、越來越復(fù)雜，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)、處理模式的能力范圍，于是“大數(shù)據(jù)”這樣一個在含義上趨近于“無窮大”的概念才會應(yīng)運(yùn)而生。大數(shù)據(jù)具有四方面特征，“首先在于體量大，是一個數(shù)據(jù)全集的概念， 第二是類型多，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等多種類型，其中視頻數(shù)據(jù)在目前占到了90%以上的總額；第三要求速度快，需要以秒級為目標(biāo)進(jìn)行實時動態(tài)處理。最后在于價值密度，由于大量有用和可能沒用的數(shù)據(jù)并存，遍地是金子，又遍地是沙子”，所以大數(shù)據(jù)的目的就在于從龐大的數(shù)據(jù)集合中找尋有價值的數(shù)據(jù)和知識，通過分析挖掘為各行業(yè)提供真正的智慧。大數(shù)據(jù)給我們帶來了很多現(xiàn)實中的難題，為了解決這些難題我們需要新的技術(shù)變革，需要新一代的數(shù)據(jù)庫技術(shù)，此被稱之為大數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)處理技術(shù)被設(shè)計用于在成本可承受的條件下，通過非常快速的采集、發(fā)現(xiàn)和分析，從大量化、多類別的數(shù)據(jù)中提取價值，將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)。簡單一點講，大數(shù)據(jù)處理技術(shù)其實是一系列技術(shù)的集合，大致可以分為負(fù)責(zé)數(shù)據(jù)存儲與管理的下一代數(shù)據(jù)庫技術(shù)，負(fù)責(zé)數(shù)據(jù)搜素、處理的下一代搜索引擎，以及基于該搜索引擎的下一代數(shù)據(jù)分析產(chǎn)品。 主要特征數(shù)據(jù)立方通用云數(shù)據(jù)庫是搭建在云存儲系統(tǒng)上，對業(yè)務(wù)層直接提供對外開發(fā)接口和數(shù)據(jù)傳輸接口的分布式數(shù)據(jù)處理平臺。數(shù)據(jù)立方通用云數(shù)據(jù)庫包括一種處理海量數(shù)據(jù)的并行編程模型和計算框架，用于對大規(guī)模數(shù)據(jù)集的并行計算。下圖為其系統(tǒng)架構(gòu)：圖311 數(shù)據(jù)立方邏輯圖云存儲層包括公司自主研發(fā)的云儲存系統(tǒng)cStor和apache開源云儲存系統(tǒng)HDFS；而在數(shù)據(jù)管理層中，包含數(shù)據(jù)立方、Hbase；數(shù)據(jù)處理層包含JobKeeper和MapReduce；最后的監(jiān)控協(xié)調(diào)層則包括zookeeper和Chukwa來實現(xiàn)對整個系統(tǒng)的實時監(jiān)控和數(shù)據(jù)管理。 cProc云計算平臺通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個節(jié)點實現(xiàn)數(shù)據(jù)處理,每個節(jié)點會周期性的把完成的工作和狀態(tài)的更新報告回來。隨著節(jié)點的增多，cProc云計算平臺的處理能力將成倍數(shù)增長。cProc支持100GBps以上量級的數(shù)據(jù)流實時索引，1秒內(nèi)響應(yīng)客戶請求，秒級完成數(shù)據(jù)處理、查詢和分析工作。數(shù)據(jù)立方的主要特征有：216。 實時性平臺在高效率并行分布式軟件的支撐下，可以實時完成數(shù)據(jù)處理和分析工作，如數(shù)據(jù)處理、數(shù)據(jù)查詢、和統(tǒng)計分析等。數(shù)據(jù)處理不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)