【文章內(nèi)容簡(jiǎn)介】 tainer提交給它所在節(jié)點(diǎn)的NM，NM采用此資源容器運(yùn)行任務(wù)。實(shí)際上，Container是一種使用資源的“授權(quán)”，AM得到此授權(quán)后，在NM的管理下，可以運(yùn)行任何進(jìn)程（包括非Java應(yīng)用，）。 二、 Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，處理能力強(qiáng)而且成本低廉。主要特點(diǎn)：存儲(chǔ)方式是將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表。提供類SQL語言，實(shí)現(xiàn)完整的SQL查詢功能?？梢詫QL語句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。三、 HBaseHBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫(kù)，它不同于一般的關(guān)系數(shù)據(jù)庫(kù),是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。另一個(gè)不同的是HBase基于列的而 不是基于行的模式。HBase使用和 BigTable非常相同的數(shù)據(jù)模型。用戶存儲(chǔ)數(shù)據(jù)行在一個(gè)表里。一個(gè)數(shù)據(jù)行擁有一個(gè)可選擇的鍵和任意數(shù)量的列，一個(gè)或多個(gè)列組成一個(gè) ColumnFamily，一個(gè)Fmaily下的列位于一個(gè)HFile中，易于緩存數(shù)據(jù)。表是疏松的存儲(chǔ)的，因此用戶可以給行定義各種不同的列。在 HBase中數(shù)據(jù)按主鍵排序，同時(shí)表按主鍵劃分為多個(gè)HRegion，如下圖所示（HBase數(shù)據(jù)表結(jié)構(gòu)圖）：四. Sqoop是一款開源的工具，主要用于在HADOOP(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(mysql、oracle...)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（例如 ： MySQL ,Oracle ,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。Spark與Hadoop的對(duì)比　　◆ Spark的中間數(shù)據(jù)放到內(nèi)存中，對(duì)于迭代運(yùn)算效率更高?！　park更適合于迭代運(yùn)算比較多的ML和DM運(yùn)算。因?yàn)樵赟park里面，有RDD的抽象概念?！　　?Spark比Hadoop更通用?！　park提供的數(shù)據(jù)集操作類型有很多種，不像Hadoop只提供了Map和Reduce兩種操作。比如map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues, sort,partionBy等多種操作類型，Spark把這些操作稱為Transformations。同時(shí)還提供Count, collect, reduce, lookup, save等多種actions操作。Spark的mllib支持機(jī)器學(xué)習(xí)?！　∵@些多種多樣的數(shù)據(jù)集操作類型，給給開發(fā)上層應(yīng)用的用戶提供了方便。各個(gè)處理節(jié)點(diǎn)之間的通信模型不再像Hadoop那樣就是唯一的Data Shuffle一種模式。用戶可以命名，物化，控制中間結(jié)果的存儲(chǔ)、分區(qū)等?？梢哉f編程模型比Hadoop更靈活?！　〔贿^由于RDD的特性，Spark不適用那種異步細(xì)粒度更新狀態(tài)的應(yīng)用，例如web服務(wù)的存儲(chǔ)或者是增量的web爬蟲和索引。就是對(duì)于那種增量修改的應(yīng)用模型不適合?！　　?容錯(cuò)性?！　≡诜植际綌?shù)據(jù)集計(jì)算時(shí)通過checkpoint來實(shí)現(xiàn)容錯(cuò)，而checkpoint有兩種方式，一個(gè)是checkpoint data，一個(gè)是logging the updates。用戶可以控制采用哪種方式來實(shí)現(xiàn)容錯(cuò)?！　　?可用性?！　park通過提供豐富的Scala, Java，Python API及交互式Shell來提高可用性?！　park與Hadoop的結(jié)合　　◆ Spark可以直接對(duì)HDFS進(jìn)行數(shù)據(jù)的讀寫，同樣支持Spark on YARN。Spark可以與MapReduce運(yùn)行于同集群中，共享存儲(chǔ)資源與計(jì)算，數(shù)據(jù)倉(cāng)庫(kù)Shark實(shí)現(xiàn)上借用Hive，幾乎與Hive完全兼容?！　park的適用場(chǎng)景　　◆ Spark是基于內(nèi)存的迭代計(jì)算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場(chǎng)合。需要反復(fù)操作的次數(shù)越多，所需讀取的數(shù)據(jù)量越大，受益越大，數(shù)據(jù)量小但是計(jì)算密集度較大的場(chǎng)合，受益就相對(duì)較小　　◆ 由于RDD的特性，Spark不適用那種異步細(xì)粒度更新狀態(tài)的應(yīng)用，例如web服務(wù)的存儲(chǔ)或者是增量的web爬蟲和索引。就是對(duì)于那種增量修改的應(yīng)用模型不適合。 　　◆ 總的來說Spark的適用面比較廣泛且比較通用。 大數(shù)據(jù)存儲(chǔ)設(shè)計(jì)采用浪潮AS13000存儲(chǔ)大數(shù)據(jù)，支持容量、性能的在線無限擴(kuò)展，提供軟硬件故障情況下的數(shù)據(jù)重建、遠(yuǎn)程容災(zāi)功能，是適用于云計(jì)算、大數(shù)據(jù)業(yè)務(wù)并兼具高性能、高可靠、高可擴(kuò)展、大容量特征的新一代存儲(chǔ)系統(tǒng)平臺(tái)，具有以下特點(diǎn)：。海量存儲(chǔ)，在線橫向擴(kuò)展：　　，所有控制器并行承擔(dān)數(shù)據(jù)IO、保障系統(tǒng)整體負(fù)載均衡，數(shù)據(jù)分散存儲(chǔ)，避免單控制器故障帶來的風(fēng)險(xiǎn)和性能的瓶頸，支持控制器在線橫向擴(kuò)展，滿足持續(xù)增長(zhǎng)的容量和性能需求?！　。⑶抑С諷AN、NAS、Object同時(shí)運(yùn)行，滿足客戶在不同時(shí)間、不同地點(diǎn)、不同業(yè)務(wù)對(duì)存儲(chǔ)的不同需求，支持Windows、Linux、Unix等多種操作系統(tǒng)并存的復(fù)雜網(wǎng)絡(luò)環(huán)境中，輕松實(shí)現(xiàn)跨操作系統(tǒng)的數(shù)據(jù)存儲(chǔ)與共享，另外支持NFS/CIFS/FTP等多種文件共享協(xié)議?！　。С?Gb/10Gb iSCSI、40Gb/56Gb InfiniBand主機(jī)連接，無縫接入用戶現(xiàn)有環(huán)境，滿足客戶對(duì)高帶寬及高性能的差異化需求。　　 /SSD/SAS/SATA各類常見存儲(chǔ)介質(zhì)，模塊化的容量擴(kuò)展模式，支持?jǐn)?shù)據(jù)分級(jí)存儲(chǔ)，滿足各類型應(yīng)用?！　?shù)據(jù)持續(xù)保護(hù)，業(yè)務(wù)運(yùn)行無憂：　　、數(shù)據(jù)快照功能、快照回滾、遠(yuǎn)程卷復(fù)制（同步/異步）、遠(yuǎn)程數(shù)據(jù)復(fù)制及恢復(fù)、邏輯分區(qū)動(dòng)態(tài)擴(kuò)容?！　　?shù)據(jù)糾刪碼、自動(dòng)分層等多種數(shù)據(jù)冗余保護(hù)和性能加速功能，為用戶提供高級(jí)別的數(shù)據(jù)保護(hù)及容災(zāi)功能。　　、ActiveStandby、全局熱備等控制器工作模式，保障整體系統(tǒng)的高可用，確保數(shù)據(jù)存取及業(yè)務(wù)運(yùn)行萬無一失?！　?，%?！　∧K化設(shè)計(jì)，人性化管理　　，客戶按需選擇，維護(hù)、升級(jí)、管理簡(jiǎn)單方便：　　、全局熱備，以及自動(dòng)構(gòu)建RAID、各RAID級(jí)別間執(zhí)行在線遷移不影響正常數(shù)據(jù)應(yīng)用　　，當(dāng)系統(tǒng)出現(xiàn)異常時(shí)，除了通過機(jī)器指示燈報(bào)警外，可通過郵件等方式將異常狀況及時(shí)通知管理員　　，統(tǒng)一管理　　綠色節(jié)能：　　1）.全系統(tǒng)選取節(jié)能降耗的處理器、芯片組、風(fēng)扇和散熱片等部件，提高系統(tǒng)的能效利用率。　　2）.支持在線擴(kuò)容/縮減時(shí)數(shù)據(jù)自動(dòng)遷移，確保系統(tǒng)按需配置，同時(shí)支持Maid磁盤節(jié)能技術(shù)，降低磁盤能耗，節(jié)約開支?！　?）.支持自動(dòng)精簡(jiǎn)技術(shù)，大大提高存儲(chǔ)資源利用率。 安全設(shè)計(jì)一. 采用浪潮SSR主機(jī)安全增強(qiáng)系統(tǒng)，這是一款基于操作系統(tǒng)內(nèi)核層開發(fā)的安全加固軟件。與傳統(tǒng)的防火墻、IDS/IPS不同，SSR工作在最貼近用戶數(shù)據(jù)的操作系統(tǒng)層面，不僅可以避免外部的黑客攻擊，同樣可以預(yù)防來自內(nèi)網(wǎng)攻擊的風(fēng)險(xiǎn)。該產(chǎn)品彌補(bǔ)了傳統(tǒng)信息安全解決方案在主機(jī)層安全的“短板”，與傳統(tǒng)信息安全產(chǎn)品形成了良好的互補(bǔ)，提升操作系統(tǒng)的安全級(jí)別，從而達(dá)到國(guó)家等級(jí)保護(hù)的三級(jí)要求。為客戶構(gòu)建真正的安全長(zhǎng)城?！　」δ芴匦裕骸　?強(qiáng)制訪問控制　　在操作系統(tǒng)內(nèi)核層實(shí)現(xiàn)文件、注冊(cè)表、進(jìn)程、服務(wù)、網(wǎng)絡(luò)等對(duì)象的強(qiáng)制訪問控制，可配置針對(duì)以上對(duì)象不同的訪問策略來保護(hù)系統(tǒng)和應(yīng)用資源，即使是系統(tǒng)管理員也不能破壞被保護(hù)的資源。　　完整性檢測(cè)　　對(duì)文件和服務(wù)進(jìn)行完整性檢測(cè)，并可設(shè)置定期檢測(cè)項(xiàng)目，當(dāng)發(fā)現(xiàn)文件或者服務(wù)篡改時(shí)進(jìn)行報(bào)警并發(fā)現(xiàn)哪些文件發(fā)生改變?！　》栏袷交　”Ｗo(hù)功能開啟時(shí)，可防止病毒和入侵者惡意格式化磁盤，同時(shí)降低管理員意外格式化磁盤的風(fēng)險(xiǎn)。　　系統(tǒng)資源監(jiān)控與報(bào)警:　　對(duì)系統(tǒng)的CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)資源進(jìn)行監(jiān)控，當(dāng)這些資源的使用狀況超過設(shè)置的閥值時(shí)將進(jìn)行報(bào)警，以提前發(fā)現(xiàn)資源不足、濫用等問題?！　‰p因子認(rèn)證和組合式密碼認(rèn)證　　不僅提供SSR安全管理員和SSR審計(jì)官員的USB KEY+密碼的雙因子認(rèn)證功能，還可對(duì)系統(tǒng)用戶配發(fā)USB KEY實(shí)現(xiàn)雙因子認(rèn)證。對(duì)于遠(yuǎn)程登陸和虛擬化系統(tǒng)而無法識(shí)別USB KEY的服務(wù)器，SSR提供可配置兩個(gè)密碼組合的登陸認(rèn)證方式，只有掌握密碼的兩個(gè)人同時(shí)存在才能登陸系統(tǒng)，以此確保自然人的可信?！　∽晕冶Ｗo(hù)　　SSR采用內(nèi)核密封技術(shù)和完整性保護(hù)技術(shù)來保證SSR的文件不被惡意篡改，進(jìn)程不被惡意注入?！　〗y(tǒng)一管理　　在一個(gè)SSR控制臺(tái)可以同時(shí)對(duì)多個(gè)平臺(tái)的SSR進(jìn)行管理和維護(hù)，且SSR可開放接口給第三方管理平臺(tái)集成，實(shí)現(xiàn)與不同產(chǎn)品間管理的融合。　　靈活多樣的策略模板　　提供經(jīng)過驗(yàn)證的分等級(jí)的安全策略模板，全面保護(hù)系統(tǒng)，方便易用，降低用戶的使用難度?！　【S護(hù)模式當(dāng)用戶擔(dān)心自己配置的策略是否會(huì)影響系統(tǒng)和應(yīng)用時(shí)，可開啟此功能，此時(shí)SSR將只記錄違規(guī)的日志而不進(jìn)行阻止，便于管理員在不造成業(yè)務(wù)中斷的情況下調(diào)整策略。功能亮點(diǎn)：　　免疫病毒木馬，抵御黑客攻擊　　SSR采用的ROST技術(shù)對(duì)系統(tǒng)中的文件、注冊(cè)表、進(jìn)程、網(wǎng)絡(luò)、服務(wù)、帳戶等多方面進(jìn)行防護(hù)構(gòu)建立體防護(hù)體系，從文件創(chuàng)建、執(zhí)行、訪問資源到結(jié)束層層把關(guān)，從根本上免疫各種已知未知病毒、后門等惡意代碼，抵御黑客的攻擊，確保系統(tǒng)和應(yīng)用安全穩(wěn)定運(yùn)行?！　〗档汀傲闳章┒础憋L(fēng)險(xiǎn)，延遲漏洞修復(fù)　　SSR采用強(qiáng)制訪問控制和白名單機(jī)制，只允許可信的帳戶和進(jìn)程訪問被保護(hù)資源，并對(duì)操作系統(tǒng)中重要二進(jìn)制文件進(jìn)行完整性保護(hù)。即使惡意代碼利用漏洞獲取了系統(tǒng)的權(quán)限，也不能破壞系統(tǒng)文件和植入木馬，降低了從“零日漏洞”發(fā)現(xiàn)到用戶打上補(bǔ)丁之間這段“真空期”的安全風(fēng)險(xiǎn)，同時(shí)允許用戶延遲補(bǔ)丁部署，推遲到定期修補(bǔ)周期進(jìn)行修補(bǔ)?！　》謾?quán)管理，有效規(guī)避“一權(quán)獨(dú)大“　　SSR采用了分權(quán)管理的機(jī)制，規(guī)避了原操作系統(tǒng)管理員“一權(quán)獨(dú)大”的風(fēng)險(xiǎn)，將原系統(tǒng)管理員權(quán)限分散為系統(tǒng)操作員、安全管理員和審計(jì)管理員，三個(gè)權(quán)限各司其職，相互制約，實(shí)現(xiàn)了最小權(quán)限，不僅保證了系統(tǒng)安全性，同時(shí)貼合了國(guó)家相關(guān)信息安全標(biāo)準(zhǔn)規(guī)范。　　提升系統(tǒng)安全級(jí)別，增強(qiáng)用戶合規(guī)體驗(yàn)　　SSR在操作系統(tǒng)內(nèi)核層實(shí)現(xiàn)了安全標(biāo)記和強(qiáng)制訪問控制機(jī)制，與用戶系統(tǒng)自身的自主訪問控制相融合，為系統(tǒng)和用戶重要應(yīng)用提供更強(qiáng)的約束和更高的安全控制級(jí)別，同時(shí)提供三權(quán)分立、完整性校驗(yàn)、雙因素認(rèn)證、剩余信息保護(hù)等緊貼信息安全標(biāo)準(zhǔn)的功能，幫助用戶在系統(tǒng)安全建設(shè)時(shí)的合規(guī)要求?！　〗y(tǒng)一管理機(jī)制，化繁為簡(jiǎn)管理員可以從任何地方通過雙因子身份認(rèn)證后，對(duì)所有被保護(hù)的服務(wù)器進(jìn)行安全策略制定和維護(hù)，實(shí)現(xiàn)集中管理，減少日常維護(hù)工作量 。二． 采用浪潮SSA安全應(yīng)用交付硬件系統(tǒng)，特點(diǎn)是：　1. 豐富的應(yīng)用負(fù)載均衡功能，保障數(shù)據(jù)中心應(yīng)用