【文章內容簡介】 tainer提交給它所在節(jié)點的NM，NM采用此資源容器運行任務。實際上，Container是一種使用資源的“授權”，AM得到此授權后，在NM的管理下，可以運行任何進程（包括非Java應用，）。 二、 Hive是基于Hadoop的一個數(shù)據倉庫工具，處理能力強而且成本低廉。主要特點：存儲方式是將結構化的數(shù)據文件映射為一張數(shù)據庫表。提供類SQL語言，實現(xiàn)完整的SQL查詢功能?？梢詫QL語句轉換為MapReduce任務運行，十分適合數(shù)據倉庫的統(tǒng)計分析。三、 HBaseHBase是一個分布式的、面向列的開源數(shù)據庫，它不同于一般的關系數(shù)據庫,是一個適合于非結構化數(shù)據存儲的數(shù)據庫。另一個不同的是HBase基于列的而 不是基于行的模式。HBase使用和 BigTable非常相同的數(shù)據模型。用戶存儲數(shù)據行在一個表里。一個數(shù)據行擁有一個可選擇的鍵和任意數(shù)量的列，一個或多個列組成一個 ColumnFamily，一個Fmaily下的列位于一個HFile中，易于緩存數(shù)據。表是疏松的存儲的，因此用戶可以給行定義各種不同的列。在 HBase中數(shù)據按主鍵排序，同時表按主鍵劃分為多個HRegion，如下圖所示（HBase數(shù)據表結構圖）：四. Sqoop是一款開源的工具，主要用于在HADOOP(Hive)與傳統(tǒng)的數(shù)據庫(mysql、oracle...)間進行數(shù)據的傳遞，可以將一個關系型數(shù)據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數(shù)據導進到Hadoop的HDFS中，也可以將HDFS的數(shù)據導進到關系型數(shù)據庫中。Spark與Hadoop的對比　　◆ Spark的中間數(shù)據放到內存中，對于迭代運算效率更高?！　park更適合于迭代運算比較多的ML和DM運算。因為在Spark里面，有RDD的抽象概念?！　　?Spark比Hadoop更通用?！　park提供的數(shù)據集操作類型有很多種，不像Hadoop只提供了Map和Reduce兩種操作。比如map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues, sort,partionBy等多種操作類型，Spark把這些操作稱為Transformations。同時還提供Count, collect, reduce, lookup, save等多種actions操作。Spark的mllib支持機器學習。　　這些多種多樣的數(shù)據集操作類型，給給開發(fā)上層應用的用戶提供了方便。各個處理節(jié)點之間的通信模型不再像Hadoop那樣就是唯一的Data Shuffle一種模式。用戶可以命名，物化，控制中間結果的存儲、分區(qū)等。可以說編程模型比Hadoop更靈活。　　不過由于RDD的特性，Spark不適用那種異步細粒度更新狀態(tài)的應用，例如web服務的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應用模型不適合?！　　?容錯性?！　≡诜植际綌?shù)據集計算時通過checkpoint來實現(xiàn)容錯，而checkpoint有兩種方式，一個是checkpoint data，一個是logging the updates。用戶可以控制采用哪種方式來實現(xiàn)容錯。　　◆ 可用性?！　park通過提供豐富的Scala, Java，Python API及交互式Shell來提高可用性?！　park與Hadoop的結合　　◆ Spark可以直接對HDFS進行數(shù)據的讀寫，同樣支持Spark on YARN。Spark可以與MapReduce運行于同集群中，共享存儲資源與計算，數(shù)據倉庫Shark實現(xiàn)上借用Hive，幾乎與Hive完全兼容?！　park的適用場景　　◆ Spark是基于內存的迭代計算框架，適用于需要多次操作特定數(shù)據集的應用場合。需要反復操作的次數(shù)越多，所需讀取的數(shù)據量越大，受益越大，數(shù)據量小但是計算密集度較大的場合，受益就相對較小　　◆ 由于RDD的特性，Spark不適用那種異步細粒度更新狀態(tài)的應用，例如web服務的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應用模型不適合。 　　◆ 總的來說Spark的適用面比較廣泛且比較通用。 大數(shù)據存儲設計采用浪潮AS13000存儲大數(shù)據，支持容量、性能的在線無限擴展，提供軟硬件故障情況下的數(shù)據重建、遠程容災功能，是適用于云計算、大數(shù)據業(yè)務并兼具高性能、高可靠、高可擴展、大容量特征的新一代存儲系統(tǒng)平臺，具有以下特點：。海量存儲，在線橫向擴展：　　，所有控制器并行承擔數(shù)據IO、保障系統(tǒng)整體負載均衡，數(shù)據分散存儲，避免單控制器故障帶來的風險和性能的瓶頸，支持控制器在線橫向擴展，滿足持續(xù)增長的容量和性能需求?！　?，并且支持SAN、NAS、Object同時運行，滿足客戶在不同時間、不同地點、不同業(yè)務對存儲的不同需求，支持Windows、Linux、Unix等多種操作系統(tǒng)并存的復雜網絡環(huán)境中，輕松實現(xiàn)跨操作系統(tǒng)的數(shù)據存儲與共享，另外支持NFS/CIFS/FTP等多種文件共享協(xié)議?！　?，支持1Gb/10Gb iSCSI、40Gb/56Gb InfiniBand主機連接，無縫接入用戶現(xiàn)有環(huán)境，滿足客戶對高帶寬及高性能的差異化需求?！　?/SSD/SAS/SATA各類常見存儲介質，模塊化的容量擴展模式，支持數(shù)據分級存儲，滿足各類型應用?！　?shù)據持續(xù)保護，業(yè)務運行無憂：　　、數(shù)據快照功能、快照回滾、遠程卷復制（同步/異步）、遠程數(shù)據復制及恢復、邏輯分區(qū)動態(tài)擴容?！　　?shù)據糾刪碼、自動分層等多種數(shù)據冗余保護和性能加速功能，為用戶提供高級別的數(shù)據保護及容災功能?！　　ctiveStandby、全局熱備等控制器工作模式，保障整體系統(tǒng)的高可用，確保數(shù)據存取及業(yè)務運行萬無一失。　　，%。　　模塊化設計，人性化管理　　，客戶按需選擇，維護、升級、管理簡單方便：　　、全局熱備，以及自動構建RAID、各RAID級別間執(zhí)行在線遷移不影響正常數(shù)據應用　　，當系統(tǒng)出現(xiàn)異常時，除了通過機器指示燈報警外，可通過郵件等方式將異常狀況及時通知管理員　　，統(tǒng)一管理　　綠色節(jié)能：　　1）.全系統(tǒng)選取節(jié)能降耗的處理器、芯片組、風扇和散熱片等部件，提高系統(tǒng)的能效利用率。　　2）.支持在線擴容/縮減時數(shù)據自動遷移，確保系統(tǒng)按需配置，同時支持Maid磁盤節(jié)能技術，降低磁盤能耗，節(jié)約開支?！　?）.支持自動精簡技術，大大提高存儲資源利用率。 安全設計一. 采用浪潮SSR主機安全增強系統(tǒng)，這是一款基于操作系統(tǒng)內核層開發(fā)的安全加固軟件。與傳統(tǒng)的防火墻、IDS/IPS不同，SSR工作在最貼近用戶數(shù)據的操作系統(tǒng)層面，不僅可以避免外部的黑客攻擊，同樣可以預防來自內網攻擊的風險。該產品彌補了傳統(tǒng)信息安全解決方案在主機層安全的“短板”，與傳統(tǒng)信息安全產品形成了良好的互補，提升操作系統(tǒng)的安全級別，從而達到國家等級保護的三級要求。為客戶構建真正的安全長城?！　」δ芴匦裕骸　?強制訪問控制　　在操作系統(tǒng)內核層實現(xiàn)文件、注冊表、進程、服務、網絡等對象的強制訪問控制，可配置針對以上對象不同的訪問策略來保護系統(tǒng)和應用資源，即使是系統(tǒng)管理員也不能破壞被保護的資源?！　⊥暾詸z測　　對文件和服務進行完整性檢測，并可設置定期檢測項目，當發(fā)現(xiàn)文件或者服務篡改時進行報警并發(fā)現(xiàn)哪些文件發(fā)生改變?！　》栏袷交　”Ｗo功能開啟時，可防止病毒和入侵者惡意格式化磁盤，同時降低管理員意外格式化磁盤的風險?！　∠到y(tǒng)資源監(jiān)控與報警:　　對系統(tǒng)的CPU、內存、磁盤、網絡資源進行監(jiān)控，當這些資源的使用狀況超過設置的閥值時將進行報警，以提前發(fā)現(xiàn)資源不足、濫用等問題。　　雙因子認證和組合式密碼認證　　不僅提供SSR安全管理員和SSR審計官員的USB KEY+密碼的雙因子認證功能，還可對系統(tǒng)用戶配發(fā)USB KEY實現(xiàn)雙因子認證。對于遠程登陸和虛擬化系統(tǒng)而無法識別USB KEY的服務器，SSR提供可配置兩個密碼組合的登陸認證方式，只有掌握密碼的兩個人同時存在才能登陸系統(tǒng)，以此確保自然人的可信?！　∽晕冶Ｗo　　SSR采用內核密封技術和完整性保護技術來保證SSR的文件不被惡意篡改，進程不被惡意注入。　　統(tǒng)一管理　　在一個SSR控制臺可以同時對多個平臺的SSR進行管理和維護，且SSR可開放接口給第三方管理平臺集成，實現(xiàn)與不同產品間管理的融合。　　靈活多樣的策略模板　　提供經過驗證的分等級的安全策略模板，全面保護系統(tǒng)，方便易用，降低用戶的使用難度。　　維護模式當用戶擔心自己配置的策略是否會影響系統(tǒng)和應用時，可開啟此功能，此時SSR將只記錄違規(guī)的日志而不進行阻止，便于管理員在不造成業(yè)務中斷的情況下調整策略。功能亮點：　　免疫病毒木馬，抵御黑客攻擊　　SSR采用的ROST技術對系統(tǒng)中的文件、注冊表、進程、網絡、服務、帳戶等多方面進行防護構建立體防護體系，從文件創(chuàng)建、執(zhí)行、訪問資源到結束層層把關，從根本上免疫各種已知未知病毒、后門等惡意代碼，抵御黑客的攻擊，確保系統(tǒng)和應用安全穩(wěn)定運行?！　〗档汀傲闳章┒础憋L險，延遲漏洞修復　　SSR采用強制訪問控制和白名單機制，只允許可信的帳戶和進程訪問被保護資源，并對操作系統(tǒng)中重要二進制文件進行完整性保護。即使惡意代碼利用漏洞獲取了系統(tǒng)的權限，也不能破壞系統(tǒng)文件和植入木馬，降低了從“零日漏洞”發(fā)現(xiàn)到用戶打上補丁之間這段“真空期”的安全風險，同時允許用戶延遲補丁部署，推遲到定期修補周期進行修補?！　》謾喙芾恚行б?guī)避“一權獨大“　　SSR采用了分權管理的機制，規(guī)避了原操作系統(tǒng)管理員“一權獨大”的風險，將原系統(tǒng)管理員權限分散為系統(tǒng)操作員、安全管理員和審計管理員，三個權限各司其職，相互制約，實現(xiàn)了最小權限，不僅保證了系統(tǒng)安全性，同時貼合了國家相關信息安全標準規(guī)范?！　√嵘到y(tǒng)安全級別，增強用戶合規(guī)體驗　　SSR在操作系統(tǒng)內核層實現(xiàn)了安全標記和強制訪問控制機制，與用戶系統(tǒng)自身的自主訪問控制相融合，為系統(tǒng)和用戶重要應用提供更強的約束和更高的安全控制級別，同時提供三權分立、完整性校驗、雙因素認證、剩余信息保護等緊貼信息安全標準的功能，幫助用戶在系統(tǒng)安全建設時的合規(guī)要求?！　〗y(tǒng)一管理機制，化繁為簡管理員可以從任何地方通過雙因子身份認證后，對所有被保護的服務器進行安全策略制定和維護，實現(xiàn)集中管理，減少日常維護工作量 。二． 采用浪潮SSA安全應用交付硬件系統(tǒng)，特點是：　1. 豐富的應用負載均衡功能，保障數(shù)據中心應用