【正文】 2) 支持常見的數(shù)據(jù)可視化工具集成，例如Tableau，Pentaho，Zoomdata等。支持Red Flag以及Asianux Server支持常見軟件產(chǎn)品集成。Cloudera還奉獻了約40%的Hadoop代碼修改。作為第一個商業(yè)化Hadoop的軟件供應商，在所有商業(yè)化的Hadoop里，Cloudera的Committer數(shù)量也是最多的。如對開源社區(qū)有代碼貢獻，應提供相應證明資料。我公司的系統(tǒng)實施基于開源的Hadoop技術，首推Cloudera的發(fā)行版本，若甲方有特殊要求也可以選用其它發(fā)行版本。系統(tǒng)采用高可用性集群方案，應能提供724持續(xù)服務，詳細描述應用層和數(shù)據(jù)層面的集群機制、負載均衡或切換機制，并闡述對主流操作系統(tǒng)和集群方式的支持方式。? 數(shù)據(jù)中心間的遠程災備功能Cloudera提供了BDR管理界面方便用戶進行HDFS，Hive，Impala的數(shù)據(jù)備份功能。? HDFS的快照、權限控制以及回收站功能快照是指保存特定時間點的系統(tǒng)狀況，之后如果發(fā)生用戶或者應用的誤操作，可以通過之前保存的快照數(shù)據(jù)恢復。Cloudera平臺中的有全方位的數(shù)據(jù)備份策略，保障數(shù)據(jù)的高可靠性，有三個維度來保障數(shù)據(jù)問題導致的數(shù)據(jù)的不可用：? HDFS固有的分片冗余技術Hadoop在設計是就已經(jīng)考慮集群的容錯，包含磁盤、節(jié)點、網(wǎng)絡和機柜錯誤，任何單一設備的故障不會導致數(shù)據(jù)的不可用，而且HDFS會觸發(fā)自動的數(shù)據(jù)分片恢復過程。應用軟件恢復時間不超過2小時。通過在主機、存儲、網(wǎng)絡、應用等多個層面設置高可用性，可以將系統(tǒng)可用度提升到這個級別?？梢酝ㄟ^平臺本身的快照和備份恢復功能來達到要求。智能化參數(shù)驗證當用戶在配置過程中，部分參數(shù)配置值有問題時，Cloudera Manager會產(chǎn)生錯誤提示，以幫助用戶更合理的修改參數(shù)。實現(xiàn)容錯處理，能夠?qū)Σ僮魅藛T的誤操作進行提示。發(fā)生切換過程時，通過HANA Stuido可以監(jiān)控到各個節(jié)點的狀態(tài)，查看整個切換過程。例如，如果集群中有3個JournalNode，則允許失敗且的節(jié)點數(shù)量是1，且失敗后可繼續(xù)提供服務。QJM集群中允許失敗且失敗后可繼續(xù)提供服務的節(jié)點數(shù)量根據(jù)以下算法計算： 如果你選擇使用Quorum Journal Manager（QJM），則你必須決定QJM集群中有多少節(jié)點。 來自非高可用性集群的DataNode的之前所在目錄不可被刪除。 來自非高可用性集群的DataNode和NameNode在啟用高可用性后，不可從之前所在機架中刪除。 來自非高可用性集群的DataNode和NameNode不可從集群中刪除。 如果你有非高可用性集群且在HDFS中存有數(shù)據(jù)，則你需要決定在啟用高可用性時是否保留這些HDFS數(shù)據(jù)。原因在于Standby NameNode可提供此類檢查點的服務。如果自動故障恢復被啟用，你必須已在集群中安裝了ZooKeeper組件，并指定一個ZooKeeper quorum來處理自動故障恢復。 Cloudera推薦你把JournalNode部署在元數(shù)據(jù)節(jié)點上（Primary NameNode、Standby NameNode、JobTracker等） Standby NameNode和Primary NameNode必須具有相同的硬件配置，包括CPU、內(nèi)存和磁盤大小。Cloudera企業(yè)版推薦客戶使用QJM的方案。hadoop 平臺本身的處理方式?jīng)Q定了不會存在單點故障，出現(xiàn)故障的處理時延在秒級，默認有3個備份，因此允許兩個節(jié)點同時發(fā)生問題。 可靠性和可用性要求不允許存在單點故障，應采用高可靠設計架構，任一節(jié)點出現(xiàn)故障時，不影響應用的正常運行，并在監(jiān)控頁面上對錯誤狀態(tài)進行顯示標識。提供節(jié)點的動態(tài)添加、刪除接口，當數(shù)據(jù)容量或者計算資源不足時，支持通過橫向添加同等配置的服務器的方式，為系統(tǒng)進行在線擴容。通過hadoop自身的balancer命令行工具，可以完成傾斜探測和自動平衡功能，保證平滑擴展和性能的線性增長。支持在線的節(jié)點變動，單個集群可線性擴展不少于500個計算節(jié)點、至少能處理3PB數(shù)據(jù)量，在線增加、刪除節(jié)點時，能支持數(shù)據(jù)和索引的傾斜探測和自動平衡功能，保證平滑擴展和性能的線性增長，詳細說明實施方案。工作量預估為5人天提供對數(shù)據(jù)并行計算的擴展，數(shù)據(jù)自動在集群中進行數(shù)據(jù)并行計算。其主要特性如下：? 靈活：統(tǒng)一的存儲可以存放結(jié)構化，半結(jié)構化及非結(jié)構化數(shù)據(jù)? 可擴展：根據(jù)業(yè)務需要增加PC服務器實現(xiàn)存儲擴容? 容錯：數(shù)據(jù)有多個副本以保障數(shù)據(jù)的可靠性? 開放：基于開源的存儲格式，避免廠商鎖定提供靈活的擴展，如復雜數(shù)據(jù)類型，擴展函數(shù)和腳本等。HDFS針對的使用場景是數(shù)據(jù)讀寫具有“一次寫，多次讀”的特征，而數(shù)據(jù)“寫”操作是順序?qū)?，也就是在文件?chuàng)建時的寫入或者在現(xiàn)有文件之后的添加操作。在HDFS中，NameNode節(jié)點被稱為名字節(jié)點，DataNode節(jié)點被稱為數(shù)據(jù)節(jié)點，DataNode節(jié)點通過心跳機制與NameNode節(jié)點進行定時的通信。一個典型的HDFS集群包含一個NameNode節(jié)點和多個DataNode節(jié)點。它以流式訪問模式訪問應用程序的數(shù)據(jù)，這大大提高了整個系統(tǒng)的數(shù)據(jù)吞吐量，能夠滿足多來源、多類型、海量的數(shù)據(jù)存儲要求，因而非常適用于日志詳單類非結(jié)構化數(shù)據(jù)的存儲。HDFS（ Hadoop Distributed File System），是一個分布式文件系統(tǒng)。詳細說明實現(xiàn)方式。 擴展性要求支持數(shù)據(jù)量彈性伸縮，考慮數(shù)據(jù)量增大或者減小情況，存儲容量能夠動態(tài)不停機擴容，擴容時現(xiàn)有系統(tǒng)可以不間斷正常運行，不受擴容影響。提供具有圖形化的性能調(diào)優(yōu)工具，并提供持續(xù)調(diào)優(yōu)的策略、方法。MapReduce起到了將大事務分散到不同設備處理的能力，這樣原本必須用單臺較強服務器才能運行的任務，在分布式環(huán)境下也能完成了說明節(jié)點間高性能切換的實施方案，說明節(jié)點間切換的極限時間。Map 函數(shù)接受一組數(shù)據(jù)并將其轉(zhuǎn)換為一個鍵/值對列表，輸入域中的每個元素對應一個鍵/值對。MapReduce 是用于并行處理大數(shù)據(jù)集的軟件框架。概念“Map（映射）”和“Reduce（化簡）”，及他們的主要思想，都是從函數(shù)式編程語言借來的，還有從矢量編程語言借來的特性。詳細描述支持多服務器、多CPU、多進程并行、并發(fā)處理數(shù)據(jù)的機制，以及系統(tǒng)解決并行處理方面主要瓶頸和限制因素的措施。hadoop平臺的特點就是隨著節(jié)點數(shù)的增長，性能隨之線性增長。 個 系統(tǒng)級 請求時延10毫秒次數(shù) 請求響應時間小于或等于10毫秒的請求次數(shù) 次 系統(tǒng)級/ 請求時延2000毫秒次數(shù) 請求響應時間小于或等于2000毫秒的請求次數(shù) 次 系統(tǒng)級/ 請求時延2000毫秒以上次數(shù) 請求響應時間大于2000毫秒的請求次數(shù) 次 系統(tǒng)級/ 讀IO次數(shù) 讀IO次數(shù) 次 節(jié)點級 寫IO次數(shù) 寫IO次數(shù) 次 節(jié)點級 IO次數(shù) 節(jié)點IO次數(shù)（讀寫IO次數(shù)總和） 次 節(jié)點級 性能要求支持高性能計算處理，且性能應能隨節(jié)點數(shù)呈線性增長。Cloudera Manager提供多達102類監(jiān)控指標（部分指標見下表），覆蓋所有的服務及功能，包括集群硬件使用情況（網(wǎng)絡、CPU、內(nèi)存以及硬盤等）、服務狀態(tài)等，同時指標按集群級別、主機級別、用戶級別以及表/目錄級別等等分級統(tǒng)計，總指標項上萬，比如：集群指標超過3000個、HBase系統(tǒng)級指標就超過1000個、HDFS系統(tǒng)級指標超過300個等等。日志的收集及檢索 Hadoop集群的每個組件在運行過程中都會存儲日志，并且散落在每個節(jié)點的不同目錄，對于一個大規(guī)模的集群，日志的查看是非常麻煩的，需要一個個節(jié)點去進行查看。Cloudera專門提供了一個集群，能夠?qū)@些數(shù)據(jù)進行分析，查找集群中的潛在風險，以及問題。集群診斷CM在Hadoop集群運行期間，會記錄集群中發(fā)生的事件，例如集群服務的啟停，用戶的操作，性能數(shù)據(jù)等等。以檢測這些服務的狀態(tài)是否正常。告警閾值可配置Cloudera Manager對于每個組件，都提供了監(jiān)控的參數(shù)配置，例如可以設置達到多少閾值的時候，產(chǎn)生warning告警，達到多少閾值的時候產(chǎn)生Critical告警。CM提供了一套類似的SQL的語言，用戶只需要使用這個語言，簡單的編寫類似SQL的語句，就能夠生成自己想要的圖表。節(jié)點級別監(jiān)控CM能夠支持節(jié)點級別的詳細信息查看，包括該節(jié)點的硬件信息：網(wǎng)絡，硬盤等。實時監(jiān)控集群以及服務的狀態(tài)如上圖所示，CM會實時的對集群的各項服務進行監(jiān)控，一旦服務出現(xiàn)了異常，將會產(chǎn)生告警。具備對歷史告警信息的審計功能，告警信息可推送到郵政運維集中監(jiān)控系統(tǒng)巡檢以及信息收集。8) 對介質(zhì)損壞、病毒及人為誤操作引起的破壞性故障進行報警，提供利用備份文件進行恢復的功能。6) 提供軟件產(chǎn)品服務進程的運行情況監(jiān)控，發(fā)生服務失效或宕機的情況予以告警，并提示不能正常運行的服務或進程。5) 提供文件系統(tǒng)使用情況、數(shù)據(jù)庫使用空間的監(jiān)控功能，提供瞬時值和一段時間的變化情況，提供曲線圖。3) 要實時監(jiān)控系統(tǒng)運行情況，及時發(fā)出故障警告，定位故障點。在Cloudera管理界面中提供了滾動升級的向?qū)?，方便管理員進行操作：系統(tǒng)監(jiān)控的要求1) 提供CPU、內(nèi)存、硬盤、網(wǎng)卡等硬件狀態(tài)監(jiān)控以及告警。通過逐個節(jié)點升級的方式，保證集群的對外服務功能，并且最終完成整個集群的升級。其原理是在升級時，首先停掉一個節(jié)點，然后進行升級，然后再啟動，然后循環(huán)的進行下一個節(jié)點的升級。由于Hadoop產(chǎn)品開源，需要不斷升級來保證新近發(fā)現(xiàn)重大bug及時修復，因此通常每3個月需要一次升級或打補丁。這樣會嚴重影響持續(xù)的服務能力。但是，通常業(yè)務系統(tǒng)都是在線的生產(chǎn)系統(tǒng)，需要24小時不間斷的提供對外服務。軟件升級，詳細描述服務器端、客戶端軟件升級的方法、步驟。并且，CM會進行操作提示，以及建議，包括針對這種情況，可以采取的操作，如何定位問題的原因等等列舉支持的主流監(jiān)控平臺，系統(tǒng)應能納入郵政運維監(jiān)控平臺統(tǒng)一監(jiān)控，并說明實現(xiàn)方式。167。167。167。用戶只需要在界面上進行簡單的配置，就能夠達到預期的效果。Hadoop能夠?qū)崿F(xiàn)集群間的數(shù)據(jù)備份與災難恢復工作，但是本身的配置以及實現(xiàn)非常的復雜與繁瑣，不易于使用。167。167。 自定義圖標除了CM默認提供的性能圖表以外，還允許用戶自定義圖表，使得用戶能夠查看自己希望的性能圖表。而且，CM還提供了參數(shù)配置組的概念，配置組主要是應對在實際情況中，可能存在同一個集群，節(jié)點之間存在不同的硬件配置，或者相同配置承擔不同作用的情況，這種情況下不同的節(jié)點可能需要進行不同的參數(shù)配置。CM針對這種情況提供了界面化的參數(shù)配置功能，并且能夠自動的部署到每個節(jié)點。167。安裝一個Hadoop集群大體只需要3個步驟。（）運維管理167。Cloudera Manager為數(shù)據(jù)平臺提供了全方位的管理，監(jiān)控和運維支持。ETL工具目前支持sqoop,datastage,informatica等主流工具。工作量預估為10人天支持主流第三方BI、ETL等工具并說明支持的工具列表。工作量預估為10人天支持ESB、WebService、ODBC、JDBC等多種接口方式，用于系統(tǒng)間互聯(lián)；應支持文本數(shù)據(jù)的導入導出。工作量預估為10人天提供內(nèi)置的服務注冊功能，能夠?qū)⒁延械耐獠縒ebService進行注冊、調(diào)用，同時能夠?qū)⒍x的服務以WebService方式對外暴露，供其它應用調(diào)用。工作量預估為2人天提供多協(xié)議消息處理總線，包含對JMS、SOAP、REST、JDBC、HTTP 、FTP、SFTP、Email等協(xié)議的支持，同時提供協(xié)議開發(fā)的SDK。提供可視化工具實現(xiàn)不同數(shù)據(jù)格式之間的轉(zhuǎn)換定義；能夠?qū)Ω鞣N格式的消息進行處理，包括XML、非XML和非SOAP格式的消息。 集成要求集成外部數(shù)據(jù)平臺和報表平臺，詳細描述系統(tǒng)可集成的外部數(shù)據(jù)平臺（包含數(shù)據(jù)倉庫平臺等）和報表平臺的種類和集成的實現(xiàn)方式、支持的程度。導出文件應支持TXT、WPS、微軟OFFICE、PDF等格式；導入文件應支持TXT、WPS、微軟OFFICE、DBF等格式。工作量預估為5人天共享數(shù)據(jù)方式支持實時或者非實時，如：數(shù)據(jù)總線方式的共享?？梢酝ㄟ^HANA DLM或者Hadoop navigator實現(xiàn)數(shù)據(jù)的生命周期管理實現(xiàn)數(shù)據(jù)的編碼規(guī)則（如：組織機構、指標代碼、業(yè)務規(guī)則等）、編碼標準和方法、容錯檢驗機制的管理。 數(shù)據(jù)要求實現(xiàn)對各類數(shù)據(jù)（如主數(shù)據(jù)、業(yè)務數(shù)據(jù)等）的管理，并描述與數(shù)據(jù)庫的耦合機制和相互約束關系，同時說明在數(shù)據(jù)管理中重點關注的問題。工作量預估為20人天、FIREFOX、OPERA、CHROME等主流瀏覽器，客戶端插件的大小限制在10MB以內(nèi)。應支持移動終端（安卓、IOS和Windows等），詳細說明客戶端支持的操作系統(tǒng)類型和配置需求。PC客戶端應支持WINDOWS/LINUX（含32位和64位）等操作系統(tǒng)，詳細說明客戶端支持的操作系統(tǒng)類型和運行庫等需求。 客戶端要求詳細說明各種類型客戶端終端設備（包括但不限于PC端、移動端、大屏等）硬件推薦配置和最低配置，含CPU、內(nèi)存、硬盤等。 Cloudrea支持的主流操作系統(tǒng)以及版本情況如下表所示：乙方提供的軟件應支持甲方現(xiàn)有軟件平臺并說明支持情況，包括：Oracle、Weblogic、Tuxedo、Tibco ESB、Cognos、Cordys、Informatica、B2B、Ilog、Altibase內(nèi)存數(shù)據(jù)庫等。軟件運行環(huán)境要求支持紅旗Linux服務器版64位操作系統(tǒng)。環(huán)境軟件要求生產(chǎn)環(huán)境紅旗Linux服務器版操作系統(tǒng)（Red Flag Asianux Server）；支持C/C++、Java、ANSI SQL、Python、R等軟件和應用開發(fā)工具；可用數(shù)據(jù)不少于3PB。而且各模塊所以使用的產(chǎn)品均為全球知名品牌，符合通用的技術標準。系統(tǒng)要求層次化、模塊化，做到層次清晰，模塊合理，模塊可靈活抽取替換，模塊與模塊之間關系明確，詳細描述