高校大數(shù)據(jù)專業(yè)教學(xué)科研平臺建設(shè)方案(編輯修改稿)
2025-05-31 22:16 本頁面
【文章內(nèi)容簡介】 統(tǒng)關(guān)系型數(shù)據(jù)庫快50100倍。例如，一個集群包括13個Spark節(jié)點，每個256G內(nèi)存的服務(wù)器，1個計算任務(wù)30秒以內(nèi)處理200M數(shù)據(jù)，處理過程包括數(shù)據(jù)入庫、邏輯計算、結(jié)果展現(xiàn)。同時，系統(tǒng)可線性擴(kuò)充存儲容量或提高處理性能，只需要簡單地向集群中增加機(jī)器，無需停機(jī)。Ⅳ 使用方便圖形化的數(shù)據(jù)分析和挖掘界面，令使用者不用理會Hadoop底層技術(shù)，只需專注于自身業(yè)務(wù)邏輯。③ 基于Hadoop的ZDM分布式存儲與計算的優(yōu)點 Ⅰ高可擴(kuò)展性Hadoop是一個高度可擴(kuò)展的存儲平臺，可以存儲和分發(fā)橫跨數(shù)百個并行操作的廉價的服務(wù)器數(shù)據(jù)集群。不同于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)不能擴(kuò)展到處理大量的數(shù)據(jù)，Hadoop是能給企業(yè)提供涉及成百上千TB的數(shù)據(jù)節(jié)點上運(yùn)行的應(yīng)用程序。Ⅱ成本效益Hadoop還為企業(yè)用戶提供了極具成本效益的存儲解決方案。傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)并不符合海量數(shù)據(jù)的處理器，不符合企業(yè)的成本效益。許多公司過去不得不假設(shè)哪些數(shù)據(jù)最優(yōu)價值，根據(jù)這些有價值的數(shù)據(jù)設(shè)定分類，如果保存所有的數(shù)據(jù)，那么成本就會過高。Hadoop的架構(gòu)則不同，其被設(shè)計為一個向外擴(kuò)展的架構(gòu)，可以經(jīng)濟(jì)的存儲所有公司的數(shù)據(jù)供以后使用，節(jié)省的費(fèi)用是非常驚人的。Ⅲ靈活性更好Hadoop能夠使企業(yè)訪問新的數(shù)據(jù)源，并可以分析不同類型的數(shù)據(jù)，從這些數(shù)據(jù)中產(chǎn)生價值，這意味著企業(yè)可以利用Hadoop的靈活性從社交媒體、電子郵件或點擊流量等數(shù)據(jù)源獲得寶貴的商業(yè)價值。Ⅳ處理速度更快Hadoop擁有獨特的存儲方式，用于數(shù)據(jù)處理的工具通常在與數(shù)據(jù)相同的服務(wù)器上，從而導(dǎo)致能夠更快的處理器數(shù)據(jù)。如果處理大量的非結(jié)構(gòu)化數(shù)據(jù)，Hadoop能夠在幾分鐘內(nèi)處理TB級的數(shù)據(jù)，而不是像以前都需要以小時為單位。Ⅴ容錯能力更強(qiáng)Hadoop的一個關(guān)鍵優(yōu)勢就是它的容錯能力，Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分配。當(dāng)數(shù)據(jù)被發(fā)送到一個單獨的節(jié)點，該數(shù)據(jù)也被復(fù)制到集群的其它節(jié)點上，這意味著在故障情況下，存在另外的副本可供使用。④ ZDM平臺安裝界面截圖：ⅠZDM平臺登陸界面用戶名密碼登陸后，可以看到如下的首頁。Ⅱ系統(tǒng)管理界面在系統(tǒng)管理界面中，“用戶管理”和“角色管理”中，可以定義角色（管理員、操作員等）、添加用戶、修改用戶密碼等。此外，在“資源管理”頁面中，可以為每一個用戶指定允許安裝的組件或者模塊。Ⅲ組件安裝界面在“組件安裝”界面中，具有以下功能：基礎(chǔ)信息配置（主機(jī)名映射）、Hadoop組件安裝、Spark組件安裝、數(shù)據(jù)挖掘工具安裝、集群監(jiān)控及HUE安裝。以下逐一進(jìn)行介紹。ⅰ 基礎(chǔ)信息配置基礎(chǔ)信息配置，也即主機(jī)名映射，在初次安裝Hadoop集群前需要配置各服務(wù)器的IP地址與主機(jī)名的映射。點擊“配置”按鈕后，系統(tǒng)會在后臺完成以下配置。修改各服務(wù)器的主機(jī)名，完成映射。完成各服務(wù)器之間的SSH互信。完成各服務(wù)器java JDK環(huán)境配置。ⅱ Hadoop基礎(chǔ)組件在Hadoop基礎(chǔ)組件頁面，可以點擊各個Hadoop基礎(chǔ)組件的圖標(biāo)，完成相應(yīng)組件的安裝及配置。說明：由于組件之間有相互依賴關(guān)系，因此，如果某個組件的前序依賴組件沒有安裝，系統(tǒng)會提示用戶安裝前序依賴組件。ⅲ Spark基礎(chǔ)組件安裝在Spark基礎(chǔ)組件頁面，可以點擊Spark基礎(chǔ)組件的圖標(biāo)，完成Spark集群（包括，Spark SQL，Spark Streaming，MlLib，GraphX）的安裝及配置。ⅳ 數(shù)據(jù)挖掘工具安裝在數(shù)據(jù)挖掘工具安裝頁面，可以點擊各個數(shù)據(jù)挖掘工具的圖標(biāo)，完成相應(yīng)工具的安裝及配置。ⅴ 集群監(jiān)控及HUE在集群監(jiān)控及HUE安裝頁面，可以點擊相應(yīng)的圖標(biāo)，完成Ganglia及HUE的安裝及配置。Ⅳ基礎(chǔ)應(yīng)用模塊在上述Hadoop集群及相關(guān)的組件安裝配置完成后，在基礎(chǔ)應(yīng)用模塊，可以是用Rstudio，以及查看Gangl
公司管理相關(guān)推薦
鄂ICP備17016276號-1