intel英特爾大數(shù)據(jù)平臺最佳實踐-全文預(yù)覽
【正文】 據(jù)的一個重要區(qū)別，在于不但數(shù)據(jù)尺寸大，而且對數(shù)據(jù)處理的響應(yīng)速度有有著更高的要求 ? 傳統(tǒng)的以周，天，小時為單位的運算處理周期，下降到以分鐘，秒為單位 ? 大數(shù)據(jù)高價值的重要體現(xiàn) 處理速度 Value High utility Diminishing utility Archival value Time High Low Negative 數(shù)據(jù)的多樣性 Source: IDC Digital Universe Study, sponsored by EMC, May 2023 ? 數(shù)據(jù)形式的多樣 : – 結(jié)構(gòu)化數(shù)據(jù) ，數(shù)據(jù)間有很強的因果關(guān)系 – 半結(jié)構(gòu)化數(shù)據(jù) ，數(shù)據(jù)間因果關(guān)系較弱 – 非結(jié)構(gòu)化數(shù)據(jù)， 數(shù)據(jù)間無因果關(guān)系 ? 數(shù)據(jù)來源的多樣性 : – 不同的應(yīng)用系統(tǒng) – 各種設(shè)備 – 互聯(lián)網(wǎng) – 其它 Flat file 創(chuàng) 造顯著業(yè)務(wù)價值（ VALUE） 169。 Hadoop發(fā)行版 ? 滿足高性能的數(shù)據(jù)導(dǎo)入和快速查詢。 – 支持 海量過車信息的模糊匹配檢索 。 – 系統(tǒng)做了較多優(yōu)化，性能很好的滿足了項目的實時性要求。 Complex MPP Systems (50 TB, realtime analytics) Apache Hadoop (Petabytes, batch analytics) 優(yōu)化的大數(shù)據(jù)處理軟件棧 穩(wěn)定的企業(yè)級 hadoop發(fā)行版 利用硬件新技術(shù)進行優(yōu)化 HBase改進和創(chuàng)新，為 Hadoop提供實時數(shù)據(jù)處理能力 針對行業(yè)的功能增強，應(yīng)對不同行業(yè)的大數(shù)據(jù)挑戰(zhàn) Hive 數(shù)據(jù)倉庫 Sqoop 關(guān)系數(shù)據(jù)ETL工具 Flume 日志收集工具 Intel Hadoop Manager 安 裝、部署、配置、監(jiān)控、告警和訪問控制 Zookeeper 3. 分布式協(xié)作服務(wù) Pig 數(shù)據(jù)流處理語言 Mahout 數(shù)據(jù)挖掘 HBase 實時、分布式、高維數(shù)據(jù)庫 Map/Reduce 分布式計算框架 HDFS 分布式文件系統(tǒng) 33 英特爾企業(yè)級 Hadoop堆棧 英特 爾企業(yè)級 Hadoop數(shù)據(jù)平臺特 點 2023/3/29 34 更 高性 能 ? 基于 Hadoop底層的大量優(yōu)化算法，使應(yīng)用效率更高、計算存儲分布更均衡 ? 系統(tǒng)安裝程序計算得出的參數(shù)配置，適合大多數(shù)應(yīng)用情況 ? 與硬件技術(shù)相結(jié)合，提高平臺性能 穩(wěn)定運行 ? 全面測試的企業(yè)級發(fā)行版，保證長期穩(wěn)定運行 ? 集成最新開源的和自行開發(fā)的補丁，用戶可以及時修正漏洞 ? 保證各個部件之間的一致性，使應(yīng)用順滑運行 易于管理 ? 提供獨有的基于瀏覽器的集群安裝和管理界面，解決開源版本管理困難的問題 ? 提供網(wǎng)頁、郵件和短信方式的系統(tǒng)異常報警 功能增強 ? 提供跨數(shù)據(jù)中心的 HBase數(shù)據(jù)庫虛擬大表功能 ? 實 現(xiàn) HBase數(shù)據(jù)庫復(fù)制和備份功能 ? 其他針對企業(yè)用戶需要的增強功能 英特 爾 Hadoop與 開 源 Hadoop比 較 英特爾產(chǎn)品增強 開源系統(tǒng)原始實現(xiàn) 針對 HDFS數(shù)據(jù)節(jié)點的讀寫選取提供高級均衡算法，提高系統(tǒng)擴展性，適合不同配置服務(wù)器組成的集群 簡單均衡算法，容易在慢速服務(wù)器或熱點服務(wù)器上產(chǎn)生讀寫瓶頸，最慢服務(wù)器成為系統(tǒng)性能瓶頸 根據(jù)讀請求并發(fā)程度動態(tài)增加熱點數(shù)據(jù)的復(fù)制倍數(shù)，提高Map/Reduce任務(wù)擴展性 無法自動擴充倍數(shù)功能，在集中讀取時擴展性不強，存在性能瓶頸 為 HDFS的 NameNode提供雙機熱備方案，提高可靠性 NameNode是系統(tǒng)的單點破損點，一旦失效系統(tǒng)將無法讀寫 實現(xiàn)跨區(qū)域數(shù)據(jù)中心的 HBase超級大表，用戶應(yīng)用可實現(xiàn)位置透明的數(shù)據(jù)讀寫訪問和全局匯總統(tǒng)計 無此功能，無法進行跨數(shù)據(jù)中心部署 可將 HBase表復(fù)制到異地集群，并提供單向、雙向復(fù)制功能，實現(xiàn)異地容災(zāi) 沒有成熟的復(fù)制方案 在 HBase中，根據(jù)數(shù)據(jù)局部性、服務(wù)器 Region數(shù)、表的Region數(shù)來實現(xiàn)負載均衡，適合多用戶共享集群創(chuàng)建多張大表的應(yīng)用 只根據(jù) Region數(shù)量進行負載均衡，容易產(chǎn)生系統(tǒng)不均衡 基于 HBase的分布式聚合函數(shù)，比傳統(tǒng)方式提高 10倍以上效率 無成熟方案 實現(xiàn)對 HBase的不同表或不同列族的復(fù)制份數(shù)精細控制 無此功能 HBase的 Major Compaction精細控制 簡單算法，容易產(chǎn)生合并風(fēng)暴 Intel對 hadoop的性能優(yōu)化 2023/3/29 36 0500100015002023250030003500Open Source HBase()Optimized HDFS I/O700 3500 020230400006000080000100000Open Source HBase
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1