大數(shù)據(jù)中臺(tái)架構(gòu)棧(編輯修改稿)
2025-09-01 04:37 本頁面
【文章內(nèi)容簡(jiǎn)介】 儲(chǔ)于表中，而 Pig 是面向數(shù)據(jù)流的一個(gè)程序語言，常用于開發(fā)簡(jiǎn)潔的腳本來轉(zhuǎn)換數(shù)據(jù)流從而嵌入到較大的應(yīng)用程序中。MapReduceMR 開創(chuàng)了分布時(shí)代計(jì)算的先河，使得大批量數(shù)據(jù)處理成為可能。簡(jiǎn)單來講，就是將比較龐大的計(jì)算任務(wù)先分組，再匯總，提高計(jì)算效率。舉例來講，如果你新家需要裝修，要在不同地方購置很多東西。你一個(gè)人（單機(jī)）去買估計(jì)得花十天?，F(xiàn)在叫了一堆小伙伴（分布式），每個(gè)人負(fù)責(zé)去一個(gè)地方買東西（Map），最后再拿到家里分類匯總（Reduce），一天就搞定了。其他輔助工具上圖中的其他工具是為了保證整個(gè)大數(shù)據(jù)計(jì)算存儲(chǔ)系統(tǒng)更加健壯和開放，如 Zookeeper 提供了穩(wěn)定服務(wù)和 failover 機(jī)制，Sqoop 則為 Hadoop 提供了方便的 RDBMS（關(guān)系型數(shù)據(jù)庫）數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向 HBase 中遷移變的非常方便。值得一提的是，Hadoop 生態(tài)其實(shí)是建立在 Google 2003 年發(fā)表的三大論文的基礎(chǔ)之上?？赡苁钱?dāng)時(shí) Google 有意改善業(yè)內(nèi)落后的現(xiàn)狀，讓大家稍微跟得上他的腳步才發(fā)布的論文…這么多年過去了，不知道 Google 內(nèi)部對(duì)數(shù)據(jù)的理解和使用又到了什么樣的高度。3. 數(shù)據(jù)計(jì)算amp。查詢 批計(jì)算和流計(jì)算大數(shù)據(jù)處理場(chǎng)景可分為批處理和流處理兩個(gè)，分別對(duì)應(yīng)離線分析和實(shí)時(shí)分析。常見框架分類有：1. 僅批處理框架：Hadoop MapReduce2. 僅流處理框架：Storm，Samza3. 混合框架：Spark，F(xiàn)link篇幅所限，除了上文已經(jīng)提到的 Hadoop 生態(tài)外，我們?cè)俸?jiǎn)單科普下 Spark： Spark 和 FlinkApache Spark 是一種包含流處理能力的下一代批處理框架。批處理模式下，Spark 與 MapReduce 不同，它將數(shù)據(jù)處理工作全部在內(nèi)存中進(jìn)行，計(jì)算性能大幅改善。流處理模式下，Spark 主要通過 Spark Streaming 實(shí)現(xiàn)了一種叫做微批（Microbatch）的概念。該技術(shù)可以將數(shù)據(jù)流視作一系列非常小的“批”，借此即可通過批處理引擎的原生語義進(jìn)行處理。這種方式的實(shí)際效果非常好，但相比真正的流處理框架在性能方面依然存在不足。綜上所述，Spark是多樣化工作負(fù)載處理任務(wù)的最佳選擇。Spark批處理能力以更高內(nèi)存占用為代價(jià)提供了無與倫比的速度優(yōu)勢(shì)。對(duì)于重視吞吐率而非延遲的工作負(fù)載，則比較適合使用 Spark Streaming 作為流處理解決方案。而 Flink 作為更新一代的處理框架，擁有更快的計(jì)算能力，更低的延遲，已經(jīng)慢慢嶄露頭角。不過一個(gè)框架的應(yīng)用，特別是開源框架，需要足夠長(zhǎng)的時(shí)間進(jìn)行運(yùn)行，測(cè)試和優(yōu)化。大數(shù)據(jù)技術(shù)在開源社區(qū)的推動(dòng)下，迭代日新月異。在不久的將來，相信 Fli
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1