大數(shù)據(jù)中臺(tái)架構(gòu)棧-文庫(kù)吧資料
2024-08-18 04:37本頁(yè)面
【正文】 不夠好3. 基于 Lucene 做外部索引：如 ElasticSearch，Solr 等，能夠滿足的的查詢場(chǎng)景遠(yuǎn)多于傳統(tǒng)的數(shù)據(jù)庫(kù)存儲(chǔ)，但對(duì)于日志、行為類時(shí)序數(shù)據(jù)，所有的搜索請(qǐng)求都也必須搜索所有的分片，另外，對(duì)于聚合分析場(chǎng)景的支持也是軟肋我們以常見(jiàn)的在不久的將來(lái)，相信 Flink 會(huì)像 Spark 取代 Storm 一樣，逐漸成為大數(shù)據(jù)處理技術(shù)的主流。不過(guò)一個(gè)框架的應(yīng)用，特別是開(kāi)源框架，需要足夠長(zhǎng)的時(shí)間進(jìn)行運(yùn)行，測(cè)試和優(yōu)化。對(duì)于重視吞吐率而非延遲的工作負(fù)載，則比較適合使用 Spark Streaming 作為流處理解決方案。綜上所述，Spark是多樣化工作負(fù)載處理任務(wù)的最佳選擇。該技術(shù)可以將數(shù)據(jù)流視作一系列非常小的“批”，借此即可通過(guò)批處理引擎的原生語(yǔ)義進(jìn)行處理。批處理模式下，Spark 與 MapReduce 不同，它將數(shù)據(jù)處理工作全部在內(nèi)存中進(jìn)行，計(jì)算性能大幅改善。查詢 批計(jì)算和流計(jì)算大數(shù)據(jù)處理場(chǎng)景可分為批處理和流處理兩個(gè)，分別對(duì)應(yīng)離線分析和實(shí)時(shí)分析。可能是當(dāng)時(shí) Google 有意改善業(yè)內(nèi)落后的現(xiàn)狀，讓大家稍微跟得上他的腳步才發(fā)布的論文…這么多年過(guò)去了，不知道 Google 內(nèi)部對(duì)數(shù)據(jù)的理解和使用又到了什么樣的高度。其他輔助工具上圖中的其他工具是為了保證整個(gè)大數(shù)據(jù)計(jì)算存儲(chǔ)系統(tǒng)更加健壯和開(kāi)放，如 Zookeeper 提供了穩(wěn)定服務(wù)和 failover 機(jī)制，Sqoop 則為 Hadoop 提供了方便的 RDBMS（關(guān)系型數(shù)據(jù)庫(kù)）數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)向 HBase 中遷移變的非常方便。你一個(gè)人（單機(jī)）去買估計(jì)得花十天。簡(jiǎn)單來(lái)講，就是將比較龐大的計(jì)算任務(wù)先分組，再匯總，提高計(jì)算效率。區(qū)別是 Hive SQL 是類 SQL 的查詢語(yǔ)言，要求數(shù)據(jù)存儲(chǔ)于表中，而 Pig 是面向數(shù)據(jù)流的一個(gè)程序語(yǔ)言，常用于開(kāi)發(fā)簡(jiǎn)潔的腳本來(lái)轉(zhuǎn)換數(shù)據(jù)流從而嵌入到較大的應(yīng)用程序中。HBase 以 Google BigTable為藍(lán)本，以 KeyValue 形式存儲(chǔ)，能快速在主機(jī)內(nèi)數(shù)十億行數(shù)據(jù)中定位所需的數(shù)據(jù)并訪問(wèn)它。HBaseHBase 是 Hadoop 數(shù)據(jù)庫(kù)，作為基于列的非關(guān)系型數(shù)據(jù)庫(kù)運(yùn)行在 HDFS 上。HDFSHDFS 作為 Hadoop 里的分布式文件系統(tǒng)，為 HBase 和 Hive 們提供了高可靠性的底層存儲(chǔ)支持，對(duì)應(yīng)于 Google GFS 的開(kāi)源實(shí)現(xiàn)。數(shù)據(jù)量大到一定程度后，就必須采取分布式系統(tǒng)了。2. 數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)存儲(chǔ)方面，有單機(jī)/分布式、關(guān)系型/非關(guān)系型、列式存儲(chǔ)/行式存儲(chǔ)三個(gè)維度的劃分，各種維度交叉下都有對(duì)應(yīng)產(chǎn)品來(lái)解決某個(gè)場(chǎng)景下的需求。該項(xiàng)目的目標(biāo)是為處理實(shí)時(shí)數(shù)據(jù)提供一個(gè)統(tǒng)一、高吞吐、低延遲的平臺(tái)。該實(shí)時(shí)處理系統(tǒng)整體架構(gòu)如下：通過(guò)將 Agent
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1