大數(shù)據(jù)平臺(tái)架構(gòu)-巨衫-在線瀏覽
2024-09-15 05:23本頁(yè)面
【正文】 化數(shù)據(jù)整合在一起，形成一條完整的記錄存儲(chǔ)。當(dāng)用戶需要存儲(chǔ)一些結(jié)構(gòu)化數(shù)據(jù)時(shí)，可以選擇使用BSON結(jié)構(gòu)將數(shù)據(jù)存儲(chǔ)在SequoiaDB中。如果用戶需要構(gòu)建一個(gè)既需要存儲(chǔ)結(jié)構(gòu)化信息，有需要管理大量大文件的系統(tǒng)時(shí)，SequoiaDB雙存儲(chǔ)引擎這個(gè)特性，能幫助用戶快速搭建一個(gè)高性能、高可用的系統(tǒng)，并且整個(gè)系統(tǒng)組件簡(jiǎn)單—只有SequoiaDB數(shù)據(jù)庫(kù)，不再需要額外購(gòu)買(mǎi)昂貴的存儲(chǔ)設(shè)備，節(jié)省企業(yè)的開(kāi)發(fā)和運(yùn)維成本。SequoiaDB專(zhuān)門(mén)為歷史數(shù)據(jù)歸檔、檢索提供一種全新的存儲(chǔ)機(jī)制，使得熱數(shù)據(jù)與冷數(shù)據(jù)實(shí)現(xiàn)物理分離（例如熱數(shù)據(jù)使用較好的存儲(chǔ)硬件SSD，冷數(shù)據(jù)存儲(chǔ)在廉價(jià)的磁盤(pán)上），但是冷、熱數(shù)據(jù)均統(tǒng)一在一個(gè)數(shù)據(jù)視圖上，用戶只要像操作一個(gè)普通的數(shù)據(jù)表那樣，進(jìn)行數(shù)據(jù)檢索、分析。圖10：SequoiaDB讀寫(xiě)分離6) 深度整合大數(shù)據(jù)體系的各個(gè)組件SequoiaDB不僅通過(guò)了全球最大的Hadoop發(fā)行商Cloudera的官方認(rèn)證（全球只有四家NoSQL數(shù)據(jù)庫(kù)獲得），還獲得了DataBricks的官方認(rèn)證，同時(shí)，SequoiaDB也是國(guó)內(nèi)三家經(jīng)過(guò)DataBricks授權(quán)，擁有發(fā)行Spark權(quán)利的廠商之一。從下圖可以看到，用戶可以基于SequoiaDB作為底層數(shù)據(jù)庫(kù)，在應(yīng)用開(kāi)發(fā)上，根據(jù)不同的場(chǎng)景，例如海量數(shù)據(jù)分析，用戶可以選擇MapReduce、Hive、Spark RDD或者Spark SQL來(lái)完成；如果是做數(shù)據(jù)實(shí)時(shí)檢索類(lèi)型的業(yè)務(wù)，用戶可以選擇使用SQL Engine或者SequoiaDB提供的API來(lái)進(jìn)行實(shí)時(shí)數(shù)據(jù)檢索。例如在命令行工具上，SequoiaDB為用戶提供sdbtop工具，方便用戶實(shí)時(shí)追蹤集群運(yùn)行狀況，還有sdb日志追蹤工具，多級(jí)別日志選擇等都為企業(yè)后續(xù)的運(yùn)維減輕壓力。企業(yè)后續(xù)對(duì)SequoiaDB集群的運(yùn)維工作量大大減少。SequoiaDB在線擴(kuò)容圖 本地化服務(wù)？（國(guó)產(chǎn)；本地企業(yè)；服務(wù)和維護(hù)能力） 數(shù)據(jù)接口（這里的內(nèi)容，與“數(shù)據(jù)采集”是啥關(guān)系？）（下面的內(nèi)容，是數(shù)據(jù)采集的工具嗎？）SequoiaDB作為分布式數(shù)據(jù)庫(kù)，能采集的大量數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，并與眾多數(shù)據(jù)處理工具進(jìn)行對(duì)接。（）工具作用kafka分布式消息系統(tǒng)，它可以實(shí)現(xiàn)水平擴(kuò)展和高吞吐量flumeFlume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)Kestrel開(kāi)源的消息中間件，高性能，小巧，持久存儲(chǔ)及可靠獲取Kettle(ETL)實(shí)現(xiàn)數(shù)據(jù)的交換，即數(shù)據(jù)的ETL操作kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。對(duì)于像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng)，但又要求實(shí)時(shí)處理的限制，這是一個(gè)可行的解決方案。Flume最早是Cloudera提供的日志收集系統(tǒng)，目前是Apache下的一個(gè)孵化項(xiàng)目，F(xiàn)lume支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。Kestrel是twitter的開(kāi)發(fā)團(tuán)隊(duì)用scala語(yǔ)言寫(xiě)的開(kāi)源消息中間件，可以將消息持久存儲(chǔ)到磁盤(pán)上，也可以將消息存儲(chǔ)于內(nèi)存中，但是不論保存磁盤(pán)還是內(nèi)存中都可以設(shè)置消息存儲(chǔ)的超期時(shí)間長(zhǎng)短。除此之外kestrel還具備了很多讓人眼前一亮的特性：支持多請(qǐng)求協(xié)議、FanoutQueues( 隊(duì)列分發(fā) ) 、集群支持、靈活的配置。Kettle 中文名稱(chēng)叫水壺，該項(xiàng)目希望把各種數(shù)據(jù)放到一個(gè)壺里，然后以一種指定的格式流出。Kettle中有兩種腳本文件，transformation和job，transformation完成針對(duì)數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個(gè)工作流的控制。 數(shù)據(jù)采集（遷移？）在項(xiàng)目中，面對(duì)舊系統(tǒng)升級(jí)改造、數(shù)據(jù)需要從原有系統(tǒng)的Oracle數(shù)據(jù)庫(kù)中遷移到新系統(tǒng)的SequoiaDB上。有一些系統(tǒng)，由于歷史遺留的原因，整個(gè)系統(tǒng)的架構(gòu)，并能單獨(dú)使用一款數(shù)據(jù)庫(kù)產(chǎn)品，而是要多個(gè)數(shù)據(jù)庫(kù)產(chǎn)品同時(shí)共存，并且要求各個(gè)數(shù)據(jù)庫(kù)都能互相交換數(shù)據(jù)。SequoiaDB除了提供API接口外，還能通過(guò)擴(kuò)展PostgreSQL和Spark SQL，為用戶直接提供JDBC 服務(wù)，用戶也可以選擇使用SQL語(yǔ)句，將數(shù)據(jù)寫(xiě)入到數(shù)據(jù)庫(kù)中。在項(xiàng)目中，除了需要處理、存儲(chǔ)結(jié)構(gòu)話數(shù)據(jù)，還需要對(duì)例如影像、語(yǔ)音等類(lèi)型的文件進(jìn)行存儲(chǔ)管理。使用這種雙存儲(chǔ)引擎的方法，可以讓?xiě)?yīng)用系統(tǒng)整體架構(gòu)更加簡(jiǎn)單，減少后期的運(yùn)維成本，同時(shí)由于節(jié)省了高端存儲(chǔ)的硬件成本，對(duì)于降低整個(gè)系統(tǒng)的建設(shè)成本也有非常大的幫助。企業(yè)使用云數(shù)據(jù)庫(kù)，可以像最原始的部署方式，由用戶直接向云服務(wù)提供商申請(qǐng)資源，然后用戶自行在租賃的環(huán)境里部署云數(shù)據(jù)庫(kù)服務(wù)。目前，SequoiaDB 數(shù)據(jù)庫(kù)目前已經(jīng)與亞馬遜云、阿里云、騰訊云有深度的合作。這種新型的云數(shù)據(jù)庫(kù)服務(wù)，能夠大大降低政府電子政務(wù)公共平臺(tái)未來(lái)的運(yùn)維成本，而且未來(lái)對(duì)于資源的調(diào)度，可以做到隨需擴(kuò)容。SequoiaDB在管理海量數(shù)據(jù)時(shí)，為用戶提供多種數(shù)據(jù)切分方式 – 數(shù)據(jù)范圍切分、Hash切分、數(shù)據(jù)百分比切分，用戶可以根據(jù)自己的使用場(chǎng)景，選擇不同的切分方式，達(dá)到充分利用整個(gè)集群的計(jì)算性能。用戶通過(guò)“時(shí)間序”功能，可以很好的規(guī)劃數(shù)據(jù)存儲(chǔ)方式，將熱點(diǎn)數(shù)據(jù)存儲(chǔ)在性能較好的硬件上，將查詢比較少的冷數(shù)據(jù)放在低端的磁盤(pán)上。3) 結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)SequoiaDB有著錄活的數(shù)據(jù)類(lèi)型，支持結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。靈活的數(shù)據(jù)類(lèi)型過(guò)去，企業(yè)構(gòu)建一個(gè)內(nèi)容管理系統(tǒng)，基本是一個(gè)關(guān)系型數(shù)據(jù)庫(kù)+存儲(chǔ)這樣的組合。但是隨著時(shí)間的推移，需要接入該系統(tǒng)的業(yè)務(wù)會(huì)越來(lái)越多，需要管理的文件和信息量都開(kāi)始開(kāi)始激增，并且隨著查詢的并發(fā)量增加，這時(shí)候，按照傳統(tǒng)方法構(gòu)建的系統(tǒng)，性能、擴(kuò)容能力都無(wú)法滿足需求。BSON格式本身是一種弱
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1