大數(shù)據(jù)平臺架構-巨衫-文庫吧資料
2024-08-18 05:23本頁面
【正文】 點會周期性的返回它所完成的工作和最新的狀態(tài)。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。 數(shù)據(jù)處理1) 分布式計算框架MapReduceMapReduce作為一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。用戶可以利用BSON這種特性，將像圖片，音頻這種小文件以二進制類型放到一個BSON記錄里面，同時將對文件的描述信息也存儲在同一個BSON記錄上，形成一條完整的信息存儲在SequoiaDB中。SequoiaDB是一款以BSON數(shù)據(jù)類型作為底層存儲格式的文檔型數(shù)據(jù)庫。這種構建方法，在過去數(shù)據(jù)量不大，并發(fā)數(shù)不高的情況下，系統(tǒng)還能運行得比較平穩(wěn)。SequoiaDB采用文檔類型數(shù)據(jù)模型（對象存儲），將程序中的對象以原生的方式保存在數(shù)據(jù)庫中，并且可以對其中而已屬性或子對象進行檢索匹配，可以大幅度弱化復雜的關系模型，加快應用的開發(fā)速度，并減少系統(tǒng)的運維成本。并且“時間序”功能除了方便用戶按照時間段區(qū)分數(shù)據(jù)存儲位置，還能方便的管理數(shù)據(jù)的生命周期，對于已經(jīng)不需要的數(shù)據(jù)，支持快速刪除指定時間段數(shù)據(jù)分區(qū)。同時，SequoiaDB除了提供水平切分方式外，還專門為歷史數(shù)據(jù)的使用場景做了“時間序”的功能，用戶可以按照不同的時間段，對海量的數(shù)據(jù)切分成小段小段，并且每個時間段的數(shù)據(jù)均可以指定存儲位置。2) 數(shù)據(jù)分布式存儲SequoiaDB作為分布式數(shù)據(jù)庫，天生就能對海量數(shù)據(jù)分散到整個集群中。SequoiaDB 也向企業(yè)用戶提供一站式的云數(shù)據(jù)庫服務，用戶無需自己在云提供商處申請資源，自行部署云數(shù)據(jù)庫，而是直接面向云數(shù)據(jù)庫提供商SequoiaDB 申請資源。這種傳統(tǒng)的的云數(shù)據(jù)庫搭建模式，由于需要用戶自行在云端部署數(shù)據(jù)庫，維護數(shù)據(jù)庫整個集群環(huán)境，對于運維人員來說，當云數(shù)據(jù)庫集群規(guī)模增長到某個級別，運維的成本就會大大增加。 數(shù)據(jù)存儲1) SequoiaDB與云平臺現(xiàn)在，越來越多的企業(yè)改變以往思路，不再為各個部門、下級機構統(tǒng)一準備機房、購買硬件、部署運行環(huán)境來提供服務，而是將系統(tǒng)運行的環(huán)境部署在云端，隨著業(yè)務逐漸增多，數(shù)據(jù)慢慢增長，在需要性能提升、存儲容量擴容情況下，直接在云端添加新的硬件資源，并且，SequoiaEnterprise企業(yè)版本操作性強，擴容步驟簡單，管理人員可以通過圖形化界面直接進行集群的水平擴容。SequoiaDB除了可以存儲結構化數(shù)據(jù)外，還為用戶提供了雙存儲引擎的功能，用戶可以直接使用SequoiaDB存儲海量的非結構化數(shù)據(jù)。另外，SequoiaDB也為用戶提供一種基于JDBC服務的數(shù)據(jù)交換工具，用戶可以在此工具上，編寫不同的SQL語句，從一個數(shù)據(jù)庫中抽取數(shù)據(jù)導入到SequoiaDB中。針對這種場景，用戶可以自己按照業(yè)務需求，使用SequoiaDB提供的API接口，開發(fā)一套數(shù)據(jù)交換的工具。SequoiaDB的基本安裝包中，已經(jīng)為用戶提供了功能完善的數(shù)據(jù)遷移工具—sdbimprt ，用戶可以將數(shù)據(jù)從Oracle 數(shù)據(jù)庫中，導出到一個CSV格式的文件上，再使用sdbimprt 將CSV 文件導入到SequoiaDB中。作為Pentaho的一個重要組成部分，現(xiàn)在在國內(nèi)項目應用上逐漸增多。Kettle這個ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。 Kettle是Pentaho的一個組件，主要用于數(shù)據(jù)庫間的數(shù)據(jù)遷移,數(shù)據(jù)抽取高效穩(wěn)定。其具備了以下特點：快速、小巧、持久性、可靠性。Flume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力 Flume提供了從console（控制臺）、RPC（ThriftRPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系統(tǒng)，支持TCP和UDP等2種模式），exec（命令執(zhí)行）等數(shù)據(jù)源上收集數(shù)據(jù)的能力。kafka的目的是通過Hadoop的并行加載機制來統(tǒng)一線上和離線的消息處理，也是為了通過集群機來提供實時的消費。這些數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。以下為推薦的數(shù)據(jù)處理工具。SequoiaDB WEB管理界面8) SequoiaDB支持在線擴容，系統(tǒng)擴容升級快速簡單SequoiaDB支持在線擴容，系統(tǒng)擴容升級快速簡單SequoiaDB作為一款分布式文檔型數(shù)據(jù)庫，在數(shù)據(jù)庫架構設計之初就已經(jīng)將方便快捷擴容作為設計標準，用戶在系統(tǒng)性能不足時，通過快速擴展集群，提升系統(tǒng)整體性能。另外，SequoiaDB還為用戶提供一套WEB管理工具，用戶可以通過頁面部署、管理SequoiaDB集群，并且WEB控制臺還將實時監(jiān)控的數(shù)據(jù)用形象的圖表展示給用戶。SequoiaDB深度整合大數(shù)據(jù)體系各個組件 SequoiaDB企業(yè)版架構圖7) 完善的運維、監(jiān)控工具SequoiaDB作為一家企業(yè)級數(shù)據(jù)庫廠商，除了為用戶提供高性能的數(shù)據(jù)庫服務外，還為用戶提供完善的運維工具。SequoiaDB的企業(yè)版本，除了為客戶提供一個高性能的分布式文檔型數(shù)據(jù)庫外，還集成了Hadoop的HDFS、MapReduce，基于內(nèi)存計算的分布式計算框架Spark， SequoiaDB還向客戶提供完善的SQL解決方案，像Hive、SQL Engine和Spark SQL，用戶可以根據(jù)不同的場景，選擇不同的組件快速構建屬于自己的大數(shù)據(jù)平臺。冷、熱數(shù)據(jù)分離5) SequoiaDB支持讀寫分離，用戶可以針對一份數(shù)據(jù)完成更多的業(yè)務處理SequoiaDB通過多副本數(shù)據(jù)備份，實現(xiàn)數(shù)據(jù)安全，同時，利用數(shù)據(jù)的多副本，用戶可以在指定多個業(yè)務同時訪問不同的數(shù)據(jù)節(jié)點，實現(xiàn)一份數(shù)據(jù)，多種用途的目的，大大提升了數(shù)據(jù)的使用率。
環(huán)評公示相關推薦
鄂ICP備17016276號-1