大數(shù)據(jù)平臺架構(gòu)-巨衫(參考版)
2024-08-16 05:23本頁面
【正文】 整體的布署架構(gòu)圖如下圖所示：。 企業(yè)布署中一般將應用服務與基礎的數(shù)據(jù)服務分開，應用服務一般布署在應用服務器上，而基礎的數(shù)據(jù)服務則在數(shù)據(jù)庫服務器上。其中用藍色圈框起來的三個數(shù)據(jù)結(jié)點表示一個數(shù)據(jù)組，此示例集群中有四個組。服務器布署的架構(gòu)如圖所示。每臺服務器上均需要創(chuàng)建一個協(xié)調(diào)節(jié)點，確保外部程序可以通過連接任意一臺服務器上的協(xié)調(diào)節(jié)點對SequoiaDB數(shù)據(jù)庫進行訪問。而多數(shù)據(jù)組，可以為后續(xù)數(shù)據(jù)的切分存儲做好基礎，保證數(shù)據(jù)能夠均勻的落到每一臺服務器上。SequoiaDB數(shù)據(jù)庫集群的布署建議部署一組三副本，部署多個數(shù)據(jù)組。比如，按照未來需要處理的全量數(shù)據(jù) 500G來計算，考慮sdb記錄的自描述特性，裸文件進入sdb后，會有一定的數(shù)據(jù)空間膨脹，約為2倍。對于這一塊的配置，可以結(jié)合實際的生產(chǎn)環(huán)境進行確定。 SUSE Linux Enterprise Server (SLES)11 Service Pack 1216。 CentOS 6SequoiaDB數(shù)據(jù)庫支持的Power PC Linux系統(tǒng)類型：216。 SUSE Linux Enterprise Server (SLES) 11 Service Pack 2216。 Red Hat Enterprise Linux (RHEL) 6216。建議采用 X64（64 位 AMD64 和 Intel EM64T 處理器 ）或者 PowerPC 處理器。當故障節(jié)點恢復后，故障節(jié)點再次加入數(shù)據(jù)組，并開始做數(shù)據(jù)的同步，恢復數(shù)據(jù)。下圖展示了一個數(shù)據(jù)組中有三個數(shù)據(jù)節(jié)點，當數(shù)據(jù)組的主節(jié)點掛掉時，其它的兩個數(shù)據(jù)節(jié)點會從新選主。在一個三副本的SDB集群中，當數(shù)據(jù)庫集群中的某一個節(jié)點發(fā)生故障導致數(shù)據(jù)損壞時，SequoiaDB數(shù)據(jù)庫仍然能夠保證數(shù)據(jù)安全，并且還可以提供數(shù)據(jù)服務。從SequoiaDB數(shù)據(jù)庫的架構(gòu)而言，其采用的是分布式、多冗余多副本的架構(gòu)模式。對數(shù)據(jù)庫進行備份操作可以極大量的保證數(shù)據(jù)的安全性，如由于數(shù)據(jù)庫機房電路的問題導致整個機房停電，最終導致數(shù)據(jù)的損壞或者丟失。有了服務器的SSL數(shù)字證書，客戶端也可以驗證服務器的身份。在客戶端與服務器間傳輸?shù)臄?shù)據(jù)是通過使用對稱算法（如DES或RC4）進行加密的。SSL，（Secure Sockets Layer）安全套接層是為網(wǎng)絡通信提供安全及數(shù)據(jù)完整性的一種安全協(xié)議。（有哪些管理功能？下面的每個功能圖，能否每個都寫一段，說明怎樣幫助用戶做好運維工作） 數(shù)據(jù)安全SequoiaDB提供了對SSL的支持。sdbtop工具展示圖3) WEB管理工具另外，SequoiaDB還為用戶提供一套WEB管理工具，用戶可以通過頁面部署、管理SequoiaDB集群，并且WEB控制臺還將實時監(jiān)控的數(shù)據(jù)用形象的圖表展示給用戶。Javascript Shell2) 性能監(jiān)控SequoiaDB作為一家企業(yè)級數(shù)據(jù)庫廠商，除了為用戶提供高性能的數(shù)據(jù)庫服務外，還為用戶提供完善的運維工具。Javascript語言語法簡單、靈活，支持JSON格式的數(shù)據(jù)，而JSON格式比較容易轉(zhuǎn)化成為BSON格式，利于SDB數(shù)據(jù)庫數(shù)據(jù)的存儲。通過Javascrip Shell，DBA可以對SDB數(shù)據(jù)庫進行各類操作，如基本操作CURD，數(shù)據(jù)備份及數(shù)據(jù)庫快照snapshot等數(shù)據(jù)庫操作。通過此頁面也可以直觀的了解SDB集群及其相關的服務器的一些狀態(tài)信息，如CPU使用情況等。Jaspersoft通過Hive與PostgreSQL訪問SDB數(shù)據(jù)流程圖Jaspersoft輸出展示圖SequoiaDB也提供自身數(shù)據(jù)庫WEB端的數(shù)據(jù)操作及數(shù)據(jù)展示的功能。SequoiaDB雖然不是傳統(tǒng)的關系型數(shù)據(jù)庫，但是通過在關系型數(shù)據(jù)庫的BI工具與SDB數(shù)據(jù)庫中間做了一個“連接器”來處理BI工具的SQL查詢。 數(shù)據(jù)可視化展現(xiàn)（能否補充一些典型的展示方式的圖）Jaspersoft是一款開源的BI工具，很多企業(yè)正在使用JasperReport和JasperServer開發(fā)和定制自己的業(yè)務分析報表。與Hadoop的對接中，SequoiaDB允許Hadoop的數(shù)據(jù)倉庫工具Hive使用HiverSQL這種類SQL語言對SDB中的數(shù)據(jù)進行查詢。l 服務窗口的資源合理配置方案和比較l 分析業(yè)務流程中的時間耗費，提出優(yōu)化的方案l 用戶的行為規(guī)律l 面向用戶的精準服務SequoiaDB作為新一代的分布式數(shù)據(jù)庫，其支持與當今比較流行的兩種開源分布式計算框架Hadoop和Spark進行集成。數(shù)據(jù)庫對全量數(shù)據(jù)建立索引后，等于給全量數(shù)據(jù)做了一個數(shù)據(jù)目錄，當用戶根據(jù)某些條件來查詢數(shù)據(jù)時，可以直接從索引文件中將對應的查找出來，大大提高了數(shù)據(jù)的檢索性能。SequoiaDB在處理海量數(shù)據(jù)時，解決思路就不同于以往的關系型數(shù)據(jù)庫，海量數(shù)據(jù)不再是存儲在一臺機器上，而是分布在整個機器集群中，當用戶需要從海量數(shù)據(jù)中按照某些條件檢索數(shù)據(jù)時，能直接將查詢命令發(fā)到每臺機器的各個節(jié)點上，查詢性能從一臺機器變成了整個集群。像Hive 和Spark SQL這些控件，支持標準的SQL語言，用戶可以直接使用SQL語句進行數(shù)據(jù)整合和清洗任務，對于初次使用大數(shù)據(jù)技術的開發(fā)人員，能夠快速學習、掌握開發(fā)技巧。當用戶需要對存儲在SequoiaDB中的數(shù)據(jù)進行數(shù)據(jù)整合、清洗或者去重等工作時，可以利用分布式計算框架的大規(guī)模并發(fā)處理的優(yōu)勢對數(shù)據(jù)進行相應的處理。如此可以快速提高數(shù)據(jù)的處理性能。每個操作使用命名文件的原子操作以確保不會發(fā)生并行線程間的沖突；當文件被改名的時候，系統(tǒng)可能會把他們復制到任務名以外的另一個名字上去。MapReduce通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡上的每個節(jié)點實現(xiàn)可靠性；每個節(jié)
環(huán)評公示相關推薦
鄂ICP備17016276號-1