大數(shù)據(jù)平臺架構(gòu)-巨衫-免費(fèi)閱讀
【正文】 而用紅色圈框起來的三個編目結(jié)點表示一個編目組，編目組上的節(jié)點與數(shù)據(jù)組中的任意節(jié)點處在同一臺機(jī)器。一組三副本能夠比較好的保證數(shù)據(jù)的安全以及數(shù)據(jù)的高可用性。 Red Hat Enterprise Linux (RHEL) 6216。 系統(tǒng)部署方案SequoiaDB數(shù)據(jù)庫支持布署在X86架構(gòu)、x64（64位 AMD64 和 Intel EM64T 處理器）、PowerPC7或者PowerPC7+架構(gòu)的服務(wù)器上。此時就可以通過數(shù)據(jù)備份將整個數(shù)據(jù)庫的數(shù)據(jù)還原回來，從而比較好的確保了數(shù)據(jù)的安全。SequoiaDB客戶端和SequoiaDB實例直接可以使用SSL加密連接。Javascrip Shell支持Javascript的語法，可以進(jìn)入SDB Shell進(jìn)行單條語句執(zhí)行，也可以執(zhí)行Javascript腳本。使用Jaspersoft，企業(yè)可以輕易地針對自身數(shù)據(jù)構(gòu)建可視化的BI視圖。 SequoiaDB在海量數(shù)據(jù)檢索上，除了有效利用分布式存儲、分布式計算的特性外，還為支持給數(shù)據(jù)添加索引。落入分布式數(shù)據(jù)庫之后，可以使用MapRedue并行計算框架，從SequoiaDB分布式數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)的清洗、去重、整合等數(shù)據(jù)操作。結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)存儲在同一條記錄上這種利用BSON特性的存儲方法，可以有效避免由于數(shù)據(jù)需要存儲在兩個地方（數(shù)據(jù)庫+存儲），中間需要處理復(fù)雜的事務(wù)邏輯，并且從根本上避免了信息孤島產(chǎn)生的可能。3) 結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)存儲SequoiaDB有著錄活的數(shù)據(jù)類型，支持結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的存儲。目前，SequoiaDB 數(shù)據(jù)庫目前已經(jīng)與亞馬遜云、阿里云、騰訊云有深度的合作。SequoiaDB除了提供API接口外，還能通過擴(kuò)展PostgreSQL和Spark SQL，為用戶直接提供JDBC 服務(wù)，用戶也可以選擇使用SQL語句，將數(shù)據(jù)寫入到數(shù)據(jù)庫中。Kettle 中文名稱叫水壺，該項目希望把各種數(shù)據(jù)放到一個壺里，然后以一種指定的格式流出。對于像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng)，但又要求實時處理的限制，這是一個可行的解決方案。例如在命令行工具上，SequoiaDB為用戶提供sdbtop工具，方便用戶實時追蹤集群運(yùn)行狀況，還有sdb日志追蹤工具，多級別日志選擇等都為企業(yè)后續(xù)的運(yùn)維減輕壓力。如果用戶需要構(gòu)建一個既需要存儲結(jié)構(gòu)化信息，有需要管理大量大文件的系統(tǒng)時，SequoiaDB雙存儲引擎這個特性，能幫助用戶快速搭建一個高性能、高可用的系統(tǒng)，并且整個系統(tǒng)組件簡單—只有SequoiaDB數(shù)據(jù)庫，不再需要額外購買昂貴的存儲設(shè)備，節(jié)省企業(yè)的開發(fā)和運(yùn)維成本。SequoiaDB是一款以BSON數(shù)據(jù)類型作為底層存儲格式的文檔型數(shù)據(jù)庫。 產(chǎn)品比較？（與類似產(chǎn)品的競爭優(yōu)勢？）SequoiaDB作為一款擁有完全自主知識產(chǎn)權(quán)的文檔型分布式數(shù)據(jù)庫，天生具備高性能、高可用的特性。 大數(shù)據(jù)平臺總體框架大數(shù)據(jù)平臺總體技術(shù)框架分為數(shù)據(jù)源層、數(shù)據(jù)接口層、平臺架構(gòu)層、分析工具層和業(yè)務(wù)應(yīng)用層。1. 技術(shù)實現(xiàn)框架 大數(shù)據(jù)平臺架構(gòu) 大數(shù)據(jù)庫是未來提升業(yè)務(wù)能力的關(guān)鍵要素以“大數(shù)據(jù)”為主導(dǎo)的新一波信息化浪潮正席卷全球，成為全球范圍內(nèi)加速企業(yè)技術(shù)創(chuàng)新、推動政府職能轉(zhuǎn)變、引領(lǐng)社會管理變革的利器。如下圖所示：（此圖要修改，北明）數(shù)據(jù)源層：包括各業(yè)務(wù)系統(tǒng)、服務(wù)系統(tǒng)以及社會其它單位的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；數(shù)據(jù)接口層：是原始數(shù)據(jù)進(jìn)入大數(shù)據(jù)庫的入口，針對不同類型的數(shù)據(jù)，需要有針對性地開發(fā)接口，進(jìn)行數(shù)據(jù)的緩沖、預(yù)處理等操作；平臺架構(gòu)層：基于大數(shù)據(jù)系統(tǒng)存儲各類數(shù)據(jù)，進(jìn)行 處理？；分析工具層：提供各種數(shù)據(jù)分析工具，例如：建模工具、報表開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)挖掘、可視化展現(xiàn)等工具；業(yè)務(wù)應(yīng)用層：根據(jù)應(yīng)用領(lǐng)域和業(yè)務(wù)需求，建立分析模型，使用分析工具，發(fā)現(xiàn)獲知事物背后的原因，預(yù)知未來的發(fā)展趨勢，提出優(yōu)化業(yè)務(wù)的方法。SequoiaDB采用分片技術(shù)為數(shù)據(jù)庫提供橫向擴(kuò)展機(jī)制，這個分片過程對應(yīng)用程序來說是透明的。BSON格式本身是一種弱Schema的數(shù)據(jù)類型，一條BSON記錄里面，可以包含各種類型的數(shù)據(jù)，如整型、字符型、浮點型和二進(jìn)制類型的數(shù)據(jù)。圖8：SequoiaDB雙存儲引擎4) 統(tǒng)一數(shù)據(jù)視圖，實現(xiàn)冷、熱數(shù)據(jù)物理分離在大數(shù)據(jù)應(yīng)用系統(tǒng)中，雖然存儲了大量的歷史數(shù)據(jù)，但是用戶在使用數(shù)據(jù)的規(guī)律上，總會有一些數(shù)據(jù)是使用得比較頻繁的（例如在銀行中，近期三個月的數(shù)據(jù)位熱數(shù)據(jù)），有一部分?jǐn)?shù)據(jù)有價值，但是查詢的頻率不高，對于查詢的性能也沒有熱數(shù)據(jù)那么嚴(yán)格（通常檢索熱數(shù)據(jù)，需要在50毫秒內(nèi)返回結(jié)果，檢索冷數(shù)據(jù)，允許在10秒內(nèi)），這種數(shù)據(jù)我們就稱為冷數(shù)據(jù)。另外，SequoiaDB還為用戶提供一套WEB管理工具，用戶可以通過頁面部署、管理SequoiaDB集群，并且WEB控制臺還將實時監(jiān)控的數(shù)據(jù)用形象的圖表展示給用戶。kafka的目的是通過Hadoop的并行加載機(jī)制來統(tǒng)一線上和離線的消息處理，也是為了通過集群機(jī)來提供實時的消費(fèi)。Kettle這個ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。另外，SequoiaDB也為用戶提供一種基于JDBC服務(wù)的數(shù)據(jù)交換工具，用戶可以在此工具上，編寫不同的SQL語句，從一個數(shù)據(jù)庫中抽取數(shù)據(jù)導(dǎo)入到SequoiaDB中。SequoiaDB 也向企業(yè)用戶提供一站式的云數(shù)據(jù)庫服務(wù)，用戶無需自己在云提供商處申請資源，自行部署云數(shù)據(jù)庫，而是直接面向云數(shù)據(jù)庫提供商SequoiaDB 申請資源。SequoiaDB采用文檔類型數(shù)據(jù)模型（對象存儲），將程序中的對象以原生的方式保存在數(shù)據(jù)庫中，并且可以對其中而已屬性或子對象
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1