大數(shù)據(jù)平臺架構(gòu)-巨衫-展示頁
2024-08-20 05:23本頁面
【正文】 圖8：SequoiaDB雙存儲引擎4) 統(tǒng)一數(shù)據(jù)視圖，實(shí)現(xiàn)冷、熱數(shù)據(jù)物理分離在大數(shù)據(jù)應(yīng)用系統(tǒng)中，雖然存儲了大量的歷史數(shù)據(jù)，但是用戶在使用數(shù)據(jù)的規(guī)律上，總會有一些數(shù)據(jù)是使用得比較頻繁的（例如在銀行中，近期三個(gè)月的數(shù)據(jù)位熱數(shù)據(jù)），有一部分?jǐn)?shù)據(jù)有價(jià)值，但是查詢的頻率不高，對于查詢的性能也沒有熱數(shù)據(jù)那么嚴(yán)格（通常檢索熱數(shù)據(jù)，需要在50毫秒內(nèi)返回結(jié)果，檢索冷數(shù)據(jù)，允許在10秒內(nèi)），這種數(shù)據(jù)我們就稱為冷數(shù)據(jù)。當(dāng)用戶需要將大文件（超過16M）存儲在SequoiaDB中時(shí)，可以選擇塊存儲模式，將文件存儲在數(shù)據(jù)庫中。3) 雙存儲引擎，簡化系統(tǒng)架構(gòu)SequoiaDB數(shù)據(jù)庫支持BSON結(jié)構(gòu)存儲和塊數(shù)據(jù)存儲。結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)存儲在同一條記錄上這種利用BSON特性的存儲方法，可以有效避免由于數(shù)據(jù)需要存儲在兩個(gè)地方（數(shù)據(jù)庫+存儲），中間需要處理復(fù)雜的事務(wù)邏輯，并且從根本上避免了信息孤島產(chǎn)生的可能。BSON格式本身是一種弱Schema的數(shù)據(jù)類型，一條BSON記錄里面，可以包含各種類型的數(shù)據(jù)，如整型、字符型、浮點(diǎn)型和二進(jìn)制類型的數(shù)據(jù)。但是隨著時(shí)間的推移，需要接入該系統(tǒng)的業(yè)務(wù)會越來越多，需要管理的文件和信息量都開始開始激增，并且隨著查詢的并發(fā)量增加，這時(shí)候，按照傳統(tǒng)方法構(gòu)建的系統(tǒng)，性能、擴(kuò)容能力都無法滿足需求。靈活的數(shù)據(jù)類型2) 統(tǒng)一管理結(jié)構(gòu)化數(shù)據(jù)和海量小文件在過去，企業(yè)構(gòu)建一個(gè)內(nèi)容管理系統(tǒng)，基本是一個(gè)關(guān)系型數(shù)據(jù)庫+存儲這樣的組合。分片是為了替SequoiaDB 部署解決單臺服務(wù)器硬件資源受限問題，如內(nèi)存或者磁盤 I/O 瓶頸，不會增加應(yīng)用程序復(fù)雜性。SequoiaDB采用分片技術(shù)為數(shù)據(jù)庫提供橫向擴(kuò)展機(jī)制，這個(gè)分片過程對應(yīng)用程序來說是透明的。產(chǎn)品框架下的組件的簡要介紹，說明由哪些東西組成，實(shí)現(xiàn)哪些功能。同時(shí)，越來越廣闊的移動(dòng)無線網(wǎng)絡(luò)覆蓋，不斷提升的上網(wǎng)體驗(yàn)，人們的生活已經(jīng)與網(wǎng)絡(luò)連接起來，現(xiàn)在人們在互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)，比較過去正在以幾何倍數(shù)增長。 大數(shù)據(jù)平臺產(chǎn)品選型針對業(yè)務(wù)需求，我們選擇巨杉數(shù)據(jù)庫作為大數(shù)據(jù)基礎(chǔ)平臺。如下圖所示：（此圖要修改，北明）數(shù)據(jù)源層：包括各業(yè)務(wù)系統(tǒng)、服務(wù)系統(tǒng)以及社會其它單位的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；數(shù)據(jù)接口層：是原始數(shù)據(jù)進(jìn)入大數(shù)據(jù)庫的入口，針對不同類型的數(shù)據(jù)，需要有針對性地開發(fā)接口，進(jìn)行數(shù)據(jù)的緩沖、預(yù)處理等操作；平臺架構(gòu)層：基于大數(shù)據(jù)系統(tǒng)存儲各類數(shù)據(jù)，進(jìn)行 處理？；分析工具層：提供各種數(shù)據(jù)分析工具，例如：建模工具、報(bào)表開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)挖掘、可視化展現(xiàn)等工具；業(yè)務(wù)應(yīng)用層：根據(jù)應(yīng)用領(lǐng)域和業(yè)務(wù)需求，建立分析模型，使用分析工具，發(fā)現(xiàn)獲知事物背后的原因，預(yù)知未來的發(fā)展趨勢，提出優(yōu)化業(yè)務(wù)的方法。《 v2》P14 “大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)處理”，說明處理模式的差異。未來的數(shù)據(jù)和業(yè)務(wù)應(yīng)用趨勢，大數(shù)據(jù)才能解決這些問題。通過采集和分析數(shù)據(jù)，我們可以獲知事物背后的原因，優(yōu)化生產(chǎn)/生活方式，預(yù)知未來的發(fā)展動(dòng)態(tài)。1. 技術(shù)實(shí)現(xiàn)框架 大數(shù)據(jù)平臺架構(gòu) 大數(shù)據(jù)庫是未來提升業(yè)務(wù)能力的關(guān)鍵要素以“大數(shù)據(jù)”為主導(dǎo)的新一波信息化浪潮正席卷全球，成為全球范圍內(nèi)加速企業(yè)技術(shù)創(chuàng)新、推動(dòng)政府職能轉(zhuǎn)變、引領(lǐng)社會管理變革的利器。目前，大數(shù)據(jù)技術(shù)已經(jīng)從技術(shù)研究步入落地實(shí)施階段，數(shù)據(jù)資源成為未來業(yè)務(wù)的關(guān)鍵因素。經(jīng)過多年的信息化建設(shè)，省地稅已經(jīng)積累了豐富的數(shù)據(jù)資源，為下一步的優(yōu)化業(yè)務(wù)、提升管理水平，奠定了堅(jiān)實(shí)的基礎(chǔ)?！?v2》P12 “銀行的大數(shù)據(jù)資產(chǎn)和應(yīng)用“，說明稅務(wù)數(shù)據(jù)和業(yè)務(wù)分析，需要用大數(shù)據(jù)解決。 大數(shù)據(jù)平臺總體框架大數(shù)據(jù)平臺總體技術(shù)框架分為數(shù)據(jù)源層、數(shù)據(jù)接口層、平臺架構(gòu)層、分析工具層和業(yè)務(wù)應(yīng)用層。例如，尋找服務(wù)資源的最佳配置方案、發(fā)現(xiàn)業(yè)務(wù)流程中的短板進(jìn)行優(yōu)化等。 傳統(tǒng)數(shù)據(jù)庫與大數(shù)據(jù)庫的差異（豐富一下內(nèi)容，說明應(yīng)該選擇大數(shù)據(jù)平臺）傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，只能存儲結(jié)構(gòu)化數(shù)據(jù)，在當(dāng)前互聯(lián)網(wǎng)快速發(fā)展的時(shí)代，僵硬的數(shù)據(jù)模型已經(jīng)無法適應(yīng)快速開發(fā)、快速迭代的互聯(lián)網(wǎng)思維。 巨杉的產(chǎn)品框架（）巨杉的簡要介紹。 產(chǎn)品比較？（與類似產(chǎn)品的競爭優(yōu)勢？）SequoiaDB作為一款擁有完全自主知識產(chǎn)權(quán)的文檔型分布式數(shù)據(jù)庫，天生具備高性能、高可用的特性。分片分配數(shù)據(jù)跨越多個(gè)物理分區(qū)，每個(gè)分區(qū)也即分片。SequoiaDB相比其他數(shù)據(jù)庫的獨(dú)有功能如下：序號功能點(diǎn)1靈活的數(shù)據(jù)類型2統(tǒng)一管理結(jié)構(gòu)化數(shù)據(jù)及海量小文件3雙存儲引擎，簡化系統(tǒng)架構(gòu)4統(tǒng)一數(shù)據(jù)視圖，實(shí)現(xiàn)冷、熱數(shù)據(jù)物理分離5SequoiaDB支持讀寫分離，用戶可以針對一份數(shù)據(jù)完成更多的業(yè)務(wù)處理6深度整合大數(shù)據(jù)體系的各個(gè)組件，如Spark/Hadoop7完善的運(yùn)維、監(jiān)控工具8SequoiaDB支持在線擴(kuò)容，系統(tǒng)擴(kuò)容升級快速簡單 巨杉的特點(diǎn)？（）SequoiaDB不僅在性能上領(lǐng)先業(yè)界其他的非關(guān)系型數(shù)據(jù)庫，對比其他數(shù)據(jù)庫，SequoiaDB提供了非常多的獨(dú)有功能：1) 靈活的數(shù)據(jù)類型SequoiaDB采用文檔類型數(shù)據(jù)模型（對象存儲），將程序中的對象以原生的方式保存在數(shù)據(jù)庫中，并且可以對其中而已屬性或子對象進(jìn)行檢索匹配，可以大幅度弱化復(fù)雜的關(guān)系模型，加快應(yīng)用的開發(fā)速度，并減少系統(tǒng)的運(yùn)維成本。這種構(gòu)建方法，在過去數(shù)據(jù)量不大，并發(fā)數(shù)不高的情況下，系統(tǒng)還能運(yùn)行得比較平穩(wěn)。SequoiaDB是一款以BSON數(shù)據(jù)類型作為底層存儲格式的文檔型數(shù)據(jù)庫。用戶可以利用BSON這種特性，將像圖片，音頻這種小文件以二進(jìn)制類型放到一個(gè)BSON記錄里面，同時(shí)將對文件的描述信息也存儲在同一個(gè)BSON記錄上，形成一條完整的信息存儲在SequoiaDB中。非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1