企業(yè)數(shù)據(jù)集市建設(shè)要點(diǎn)分析-文庫(kù)吧資料
2025-06-22 21:15本頁(yè)面
【正文】 求和技術(shù)需求兩部分。A22：整體架構(gòu)包括采集、存儲(chǔ)、處理和訪問等層次，就像建立大數(shù)據(jù)平臺(tái)一樣，這都是需要重點(diǎn)考慮的技術(shù)點(diǎn)，至于哪種方案合適，首先還是要了解各個(gè)層次對(duì)應(yīng)的技術(shù)組件和成熟的解決方案，對(duì)各個(gè)技術(shù)點(diǎn)重點(diǎn)測(cè)試，掌握優(yōu)缺點(diǎn)后才能合理組合各個(gè)組件。在開發(fā)方面，需要分析人員對(duì)業(yè)務(wù)需求非常了解，才能設(shè)計(jì)出合理的數(shù)據(jù)模型，提升數(shù)據(jù)服務(wù)的效率。三、數(shù)據(jù)集市的項(xiàng)目建設(shè)方案及技術(shù)點(diǎn)Q1：在軟/硬件、開發(fā)、運(yùn)行、維護(hù)和管理等各個(gè)方面面臨哪些困難？如何克服？A11：可能主要在三方面：技術(shù)管理：專門的開發(fā)運(yùn)維團(tuán)隊(duì)，和數(shù)倉(cāng)（大倉(cāng)）間的職責(zé)分工，集市技術(shù)人員與業(yè)務(wù)人員間的職責(zé)分工明確技術(shù)架構(gòu)：集市數(shù)據(jù)架構(gòu)設(shè)計(jì)，從數(shù)倉(cāng)（大倉(cāng)）數(shù)據(jù)加載，數(shù)據(jù)集市運(yùn)維監(jiān)控，集市高性能、高可用機(jī)制，業(yè)務(wù)人員靈活定制數(shù)據(jù)服務(wù)與集市日常數(shù)據(jù)服務(wù)、集市數(shù)據(jù)加載間的資源分配，新技術(shù)掌控力度等信息安全：開發(fā)、運(yùn)維分離，生產(chǎn)操作各項(xiàng)安全審計(jì)，數(shù)據(jù)庫(kù)本身權(quán)限最小、數(shù)據(jù)隔離機(jī)制等A12：類比大數(shù)據(jù)平臺(tái)，數(shù)據(jù)ETL是個(gè)非常重要且比較有難度的技術(shù)點(diǎn)，往往會(huì)有人提出數(shù)據(jù)導(dǎo)的不正常或丟失、數(shù)據(jù)未正常到達(dá)等情況，這個(gè)沒有較好的解決方法，只能做好監(jiān)控，盡量保證各個(gè)環(huán)節(jié)正常流轉(zhuǎn)。所以數(shù)倉(cāng)的數(shù)據(jù)全，粒度細(xì)，沒有很好的加工，而數(shù)據(jù)集市可能會(huì)改變?cè)袛?shù)據(jù)，所以粒度是較粗的。數(shù)據(jù)集市低延時(shí)和高并發(fā)查詢的情況下具備足夠的支撐能力，可以724對(duì)外提供數(shù)據(jù)服務(wù)，且不影響原有數(shù)據(jù)倉(cāng)庫(kù)統(tǒng)計(jì)分析應(yīng)用的正常運(yùn)行。數(shù)據(jù)集市可以在一定程度上緩解訪問數(shù)據(jù)倉(cāng)庫(kù)的瓶頸。Q2：數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù)在方法論上有什么差異，為什么選擇不同的技術(shù)和平臺(tái)？相比而言，數(shù)據(jù)集市和數(shù)據(jù)倉(cāng)庫(kù)各有什么優(yōu)點(diǎn)和缺點(diǎn)？A21：本質(zhì)上沒有區(qū)別，如豪華汽車和中端汽車，目的是解決不同場(chǎng)景的問題。數(shù)據(jù)集市提升了數(shù)據(jù)交互的時(shí)間，使數(shù)據(jù)的使用變得流暢。直接用戶是可以定制化數(shù)據(jù)服務(wù)，方便、快捷，間接用戶是快速響應(yīng)、更好用戶體驗(yàn)、高性能和可用性。A32：金融行業(yè)積累了非常多的數(shù)據(jù)，數(shù)據(jù)質(zhì)量也很高，隨著金融業(yè)與技術(shù)的緊密結(jié)合，面向某一領(lǐng)域的數(shù)據(jù)需求變得越來越強(qiáng)烈，比如行情數(shù)據(jù)，很多應(yīng)用都需要，這時(shí)如果形成行情的數(shù)據(jù)集市，提供數(shù)據(jù)服務(wù)，不僅避免重復(fù)建設(shè)，而且有利于數(shù)據(jù)的統(tǒng)一管理。建立數(shù)據(jù)集市，有助于進(jìn)一步發(fā)揮數(shù)據(jù)價(jià)值，因其面向主題，可以對(duì)數(shù)據(jù)做各種處理，從而在設(shè)計(jì)上提升數(shù)據(jù)存儲(chǔ)和查詢的效率。A12：當(dāng)用戶對(duì)大量數(shù)據(jù)的實(shí)時(shí)性要求非常迫切，而數(shù)據(jù)倉(cāng)庫(kù)無法滿足時(shí)，就需要有針對(duì)性的對(duì)這些數(shù)據(jù)進(jìn)行處理，提升存儲(chǔ)和計(jì)算的效率，這就需要建立數(shù)據(jù)集市，通過對(duì)數(shù)據(jù)的預(yù)處理，提升數(shù)據(jù)查詢處理效率。大量生產(chǎn)數(shù)據(jù)的預(yù)處理在數(shù)倉(cāng)進(jìn)行，數(shù)據(jù)集市接收數(shù)倉(cāng)預(yù)處理后的數(shù)據(jù)。
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1