企業(yè)大數(shù)據(jù)分析挖掘指南(參考版)
2025-06-19 22:20本頁面
【正文】 12?？偨Y(jié)雖然說開源軟件因?yàn)槠鋸?qiáng)大的成本優(yōu)勢(shì)而擁有極其強(qiáng)大的力量，數(shù)據(jù)庫、云計(jì)算廠商仍會(huì)嘗試推出性能、穩(wěn)定性、維護(hù)服務(wù)等指標(biāo)上更加強(qiáng)大的產(chǎn)品與之進(jìn)行差異化競(jìng)爭(zhēng)，并同時(shí)參與開源社區(qū)，借力開源軟件來豐富自己的產(chǎn)品線、提升自己的競(jìng)爭(zhēng)力，并通過更多的高附加值服務(wù)來滿足部分消費(fèi)者需求。據(jù)介紹，CS聚焦于互聯(lián)網(wǎng)和物聯(lián)網(wǎng)場(chǎng)景，適用于實(shí)時(shí)性要求高、吞吐量大的業(yè)務(wù)場(chǎng)景。CS采用Apache Flink的Dataflow模型，實(shí)現(xiàn)完全的實(shí)時(shí)計(jì)算，同時(shí)，采用在線SQL編輯平臺(tái)編寫Stream SQL，定義數(shù)據(jù)流入、數(shù)據(jù)處理、數(shù)據(jù)流出，用戶無需關(guān)心計(jì)算集群, 無需學(xué)習(xí)編程技能，降低流數(shù)據(jù)分析門檻。在諸多的開源框架中，時(shí)金魁認(rèn)為，F(xiàn)link是最恰當(dāng)?shù)牧饔?jì)算框架，Spark Streaming則是最有潛力的流計(jì)算框架，但這兩個(gè)框架在落地應(yīng)用中都有各自的優(yōu)缺點(diǎn)。它可以很好地對(duì)大規(guī)模流動(dòng)數(shù)據(jù)在不斷變化的運(yùn)動(dòng)過程中實(shí)時(shí)地進(jìn)行分析，捕捉到可能有用的信息，并把結(jié)果發(fā)送到下一計(jì)算節(jié)點(diǎn)。這個(gè)流程看起來雖然合理，但是結(jié)果卻非常的緊湊，尤其是對(duì)于一些實(shí)時(shí)搜索應(yīng)用環(huán)境中的某些具體問題，類似于MapReduce方式的離線處理并不能很好地解決問題。在傳統(tǒng)的數(shù)據(jù)處理流程中，總是先收集數(shù)據(jù)，然后將數(shù)據(jù)放到DB中。流計(jì)算在物聯(lián)網(wǎng)行業(yè)、車聯(lián)網(wǎng)、智慧城市等行業(yè)快速落地，亦創(chuàng)造出越來越多的價(jià)值。在KV系統(tǒng)的后續(xù)優(yōu)化上，王仆介紹到，為了能夠?qū)⒋鎯?chǔ)系統(tǒng)應(yīng)用于更多不同的業(yè)務(wù)場(chǎng)景，未來會(huì)考慮更高的通用性，適配多種的存儲(chǔ)引擎；另外，因?yàn)镽edis比較流行，系統(tǒng)設(shè)計(jì)之初主要是支持Redis，但是業(yè)界還有一些其他協(xié)議，這時(shí)候需要特殊的轉(zhuǎn)化流程，未來希望做成一個(gè)支持各種協(xié)議的通用結(jié)構(gòu)化存儲(chǔ)系統(tǒng)，適配其他不同協(xié)議。整個(gè)系統(tǒng)是有中心節(jié)點(diǎn)的系統(tǒng)，路由管理由Master來管理，Master通過每個(gè)機(jī)器上的Host管理Storage節(jié)點(diǎn)，由Zookeeper確定誰是主誰是從，因此，一些管理方面的請(qǐng)求都是直接連接到Master上的，包括創(chuàng)建、刪除和控制臺(tái)方面的功能等。來自UCloud的技術(shù)專家王仆，著重介紹了UCloud在大容量分布式KV系統(tǒng)設(shè)計(jì)方面的經(jīng)驗(yàn)，以及應(yīng)對(duì)線上業(yè)務(wù)高性能、高容量要求的系統(tǒng)架構(gòu)設(shè)計(jì)思路。
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1