企業(yè)大數(shù)據(jù)分析挖掘指南-資料下載頁
2025-06-16 22:20本頁面
【正文】 造出越來越多的價(jià)值。來自華為的架構(gòu)師時(shí)金魁，現(xiàn)場分享了實(shí)時(shí)流計(jì)算的一些技術(shù)方案和落地應(yīng)用。在傳統(tǒng)的數(shù)據(jù)處理流程中，總是先收集數(shù)據(jù)，然后將數(shù)據(jù)放到DB中。當(dāng)人們需要的時(shí)候通過DB對數(shù)據(jù)做query，得到答案或進(jìn)行相關(guān)的處理。這個(gè)流程看起來雖然合理，但是結(jié)果卻非常的緊湊，尤其是對于一些實(shí)時(shí)搜索應(yīng)用環(huán)境中的某些具體問題，類似于MapReduce方式的離線處理并不能很好地解決問題。這就引出了一種新的數(shù)據(jù)計(jì)算結(jié)構(gòu)流計(jì)算方式。它可以很好地對大規(guī)模流動數(shù)據(jù)在不斷變化的運(yùn)動過程中實(shí)時(shí)地進(jìn)行分析，捕捉到可能有用的信息，并把結(jié)果發(fā)送到下一計(jì)算節(jié)點(diǎn)。目前，業(yè)界開源的流計(jì)算框架很多，最早有Storm、Heron，后來還有Akka，Beam，以及現(xiàn)在的Kafka等等。在諸多的開源框架中，時(shí)金魁認(rèn)為，F(xiàn)link是最恰當(dāng)?shù)牧饔?jì)算框架，Spark Streaming則是最有潛力的流計(jì)算框架，但這兩個(gè)框架在落地應(yīng)用中都有各自的優(yōu)缺點(diǎn)。華為根據(jù)Flink與Spark框架各自的特點(diǎn)，摒棄其劣勢，設(shè)計(jì)開發(fā)出一款全新的實(shí)時(shí)流計(jì)算服務(wù)Cloud Stream Service（簡稱CS）。CS采用Apache Flink的Dataflow模型，實(shí)現(xiàn)完全的實(shí)時(shí)計(jì)算，同時(shí)，采用在線SQL編輯平臺編寫Stream SQL，定義數(shù)據(jù)流入、數(shù)據(jù)處理、數(shù)據(jù)流出，用戶無需關(guān)心計(jì)算集群, 無需學(xué)習(xí)編程技能，降低流數(shù)據(jù)分析門檻。下圖為華為的實(shí)時(shí)流計(jì)算服務(wù)概覽圖。據(jù)介紹，CS聚焦于互聯(lián)網(wǎng)和物聯(lián)網(wǎng)場景，適用于實(shí)時(shí)性要求高、吞吐量大的業(yè)務(wù)場景。主要應(yīng)用在互聯(lián)網(wǎng)行業(yè)中小企業(yè)、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、金融反欺詐等多種行業(yè)應(yīng)用場景，如互聯(lián)網(wǎng)汽車、日志在線分析、在線機(jī)器學(xué)習(xí)、在線圖計(jì)算、在線推薦算法應(yīng)用等?？偨Y(jié)雖然說開源軟件因?yàn)槠鋸?qiáng)大的成本優(yōu)勢而擁有極其強(qiáng)大的力量，數(shù)據(jù)庫、云計(jì)算廠商仍會嘗試推出性能、穩(wěn)定性、維護(hù)服務(wù)等指標(biāo)上更加強(qiáng)大的產(chǎn)品與之進(jìn)行差異化競爭，并同時(shí)參與開源社區(qū)，借力開源軟件來豐富自己的產(chǎn)品線、提升自己的競爭力，并通過更多的高附加值服務(wù)來滿足部分消費(fèi)者需求。總的來看，未來的大數(shù)據(jù)分析技術(shù)、存儲將會變得越來越成熟、越來越便宜、越來越易用，相應(yīng)的，用戶將會更容易、更方便地從自己的大數(shù)據(jù)中挖掘出有價(jià)值的商業(yè)信息。12
高考資料相關(guān)推薦
鄂ICP備17016276號-1