大數(shù)據(jù)學(xué)習(xí)路徑2-資料下載頁(yè)
2025-06-22 21:43本頁(yè)面
【正文】 么每臺(tái)服務(wù)器的硬件狀態(tài)、業(yè)務(wù)應(yīng)用狀態(tài)如何實(shí)時(shí)的監(jiān)控，做到及時(shí)發(fā)現(xiàn)，快速解決問(wèn)題呢?(圖為企業(yè)產(chǎn)生日志的系統(tǒng)清單)統(tǒng)一監(jiān)控系統(tǒng)觸發(fā)的短信告警統(tǒng)一監(jiān)控系統(tǒng)觸發(fā)的郵件告警、案例：交易風(fēng)控系統(tǒng)電子商務(wù)是以互聯(lián)網(wǎng)絡(luò)為平臺(tái)的貿(mào)易新模式，它的一個(gè)最大特點(diǎn)是強(qiáng)調(diào)參加交易的各方和所合作的伙伴都要通過(guò)Internet密切結(jié)合起來(lái)，共同從事在網(wǎng)絡(luò)環(huán)境下的商業(yè)電子化應(yīng)用。用戶信息容易受到計(jì)算機(jī)病毒、黑客的攻擊，商業(yè)信息和數(shù)據(jù)易于搭截偵聽(tīng)、口令試探和竊取，為了防止用戶信息異常給商家和用戶帶來(lái)不必要的損失，企業(yè)期望針對(duì)用戶的訂單進(jìn)行分析，對(duì)觸發(fā)規(guī)則的訂單進(jìn)行風(fēng)險(xiǎn)預(yù)警，在必要情況下進(jìn)行攔截及鎖定訂單。(圖為訂單異常攔截)學(xué)完此階段可掌握的核心能力：，熟練使用Scala開(kāi)發(fā)程序，可以看懂其他用Scala編寫源碼。、使用Scala編寫Spark計(jì)算程序，熟練掌握Spark原理，可以閱讀Spark源碼。，熟練使用DataFrame的API，熟練使用Spark SQL處理結(jié)構(gòu)化數(shù)據(jù)，通過(guò)Spark SQL對(duì)接各種數(shù)據(jù)源，并將處理后結(jié)果寫回到存儲(chǔ)介質(zhì)中。 Streaming的核心DStream，掌握DStream的編程API并編寫實(shí)時(shí)計(jì)算程序。學(xué)完此階段可解決的現(xiàn)實(shí)問(wèn)題：熟練使用Scala快速開(kāi)發(fā)Spark大數(shù)據(jù)應(yīng)用，通過(guò)計(jì)算分析大量數(shù)據(jù)，挖掘出其中有價(jià)值的數(shù)據(jù)，為企業(yè)提供決策依據(jù)。學(xué)完此階段可擁有的市場(chǎng)價(jià)值：學(xué)習(xí)完spark并掌握其內(nèi)容，將具備中級(jí)大數(shù)據(jù)工程師能力，薪水可以達(dá)到20K~25K。介紹：Scala是一門集面向?qū)ο蠛秃瘮?shù)式編程與一身的編程語(yǔ)言，其強(qiáng)大的表達(dá)能力、優(yōu)雅的API、高效的性能等優(yōu)點(diǎn)受到越來(lái)越多程序員的青睞。Spark底層就是用Scala語(yǔ)言編寫，如果想徹底掌握Spark，就必須學(xué)好Scala。案例：Scala編程實(shí)戰(zhàn)，基于Akka框架，編寫一個(gè)簡(jiǎn)單的分布式RPC通信框架介紹：Spark是基于內(nèi)存計(jì)算的大數(shù)據(jù)并行計(jì)算框架，具有高容錯(cuò)性和高可伸縮性，可以在大量廉價(jià)硬件之上部署大規(guī)模集群，在同等條件下要比Hadoop快10到100倍。 SQL處理結(jié)構(gòu)化數(shù)據(jù)介紹：Spark SQL的前身是Shark，專門用來(lái)處理結(jié)構(gòu)化的數(shù)據(jù)，類似Hive，是將SQL轉(zhuǎn)換成一系列RDD任務(wù)提交到Spark集群中運(yùn)行，由于是在內(nèi)存中完成計(jì)算，要比hive的性能高很多，并且簡(jiǎn)化了開(kāi)發(fā)Spark程序的難度同時(shí)提高了開(kāi)發(fā)效率。 Streaming完成實(shí)時(shí)計(jì)算介紹：Spark Streaming類似于Apache Storm，用于流式數(shù)據(jù)的處理。根據(jù)其官方文檔介紹，Spark Streaming有高吞吐量和容錯(cuò)能力強(qiáng)等特點(diǎn)。Spark Streaming支持的數(shù)據(jù)輸入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和簡(jiǎn)單的TCP套接字等等。數(shù)據(jù)輸入后可以用Spark的高度抽象原語(yǔ)如：map、reduce、join、window等進(jìn)行運(yùn)算。而結(jié)果也能保存在很多地方，如HDFS，數(shù)據(jù)庫(kù)等。另外Spark Streaming也能和MLlib(機(jī)器學(xué)習(xí))以及Graphx完美融合：介紹：該項(xiàng)目使用了Spark SQL和Spark Streaming對(duì)游戲整個(gè)生命周期產(chǎn)生的數(shù)據(jù)進(jìn)行了分析，從玩家第一次登錄游戲到每天產(chǎn)生的游戲日志，通過(guò)大量的數(shù)據(jù)來(lái)分析該游戲的運(yùn)營(yíng)情況和玩家的各種行為：如活躍用戶、用戶留存、充值比例、游戲收人、外掛分析等。通過(guò)玩家登錄游戲產(chǎn)生的數(shù)據(jù)分析一天之內(nèi)各個(gè)時(shí)間段進(jìn)入游戲的情況通過(guò)玩家登陸游戲產(chǎn)生的數(shù)據(jù)分析玩家在全國(guó)地區(qū)的分步情況，調(diào)整廣告投放策略用戶留存指標(biāo)可以分析游戲?qū)ν婕业奈?，分析用戶流失原因用戶等?jí)信息可以分析玩家等等級(jí)分布情況、調(diào)整裝備爆率和游戲難度通過(guò)上面游戲各個(gè)數(shù)據(jù)指標(biāo)的分析，可以讓游戲運(yùn)維者了解游戲的運(yùn)維情況，為運(yùn)維者提供各種個(gè)性化的調(diào)整策略，從而保證游戲健康、穩(wěn)定的運(yùn)營(yíng)。36 / 36
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1