大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)-教學(xué)大綱-wenkub
2023-07-11 18:40:05 本頁面
【正文】 了解大數(shù)據(jù)的發(fā)展和基本概念，理解并掌握大數(shù)據(jù)的特征及主要技術(shù)層面。但隨著市場競爭的加劇，各行業(yè)對大數(shù)據(jù)技術(shù)研究的熱情越來越高，在未來幾年，各領(lǐng)域的數(shù)據(jù)分析都將大規(guī)模應(yīng)用?！洞髷?shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)》教學(xué)大綱學(xué) 時：60代 碼：適用專業(yè)：制 定： 審 核：批 準(zhǔn)： 一、課程的地位、性質(zhì)和任務(wù)大數(shù)據(jù)技術(shù)的發(fā)展，已被列為國家重大發(fā)展戰(zhàn)略。本課程在注重大數(shù)據(jù)時代應(yīng)用環(huán)境前提下，考慮大數(shù)據(jù)處理分析需求多樣復(fù)雜的基本情況，從初學(xué)者角度出發(fā)，以輕量級理論、豐富的實例對比性地介紹大數(shù)據(jù)常用計算模式的各種系統(tǒng)和工具。2. 掌握Scrapy環(huán)境的搭建，了解網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)的過程，熟悉爬蟲項目的創(chuàng)建。6. 熟悉Spark和RDD的基本概念，熟悉spark接口的使用，解決實戰(zhàn)時的步驟及思路。了解Flink的重要概念和基本架構(gòu)，掌握Flink簡單的使用實例。2．?dāng)?shù)據(jù)獲取識記基本概念，識記各功能應(yīng)怎樣用Scrapy爬蟲實現(xiàn)，了解采集目標(biāo)數(shù)據(jù)項定義，領(lǐng)會并掌握爬蟲運行和數(shù)據(jù)存儲技術(shù)。6．分布式數(shù)據(jù)庫HBase 識記HBase的基本概念，熟悉安裝HBase集群的步驟，了解HBaseAPI的基本步驟。11．事件流OLAP之Druid 了解Druid的概念及其應(yīng)用場所，掌握Druid單機(jī)環(huán)境的安裝方法和步驟，并能利用Druid進(jìn)行加載流數(shù)據(jù)處理數(shù)據(jù)查詢等。四、課程的重點、難點1．大數(shù)據(jù)概述重點：大數(shù)據(jù)的概念和特征。3．Hadoop基礎(chǔ)重點：Hadoop的基礎(chǔ)理論及安裝。難點：獨立編寫滿足自己需求的MapReduce程序。8．開源集群計算環(huán)境Spark 重點：理解Spark的工作機(jī)制。10．企業(yè)級、大數(shù)據(jù)流處理Apex 重點：Apex的流處理功能。13．分布式文件搜索Elasticsearch重點：Elasticsearch的基本架構(gòu)。實驗二 Hadoop安裝與配置要求：Hadoop單機(jī)和集群模式的配置。實驗七 Spark簡單編程與聚類實戰(zhàn)
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號-1