大數(shù)據(jù)時代培訓(xùn)課件-在線瀏覽
2024-10-25 13:56本頁面
【正文】 度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結(jié)果。集群、分割、孤立點分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價值。 3. Predictive Analytic Capabilities（預(yù)測性分析能力） 數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測性的判斷。語義引擎需要被設(shè)計成能夠從“文檔”中智能提取信息。通過標(biāo)準(zhǔn)化的流程和工具對數(shù)據(jù)進行處理，可以保證一個預(yù)先定義好的高質(zhì)量的分析結(jié)果。 具體的大數(shù)據(jù)處理方法其實有很多，但是根據(jù)長時間的實踐，此處總結(jié)了一個基本的大數(shù)據(jù)處理流程。 采集： 大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。,大數(shù)據(jù)處理,導(dǎo)入/預(yù)處理： 雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。 統(tǒng)計/分析： 統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實時性需求會用到EMC 的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。,大數(shù)據(jù)處理,挖掘： 與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預(yù)測（Predict）的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。 該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，還有，常用數(shù)據(jù)挖掘算法都以單線程為主。 開源大數(shù)據(jù)生態(tài)圈： Hadoop HDFS、HadoopMapReduce, HBase、Hive 漸次誕生，早期Hadoop生態(tài)圈逐步形成。它存在于Hadoop生態(tài)圈之外，但也曾經(jīng)有一些用戶。 數(shù)據(jù)倉庫：TeradataAsterData, EMC GreenPlum, HPVertica 等等。,處理和分析工具Hadoop,據(jù)IDC的預(yù)測，全球大數(shù)據(jù)市場2015年將達170億美元規(guī)模，市場發(fā)展前景很大。 Apache Hadoop 是一個用java語言實現(xiàn)的軟件框架，在由大量計算機組成的集群中運行海量數(shù)據(jù)的分布式計算，它可以讓應(yīng)用程序支持上千個節(jié)點和PB級別的數(shù)據(jù)。 優(yōu)點： 可擴展：不論是存儲的可擴展還是計算的可擴展都是Hadoop的設(shè)計根本。 可靠：分布式文件系統(tǒng)的備份恢復(fù)機制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。,處理和分析工具Hadoop,Hadoop原本來自于谷歌一款名為MapReduce的編程模型包。使用該框架的一個典型例子就是在
電大資料相關(guān)推薦
鄂ICP備17016276號-1