大數(shù)據(jù)分析的案例方法與挑戰(zhàn)(編輯修改稿)
2025-06-08 00:53 本頁面
【文章內(nèi)容簡介】 DTCC201220備選方案——外部表中山大學海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201221使用傳統(tǒng)關系型數(shù)據(jù)庫遇到的困難n All – in – one，并非專門針對數(shù)據(jù)分析設計和優(yōu)化n 設計復雜，調(diào)優(yōu)復雜，數(shù)據(jù)分析師兼任DBAn 當數(shù)據(jù)規(guī)模增加時，需要擴展硬件，邊際成本指數(shù)級上升，存在無法突破的物理瓶頸中山大學海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201222解決方案n 列式數(shù)據(jù)庫，實時數(shù)據(jù)庫等新的數(shù)據(jù)庫技術n 分布式集群：Hadoop，NoSQL及其它分布式數(shù)據(jù)庫技術n 混合使用各種專業(yè)分析產(chǎn)品中山大學海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201223場景：行為指紋識別n當q176。當 q為0 時，AC兩個矢量完全相關，即兩個號碼的交往圈相似度最高當 q越接近0，說明兩個號碼的交往圈越相似DTCC2012中山大學海量數(shù)據(jù)與云計算研究中心 黃志洪25為 90 時，AC兩個矢量完全不相關，即兩個號碼的交往圈相似度最低基于分布式平臺運行海量數(shù)據(jù)移動客戶數(shù)據(jù)量達到TB級云化Oracle數(shù)據(jù)庫中sql語句可以得到結果，但希望進一步提高效率MapReduce方法希望嘗試多個相似度計算結果中山大學海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC2012云計算——網(wǎng)絡發(fā)展的必然結果中山大學海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC2012Hadoopn Hadoop的主要功能：HDFS和MapReducen HDFS實現(xiàn)數(shù)據(jù)的分布式存儲，并且實現(xiàn)冗余備份n MapReduce實現(xiàn)計算任務的分布化，盡量使到某個節(jié)點的計算任務主要面對存儲在本地的數(shù)據(jù)，以減少跨節(jié)點的網(wǎng)絡數(shù)據(jù)傳送中山大學海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201228HDFS結構示意圖中山大學海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201229MapReduce示意圖中山大學海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201230HDFS與MapReduce一起工作
教學教案相關推薦
鄂ICP備17016276號-1