大數(shù)據(jù)分析的案例方法與挑戰(zhàn)-閱讀頁
2025-05-27 00:53本頁面
【正文】 實現(xiàn)計算任務(wù)的分布化，盡量使到某個節(jié)點的計算任務(wù)主要面對存儲在本地的數(shù)據(jù)，以減少跨節(jié)點的網(wǎng)絡(luò)數(shù)據(jù)傳送中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201228HDFS結(jié)構(gòu)示意圖中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201229MapReduce示意圖中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201230HDFS與MapReduce一起工作中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201231Hiven 基于Hadoop的常用數(shù)據(jù)分析工具n 可以看成是SQL到MapReduce的轉(zhuǎn)換器n HiveQL尚未能完全支持SQL 92n 外部應(yīng)用可以通過hive客戶端、JDBC、ODBC等方式訪問Hive中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201232HBasen 列式數(shù)據(jù)庫，特別適合作為數(shù)據(jù)分析的場景，可以減少I/On 無真正索引n 自動分區(qū)n 增加新節(jié)點時自動線性擴展n 使用Hbase命令而非SQLn 可以通過Java，REST，thrift等接口訪問HBase中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201233Hadoop體系圖中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201234NoSQLn NoSQL = Not Only SQLn High performance, Huge Storage, High Scalability amp。 High Availabilityn NoSQL面向的場景：事務(wù)性要求不高，實時性要求不高，查詢較為簡單，數(shù)據(jù)海量n 可分布化，運行在廉價的PC集群上n 典型的NoSQL產(chǎn)品，通常某種產(chǎn)品只適合某種特定場景，常要配搭使用中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201235基于Hadoop的用戶指紋識別算法n 求某個客戶最相似客戶的MapReduce化（以相關(guān)系數(shù)為例）：n Map（） 將所有客戶隨機平分到 k臺機器 Emit the k 個跟某客戶最相似的客戶n Reduce( ) values: k 個最大相關(guān)系數(shù)(local) Emit the 最大相關(guān)系數(shù)、與某客戶最相似客戶中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201236數(shù)據(jù)分析者期待的解決方案n 完美解決性能瓶頸，在可見未來不容易出現(xiàn)新瓶頸n 過去所擁有的技能可以平穩(wěn)過渡。max取遍所有可能的(x,y)網(wǎng)格Gn MIC=max {mx
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號-1