大數(shù)據(jù)分析的案例方法與挑戰(zhàn)-文庫吧資料
2025-05-18 00:53本頁面
【正文】 格判斷數(shù)據(jù)的集中程度，集中程度意味著是否有關(guān)聯(lián)關(guān)系n 方法具有一般性，即無論數(shù)據(jù)是怎樣分布的，不限于特定的關(guān)聯(lián)函數(shù)類型，此判斷方法都是有效n 方法具有等效性，計算的熵值和噪音的程度有關(guān)，跟關(guān)聯(lián)的類型無關(guān)n MIC：the Maximal Information Coefficientn MINE：Maximal Informationbased Nonparametric Exploration中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201240MIC值計算n 坐標(biāo)平面被劃分為(x,y)網(wǎng)格G（未必等寬），其中xyn 在G上可以誘導(dǎo)出“自然概率密度函數(shù)”p(x,y)，任何一個方格（box）內(nèi)的概率密度函數(shù)值為這個方格所 包含的樣本點(diǎn)數(shù)量占全體樣本點(diǎn)的比例n 計算網(wǎng)格劃分G下的 mutual information值 IG中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201241MIC值計算n 構(gòu)造特征矩陣{mxy}，矩陣的元素mxy=max{IG}/log min{x,y}。 Output: 最大相關(guān)系數(shù)(global) Input: Key: null。 Output: k 個最大相關(guān)系數(shù)(local) Input： 某客戶數(shù)值、所有客戶數(shù)值amp。大數(shù)據(jù)分析的案例、方法與挑戰(zhàn)中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC2012數(shù)據(jù)分析者面臨的問題n 數(shù)據(jù)日趨龐大，無論是入庫和查詢，都出現(xiàn)性能瓶頸n 用戶的應(yīng)用和分析結(jié)果呈整合趨勢，對實(shí)時性和響應(yīng)時間要求越來越高n 使用的模型越來越復(fù)雜，計算量指數(shù)級上升n 傳統(tǒng)技能無法應(yīng)對大數(shù)據(jù)：R、SAS、SQL中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC20122場景介紹n 信令監(jiān)測是做什么的？中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC2012體系架構(gòu)n 數(shù)據(jù)庫服務(wù)器：HP小型機(jī)，128G內(nèi)存，48顆CPU，2節(jié)點(diǎn)RAC，其中一個節(jié)點(diǎn)用于入庫，另外一個節(jié)點(diǎn)用于查詢n 存儲：HP虛擬化存儲，1000個盤n 入庫節(jié)點(diǎn)n 入庫方式——常規(guī)路徑sqlldrn 大量使用表分區(qū)設(shè)計n 數(shù)據(jù)量：每小時寫入200G左右數(shù)據(jù)磁盤物理寫大約為450G每小時問題：1 入庫瓶頸 2 查詢瓶頸中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC2012數(shù)據(jù)庫設(shè)計n 物理上采用ASMn 大表全部按時間分區(qū)，開始時按小時分區(qū)，但由于數(shù)據(jù)量龐大，后來改成15分鐘分區(qū)，最后變成每分鐘切換1個分區(qū)n 采用sqlldr方式入庫中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC20125入庫故障描述n 由于數(shù)據(jù)量太大，不得不同時啟用多個處理機(jī)，產(chǎn)生了多個入庫節(jié)點(diǎn)n 當(dāng)入庫節(jié)點(diǎn)分別增加到2節(jié)點(diǎn)和4節(jié)點(diǎn)以后，sqlldr出現(xiàn)停頓現(xiàn)象中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC2012AWR報告n中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC2012AWR報告n
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號-1