大數(shù)據(jù)分析的案例方法與挑戰(zhàn)-資料下載頁
2025-05-12 00:53本頁面
【正文】 DTCC201239網(wǎng)格方法n 《Science》上的文章《Detecting Novel Associations in Large Data Sets》n 方法概要：用網(wǎng)格判斷數(shù)據(jù)的集中程度，集中程度意味著是否有關(guān)聯(lián)關(guān)系n 方法具有一般性，即無論數(shù)據(jù)是怎樣分布的，不限于特定的關(guān)聯(lián)函數(shù)類型，此判斷方法都是有效n 方法具有等效性，計算的熵值和噪音的程度有關(guān)，跟關(guān)聯(lián)的類型無關(guān)n MIC：the Maximal Information Coefficientn MINE：Maximal Informationbased Nonparametric Exploration中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201240MIC值計算n 坐標(biāo)平面被劃分為(x,y)網(wǎng)格G（未必等寬），其中xyn 在G上可以誘導(dǎo)出“自然概率密度函數(shù)”p(x,y)，任何一個方格（box）內(nèi)的概率密度函數(shù)值為這個方格所 包含的樣本點數(shù)量占全體樣本點的比例n 計算網(wǎng)格劃分G下的 mutual information值 IG中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201241MIC值計算n 構(gòu)造特征矩陣{mxy}，矩陣的元素mxy=max{IG}/log min{x,y}。max取遍所有可能的(x,y)網(wǎng)格Gn MIC=max {mxy}。Max取遍所有可能的(x,y)對中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201242MIC值計算n Mxy的計算是個難點，數(shù)據(jù)科學(xué)家構(gòu)造了一個近似的逼近算法以提高效率在作者的網(wǎng)站上，可以下載MINE計算MIC的程序（Java和R）以及測試用數(shù)據(jù)集實驗：WHO數(shù)據(jù)集，壘球數(shù)據(jù)集…中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201243MIC的性質(zhì)n 如果變量對x,y存在函數(shù)關(guān)系，則當(dāng)樣本數(shù)增加時，MIC必然趨向于1n 如果變量對x,y可以由參數(shù)方程c(t)=[x(t),y(t)]所表達(dá)的曲線描畫，則當(dāng)樣本數(shù)增加時，MIC必然趨于1n 如果變量對x,y在統(tǒng)計意義下互相獨立，則當(dāng)樣本數(shù)增加時，MIC趨于0中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201244MIC觀察中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201245MIC與線性回歸模型對比中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201246對基因數(shù)據(jù)集spellman的探索n 數(shù)據(jù)集包含6223組基因數(shù)據(jù)n MINE對關(guān)聯(lián)關(guān)系的辨認(rèn)力明顯強于以往的方法，例如雙方都發(fā)現(xiàn)了HTB1，但MINE方法挖出了過去未被發(fā)現(xiàn)的HSP12中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201247歡迎交流：stswzh@：1829118中山大學(xué)海量數(shù)據(jù)與云計算研究中心微博：DTCC201248
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號-1