大數(shù)據(jù)分析的案例方法與挑戰(zhàn)-wenkub
2023-05-27 00:53:02 本頁面
【正文】 DTCC201234NoSQLn NoSQL = Not Only SQLn High performance, Huge Storage, High Scalability amp。amp。 Output: k 個最大相關(guān)系數(shù)(local) Output: 最大相關(guān)系數(shù)(global)Max取遍所有可能的(x,y)對中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201242MIC值計算n Mxy的計算是個難點，數(shù)據(jù)科學(xué)家構(gòu)造了一個近似的逼近算法以提高效率在作者的網(wǎng)站上，可以下載MINE計算MIC的程序（Java和R）以及測試用數(shù)據(jù)集實驗：WHO數(shù)據(jù)集，壘球數(shù)據(jù)集…中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201243MIC的性質(zhì)n 如果變量對x,y存在函數(shù)關(guān)系，則當(dāng)樣本數(shù)增加時，MIC必然趨向于1n 如果變量對x,y可以由參數(shù)方程c(t)=[x(t),y(t)]所表達的曲線描畫，則當(dāng)樣本數(shù)增加時，MIC必然趨于1n 如果變量對x,y在統(tǒng)計意義下互相獨立，則當(dāng)樣本數(shù)增加時，MIC趨于0中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201244MIC觀察中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201245MIC與線性回歸模型對比中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201246對基因數(shù)據(jù)集spellman的探索n 數(shù)據(jù)集包含6223組基因數(shù)據(jù)n MINE對關(guān)聯(lián)關(guān)系的辨認力明顯強于以往的方法，例如雙方都發(fā)現(xiàn)了HTB1，但MINE方法挖出了過去未被發(fā)現(xiàn)的HSP12中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201247歡迎交流：stswzh：1829118中山大學(xué)海量數(shù)據(jù)與云計算研究中心微博：DTCC201248。比如SQL、Rn 轉(zhuǎn)移平臺的成本有多高？平臺軟硬件成本，再開發(fā)成本，技能再培養(yǎng)成本，維護成本中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201237一種新的普適性關(guān)聯(lián)挖掘方法n 海量，不一定是指數(shù)據(jù)記錄多，有時可能是變量很多n 觀察變量之間是否具有聯(lián)系的傳統(tǒng)回歸方法中山大學(xué)海量數(shù)據(jù)與云計算研究中心 黃志洪DTCC201238傳統(tǒng)回歸模型的困難n 為什么一定是線性？或某種非線性模型？n 過分依賴于分析者的經(jīng)驗n 對于非連續(xù)的離散數(shù)據(jù)難以處理
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號-1