淺談醫(yī)學(xué)大數(shù)據(jù)docxdocx(編輯修改稿)
2024-08-14 10:58 本頁面
【文章內(nèi)容簡介】 行。 在這種情況下，最流行的思路是把數(shù)據(jù)分割處理，也就是把數(shù)據(jù)儲(chǔ)存到多個(gè)儲(chǔ)存節(jié)點(diǎn)（比如網(wǎng)絡(luò)數(shù)據(jù)庫），在每個(gè)節(jié)點(diǎn)單獨(dú)處理數(shù)據(jù)（甚至處理完就接著進(jìn)行初步分析, 但處理的程度依客戶具體問題而調(diào)整），然后再匯總整合到一起，提供給單個(gè)或多個(gè)數(shù)據(jù)庫，接著根據(jù)需要選擇合適的分析方法獲取有用結(jié)果。ETL 貫穿于整個(gè)大數(shù)據(jù)管理分析的流程中。圖四演示了大致的大數(shù)據(jù)管理分析流程及一些大數(shù)據(jù)處理分析平臺(tái)工具的名字。圖四SAS的數(shù)據(jù)倉庫研究院（TDWI）針對現(xiàn)今存在的大數(shù)據(jù)處理分析平臺(tái)工具進(jìn)行了一項(xiàng)調(diào)查以幫助人們在選擇軟硬件進(jìn)行大數(shù)據(jù)分析時(shí)能做出更好的決策。針對大數(shù)據(jù)技術(shù)，特點(diǎn)，和使用者操作，調(diào)查提供了三個(gè)選擇：1）現(xiàn)在使用中，并且會(huì)繼續(xù)使用。2）會(huì)在三年中開始使用。3）沒有計(jì)劃使用。圖五左側(cè)顯示了對于各種大數(shù)據(jù)分析平臺(tái)工具，被調(diào)查人員的回復(fù)比例。圖五的右側(cè)顯示了平臺(tái)工具可能的潛在成長和對采用此工具做出承諾的被調(diào)查人員比例。圖五根據(jù)潛在成長和承諾的綜合考量，此調(diào)查還進(jìn)一步把大數(shù)據(jù)分析平臺(tái), 工具分成 4 組：第一組為適度的承諾，中度到強(qiáng)的成長潛力；第二組為中度至強(qiáng)有力的承諾，適度增長潛力；第三組為弱到中度的承諾，適度增長潛力；第四組為中度至強(qiáng)有力的承諾，弱增長潛力。圖六顯示了這些組別的內(nèi)容分布。限于篇幅，本文不詳細(xì)介紹所列的每一平臺(tái)工具的具體內(nèi)容，感興趣的讀者可以參考文獻(xiàn)獲取更詳細(xì)的介紹。圖六圖五和圖六都顯示了最流行的平臺(tái)和數(shù)據(jù)處理方式為開源免費(fèi)的 Hadoop 和 MapReduce。伴隨著他們的潛在成長和承諾程度，可以預(yù)見，Hadoop 和 MapReduce 正在并會(huì)繼續(xù)推動(dòng)和促進(jìn)大數(shù)據(jù)的處理和應(yīng)用。在此，我們簡單介紹一下 Hadoop 和 MapReduce 的概念。Hadoop 是一種基于 Java 的分散式數(shù)據(jù)處理框架。它可以提供對儲(chǔ)存在多個(gè)硬件設(shè)備上的數(shù)據(jù)進(jìn)行高吞吐率的讀寫。更重要的是，它對大數(shù)據(jù)具有高容錯(cuò)性 和對并行應(yīng)用程序的高可用性。Hadoop 框架結(jié)構(gòu)由若干名字節(jié)點(diǎn)（NameNode）和數(shù)據(jù)節(jié)點(diǎn)（DataNode）組成。一份數(shù)以萬計(jì)，百萬計(jì)的大數(shù)據(jù)文件會(huì)被分割成更小的文件信息塊儲(chǔ)存在多個(gè)數(shù)據(jù)節(jié)點(diǎn)里，可以是任何計(jì)算機(jī)硬件設(shè)備。有關(guān)這些文件的數(shù)據(jù)屬性資料信息稱作 metadata 則被存儲(chǔ)在名字節(jié)點(diǎn)里（NameNode）. NameNode 主要管理文件系統(tǒng)的命名空間和客戶端對文件的訪問操作記錄。Hadoop 的框架結(jié)構(gòu)如圖七：圖七當(dāng)訪問和操作數(shù)據(jù)文件時(shí)，客戶端會(huì)聯(lián)系名字節(jié)點(diǎn)提取文件信息塊的屬性信息比如位置，文件名等。然后根據(jù)這些屬性信息，客戶端直接從相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)同時(shí)讀取數(shù)據(jù)塊。Hadoop 本身具有冗余和復(fù)制功能，保證在單個(gè)硬件儲(chǔ)存設(shè)備出現(xiàn)故障時(shí)數(shù)據(jù)仍舊能被恢復(fù)而沒有任何損失，比如每個(gè)數(shù)據(jù)節(jié)點(diǎn)默認(rèn)擁有 3 個(gè)備份之類。此外，在有新數(shù)據(jù)節(jié)點(diǎn)添加到框架中時(shí)，Hadoop 還可以自動(dòng)平衡每個(gè)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)載有量。同樣，名字節(jié)點(diǎn)也可以擁有冗余和復(fù)制功能，用于在單個(gè)儲(chǔ)存數(shù)據(jù)屬性信息的名字節(jié)點(diǎn)出現(xiàn)故障時(shí)可以恢復(fù)相應(yīng)的數(shù)據(jù)屬性信息。MapReduce 則是一種可以用來并行處理大數(shù)據(jù)的編程模型。同一程序在 Hadoop 的框架下可以用各種不同的語言（Java,Ruby,Python 等）按 MapReduce 的編程模型進(jìn)行編寫和運(yùn)行。其關(guān)鍵就在于三個(gè)詞： map,reduce, 和并行處理。我們通過一個(gè)例子來理解 MapReduce 的大致工作原理。比如我們有一 30 個(gè)字的字符串“開落花纏落花繞纏開繞笑瓜夜村村舍舍瓜夜藤繞下下藤繞嬉嬉笑娃娃”，任務(wù)是計(jì)算每個(gè)字出現(xiàn)的次數(shù)。最簡單的方法是按序讀取每一個(gè)字建立標(biāo)識(shí)索引并計(jì)算出現(xiàn)的次數(shù)值存入內(nèi)存，如果是新字，值為 1，如果是出現(xiàn)過的字則次數(shù)值累加上去。此種方式是按串行的方式進(jìn)行的，所花的時(shí)間會(huì)隨著字符串的長度和復(fù)雜度程線性增長。當(dāng)字符串是以萬計(jì)百萬計(jì)時(shí)，比如基因組數(shù)據(jù)，所花的時(shí)間將是相當(dāng)驚人的。 并行處理則能節(jié)約相當(dāng)多的時(shí)間。我們先把原文件分割到幾個(gè)小文件塊，然后對每個(gè)小文件塊進(jìn)行字的標(biāo)識(shí)索引和附加數(shù)值（這兒不進(jìn)行累計(jì)，只是簡單的單次點(diǎn)數(shù)），然后再排序重組把相同字放在一起，然后我們再用縮減法計(jì)算出字及其相應(yīng)的出現(xiàn)次數(shù)值。圖八顯示了具體的例子步驟：圖八大數(shù)據(jù)特性對統(tǒng)計(jì)應(yīng)用上的際遇和沖擊大數(shù)據(jù)的獨(dú)特性對傳統(tǒng)的統(tǒng)計(jì)方法發(fā)出了挑戰(zhàn)，刺激著新的，適用于大數(shù)據(jù)分析的統(tǒng)計(jì)方法的發(fā)展。本文提到的一些際遇和問題，一部分是作者自己的觀點(diǎn)，一部分摘自其他文章（ (Fan, Han, amp。 Liu, 2014) (Wang amp。 Wang, 2014)。相較于統(tǒng)計(jì)文章的專業(yè)寫作手法，作者試圖用更淺顯易懂的說法來介紹這些問題，讓一般的讀者對此也能有一定的了解并對此產(chǎn)生興趣。傳統(tǒng)數(shù)據(jù)一般來說是樣本量遠(yuǎn)遠(yuǎn)大于感興趣的因素，比如一數(shù)據(jù)有200條記錄關(guān)于個(gè)人是否有心血管病，可能相關(guān)因素為性別，年齡，血壓。這兒只有4個(gè)因素，但樣本量為200（2004）。而大數(shù)據(jù)則擁有海量的樣本及相當(dāng)多的因素。還是用心血管的例子，現(xiàn)在比如我們有了幾萬條記錄的樣本量，但同時(shí)也擁有了上百個(gè)的因素，各種以前沒法收集的因素都收集了，像運(yùn)動(dòng)與否，運(yùn)動(dòng)量如何，運(yùn)動(dòng)類型，飲食習(xí)慣，飲食內(nèi)容，喝酒與否，喝什么酒，喝酒習(xí)慣次數(shù)等等。這使統(tǒng)計(jì)中對數(shù)據(jù)的研究應(yīng)用得到了新的際遇同時(shí)也面臨了新的挑戰(zhàn)。數(shù)據(jù)異質(zhì)性（heterogeneity）數(shù)據(jù)異質(zhì)性，可以簡單理解成一個(gè)大樣本數(shù)據(jù)里有很多小樣本，每個(gè)小樣本有著不同的數(shù)據(jù)特征，比如小樣本的平均值有高有低，離散程度有密有疏，就好象海洋中有著不同溫度，不同密度的各種洋流一樣。我們不能簡單的只在大樣本的層面進(jìn)行統(tǒng)計(jì)分析，這樣得出的結(jié)果如果被用于對小樣本或樣本中的個(gè)體的估計(jì)或預(yù)測時(shí)就會(huì)出現(xiàn)偏差，因?yàn)槊總€(gè)小樣本可能有著一些它自己獨(dú)特的特征。在數(shù)據(jù)樣本小的時(shí)候，里面的小樣本相應(yīng)的就更小。 這種情況下小樣本里的數(shù)據(jù)記錄可能只有一，兩個(gè)，它們只能被當(dāng)作異常值處理，無法分析。而在大數(shù)據(jù)里，這種具有獨(dú)特特征的數(shù)據(jù)記錄收集出現(xiàn)多了，就擁有了被統(tǒng)計(jì)分析的條件，從而使我們更好地探究特定因素的關(guān)聯(lián)性，理解這些數(shù)據(jù)異質(zhì)性。比如有些只在特定人群里發(fā)生
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號(hào)-1